Technische Fakultät - AG Wissensbasierte Systeme

Communicative Rhythm in Gesture and Speech

Ipke Wachsmuth

Faculty of Technology
University of Bielefeld

ipke@techfak.uni-bielefeld.de

Led by the fundamental role that rhythms apparently play in speech and gestural communication among humans, this study was undertaken to substantiate a biologically motivated model for synchronizing speech and gesture input in human computer interaction. Our approach presents a novel method which conceptualizes a multimodal user interface on the basis of timed agent systems. We use multiple agents for the purpose of polling presemantic information from different sensory channels (speech and hand gestures) and integrating them to multimodal data structures that can be processed by an application system which is again based on agent systems. In this talk we motivate and present technical work which exploits rhythmic patterns in the development of biologically and cognitively motivated mediator systems between humans and machines.

Kommunikative Rhythmen in Gestik und Sprache

Als Eckpfeiler der natürlichen Verständigung zwischen Menschen sind Gestik und Sprache in der Mensch-Maschine- Kommunikation von großem Interesse. Jedoch gibt es bislang kaum Lösungsvorschläge dafür, wie die multimodalen Äußerungen eines Systemnutzers - als zeitlich gestreute Perzepte auf getrennten Kanälen registriert - in ihrem zeitlichen Zusammenhang zu rekonstruieren sind. In diesem Vortrag wird anhand der Beobachtung, daß menschliches Kommunikationsverhalten von signifikant rhythmischer Natur ist, eine neuartige Methode zur Konzeption eines multimodalen Eingabesystems entworfen. Es basiert auf einem zeitgetakteten Multiagentensystem, mit dem eine präsemantische Integration der Sensordaten von Sprach- und Gesteneingaben in einer multimodalen Eingabedatenstruktur vorgenommen wird. Hiermit werden erste technische Arbeiten beschrieben, die rhythmische Muster für biologisch und kognitiv motivierte Mittlersysteme zwischen Mensch und Maschine ausnutzen.

Hörbeitrag "Forschung aktuell" Deutschlandfunk, 1.10.1999 [WAV-Datei; 13 MB]

talks given: Magdeburg 22-09-98, Bad Honnef 29-10-98, Gif-sur-Yvette 17-03-99, DeKalb IL 28-05-99, Galway 9-08-99, Bielefeld 17-09-99 and 1-10-99, Marina del Rey CA 6-10-99, Paris 22-11-99