Technische Fakultät - AG Wissensbasierte Systeme

Embodied Communication

Ipke Wachsmuth

Faculty of Technology & Center for Interdisciplinary Research (ZiF)
University of Bielefeld

ipke@techfak.uni-bielefeld.de

Face-to-face communication cannot be reduced to the exchange of verbal information. While speaking, one can for instance indicate the size and shape of an object by a few handstrokes, direct attention to an object by pointing or gaze, and modify what is being said by emotional facial expression. The meanings transmitted in this way are multimodally encoded and strongly situated in the present context and especially the body.

With the artificial humanoid agent MAX under development at Bielefeld University we investigate embodied communication by way of computer simulations in virtual reality. Equipped with a synthetic voice and an animated body and face, Max is able to speak and gesture, and to mimic emotions. By means of microphones and tracker systems, Max can also "hear" and "see" and is able to process spoken instructions and gestures. Current research challenges include what is required for enabling an artificial agent to imitate human gestures, and how it could express event-related emotions.

In a multidisciplinary endeavor, embodied communication (in humans and machines) was also the theme of a ZiF research year, which brought together an international group of theoreticians, empirical and applied researchers from the cognitive, neuro- and computer sciences. The aim was to develop an integrated perspective of embodiment in communication and study novel forms of human machine communication which should also be transferable to robots.

In der Kommunikationsforschung findet der Beitrag körperlicher Signale - speziell in der Kommunikation von Angesicht zu Angesicht - wachsendes Interesse. Während wir sprechen, können wir z.B. die Form eines Objekts mit ein paar Handschlägen andeuten, durch Zeigen oder Blicke die Aufmerksamkeit auf ein Bezugsobjekt lenken, und das Gesagte durch emotionale Gesichtsausdrücke modifizieren. Auf diese Weise werden multimodal enkodierte, stark kontextabhängige Bedeutungen vermittelt.

Mit dem künstlichen Agenten "Max", den wir in mehrjähriger Arbeit an der Universität Bielefeld entwickelt haben, untersuchen wir "verkörperte Kommunikation" mit Computersimulationen in virtueller Realität. Mit synthetischer Stimme und einem animierten Körper und Gesicht kann Max sprechen, gestikulieren und Emotionen ausdrücken. Mit Mikrophonen und Tracking-Systemen kann Max sein Gegenüber auch "hören" und "sehen" und sprachlich-gestische Eingaben verarbeiten. Wir wollen unter anderem herausfinden, was es erfordert, formbeschreibende Gesten imitieren und verstehen zu können, und welche Rolle Emotionen in der Kommunikation spielen. Gleichzeitig entwickeln und erproben wir mit Max neuartige Formen der Mensch-Maschine-Kommunikation, die auch auf Roboter übertragbar sein sollen.

In umfassender Weise war "verkörperte Kommunikation" (bei Mensch und Maschine) ebenfalls das Thema eines ZiF-Forschungsjahres, das international führende Vertreter der kognitiven, der Neuro- und der Computerwissenschaften zusammen brachte. Das Ziel war es, eine integrierte Sicht körperlich verankerter Kommunikation zu entwickeln, von der eine Vielzahl an theoretischen, empirischen und Anwendungsfragestellungen wechselseitig profitieren kann.

Books: Oxford 2008, Springer 2008

Talks: Bielefeld (ZiF) 24-07-2003, Limassol 28-08-2003, Osnabrück 11-09-2003, Ittingen 27-09-2003, Essex 04-02-2005, Bielefeld (GDM) 03-03-2005, Günne 05-03-2005, Bielefeld (MNU) 31-03-2010