Sprachbegleitete Körpergestik in multimedialen Umgebungen

In der 1996 aufgebauten Arbeitsgemeinschaft "Multimedia NRW: Die virtuelle Wissensfabrik" liegt einer der Schwerpunkte auf der Mensch-Maschine Interaktion. Als Beitrag des SGIM-Projektes werden Techniken entwickelt, die dem Benutzer eines Multimedia-Systems den Einsatz grober, auf Armzeigen und Kopfstellung basierender gestischer Kommunikation ermöglichen. Damit sollen Begrenzungen von üblichen Bildschirm-Displays überwunden werden und erweiterte gestische Interaktionstechniken für den Einsatz mit Groß-Displays (Wandprojektionen, Workbenches, Caves) vorbereitet werden, die ein möglichst freistehendes, komfortables Agieren erlauben.

In einer experimentellen Anwendung aus dem Bereich der virtuellen Konstruktion wird die gestische Kommunikation durch simple Spracheingaben, mit der Objekttypen oder -positionen benannt werden (zum Beispiel: "dieses Rad"), unterstützt. Dadurch sollen bedeutete Objekte oder Richtungen auch dort analysiert werden können, wo direkte gestische Interaktion unnatürlich oder unkomfortabel ist oder an technische Grenzen stößt. Die über elektromagnetische Positionssensoren (Tracker) erfaßten Körpergesten werden dazu mit den Daten eines Spracherkennungsmoduls zu multimodalen Eingaben für das Multimedia-System integriert. 


Als Erprobungsszenario dient, in Abstimmung mit den anderen Projekten der Arbeitsgemeinschaft, eine mobile Plattform ("City-Mobil"), die in einer Großbildprojektion aus CAD-Modellen virtuell konstruiert wird. Die Bielefelder Gruppe M4I "Multimodale Mensch-Maschine-Interaktion", das Institut für Medienkommunikation der GMD St. Augustin und das Europäische Zentrum für Mechatronik in Aachen arbeiten an der Entwicklung eines gemeinsamen Demonstrationssystems mit dem Ziel, die Forschungsergebnisse umzusetzen und sie in einer realen Anwendung zu evaluieren. Weitere Kooperationen bestehen mit dem Graduiertenkolleg "Aufgabenorientierte Kommunikation" und dem Sonderforschungsbereich 360 an der Universität Bielefeld.