Multimodale Interaktion in der Virtuellen Realität
Multimodal Interaction in Virtual Reality
Ipke Wachsmuth
Technische Fakultät
Universität Bielefeld
ipke@techfak.uni-bielefeld.de
Virtuelle Realität oder Virtual Reality (VR) bezeichnet ein neuartiges Kommunikationsmedium, das die unmittelbare Wechselwirkung des Menschen mit rechnergenerierten Darstellungen erlaubt. Es beinhaltet wesentlich die Abkehr von zweidimensionalen, betrachterunabhängigen Bildausgaben zugunsten dreidimensionaler Ausgabeverfahren, die auch Schall und taktile Reize einbeziehen können; statt vor dem Bildschirm zu sitzen treten Anwender mehr oder weniger stark in eine "greifbare" synthetische Welt ein, in der sie sich bewegen und die Wirkungen ihres Tuns unmittelbar erfahren können. Verbunden mit körperlich verankerter Interaktion finden insbesondere gestische Eingaben starkes Interesse. Neben ersten Erfolgen mit kameraerfaßten Handgesten werden für die Verarbeitung schneller und komplexer Hand- Armgesten derzeit noch Daten-Handschuhe und Körper-Tracker eingesetzt; die Auswertung gelingt hier mit wissensbasierten Ansätzen, die atomare Formelemente der Gestik beschreiben und zu größeren Einheiten zusammensetzen. Eine weitere Herausforderung ist die multimodale Integration und wechselseitige Disambiguierung sprachlich-gestischer Eingaben, z.B. wenn auf einen Gegenstand gezeigt ("dieses Rohr") oder eine Drehrichtung ("so herum") signalisiert wird. Der Vortrag erläutert diese Techniken an einem Szenario des virtuellen Konstruierens, das im Labor für Künstliche Intelligenz und Virtuelle Realität an der Universität Bielefeld als Erprobungsdomäne dient.
[Fachbeitrag auf der MC2001; pdf]talks given: Würzburg 6-12-99, Erlangen 8-05-2000, Nijmegen 17-08-2000, München 14-12-2000