Technische Fakultät - AG Wissensbasierte Systeme

Intelligent Interfaces for MultiMedia and Virtual Reality

Ipke Wachsmuth

Faculty of Technology
University of Bielefeld

ipke@techfak.uni-bielefeld.de

The focus of research in the Bielefeld AI Lab since 1993 is to build intelligent and more intuitive interfaces that yield highly interactive construction and design environments by the support of knowledge-based techniques. Our latest project, SGIM, started in 1996, extends our efforts to include multimodal speech and gesture interfaces, thus reaching for a more natural, anthropomorphic user interface in MultiMedia and Virtual Reality applications. A focus of this talk are so-called Interface Agents which are of growing interest in human computer interaction. Agent systems are autonomous, addressable programs which are able to observe and initiate activities in their software environment and which can communicate with other such programs. Paired with expert system techniques, agent-based interfaces can take advantage of knowledge about system technicalities, as well as about individual users, to the end of relieving users from the burdens of complex command interfaces. We have placed an embodied, human-like agent in a virtual environment that users can address their directives to, or they may take on that agent's perspective. In this way, users can employ various spatial reference frames in natural language communication. By the cooperation of specialized agents in a multimodal input architecture, the human modes of speech and gesture are integrated to exploit complementary input information.

Fokus neuerer Forschungsarbeiten in Bielefeld seit 1993 sind hochinteraktive 3D-computergrafische Konstruktions- und Design- Umgebungen, zentriert um die Projekte VIENA und CODY. Mit dem 1996 begonnenen SGIM-Projekt ("Speech and Gesture Interfaces for MultiMedia") werden auch multimodale Eingabemöglichkeiten einbezogen, um natürlichere, anthropomorphe Benutzungsschnittstellen für MultiMedia- und Virtual Reality-Systeme anzustreben. Unter solcher Perspektive werden im Vortrag sog. Interface-Agenten thematisiert, die derzeit starke Aufmerksamkeit in der Mensch-Maschine-Kommunikation finden. In Verbindung mit Expertensystem- Techniken läßt sich mit Agentensystemen Wissen über technische Einzelheiten und Wissen über Benutzerpräferenzen ausnutzen, um die Bedienung komplexer Kommando-Schnittstellen zu vereinfachen. Mithilfe eines in der virtuellen Umgebung plazierten menschenähnlichen Interface-Agenten wird die Möglichkeit geschaffen, daß Benutzer ihre Eingaben an ein personifiziertes Gegenüber richten wie auch die Sicht dieser Figur einnehmen können. Auf diese Weise lassen sich in der natürlichsprachlichen Kommunikation verschiedene räumliche Referenzsysteme ausnutzen. Durch die Kooperation mehrerer Agenten in einer multimodalen Eingabe-Architektur werden die Modalitäten von Sprache und Gestik integriert, um dadurch komplementäre Eingabeinformation zu verwerten.

talk given: Aalborg DK 29-05-97, Hamburg 30-06-97, Berlin 4-11-97, München 24-11-97