B3

Deikon: Deixis in Konstruktionsdialogen

B3 untersucht multimodale Deixis in Konstruktionsdialogen in einem integrierten Zugang, der Empirie, Theorie und Simulation umfasst. Im Zentrum stehen das Zeigen auf Gegenstände und Aggregate sowie einfache Fälle der ikonischen Gestenverwendung im Zusammenspiel mit referierenden Ausdrücken.

Diese werden an empirischen Studien untersucht und nachgewiesen; der Fokus dieser Studien liegt darauf, die zeitlichen Verhältnisse und die Konzeptualisierung des Raums, in dem das Zeigen stattfindet, durch die VPn zu erschließen. Dazu werden die Studien videographiert und in einem Format annotiert, das einerseits den Anschluss an die Simulation erlaubt und andererseits die theoretischen Unterscheidungen respektiert. Im Zuge dieser Studien sollen aus der Literatur bekannte Phänomene hinsichtlich der Wahl referierender Ausdrücke untersucht und bislang nur phänomenal vorzunehmende Unterscheidungen auf eine gesicherte Basis gestellt werden.

Auf Seiten der Theorie werden zwei komplementäre Fälle von referentieller Gestenverwendung unterschieden: Objektzeigen und Restriktorzeigen. Basis für die weitere theoretische Modellierung ist das bestehende Syntax-Semantikinterface mit einer Pragmatik-Schnittstelle. Dieses kann gegenwärtig einfache Aufforderungen erfassen und wird in Richtung dialogue games erweitert. Im interface wird gegenwärtig eine statische kompositorische Semantik verwendet. Diese wird, um die empirischen Phänomene abdecken zu können, in Richtung auf Dynamik und Unterspezifikation erweitert.

Im Bereich Simulation soll neben der Interpretation und Generierung sprachbegleitender Gestik in einer immersiven VR-Umgebung mit einem integrierten virtuellen Kommunikator ein neuer Schwerpunkt auf Planung und Generierung multimodaler (deiktischer) Äußerungen gelegt werden. Unter Berücksichtigung der in den erfahrungswissenschaftlichen Projektteilen erlangten Einsichten werden Techniken entwickelt, die, ausgehend von einer noch zu spezifizierenden abstrakten semantischen Beschreibung der intendierten Äußerung, die automatische situierte Generierung detaillierter Äußerungspläne im Dialog erlauben (für das Teilprojekt B3 wird ein Referenzdialog definiert). Bis zum Abschluss der Implementierung einfacher Dialogfähigkeiten werden im VR-setting Imitationsspiele realisiert, in denen der virtuelle Kommunikator Gesten des menschlichen Instrukteurs unter variierenden Randbedingungen nachahmt.

Projekt Team in der Informatik:
Prof. Dr. Ipke Wachsmuth,
Dipl.-Inf. Alfred Kranstedt

Linguistische Projektpartner:
Prof. Dr. Hannes Rieser,
MA Andy Lücking

Projekt Publikationen:

• Kranstedt, A., Lücking, A., Pfeiffer, T., Rieser, H., & Wachsmuth, I. (1996).
  Deictic Object Reference in Task-Oriented Dialogue.
  In Rickheit, G. & Wachsmuth, I. (Eds.), Situated Communication (pp. 155-207).
  Mouton de Gruyter, Berlin.
  
  
• Kranstedt, A., Lücking, A., Pfeiffer, T., Rieser, H., & Wachsmuth, I. (1996).
  Deixis: How to Determine Demonstrated Objects Using a Pointing Cone.
  In Gibet, S., Courty, N., & J.-F. Kamp (Eds.), Gesture in Human-Computer Interaction and Simulation,
  revised papers, pp. 300-311. Springer LNAI 3881, Berlin Heidelberg.
  
  
• Kranstedt, A. & Wachsmuth, I. (2005).
  Incremental Generation of Multimodal Deixis Referring to Objects.
  Proceedings of the 10th European Workshop on Natural Language Generation (ENLG 2005),
  Aberdeen, UK, pp.76-83.
  
  
• Rieser, H. (2004).
  Pointing in Dialogue.
  Proceedings of the 8th Workshop on the Semantics and Pragmatics of Dialogue (Catalog '04), pp. 93-101.
  
  
• Lücking, A. Rieser, H., & Stegmann, J. (2004).
  Statistical Support for the Study of Structures in Multimodal Dialogue: Interrater Agreement and Synchronisation.
  Proceedings of the 8th Workshop on the Semantics and Pragmatics of Dialogue (Catalog '04), pp. 56-64.
  
  
• Kranstedt, A., & Wachsmuth, I. (2004).
  Situated Generation of Multimodal Deixis in Task-Oriented Dialogue.
  In Belz, A., Evans, R., & Piwek, P. (Eds.),
  Proceedings of Posters (extended abstracts) at Third International Conference on Natural Language Generation (INLG 2004),
  Technical Report No. ITRI-04-01, University of Brighton.
  
  
• Kranstedt, A., Kühnlein, P., & Wachsmuth, I. (2004).
  Deixis in Multimodal Human Computer Interaction: An Interdisciplinary Approach.
  In Camurri, A. & Volpe, G. (Eds.):
  Gesture-Based Communication in Human-Computer Interaction,
  International Gesture Workshop 2003, revised papers, pp. 112-123. Springer LNAI 2915, Berlin Heidelberg.
  
  
• Kühnlein, P. & Stegmann, J. (2003).
  Empirical Issues in Deictic Gesture: Referring to Objects in Simple Identification Tasks.
  Technical report 2003/3, SFB 360, University of Bielefeld.
  
  
• Kranstedt, A., Kopp, S. & Wachsmuth, I. (2002).
  MURML: A Multimodal Utterance Representation Markup Language for Conversational Agents.
  Proceedings of the Workshop on Embodied Conversational Agents - let's specify and evaluate them (AAMAS 2002),
  Bologna, Italy.