Projekt "Schattenboxen"

Multi-modale Interaktion mit generischen Schnittstellen

Ingo Lütkebohle

AG Angewandte Informatik

Projektidee

• Bedienung durch Zeichen und Sprache statt Tastatur und Maus
• Idee: Bluespace
• Videobeispiel von IBM, Infoseite von IBM

Generische Oberflächen

• Web-Browser im Fullscreen-Modus als Oberfläche
• Aktionen:
  1. Link auswählen
  2. Scrollen
  3. Datei hochladen: Foto?
  4. Formular ausfüllen...
• Interaktionsfeedback via CSS

Vorhandene Komponenten

• Computer Vision-Framework mit
  • Bewegungsmuster
  • Gesichtserkennung
  • Segmentierung
  • ...
• Spracherkennung
• Browser mit Javascript
• Greasemonkey: Javascript-Injektion
• Aktive XML-Datenbank mit Benachrichtigungsfunktion

Beispiel Motion History Images

Anwendungsideen

• Blackboard mit Veranstaltungsinfo und Anmeldung.
• WG-Buch (Einkaufsliste, Gästebuch, Partyinfos, Kühlschrankhorror der Woche, ...).
• andere Anwendungen, die Informationsabfrage durch mehrere Personen an einem gemeinsamen Ort mit einfacher Interaktion verbinden.