ST 2014: Multimodaler Dialog in cyber-physischen Umgebungen (Seminar/Proseminar)

Cyber-Physische Module bestehen aus einer Recheneinheit, an welche mindestens ein Sensor oder mindestens ein Aktor angeschlossen ist (Aktoren bzw. Aktuatoren ermöglichen die physische Veränderung der Umgebung). Cyber-Physische Systeme (CPS) entstehen durch die drahtgebundene oder drahtlose Vernetzung vieler solcher Module. Cyber-Physische Umgebungen (CPE für Cyber-Physical Environments) sind Umgebungen, die mit einem oder mehreren CPS ausgestattet sind. CPE stellen eine Herausforderung in Bezug auf die Mensch-Maschine- bzw. Mensch-Umgebungsinteraktion (den Dialog) dar. Durch die Vielzahl der Sensoren und Aktoren ergeben sich aber auch Möglichkeiten um neue, multimodale Konzepte zur Mensch-Umgebungsinteraktion zu realisieren. Eine Dialogplattform stellt ein technisches Hilfsmittel dar, um die verschiedenen beteiligten Komponenten zu koordinieren und diese Kommunikation zu steuern.

In diesem Seminar werden wir uns sowohl mit der zu Grunde liegenden Hardware, wie z.B. Glasses, Eyetracker, Kinect, Smart Watches, 3D Audio, Mood Light, Gadgeteer, Home Appliances, als auch mit multimodalen Systemen und Konzepten (Fusion, Output Scheduling, Attention Guidance, Mehrpersonen-Interaktion, Referenzauflösung usw.) auseinandersetzen.

In den Vorträgen werden verschiedene Modalitäten, Interaktionsmethoden sowie weiterführende Konzepte des Dialog-Managements sowie dialogtechnisch relevante Verfahren vorgestellt. Darüber hinaus werden wir mit einer konkreten Dialogplattform arbeiten und in praktischen Aufgaben cyber-physische Systeme anbinden und kleine, multimodale Beispiel-Dialoge umsetzen.

Auf der Abschlussveranstaltung des Seminars/Proseminars stellten die Teilnehmer eine Vielzahl praktischer Applikationen vor, basierend auf der im Projekt SiAM entwickelten Dialogplattform SiAM-dp. Im Vordergrund stand hierbei die Anbindung diverser Hardware oder Softwarepakete an SiAM-dp, z.B. Virtuelle Charaktere, Headtracker, Braininterface oder das Philips Hue System.

Beispielinteraktion mit virtuellen Charakteren (implementiert von Vanessa Hahn und Robin Adam)

Weitere Informationen auf der Website des Seminars am Lehrstuhl Prof. Wahlster.