A Multimodal Interaction Modeling Language supporting the Specification and Design of Multimodal Interaction Setups and Multimodal Applications

• Antragsteller: Dr.-Ing. Sebastian Feuerstack
• Fachliche Zuordnung: Arbeitswissenschaft, Ergonomie, Mensch-Maschine-Systeme
• Förderung: Förderung von 2010 bis 2014
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 169355285

Mittels multimodaler Bedienung als eine Kombination von natürlicher Sprache, Gestiken und grafischer Benutzungsschnittstellen lassen sich schon heute Systeme des täglichen Lebens wie z.B. Navigationssysteme im Auto steuern. Durch die zunehmende Kommunikationsfähigkeit der Geräte in vernetzen Umgebungen wird in Zukunft auch eine multimodale Interaktion mit nahezu jeder Anwendung möglich werden. Anwendungen die bislang nur isoliert auf dem Handy, dem PC oder im Auto liefen, werden dann über beliebige Geräte und Kombinationen von Geräten hinweg bedienbar sein. Dazu sind Modellierungssprachen notwendig, die (1) speziell den Entwurf multimodaler Anwendungen adressieren, (2) die ein flexibles Design für unterschiedliche Kombinationen von Geräten erlauben, und die (3) von Interaktionsdesignern und nicht nur von Softwareentwicklern verstanden werden. Das Vorhaben erweitert existierende modell-basierte Entwurfsprozesse um eine Modellierungssprache für Dialoge, die Interaktionen mit unterschiedlichen multimodalen Gerätekombinationen beschreiben kann, direkt ausführbar ist und im Sprachumfang und der grafischen Notation auf Interaktionsdesigner abgestimmt ist. Die Evaluation im Projekt konzentriert sich auf die Intuitivität und Effizienz Modellierungsmöglichkeiten der Sprache und wird interdisziplinär sowohl mit Interaktionsdesignern als auch durch eine prototypische Modellierung multimodaler Anwendungen im „eLearning“-Bereich mit Domänenexperten durchgeführt.

• DFG-Verfahren: Forschungsstipendien
• Internationaler Bezug: Brasilien
• Gastgeber: Professor Ednaldo Pizzolato