A Multimodal Interaction Modeling Language supporting the Specification and Design of Multimodal Interaction Setups and Multimodal Applications

• Applicant: Dr.-Ing. Sebastian Feuerstack
• Subject Area: Human Factors, Ergonomics, Human-Machine Systems
• Term: from 2010 to 2014
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 169355285

Mittels multimodaler Bedienung als eine Kombination von natürlicher Sprache, Gestiken und grafischer Benutzungsschnittstellen lassen sich schon heute Systeme des täglichen Lebens wie z.B. Navigationssysteme im Auto steuern. Durch die zunehmende Kommunikationsfähigkeit der Geräte in vernetzen Umgebungen wird in Zukunft auch eine multimodale Interaktion mit nahezu jeder Anwendung möglich werden. Anwendungen die bislang nur isoliert auf dem Handy, dem PC oder im Auto liefen, werden dann über beliebige Geräte und Kombinationen von Geräten hinweg bedienbar sein. Dazu sind Modellierungssprachen notwendig, die (1) speziell den Entwurf multimodaler Anwendungen adressieren, (2) die ein flexibles Design für unterschiedliche Kombinationen von Geräten erlauben, und die (3) von Interaktionsdesignern und nicht nur von Softwareentwicklern verstanden werden. Das Vorhaben erweitert existierende modell-basierte Entwurfsprozesse um eine Modellierungssprache für Dialoge, die Interaktionen mit unterschiedlichen multimodalen Gerätekombinationen beschreiben kann, direkt ausführbar ist und im Sprachumfang und der grafischen Notation auf Interaktionsdesigner abgestimmt ist. Die Evaluation im Projekt konzentriert sich auf die Intuitivität und Effizienz Modellierungsmöglichkeiten der Sprache und wird interdisziplinär sowohl mit Interaktionsdesignern als auch durch eine prototypische Modellierung multimodaler Anwendungen im „eLearning“-Bereich mit Domänenexperten durchgeführt.

• DFG Programme: Research Fellowships
• International Connection: Brazil
• Host: Professor Ednaldo Pizzolato