A Multimodal Interaction Modeling Language supporting the Specification and Design of Multimodal Interaction Setups and Multimodal Applications
Final Report Abstract
Die Entwicklung von multimodalen Benutzungsschnittstellen ist komplex und zeitaufwändig: Neben der Verwendung von zusätzlichen Modalitäten, wie beispielsweise Zeichensprache, Körperbewegungen oder auch Sprache zur Steuerung einer Anwendung, stellt insbesondere deren beliebige Kombination (Fusion) und Repräsentation über diverse Medien (Fission) Softwareentwickler und Interaktionsdesigner vor komplexe Herausforderungen. Klassische Interaktionsparadigmen, die auf Maus und Tastatur als Eingabegeräte abgestimmt sind, können multimodale Interaktion nur begrenzt abbilden. Mittels Post-WIMP Benutzungsschnittstellen werden daher neue Interaktionskonzepte und Techniken umgesetzt, die individuell auf die Eigenschaften der jeweils eingesetzten Medien und Modalitäten abgestimmt sind. Im Rahmen dieses Forschungsstipendiums wurde eine grafische Notation entworfen, die das Design von multimodalen Benutzungsschnittstellen ermöglicht und in gängige modellbasierte Entwicklungsprozesse integriert werden kann. Dazu greift die Notation gängige Abstraktionsstufen, wie die Aufgabenmodellierung, abstrakte und konkrete Benutzungsschnittstellenmodelle auf und ermöglicht die Modellierung von abstrakten und konkreten (Post-WIMP) Interaktoren, die über multimodale Mappings flexibel zu einer Benutzungsschnittstellen verknüpft werden können. Zur Vereinfachung wird die Notation durch zwei grafische Editoren und eine Laufzeitumgebung unterstützt. Letztere kann die Notation direkt ausführen und wurde, wie auch die Editoren als Open Source veröffentlicht. Durch eine Verbindung der Editoren mit der Laufzeitumgebung lassen sich Interaktionsdesigns unmittelbar als Prototypen ausführen und während des Tests mit Nutzern auf der abstrakten Designebene über grafische Animationen auch beobachten. Dadurch lassen sich im Sinne des Rapid-Prototypings effizient verschiedene Entwürfe multimodaler Interaktoren und auch Interaktionstechniken erstellen und über Nutzertests vergleichen. Im Verlauf des Projektes wurden mehrere Fallstudien von multimodalen Anwendungen umgesetzt, die hauptsächlich über Handgestiken und Körperbewegungen steuerbar waren und in denen mehrere Interaktionsvarianten unter dem Einsatz der Notation und der Laufzeitumgebung prototypisch umgesetzt und evaluiert wurden. Die grafische Notation erfolgreich in den Standardisierungsprozess des W3C eingebracht und in deren Arbeitsgruppe „MBUI“ berücksichtigt. Die aktuelle „Working Draft“ für „Abstract User Interface Models“ stellt die Beziehung zu der grafischen Notation des Projektes (MINT) dar und die vom W3C herausgegebene „Introductory Note“ greift zwei der Fallstudien des Projektes als bespielhaft Umsetzungen des neuen Standards auf.
Publications
- An interactive dialogue modelling editor for designing multimodal applications. In Proceedings of the 28th ACM International Conference on Design of Communication (ACM SIGDOC’10), pages pages 257–258, Sao Carlos - Sao Paulo, Brazil, September 26-29 2010. ISBN 978-1-4503-0403-0
Sebastian Feuerstack
- Topicos em Sistemas Colaborativos, Interativos, Multimidia, Web e Bancos de Dados: An Introduction to Model-based User Interface Development to realize Multimodal and Context-sensitive Applications for Smart Environments;, chapter Chapter 7, pages Pages 181–210. 11th Brazilian Symposium of Human Factors on Computer Systems (IHC),, isbn 857-6-6924-9-x edition, 2010
Sebastian Feuerstack
- Designing and executing multimodal interfaces for the web based on state chart xml. In Proceedings of 3a. Conferencia Web W3C Brasil 2011, Rio de Janeiro, 2011
Sebastian Feuerstack, Jessica H. Colnago, Cesar R. de Souza, and Ednaldo B. Pizzolato
- Modellierung und Ausfuehrung von multimodalen Anwendungen auf Basis von Zustandsdiagrammen. i-com, Vol. 10(No. 3):pp. 40–48, November 2011
Sebastian Feuerstack, Mauro dos Santos Anjo, and Ednaldo Brigante Pizzolato
