Automatische Usability-Evaluierung modellbasierter Interaktionssysteme für Ambient Assisted Living
Final Report Abstract
Im Projekt wurde untersucht, inwieweit spezielle Eigenschaften modellbasierter Interaktionssystem genutzt werden können, um automatische Usability-Evaluationen solcher Systeme durchzuführen. Der modellbasierte Entwicklungsprozess beinhaltet die Formalisierung bedeutsamer Informationen, beispielsweise der intendierten Nutzeraufgaben. Da diese Informationen noch dazu in maschinenlesbarer Form bereitstehen, sollten automatische Evaluationen dieser Systeme grundsätzlich möglich sein. Die untersuchten Systeme sind für die Benutzung auf vielen unterschiedlichen Endgeräten konzipiert; die Nutzeroberflächen werden dabei an das jeweilige Gerät adaptiert. Hierdurch entsteht aus Anwendungssicht das Problem, dass die Usability der adaptierten Nutzeroberflächen nur mit sehr hohem Aufwand (Nutzertests mit jedem Endgerät) sichergestellt werden kann. Dementsprechend besteht ein großer Bedarf nach automatischen Evaluationen für adaptierte System, durch die sich eben dieser Aufwand verringern lässt. Um dieses Ziel zu erreichen, mussten im Laufe des Projekts sowohl praktische als auch theoretische Probleme gelöst werden. Auf der praktischen Ebene mussten die Informationen des untersuchten modellbasierten Interaktionssystems MASP (Feuerstack, 2008) für bestehende Evaluationstools bereitgestellt werden. Hierfür wurden im Rahmen des Projekts mehrere Werkzeuge erstellt und der Forschungsgemeinde zur Verfügung gestellt. Auf der Theorie-Ebene musste zunächst geklärt werden, wie unterschiedliche Parameter der Nutzeroberflächen mit den drei Bereichen der Usability (Effektivität, Effizienz und Zufriedenheit) zusammenhängen. Hierbei wurde großer Wert auf die psychologische Plausibilität der angenommenen Prozesse (die zwischen Oberflächenparametern und Usability vermitteln) gelegt, um die Generalisierbarkeit der Vorhersagen über die untersuchten MASP-Applikationen hinaus sicherzustellen. • Im Bereich der Effizienz ließen sich hierbei Informationen über die semantische Gruppierung von Interaktionselementen aus der MASP extrahieren, die (zusammen mit weiteren theoretischen Annahmen) deutliche Verbesserungen der Vorhersage der Bearbeitungszeit erlauben. • Die automatische Vorhersage der Effektivität im Sinne der Fehleranfälligkeit von Systemen wurde bisher wenig beforscht. Im Rahmen des Projekts wurden Theorien der psychologischen Fehlerforschung zum ersten Mal an echten Applikationen getestet. Dabei konnte einerseits das bestehende Konzept der „Device- Orientation“ (Ament et al., 2013) bestätigt werden. Andererseits zeigten sich aber auch Effekte der Anwendungslogik – speziell ob ein Schritt obligatorisch ist oder nicht – die von bestehenden Modellen nicht erklärt werden konnten. Daher wurde auf der Basis der Memory-for-Goals-Theorie (Altmann & Trafton, 2002) ein neues theoretisches Fehlermodell entwickelt, in dem die menschliche Handlungssteuerung sowohl mit Gedächtnisprozessen als auch mit visuellen Strategien erklärt wird. • Bei der Vorhersage von Nutzerurteilen ließ sich die Bedeutung von „Device-Orientation“ untermauern, eine Integration in ein Modell der Nutzerzufriedenheit über den Ablauf der Aufgabenbearbeitung hinweg gelang jedoch nicht. Schließlich wurden die vorher identifizierten und empirisch validierten psychologischen Prozesse in der Nutzersimulation der MeMo-Werkbank implementiert. Das resultierende integrierte MASP-MeMo-System zeigte in dedizierten Validierungsstudien sehr gute Vorhersagen von sowohl Bearbeitungszeiten als auch Nutzerfehlern. Die direkte Nutzung der Informationen aus den MASP-Entwicklungsmodellen ist hierbei ein entscheidender Vorteil des integrierten Systems. Nur mit der Hilfe dieser Informationen gelingt die automatische Ableitung von z.B. semantischer Gruppierung oder „Device-Orientation“, für die sonst menschliche Expertise nötig wäre und auf denen die Vorhersagen von Zeit und Fehlern beruhen. Durch die hier erstmalig erstellte vollständige Integration von modellbasierter Software-Entwicklung und psychologisch fundierter automatischer Usability Evaluation kann das Dilemma der explodierenden Anzahl notwendiger Tests bei (adaptierten) ambienten Systemen deutlich gemindert werden. Darüber hinaus können in Zukunft weitere Teile der MeMo-Werkbank einbezogen werden, z.B. für die Simulation von typischen Wahrnehmungsproblemen von Älteren. Außerdem konnten anhand der praktischen Problemstellung des Projekts Lücken in der theoretischen Fehlerforschung identifiziert werden und Vorschläge zu deren Auflösung gemacht werden.
Publications
- (2014). An activation-based model of execution delays of specific task steps. Cognitive Processing, 15, S107-S110
Halbrügge, M. & Engelbrecht, K.-P.
- (2014). Predicting task execution times by deriving enhanced cognitive models from user interface development models. In Proceedings of the 2014 ACM SIGCHI symposium on engineering interactive computing systems – EICS 2014 (S. 139–148). New York, NY: ACM
Quade, M., Halbrügge, M., Engelbrecht, K.-P., Albayrak, S. & Möller, S.
(See online at https://dx.doi.org/10.1145/2607023.2607033) - (2015). A predictive model of human error based on user interface development models and a cognitive architecture. In N. A. Taatgen, M. K. van Vugt, J. P. Borst & K. Mehlhorn (Hrsg.), Proceedings of the 13th international conference on cognitive modeling – ICCM 2015 (S. 238-243). Groningen, the Netherlands: University of Groningen
Halbrügge, M., Quade, M. & Engelbrecht, K.-P.
- (2015). How can cognitive modeling benefit from ontologies? Evidence from the HCI domain. In J. Bieger, B. Goertzel & A. Potapov (Hrsg.), Proceedings of the eighth conference on Artificial General Intelligence – AGI 2015 (S. 261–271). Berlin: Springer
Halbrügge, M., Quade, M. & Engelbrecht, K.-P.
(See online at https://dx.doi.org/10.1007/978-3-319-21365-1_27) - (2016). Predicting user error for ambient systems by integrating model-based UI development and cognitive modeling. In Proceedings of the 2016 ACM international joint conference on pervasive and ubiquitous computing – UbiComp 2016. ACM
Halbrügge, M., Quade, M., Engelbrecht, K.-P., Möller, S. & Albayrak, S.
(See online at https://dx.doi.org/10.1145/2971648.2971667)
