Multimodale Affekterkennung im Verlaufe eines tutoriellen Lernexperiments

• Antragsteller: Dr. André Brechmann; Professor Dr. Friedhelm Schwenker
• Fachliche Zuordnung: Arbeitswissenschaft, Ergonomie, Mensch-Maschine-Systeme ; Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2018 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 394413900

Tutorielle Systeme in einer Lernumgebung sollen den Nutzer beim Erreichen seines spezifischen Lernziels unterstützen und dabei auf seinen Wissensstand und seine individuellen Fähigkeiten in pädagogisch sinnvoller Weise eingehen. Hierfür ist eine umfassende Nutzermodellierung erforderlich, die neben den Vorkenntnissen des Nutzers auch die Interaktionshistorie und den augenblicklichen affektiven Zustand des Nutzers berücksichtigt. In unserem Forschungsvorhaben fokussieren wir auf eine interaktive Lernaufgabe, in welcher der Nutzer durch eine tutorielle Systemkomponente unterstützt wird. Zeitsynchron werden neurophysiologische Parameter (fMRT, EEG), psychphysiologische Merkmale (EKG, Hautleitwert, Atmung) sowie Verhaltensdetails (Tastendruckdynamik, Mimik) erfasst, um auftretende Änderungen affektiver und kognitiver Nutzerzustände mittels multimodaler Datenanalyse abzuleiten. Die interdisziplinäre Analyse und Interpretation der Zusammenhänge zwischen den teils schwachen Signalen einzelner Modalitäten und die Entwicklung und Optimierung von Klassifikatoren zur multimodalen Affekterkennung sind die primären Ziele unseres Forschungsvorhabens.

• DFG-Verfahren: Sachbeihilfen