Kognitive Leistungen beim Zuhören in komplexen audiovisuellen Kommunikationssituationen mit virtuellen Agenten: Untersuchungen zu Aufmerksamkeit, Erinnerungsleistung und Höranstrengung (exAMPLE)

• Antragstellerinnen / Antragsteller: Professorin Dr.-Ing. Janina Fels; Professor Dr. Torsten Wolfgang Kuhlen; Professorin Dr. Sabine J. Schlittmeier
• Fachliche Zuordnung: Akustik ; Allgemeine, Kognitive und Mathematische Psychologie ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 444724862

Von Angesicht zu Angesicht zu kommunizieren ist die häufigste Form des verbalen Informationsaustauschs. Dabei stehen Zuhörer*innen bei Gesprächen zwischen mehreren Sprecher*innen in komplexen und dynamischen Umgebungen wie Großraumbüros oder belebten Bars vor besonderen Herausforderungen: Diese Umgebungen sind akustisch komplex, multisensorisch vielfältig und dynamischer Natur. Welche Auswirkungen diese Einflussfaktoren auf das Verstehen und Erinnern inhaltlicher Fakten von Gesprächen zwischen zwei oder mehr Sprecher*innen haben und inwieweit das Anfertigen von Gesprächsnotizen die kognitive Zuhörleistung unterstützen kann, ist noch weitgehend unerforscht. Das Ziel dieses Forschungsvorhabens ist es, audiovisuelle Variationen realistischer Hörsituationen in Virtueller Realität (VR) zu untersuchen und ihre Auswirkungen auf die Aufmerksamkeit der Zuhörer*innen, die Sprachverständlichkeit, das Hörverstehen sowie das Gedächtnis für Gesprächsinhalte und andere sprecherbezogene Aspekte (z.B. wer etwas gesagt hat) zu untersuchen. Aufbauend auf unserem Vorgängerprojekt geht dieses Projekt weg von vereinfachten und hin zu komplexen audiovisuellen, immersiven Umgebungen mit vielfältigen und lebhaften audiovisuellen Szenarien. Zusätzlich erweitern wir den Umfang der betrachteten kognitiven Leistungen vom Verstehen und Erinnern von Gesprächsinhalten auf das Anfertigen von angeleiteten Notizen sowie um das Erinnern zusätzlicher Gesprächsaspekte und die Aufmerksamkeitszuwendung und -lenkung zu den Sprecher*innen. Hierfür entwickeln wir immersive und interaktive audiovisuelle virtuelle Umgebungen, in denen die Zuhörer*innen an Gesprächen zwischen zwei oder mehr Sprecher*innen teilnehmen, die als virtuelle Agent*innen dargestellt werden. Anschließend wird die Erinnerungsleistung für gehörte Gesprächsinhalte und weitere gesprächsbezogene Aspekte erfasst. Dazu wird das Heard Text Recall (HTR) Paradigma aus unserem Vorgängerprojekt entsprechend erweitert und angepasst, um auch sprecherbezogene Aspekte (TR) abzufragen und das Anfertigen von Notizen (NT) während des Zuhörens zu operationalisieren. Damit werden die erweiterten Zuhöraufgaben HTR-TR und HTR-NT entwickelt. Durch die Untersuchung der Effekte verschiedener Merkmale der audiovisuellen VR auf die oben genannten kognitiven Leistungen möchten wir wichtige Erkenntnisse für die Schaffung realistischer und immersiver verbaler sozialer Interaktionen gewinnen und somit zur aktuellen VR-basierten Kognitionsforschung beitragen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2236: Auditive Kognition in interaktiven virtuellen Umgebungen – AUDICTIVE