Kortikale und Verhaltenmaße der aktiven Kommunikation

• Antragsteller: Professor Dr. Stefan Debener; Professor Dr. Volker Hohmann
• Fachliche Zuordnung: Akustik ; Biologische Psychiatrie ; Medizinische Physik, Biomedizinische Technik
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 444761144

Unser Verständnis der auditiven Sprachverarbeitung beruht auf Laborexperimenten mit einfachen Reizen, die reale Szenarien nicht hinreichend abbilden. Während der Einfluss des Lippenlesen etwa bekannt ist, wurde der audiovisuellen Verarbeitung in komplexen Kommunikationsszenarien mit sozialen Interaktionen nicht viel Aufmerksamkeit geschenkt. Reale Kommunikation beinhaltet Körperbewegungen, Gesten, Gesichtsausdrücken und Augenblinzeln, was in Laborexperimenten, bei denen eine zuhörende Person passiv bleibt, nicht gut abgebildet ist. Wir entwickeln interaktive virtuelle Umgebungen (VU), um reproduzierbare realistische audiovisuelle Szenarien zu nutzen. VUs verbinden das Ziel der Reproduzierbarkeit der Ergebnisse mit dem Anspruch die Komplexität alltäglicher Kommunikationsanforderungen. Unser Ziel ist es, audiovisuelle Sprachverarbeitung besser zu verbessern, indem wir VEs entwickeln und evaluieren, die zumindest einen Teil der Komplexität natürlicher Kommunikationssituationen nachahmen und den Zuhörer als aktiven Akteur einbeziehen. Auf neuronaler Ebene kann die zeitliche Dynamik der auditiven Aufmerksamkeit auf Sprache mit der Elektroenzephalographie (EEG) untersucht werden. Die kortikale Sprachverfolgung mit EEG wurde in der ersten Phase dieses Projekts in nicht interaktiven VE implementiert und ermöglichte uns eine objektive Bewertung des aufmerksamen Zuhörens. Insbesondere fanden wir heraus, dass die kortikale Sprachverfolgung gültige Ergebnisse für nicht spontane, vorab aufgezeichnete Sprache lieferte, die in einer VU präsentiert wurden. In der zweiten Phase werden wir VUs weiterentwickeln, um reale und Telepräsenzbedingungen zu simulieren. Dies ermöglicht die Untersuchung von interaktiven Kommunikationsszenarien. In Studie 1 vergleichen wir passives Zuhören mit einem aktiven Gespräch in einem dyadischen Kommunikationsszenario und manipulieren die Gesprächsbeteiligung (aktiv vs. passiv) und die visuelle Darstellung der Gesprächspartner (reale Präsenz vs. Telepräsenz). In Studie 2 werden wir die auditive Verarbeitung und die Verhaltenssynchronisation zwischen vertrauten und unbekannten Gesprächspartnern anhand triadischer Kommunikationsszenarien untersuchen. Wir werden den Faktor der Bekanntheit des Gesprächspartners einführen und den Einfluss der visuellen Darstellung des Gesprächspartners (reale Präsenz vs. Telepräsenz) auf die auditive Verarbeitung und Synchronisation untersuchen. In Studie 3 werden auditive Verarbeitung und Verhaltenssynchronisation in triadischen Situationen in Gegenwart audiovisueller Ablenkungsszenarien untersucht und so die Kommunikationsschwierigkeit manipuliert. In allen drei Studien verwenden wir das EEG als nicht-invasives Mittel zur Überwachung der Aufmerksamkeit auf Sprach- und Nicht-Sprachsignale. Messungen der Verhaltenssynchronisation zwischen sich unterhaltenden Personen werden analysiert, um den Kommunikationsaufwand vorherzusagen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2236: Auditive Kognition in interaktiven virtuellen Umgebungen – AUDICTIVE
• Mitverantwortlich: Dr. Giso Grimm