Immersive binaurale Kommunikation | Modelle und Algorithmen

• Antragsteller: Professor Dr.-Ing. Peter Jax
• Fachliche Zuordnung: Kommunikationstechnik und -netze, Hochfrequenztechnik und photonische Systeme, Signalverarbeitung und maschinelles Lernen für die Informationstechnik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 509806277

Die binaurale Kommunikation nutzt Prinzipien der kopfbezogenen Tonaufzeichnung, z.B. mittels Kunstkopf, und der Synthese kopfbezogener Signale. Mit der Binauraltechnik lassen sich reale akustische Umgebungen authentisch reproduzieren oder virtuelle akustische Situationen auralisieren. Durch die korrekte empfangsseitige Reproduktion und Präsentation entsteht beim Zuhörer ein realistischer räumlicher Höreindruck, so dass die kognitiven Fähigkeiten beim Hören optimal genutzt werden können. Gegenüber dem in der klassischen Telefonie einkanalig wiedergegebenen Sprachsignal wird bei einer hörgetreuen Wiedergabe komplexer akustischer Szenen auch Information über die Position von Personen im Raum und die räumliche Signatur der Umgebung übermittelt. Dem Teilnehmer wird das Gefühl vermittelt, als sei er inmitten der akustischen Szene (Immersion). Der Cocktailparty-Effekt führt zu einer signifikant verbesserten Szenenwahrnehmung.In Voruntersuchungen wurden zwei grundlegende Probleme identifiziert. Zum einen müssen bislang die Teilnehmer am fernen Ende Kopfhörer tragen, um den gewünschten räumlichen Höreindruck zu erzielen. Das Tragen von Kopfhörern wird jedoch häufig als unangenehm empfunden und beeinträchtigt die Kommunikation untereinander. Zum anderen werden Kopfbewegungen nicht berücksichtigt, d.h. bei Drehungen des Kopfes dreht sich die komplette akustische Szene mit – ein irritierender Effekt, der nicht der natürlichen Erwartung entspricht. Die Hauptziele für die immersive binaurale Kommunikation sind daher die- binaurale Reproduktion ohne Kopfhörer und ohne konventionellen Head Tracker und die- ortsstabile Wiedergabe des Binauralsignals bei Kopfbewegungen des Zuhörers trotz starrer Position des Kunstkopf-Aufnahmesystems.Für die Steuerung der Lautsprecherwiedergabe mit Übersprechkompensation (Crosstalk Cancellation, CTC) sollen zwei Mikrofone an den Ohren zur Unterstützung der schnellen Systemadaption eingesetzt werden. Gleichzeitig werden die Mikrofonsignale in Verbindung mit Informationen aus dem adaptiven CTC-System für ein akustisches Head-Tracking genutzt.Für die ortsstabile Wiedergabe muss das traditionell als starres Signal betrachtete Binauralsignal im Falle einer Kopfdrehung entsprechend gegengedreht werden. Diese neuartige zeit- und frequenzselektive Modifizierung stellt insbesondere bei mehreren gleichzeitig aktiven Tonquellen auf der Aufnahmeseite eine Herausforderung dar.Durch die zu erforschenden wissenschaftlichen Methoden soll dem Zuhörer das räumliche Eintauchen (Immersion) in die akustische Szene und ihre empfangsseitige Manipulation ermöglicht werden, was zu einer wesentlich natürlicheren und intuitiveren Kommunikation führt. Darüber hinaus sind die zu erwartenden Ergebnisse für zukünftige immersive audiovisuelle Formate und Anwendungen relevant.

• DFG-Verfahren: Sachbeihilfen