Verbesserung der Musikwahrnehmung bei Nutzern von Cochleaimplantaten durch Optimierung und Lernen parametrischer Teacher-Student Modelle

• Antragsteller: Professor Dr.-Ing. Rainer Martin; Dr.-Ing. Anil Nagathil
• Fachliche Zuordnung: Akustik
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 544277892

Cochlearimplantate (CI) erlauben die Wiederherstellung des Sprachverstehens bei hochgradigem Hörverlust oder Taubheit, indem sie die auditorische Peripherie überbrücken und den Hörnerv mittels eines Elektrodenträgers elektrisch stimulieren. Dabei unterliegt die Hörwahrnehmung mit CI jedoch größeren technologisch und physiologisch bedingten Einschränkungen. Beispielsweise ermöglicht die geringe Anzahl von Stimulationselektroden in derzeit verfügbaren CIs nur eine grobe Auflösung der spektralen Information, die zudem noch durch die Ausbreitung der elektrischen Stimulation innerhalb der Cochlea negativ beeinflusst wird. Dies führt dazu, dass CI-Nutzern die Identifikation von Melodien und die Unterscheidung von Musikinstrumenten nicht leicht fällt. Die spektrale und zeitliche Komplexität polyphoner Musik erschwert somit den Zugang zur Musik und zieht einen verringerten Musikgenuss nach sich. Um die Komplexität von Musiksignalen zu verringern und damit die Musikwahrnehmung für CI-Nutzer zu verbessern, wurden in bisherigen Arbeiten Algorithmen für die Musikvorverarbeitung entwickelt, die essentielle Komponenten des Musiksignals relativ verstärken und damit deren Übertragung an der Schnittstelle zwischen Elektroden und Hörnerv verbessern. Allerdings hängt der Nutzen dieser in Versuchen mit CI-Hörern evaluierten Verarbeitungsstrategien stark von der Art der verwendeten Musik ab. Hieraus leiten wir die Notwendigkeit flexiblerer und anpassbarer Musikverarbeitungsalgorithmen ab. Das Hauptziel dieses Projekts ist es, CI-Nutzern durch neue Verfahren für die Musiksignalverarbeitung den Zugang zu den essentiellen Merkmalen von Musik zu ermöglichen und damit den Musikgenuss zu verbessern. Hierfür werden wir ein parametrisierbares Musikverarbeitungsmodell entwickeln, das für spezifische Musikstile und Komplexitätsniveaus signaladaptiv und nutzerorientiert optimiert werden kann. Dazu werden Methoden entwickelt, die zunächst individuelle Musikspuren (d.h. separate Instrumente oder Stimmen) weiterverarbeiten und dann einen verbesserten Remix aller verarbeiteter Spuren erzeugen. Dieses neue, an CI-Hörer angepasste Quellenmischmodell wird als Teacher-Modell bezeichnet. Die Optimierung der Verarbeitungsparameter des Teacher-Modells wird durch unterschiedliche Kostenfunktionen gesteuert, die einerseits auf auditorischen Modellen des normalen und elektrischen Hörens basieren und andererseits das Feedback von Normalhörenden und CI-Nutzern verwenden. Durch diese Methodik sollen optimierte Parametereinstellungen des Teacher-Modells unter Berücksichtigung musikalischer Eigenschaften wie z.B. Genre, Komplexität oder Tempo bestimmt werden. Die so optimierten Teacher-Modelle werden dann durch DNN-basierte Student-Systeme approximiert, die – anders als die Teacher-Modelle – keine separaten Musikspuren benötigen, sondern alleine auf der Grundlage des originalen Musiksignals einen für CI-Hörer angepassten Remix erzeugen können.

• DFG-Verfahren: Sachbeihilfen