Experimente und Modelle des Sprachverstehens für tonale und nicht tonale Sprachsysteme (EMSATON)

• Antragsteller: Professor Dr. Birger Kollmeier
• Fachliche Zuordnung: Akustik ; Elektronische Halbleiter, Bauelemente und Schaltungen, Integrierte Systeme, Sensorik, Theoretische Elektrotechnik ; Hals-Nasen-Ohrenheilkunde, Phoniatrie und Audiologie
• Förderung: Förderung von 2019 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 415895050

Die menschliche Sprachkommunikation ist die Grundlage unserer Kultur. Trotz großer Ähnlichkeit der Artikulationsorgane und des Ohrs für alle Menschen nutzen verschieden Sprachen sehr unterschiedliche Lösungen, um effizient zu kommunizieren– nicht nur in Ruhe, sondern auch unter schwierigen akustischen Bedingungen und bei Hörstörungen. Das vorliegende Projekt will erkunden, wie dies erreicht wird, indem die akustischen, phonetischen und audiologischen Grundlagen der Verständlichkeit von Sprache bei tonalen und nicht-tonalen Sprachen erforscht werden. Dazu soll die Fähigkeit von Modellen zur Spracherkennung untersucht werden, die Unterschiede in der Verständlichkeit zwischen tonalen und nicht-tonalen Sprachen zu beschreiben.Das langfristige Ziel von EMSATON ist ein quantitatives Verständnis der Einschränkung menschlicher Spracherkennungs-Leistung im Störschall sowie des Einflusses von verschiedenen Sprechern, des Sprechaufwands (Lombard-Effekt), verschiedener Sprachsysteme (tonale (Mandarin, Kantonesisch) gegenüber westlichen Sprachen (Deutsch, Englisch, Spanisch) und von verschiedenen Einschränkungen (d.h. Art des Störschalls, Nachhall, individuelle Schwerhörigkeit). Wir werden den geschlossenen multilingualen Matrix-Test (auf Deutsch: Oldenburger Satztest) nutzen und erweitern, der die individuelle Spracherkennungs-Leistung auf sehr vergleichbare Weise für derzeit mehr als 20 Sprachen erfassen kann (darunter Deutsch, britisches und amerikanisches Englisch, Spanisch und seit kurzem Mandarin). Wir werden den kantonesischen Matrix-Test als eine zweite Referenz für tonale Sprachen entwickeln und die neuen tonalen Sprachtests zu den nicht-tonalen Sprachen in Beziehung setzen. Wir werden auch den Sprecher-Effekt durch den Einsatz (bilingualer) Sprecher untersuchen sowie den Einfluss des Lombard-Effekts (erhöhter Sprechaufwand bei Hintergrund-Lärm). Objektive akustisch-phonetische Analysen und Sprachverständlichkeits-Modellierung werden genutzt, um die Unterschiede und die Wichtigkeit verschiedener Sprachmerkmale zwischen verschiedenen Sprachen (tonal vs. nicht-tonal) ebenso zu klären wie für den Einfluss von Sprecher und Sprachaufwand. Um relevante Faktoren für Sprach-bezogene Unterschiede zwischen sehr verschiedenen Sprachen zu identifizieren und eine Reihe von Annahmen vorhandener Modelle wie SII, HASPI, STOI oder das FADE-Modell testen zu können, werden die Daten für verschiedene Sprachen, Sprecher und Sprechaufwände zur Bestimmung der Vorhersage-Genauigkeit dieser Modelle und als Benchmark von Daten und ihren Vorhersagen verwendet. Dies wird uns die Grundlage für eine quantitative, modellbasierte Analyse des Spracheffekts und verschiedener zugrundeliegender Faktoren liefern für tonale Sprachen (Mandarin, Kantonesisch) und typische nicht-tonale Sprachen. Eine mögliche Anwendung könnten Richtlinen zur Entwicklung von Sprach-angepassten Hörhilfen sein, die den jeweiligen Benefit für tonale und nicht-tonale Sprachnutzer optimieren.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: China, China (Hongkong)
• Mitverantwortlich(e): Dr. Anna Warzybok
• Kooperationspartnerinnen / Kooperationspartner: Professor Dr. Fei Chen; Professorin Dr. Lai Nar Lena Wong