Evaluierung der Qualität von Sprachdiensten mit Crowdsourcing

• Antragsteller: Professor Dr.-Ing. Sebastian Möller
• Fachliche Zuordnung: Akustik ; Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 437113546

Die vom Nutzer wahrgenommene Qualität von Internet-Diensten hat in letzter Zeit in der Wissenschaft und Industrie zunehmendes Interesse geweckt. Für Sprachkommunikationsdienste existieren etablierte Empfehlungen für die Bewertung der Sprachqualität. Typischerweise wird sie mittels subjektiver Experimente in einer Laborumgebung bewertet, die es ermöglicht, Störfaktoren wie Hintergrundrauschen zu kontrollieren. Solchermaßen kontrollierte Bedingungen werden für die Validität und Zuverlässigkeit der Qualitätsbewertungen bislang als unentbehrlich erachtet. Laborexperimente erfordern jedoch einen hohen Aufwand an Kosten und Zeit.Crowdsourcing (CS) bietet neue Möglichkeiten für die Qualitätsforschung durch einen globalen Teilnehmerpool und die Verlagerung von Bewertungs-Experimenten ins Internet. Der potenzielle Nutzen von Crowdsourcing-Studien für die Qualitätsmessung besteht darin, dass (a) die Einflussfaktoren der Teilnehmer, bspw. unterschiedliche Sprachkenntnisse oder Höreinschränkungen, auf realistische Weise berücksichtigt werden, dass (b) die Versuche in realistischen akustischen Umgebungen durchgeführt werden, und dass (c) die Kosten und Durchlaufzeiten erheblich reduziert werden können. ITU-T-Empfehlung P.808 gibt hierfür Hinweise zum Einfluss der Merkmale der Teilnehmer, der Testumgebung und des Wiedergabesystems auf die Gültigkeit und Zuverlässigkeit der Qualitätsbewertungen. Sie enthält jedoch weder Anleitungen zur Kontrolle dieser Merkmale, noch eine quantitative Bewertung der Auswirkungen dieser Merkmale auf die Ergebnisse.Dieses Projekt soll die Wissenslücke schließen und mit Hilfe vergleichender Experimente im Labor und mittels CS die folgenden Forschungsfragen beantworten: Wie sollten CS-basierte Experimente zur Bewertung der Sprachqualität aufgebaut werden, um valide und zuverlässige Ergebnisse zu liefern? Wie können insbesondere die Eigenschaften der Testteilnehmer, der Testumgebung und des Wiedergabesystems in Online-Tests gemessen werden? Welche Unterschiede sind zwischen CS- und Labor-basierten Bewertungen zu erwarten? Inwiefern wirken sich diese Unterschiede auf die Entwicklung instrumenteller Modelle zur Vorhersage der Sprachqualität aus?Ergebnisse des Projektes sind neben den Analysen gültige und zuverlässige Testmethoden, um relevante Merkmale (z. B. Umgebungsgeräusche, Hörvermögen) aus der Ferne zu kontrollieren. Diese werden zu einem Vorschlag für die Aktualisierung der ITU-T-Empfehlung P.808 führen. Darüber hinaus wird die Leistung bestehender Modelle zur Vorhersage der Sprachqualität anhand der gesammelten CS-Datensätze (Sprachmaterialien und subjektive Bewertungen) analysiert. Die Datensätze und resultierenden Empfehlungen werden der Forschungsgemeinschaft offen zur Verfügung stehen.

• DFG-Verfahren: Sachbeihilfen