Videobasierte Erfassung von Gestik und Mimik für die Gebärdenpracherkennung

• Antragsteller: Professor Dr.-Ing. Karl-Friedrich Kraiss
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2000 bis 2006
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 5292154

Gebärdensprachen stellen vollwertige lebendige Sprachen für die Kommunikation von und mit Gehörlosen dar. Die Vermittlung linguistischer Inhalte erfolgt dabei durch die Kombination von manuellen und nicht-manuellen Parametern. Leider werden Gebärdensprachen nur von wenigen Hörenden beherrscht. Daher kann die computergestützte Erkennung von Gebärdensprache in Anwendungen wie Übersetzungs- oder Lernsystemen als Hilfsmittel zur Integration von Gehörlosen in unsere vornehmlich aus Hörenden bestehende Gesellschaft eingesetzt werden. Ein System zur Erkennung der deutschen Gebärdensprache wird derzeit am LTI entwickelt. Es arbeitet mit einer Videokamera als Eingabegerät und farbig markierten Handschuhen zur Extraktion der manuellen Parameter. Erkannt werden ganze Gebärdensätze aus einem thematisch beschränkten Vokabular von 152 Gebärden mit einer Akkuratheit von 91,9%. Ziel ist die Erweiterung des existierenden Systems um ein größeres themenunabhängiges Vokabular, dessen Realisierung durch Gebärden-Untereinheiten -ähnlich den Phonemen in der Lautsprache - beabsichtigt ist. Ebenso wird die Interpretation der Mimik des Gebärdenden angestrebt, weil sich darüber wichtige sprachliche Inhalte codieren lassen. Desweiteren soll das System an die Bedingungen einer realistischen Umgebung angepaßt werden, um eine umgebungs-, benutzer- und hilfsmittelunabhängige Funktionalität zu gewährleisten.

• DFG-Verfahren: Sachbeihilfen