Zur FLExibilität und Stabilität der Gesten-SprecH-Koordination: Indizien aus der multimodalen Produktion, des Verständnisses und der Imitation (FLESH)

• Antragstellerinnen / Antragsteller: Aleksandra Cwiek; Dr. Susanne Fuchs; Wim Pouw, Ph.D.
• Fachliche Zuordnung: Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 502013782

Sprache und Gesten sind ein Orchester von Bewegungen, die für kommunikative Ziele zusammenwirken. Frühere Studien haben gezeigt, dass Sprache und Gesten koordiniert werden. Es ist jedoch weniger klar, wie stabil oder flexibel die Koordination ist und wie sich Koordination entwickelt. Im FLESH-Projekt gehen wir davon aus, dass die Koordination zwischen Sprache und Gesten mit der Bedeutung verbunden ist und eine wesentliche Rolle im semiotischen Prozess spielt. Die Originalität unseres Ansatzes besteht darin, dass wir motorische Eigenschaften mit einbeziehen. Wir gehen davon aus, dass eine stabile Gesten-Vokal-Koordination die geringere Masse und die höheren Geschwindigkeiten der Sprechbewegungen im Vergleich zu Armgesten berücksichtigen muss. Im Gegensatz zu vielen früheren theoretischen Ansätzen betrachten wir die Koordination zwischen Sprache und Gesten als wesentlich für die Sprachevolution. Bislang wurde die motorische Kontrolle und die Koordination von Gesten und Sprache für die Sprachevolution nicht näher untersucht. Stattdessen konzentrierten sich ältere Arbeiten oft entweder auf die Vokalisation oder die Geste und ließen dabei deren Koordination außer Acht. Im FLESH-Projekt wollen wir dies ändern, indem wir die Koordination von Vokalisationen und Gesten im Ausdruck von Bedeutung untersuchen. FLESH ist in vier Arbeitspakete (AP) unterteilt. In AP 1 untersuchen wir die natürlichen Merkmale von Gestik und Vokalisation getrennt und in Kooperation. Wir untersuchen, welche Koordinationstendenzen für das Verständnis der Bedeutung von gestisch-vokalen Äußerungen relevant sind. In Arbeitspaket 2 werden modernste Technologien und Signalverarbeitungsmethoden eingesetzt, um die Koordination des Orchesters aus mehreren Bewegungen bei Imitation zu untersuchen. Wir untersuchen die beteiligten gestisch-stimmlichen Bewegungen mit einer hohen Granularität, um herauszufinden, ob bestimmte Bewegungsarten bei bedeutungsvollen oder nicht bedeutungsvollen Imitationen eher koordiniert werden. In Arbeitspaket 3 untersuchen wir, wie sich gestisch-stimmliche Äußerungen entwickeln, wenn sie von einem Nachahmer zum nächsten weitergegeben und imitiert werden. Dieses Experiment wird die Sprachevolution im Labor simulieren. Der Schwerpunkt liegt auf der Frage, wie sich die Koordinationstendenzen bei der Wiederholung von gestisch-vokalen Äußerungen von einer Kette zur nächsten ändern oder verstärken. In AP 4 werden wir die zeitliche Koordination zwischen Vokalisierung und Geste künstlich verändern, um zu sehen, ob dies die semantische Verarbeitung beeinflusst. Darüber hinaus werden Gesten-Vokal-Äußerungen präsentiert, die in ihrer Bedeutung nicht übereinstimmen, um zu sehen, ob sich daraus neue Bedeutungen ergeben. Das FLESH-Projekt wird sich auf das theoretische Verständnis der Gesten-Sprach-Beziehungen, die Beziehung zwischen Bedeutung und motorischer Koordination und ihre Rolle in der Sprachevolution auswirken.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2392: Visuelle Kommunikation. Theoretische, empirische und angewandte Perspektiven (ViCom)
• Internationaler Bezug: Niederlande