Lernen tonaler Darstellungen von Musiksignalen mittels Deep Neural Networks

• Antragsteller: Professor Dr.-Ing. Christof Weiß
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2020 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 443992185

Im Zuge der fortschreitenden Digitalisierung ist auch die musikwissenschaftliche Forschung einem grundlegenden Wandel unterworfen. Die Verfügbarkeit digitalisierter Daten und spezialisierter Algorithmen ermöglicht Analysen umfangreicher Musikkorpora. Solche Korpusanalysen werden mittlerweile auch auf Basis von Audiodaten durchgeführt, wobei Techniken der digitalen Signalverarbeitung und des maschinellen Lernens zum Einsatz kommen. Hierbei spielt die tonale Analyse der Musiksignale im Hinblick auf Akkorde, Skalen und Tonarten eine entscheidende Rolle. Traditionelle Analysemethoden nutzen Signalverarbeitungstechniken zur Extraktion tonaler Merkmalsdarstellungen, die das Auftreten musikalischer Tonhöhenklassen andeuten und damit direkt interpretierbar sind. Wesentliches Ziel dieses Projektes ist der Einsatz von Deep-Learning-Techniken zur Erarbeitung tonaler Darstellungen, die interpretierbar, robust und invariant gegenüber Klangfarbe, Besetzung und akustischen Eigenschaften von Musiksignalen sind. Dabei baut das Projekt auf komplexe Szenarien klassischer Musik auf, in denen synchronisierte Notentexte und verschiedene Einspielungen der Werke genutzt werden können, um Algorithmen zu trainieren, zu validieren und zu testen. Aus technischer Perspektive kommen Lernalgorithmen zur Generierung von Tonhöhen- und Salienzdarstellungen zum Einsatz. Neben weiteren Methoden sollen insbesondere Techniken des "Sequence Learning", die mit groben zeitlichen Korrespondenzen umgehen können, und "U-Net-Architekturen", die von der hierarchischen Struktur tonaler Musik inspiriert sind, getestet werden. In Anwendung der entwickelten Darstellung auf komplexe Musikszenarien sollen robuste Verfahren zur tonalen Analyse entwickelt werden, die die Vorteile der Deep-Learning-Algorithmen ausnutzen und somit das Potential haben, die computergestützte Musikanalyse auf eine neue Qualitätsstufe anzuheben.

• DFG-Verfahren: Forschungsstipendien
• Internationaler Bezug: Frankreich
• Gastgeber: Professor Geoffroy Peeters