Mehrphasige probabilistische Optimierer für tiefe Lernprobleme

• Antragsteller: Professor Dr. Philipp Hennig
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Mathematik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 463889763

Dieser Projektvorschlag zu SPP 2298/1 schlägt die Entwicklung eines neuartigen Paradigmas für das Training tiefer neuronaler Netze vor. Die Besonderheiten tiefer Modelle, insbesondere starke Stochastizität (SNR<1), schließen die Verwendung klassischer Optimierungsalgorithmen aus. Und die Alternativen, von denen es inzwischen viele gibt, gehen verschwenderisch mit Ressourcen um. Anstatt der langen und wachsenden Liste solcher Methoden noch eine weitere Optimierungsregel hinzuzufügen, zielt dieses Projekt darauf ab, durch die Untersuchung von zwei Schlüsselideen wesentliche konzeptionelle Fortschritte zu erzielen: Erstens, die Nutzung der gesamten *Wahrscheinlichkeitsverteilung* von Gradienten über den Datensatz (bzw. einer empirischen Schätzung derselben), um algorithmische Parameter zu identifizieren, die der Benutzer sonst manuell einstellen müsste. Und zweitens die Aufspaltung des Optimierungsprozesses in mindestens drei verschiedene *Phasen* mit unterschiedlichen mathematischen Zielen. Das Ziel ist es, (konkret, als Software-Bibliothek) einen Optimierer zu entwickeln, der keine manuelle Abstimmung erfordert und eine gute Generalisierungsleistung ohne wiederholte Neustarts erreicht.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2298: Theoretische Grundlagen von Deep Learning