Gradientenabstiegsmethoden für das Lernen tiefer neuronaler Netze (A01)

• Fachliche Zuordnung: Mathematik
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 442047500

Dieses Projekt zielt auf Fortschritte beim Verständnis der Konvergenzeigenschaften von (stochastischen) Gradientenabstiegsmethoden für das Training tiefer neuronaler Netze ab. Wir wollen mehrere Erweiterungen von vorläufigen Ergebnissen der PIs für (vollständig verbundene) lineare Netze erreichen. Zum Beispiel werden wir für das Training strukturierter linearer sowie nichtlinearer neuronaler Netze die Konvergenz zu globalen Minimierern untersuchen. Ein wichtiger Aspekt des Projekts wird die Untersuchung der Riemannschen Geometrie sein,die den entsprechenden Gradientenflüssen zugrunde liegt.

• DFG-Verfahren: Sonderforschungsbereiche
• Teilprojekt zu: SFB 1481: Sparsity und singuläre Strukturen
• Antragstellende Institution: Rheinisch-Westfälische Technische Hochschule Aachen
• Teilprojektleiter: Professor Dr. Holger Rauhut; Professor Dr. Michael Westdickenberg