Algorithmisches Differenzieren: Planung und Kontrolle

• Antragsteller: Professor Dr. Uwe Naumann
• Fachliche Zuordnung: Rechnerarchitektur, eingebettete und massiv parallele Systeme ; Künstliche Intelligenz und Maschinelle Lernverfahren ; Softwaretechnik und Programmiersprachen
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 551025029

Das beantrage Projekt beschäftigt sich mit der Optimierung differenzierbarer Programme und der darauf basierenden differenzierten Programme. Letztere spielen traditionell eine zentrale Rolle bei der Simulation und Optimierung von Phänomenen in den Ingenieur-, Natur- und Lebenswissenschaften. Aktuelle algorithmische Entwicklungen auf dem Gebiet der künstlichen Intelligenz und des maschinellen Lernens basieren ebenfalls auf der möglichst effizienten Berechnung von Ableitungen von Zielfunktionen, welche in Form von differenzierbaren Programmen vorliegen. Die überwiegende Mehrzahl etablierter Methoden für die Kalibrierung parametrisierter numerischer Simulationen sowie, prinzipiell analog, für das effiziente Training von Modellen für die effektive Inferenz im Rahmen diverser praktisch relevanter Problemstellungen benötigt zumindest erste Ableitungen (Gradienten bzw. Jacobimatrizen), woraus sich der Fokus des Projekts auf algorithmisches Differenzieren erster Ordnung ergibt. Die zentrale Forschungsfrage kann wie folgt formuliert werden: Wie sollten differenzierbare bzw. differenzierte Programme modelliert, optimiert und implementiert werden, so dass sich theoretisch näherungsweise optimale Lösungen für die effiziente Berechnung von Jacobimatrizen in entsprechender Reduktion der Laufzeit des differenzierten Programms übersetzen? Formale Methoden zur approximativen Lösung der inhärenten kombinatorischen Optimierungsprobleme sollen weiterentwickelt werden. Der Fokus liegt auf der Übertragbarkeit von theoretischer Kostenreduktion auf reale Anwendungen. Wir erwarten, damit einen signifikanten Beitrag zur nachhaltigen Verwendung ableitungsbasierter numerischer Methoden im wissenschaftlichen Rechnen sowie im wissenschaftlichen maschinellen Lernen zu leisten.

• DFG-Verfahren: Sachbeihilfen