Detailseite
Projekt
Stability and Solvability in Deep Learning
Antragsteller
Professor Dr. Felix Voigtlaender
Fachliche Zuordnung
Mathematik
Förderung
Förderung seit 2021
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 448518204
Eine Herausforderung des digitalen Zeitalters sind automatisierte Entscheidungsverfahren, die oft auf Klassifizierungsalgorithmen basieren. In der Bildklassifizierung soll der Computer zum Beispiel die Objekte benennen, die in einem Bild zu sehen sind. Diese Aufgabe ist so komplex, dass sie sich nicht mittels eines explizit geschriebenen Programms lösen lässt. Deshalb benutzt man Methoden der künstlichen Intelligenz, mittels denen der Computer anhand von Trainingsbeispielen lernt, die gegebene Aufgabe zu lösen. In den letzten 10 Jahren hat sich die Methode des Deep Learning als vorherrschende Technik in diesem Bereich entwickelt. Hierbei werden die sogenannten Gewichte eines neuronalen Netzes anhand von Trainingsdaten angepasst. Diese Gewichte legen die Stärke der Verbindungen zwischen den Neuronen des Netzes fest. Die übliche Methode, um das Netz zu trainieren, besteht darin, ausgehend von zufällig initialisierten Gewichten iterativ die Gewichte so anzupassen, dass der Fehler den das Netz auf den Trainingsdaten macht, minimiert wird. Hierbei verwendet man die Methode des steilsten Abstiegs (Gradientenverfahren).Für eine Vielzahl von praktischen Anwendungen liefern Deep Learning Verfahren deutlich bessere Ergebnisse als andere Klassifizierungsalgorithmen. Das mathematisch-theoretische Verständnis dafür, warum dies so ist, ist allerdings noch lückenhaft. Ein praktisch relevantes Beispiel für ein Phänomen, das nur unzureichend verstanden ist, ist die Instabilität von neuronalen Netzen bezüglich minimaler Änderungen der Eingabe. Zum Beispiel könnte ein Netz das Bild einer Katze korrekt als Katze klassifizieren, aber wenn man das Bild minimal (für den Menschen nicht sichtbar ändert), wird das Netz das geänderte Bild fälschlicherweise als Hund klassifizieren.Das Ziel dieses Projekts ist es, dieses Phänomen anhand der folgenden drei Punkte zu untersuchen und zu formalisieren:1. Beweise mathematisch, dass die momentanen Trainingsmethoden für neuronale Netze als Nebeneffekt die oben erwähnte Instabilität verursachen. Führe eine mathematische Analyse der meistgenutzten Algorithmen für das Finden von kleinen Änderungen, die zu Fehlklassifikationen führen, durch.2. Untersuche existierende, teilweise erfolgreiche Ansätze um solche Instabilitäten zu vermeiden. Führe einen neuen Ansatz für das Training von neuronalen Netzen ein, der Stabilitätsgarantien liefert, aber dabei die Genauigkeit des trainierten Netzes nicht negativ beeinflusst.3. Analysiere die Berechenbarkeit dieser und anderer Trainingsmethoden. In voller Allgemeinheit ist das Problem, den Fehler den das Netz auf den Trainingsdaten macht, zu minimieren, nicht berechenbar. Da sich neuronale Netze in der Praxis aber erfolgreich trainieren lassen, gilt es zu analysieren, welche Bedingungen an die Trainingsdaten garantieren, dass dieses Problem berechenbar ist.
DFG-Verfahren
Emmy Noether-Nachwuchsgruppen
Internationaler Bezug
Großbritannien, Niederlande, Österreich
