GeoMAR: Geometrische Methoden für Adversarial Robustness

• Antragsteller: Professor Dr. Leon Bungert; Dr.-Ing. Leo Schwinn, Ph.D.
• Fachliche Zuordnung: Mathematik ; Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 544579844

Die Anfälligkeit von Deep Learning bezüglich feindlicher Angriffe und sonstiger Störungen stellt in realen Anwendungssituationen ein erhebliches Sicherheitsrisiko dar. Viele Ansätze zur Verbesserung der Robustheit neuronaler Netze sind lediglich heuristisch motiviert und das mathematische Verständnis ihrer Wirkungsweise ist kaum ausgebildet. Infolgedessen hat sich die Mehrzahl der in der Vergangenheit vorgeschlagenen Methoden zum Trainieren robuster neuronaler Netze als unwirksam erwiesen. Eine der wenigen wirklich robusten Ansätze ist Adversarial Training (AT), welches zudem durch eine in der Entwicklung begriffene mathematische Theorie gestützt wird. AT induziert jedoch einen Zielkonflikt zwischen Robustheit auf gestörten und Genauigkeit auf ungestörten Daten. Zusätzliche Datenmengen können hierbei zwar Abhilfe schaffen, allerdings sind derartig datenintensive Methoden sehr rechenintensiv und theoretisch schlecht verstanden. Im Rahmen des Projekts GeoMAR wollen wir eine mathematische Theorie für effektive und robuste Trainingsmethoden entwickeln. Abgesehen von theoretischen Erkenntnissen planen wir auch, das entwickelte Wissen auf praktische Algorithmen zu übertragen. Die Hauptziele von GeoMAR sind die Analyse von robuster Geometrie, die Abmilderung des Zielkonfliktes zwischen Genauigkeit und Robustheit, die Analyse und der Vergleich der geometrischen Eigenschaften von neuronalen Netzen durch neuartige Testzeitmethoden sowie die Skalierbarkeit auf große Datensätze. Um dies zu erreichen, werden wir Robustheit geometrisch interpretieren und sie als Regularitätseigenschaft der Entscheidungsgrenze eines neuronalen Netzes modellieren. Wir werden diesen Standpunkt nutzen, um neue robuste Trainingsmethoden zu entwickeln und sie mit maßgeschneiderten Optimierungsmethoden zu lösen. Die Robustheit dieser Ansätze wird mit Testzeitmethoden quantifiziert und wir werden unsere Algorithmen skalieren, indem wir generative Modelle zur Berechnung von Angriffen nutzen. Die angestrebten Projektergebnisse von GeoMAR sind geometrische, interpretierbare und skalierbare Trainingsmethoden mit nachweisbar besserer Genauigkeit und Robustheit. Somit wird das Projekt das mathematische Verständnis von Robustheit des maschinellen Lernens fördern und effiziente Algorithmen für das Training von Deep-Learning-Systemen für reale Anwendungen entwickeln.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2298: Theoretische Grundlagen von Deep Learning
• Internationaler Bezug: Kanada, USA
• Kooperationspartner: Professor Gauthier Gidel, Ph.D.; Professor Ryan Murray, Ph.D.