Multiskalendynamik neuronaler Netze über stochastische Graphoperatoren

• Antragsteller: Dr. Maximilian Engel; Professor Christian Kühn, Ph.D.
• Fachliche Zuordnung: Mathematik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 463883089

Deep Learning in künstlichen neuralen Netzwerken ist ein äußerst effektives und flexibles Instrument zur Lösung hochkomplizierter analytischer und prädiktiver Aufgaben in verschiedensten Anwendungen. Ein vollständiges theoretisches, insbesondere mathematisches, Verständnis von Deep Neural Networks und der damit verbundenen Algorithmen ist bisher nicht möglich. Das vorliegende Forschungsvorhaben zielt darauf ab, mehrere aktuelle Methoden aus der Theorie der dynamischen Systeme dazu zu nutzen, ein neues rigoroses Gerüst für maschinelles Lernen im Kontext von Deep Neural Networks zu entwickeln.Ein Kernpunkt unserer Analyse solcher Netzwerke besteht darin, zwei verschiedene dynamische Zeitskalen auszumachen, die dann in einem stochastischen Multiskalensystem zusammengebracht werden können. Auf der einen Seite widmen wir uns der "schnellen" Dynamik, die in Form der Informationsausbreitung durch das große adaptive Netzwerk gegeben ist. In diesem Zusammenhang sollen Grenzsysteme von integro-partiellen Differentialgleichungen im unendlichen Netzwerklimes hergeleitet und analysiert werden, indem die Theorie von Graphoperatoren, auch graphops genannt, genutzt und weiterentwickelt wird. Auf der anderen Seite soll die "langsame" stochastische Dynamik des Lernvorgangs untersucht werden, die in der Anpassung der Gewichte im adaptiven Netzwerk besteht; hierbei setzen wir den Fokus auf stochastischen Gradientenabstieg, seine Metastabilitätseigenschaften und die Interpretation über zufällige dynamische Systeme.Die zwei dynamischen Skalen werden in einem dritten Schritt zu einem vollständigen Model des neuronalen Netzes zusammengeführt, sodass der Zusammenhang von stochastischem Lernen, dynamischer Robustheit und analytischer Expressivität erfasst werden kann; dabei erwarten wir, bestimmte Muster und ihre repräsentative Bedeutung erklären und vorhersagen zu können. Die mathematische Beschreibung stützt sich dabei auf verschiedene Bereiche wie stochastische Dynamik, Ergodentheorie, adaptive Netzwerke, Graphlimites und Multiskalendynamik.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2298: Theoretische Grundlagen von Deep Learning