Phase transition in multi-layered neural networks, statisitical physics and practical algorithms (backpropagation)
Subject Area
Statistical Physics, Nonlinear Dynamics, Complex Systems, Soft and Fluid Matter, Biological Physics
Term
from 1999 to 2003
Project identifier
Deutsche Forschungsgemeinschaft (DFG) - Project number 5179216
Mit Methoden der statistischen Physik soll das Training mehrschichtiger neuronaler Netzwerke mit differenzierbaren Aktivierungsfunktionen untersucht werden. Der Schwerpunkt soll auf Phasenübergängen in solchen Netzwerken liegen, die auftreten, wenn das Training auf einem festen Satz von Beispieldaten beruht.Um typische Ergebnisse für entsprechende Modellsituation zu erhalten, müssen Methoden der statistischen Physik ungeordneter Systeme angewandt und ggf. weiterentwickelt werden. Neben diesen analytischen Rechnungen sollen im Rahmen des Vorhabens auch numerische Simulationen durchgeführt werden. Insbesondere soll geklärt werden, inwieweit die Ergebnisse der statistischen Physik für praktische Lernverfahren, wie z.B. den bekannten Backpropagations-Algorithmus, relevant sind.
DFG Programme
Research Grants
