Phase transition in multi-layered neural networks, statisitical physics and practical algorithms (backpropagation)

• Applicant: Professor Dr. Michael Biehl
• Subject Area: Statistical Physics, Nonlinear Dynamics, Complex Systems, Soft and Fluid Matter, Biological Physics
• Term: from 1999 to 2003
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 5179216

Mit Methoden der statistischen Physik soll das Training mehrschichtiger neuronaler Netzwerke mit differenzierbaren Aktivierungsfunktionen untersucht werden. Der Schwerpunkt soll auf Phasenübergängen in solchen Netzwerken liegen, die auftreten, wenn das Training auf einem festen Satz von Beispieldaten beruht.Um typische Ergebnisse für entsprechende Modellsituation zu erhalten, müssen Methoden der statistischen Physik ungeordneter Systeme angewandt und ggf. weiterentwickelt werden. Neben diesen analytischen Rechnungen sollen im Rahmen des Vorhabens auch numerische Simulationen durchgeführt werden. Insbesondere soll geklärt werden, inwieweit die Ergebnisse der statistischen Physik für praktische Lernverfahren, wie z.B. den bekannten Backpropagations-Algorithmus, relevant sind.

• DFG Programme: Research Grants
• Participating Persons: Professor Dr. Wolfgang Kinzel; Privatdozent Dr. Georg Reents