Lokalisierte Mean-Field Games und kollektive Intelligenz

• Antragsteller: Professor Dr. Heinz Koeppl
• Fachliche Zuordnung: Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Mathematik ; Statistische Physik, Nichtlineare Dynamik, Komplexe Systeme, Weiche und fluide Materie, Biologische Physik
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 517777863

Dieses Projekt konzentriert sich auf das Verständnis agentenbasierter Modelle mit großen Agentenpopulationen, die aufgrund der großen Anzahl von Agenten mit herkömmlichen Methoden nur schwer zu analysieren sind. In den letzten Jahren hat sich insbesondere der Erfolg automatisierter sequentieller Entscheidungsfindung durch Verstärkungslernen (Reinforcement Learning, RL) und Multi-Agenten-Verstärkungslernen (Multi-Agent Reinforcement Learning, MARL) gezeigt. In der Zwischenzeit sind Systeme mit großen Populationen nach wie vor von großem Interesse für eine Reihe von Bereichen in Wissenschaft und Technik, wie z. B. Epidemien, Robotersysteme, Bakterienkolonien, Fischschwärme oder Vogelschwärme. Ganz allgemein fallen diese Szenarien in den Bereich der kollektiven Schwarmintelligenz, die Studie dezentraler Systeme, in denen die Agenten in hohem Maße lokalisiert interagieren und dennoch in der Lage sind, ein globales Verhalten zu erreichen, ohne dass ein einzelner Agent den Gesamtzustand des Schwarms kennt. Solche Systeme bilden die Hauptmotivation für unser Projekt. Während MARL-Techniken empirisch insbesondere für Systeme mit wenigen Agenten wirksam sind, bleiben die theoretische Analyse und der praktische Entwurf von Algorithmen für Systemen mit vielen Agenten schwierig. Eine neulich vorgeschlagene Lösung für das Problem der Skalierbarkeit ist eine Kombination von RL mit der Idee der sogenannten Mean-Field-Games (MFGs). Kompetitive MFGs und kooperative Mean-Field-Control gehen formal von einer unendlichen Anzahl von Agenten aus, was eine statistische Modellierung ermöglicht, d. h. es wird nur die Verteilung jedes einzelnen von unendlich vielen identischen Agenten berücksichtigt. Hier ist es oft möglich, sowohl theoretisch rigorose Ergebnisse für große Systeme als auch praktisch sinnvolle Algorithmen für ansonsten schwer lösbare Probleme zu erhalten. Während solche Mean-Field-Frameworks bereits erfolgreich in einer Vielzahl von Anwendungen wie Stromnetzen, intelligenten Heizungen und anderen Bereichen des Ingenieur- und Finanzwesens eingesetzt werden, müssen die Theorie der MFGs sowie ihre Überschneidungen mit moderner Deep RL und kollektiver Intelligenz noch entwickelt werden. Damit MFGs in Systemen mit großen Populationen weiter Anwendung finden können, ist es notwendig, ein besseres Verständnis von MFGs mit hoher Lokalität zu entwickeln, sowohl in der Informationsstruktur als auch in der Interaktion. Mit anderen Worten, die Agenten haben nur partielles Wissen über das gesamte System und interagieren nur mit einer Teilmenge von Agenten, z. B. mit Nachbarn in einem Graphen. Derartige Systeme sowie algorithmische oder lernbasierte Lösungen müssen noch in ihrer vollsten Allgemeinheit erforscht werden. Die Entwicklung geeigneter Theorien und Algorithmen für die oben erwähnten lokalisierten Mean-Field-Systeme wird daher das Hauptziel unseres Projekts sein.

• DFG-Verfahren: Sachbeihilfen