Die theoretischen Grundlagen von Lebenslanges bestärkendes Lernen

• Antragstellerin: Claire Vernade, Ph.D.
• Fachliche Zuordnung: Theoretische Informatik
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 468806714

Lebenslanges bestärkendes Lernen (Lifelong Reinforcement Learning, LRL) ist ein kürzlich eingeführtes Paradigma für maschinelles Lernen, mit dem interaktive Lernagenten in der Lage sind, über verschiedene Aufgaben hinweg Fähigkeiten auf hohem Niveau zu erlernen. Ziel ist es zu lernen, wie man die richtigen Informationen aus früheren Aufgaben speichert und sie für zukünftige ähnliche Aufgaben angemessen wiederverwendet. Diese Ideen wurzeln in Studien über menschliches Lernen und kombinieren interessanterweise die leistungsstarken Paradigmen des Meta-Lernens und des bestärkenden Lernens.Die bisherige Forschung zu LRL ist jedoch bislang überwiegend empirisch und es fehlen konsistente Metriken, Ziele und ein kanonisches statistisches Modell. Unsere Hauptforschungsfrage lautet: Wie schwer ist LRL? Können wir einen optimalen und rechnerisch effizienten Agenten entwerfen? Was sind die kanonischen Lernprobleme, die dieser Agent lösen sollte?Dieses Projekt schlägt vor, die theoretischen Grundlagen von LRL (Foundations of LRL, FoLiReL) zu konstruieren und zum Verständnis der statistischen Kompromisse beizutragen, die bei diesem langfristigen Erkundungs-Ausnutzungsproblem auf dem Spiel stehen.Wir werden Theorien des Meta-Lernens und des bestärkenden Lernens sowie unsere jüngsten Fortschritte bei mehrarmigen Banditen miteinander verbinden. Insbesondere werden wir die Komplexität des Problems unter dem Gesichtspunkt statistischer unterer Schranken der erreichbaren Metriken untersuchen. Basierend auf diesem neuen Begriff der Optimalität werden wir den Maßstab für zukünftige theoretische oder empirische Forschungen auf diesem Gebiet legen.

• DFG-Verfahren: Emmy Noether-Nachwuchsgruppen