Informierte Erkundung beim Verstärkungslernen mittels intuitiver physikalischer Modelle

• Antragsteller: Professor Jan Reinhard Peters, Ph.D.
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 516414603

Eine große wissenschaftliche Herausforderung bei den Anwendungen von Robotern ausserhalb von Laboren und Fabrikhallen besteht darin, mit der großen Vielfalt an Umgebungen und Szenarien fertig zu werden. In Anbetracht dieser enormen Vielfalt ist die Programmierung eines Roboters, der alle möglichen Szenarios vorausschauend abdeckt, zum Scheitern verurteilt, wenn der Roboter nicht in der Lage ist, sich anzupassen und selbst zu verbessern. Nur allgemeine Lernalgorithmen ergänzt durch aufgabenspezifisches Fachwissen können die Generalisierung und Autonomie gewährleisten. Diese Algorithmen sollten die physische Welt auf sinnvolle Weise erforschen und mit ihr interagieren, um sich ständig an ihre wechselnden (Teil-)Ziele anzupassen. Reinforcement Learning (RL) ermöglicht es Agenten, sich durch Interaktion an seine Umgebung anzupassen. Der Agent erkundet seine Umgebung, indem er Aktionen ausführt, Informationen sammelt und erhält einen Anreiz zur Anpassung durch Belohnungen. In den letzten Jahren hat sich RL zu einem äußerst leistungsfähigen Künstlichen Intelligenz Ansatz entwickelt, wie die Erfolge beim Besiegen von Großmeistern im Brettspiel Go zeigten. Diese Agenten wurden aber alle auf speziellen Simulatoren trainiert, die für die jeweilige Aufgabe entwickelt wurden, und in jedem Fall stellte der jeweilige Simulator die gesamte Realität des Agenten dar. Gelernte Lösungen versagten oft bei kleinen, für den Menschen unbedeutenden Veränderungen der Umgebung. Die Entwicklung von RL-Algorithmen die sich schnell an Veränderungen in der Umgebung anpassen, ist eine wichtige offene Forschungsfrage und Kern dieses Projekts. Um die Anpassungsfähigkeit von RL an Veränderungen in der Umwelt zu verbessern, planen wir intuitive physikalische Modelle (IPMs) zu nutzen. IPMs, quasi der “Physik des gesunden Menschenverstands” werden im RL derzeit noch nicht genutzt. In diesem Projekt untersuchen wir daher, wie physikalische Kernmerkmale der Umgebung, die die IPMs bilden, autonom entdeckt, gelernt und genutzt werden können. Der Hauptunterschied zum traditionellen modellbasierten RL besteht darin, dass IPMs nicht versuchen werden, alle Informationen der Umgebung gleichermaßen zu erfassen, sondern eher abstraktere und schematischere Modelle erlernen, welche sich besser an Veränderungen in der Umgebung anpassen können. Ein IPM wird zum Beispiel vorhersagen, ob ein fallendes Glas zerbrechen wird, aber es wird nicht versuchen, die genaue Position der Glasscherben nach dem Aufprall zu modellieren. Die Identifizierung dieser Schlüsselereignisse in der Umwelt, das Lernen von Modellen aus Daten und die Verwendung dieser Modelle in RL werden unsere Hauptforschungsrichtungen sein. Die Entwicklung von RL-Algorithmen, die sich auf alle derartigen Aufgabenvariationen verallgemeinern lassen, wird ein wichtiger Beitrag sowohl für das maschinelle Lernen als auch für potentielle Anwendungen in der Robotik sein..

• DFG-Verfahren: Sachbeihilfen