Ein Funktionsmodell für Emotionen

• Antragsteller: Dr. Prakhar Godara
• Fachliche Zuordnung: Allgemeine, Kognitive und Mathematische Psychologie
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 546913108

Das zweijährige Forschungsprojekt untersucht die Rolle von Emotionen bei der Entscheidungsfindung beim Reinforcement Learning (RL). Das Hauptziel besteht darin, emotionale Mechanismen in das RL-Framework zu integrieren und Emotionen als hierarchische Steuerung für einen Basis-RL-Agenten zu konzeptualisieren. Dieser Ansatz ist breit angelegt und deckt mehrere theoretische Perspektiven auf emotionsbasierte RL-Agenten ab. Anstatt die spezifische Form der emotionalen Kontrolle vorab zu definieren, behandelt das Projekt emotionale Mechanismen als Ergebnis eines Optimierungsproblems und orientiert sich dabei an evolutionären Emotionstheorien. Während diese Perspektive für intrinsische Belohnungssignale angepasst wurde, erweitern wir sie allgemeiner auf emotionale Kontrolle. Indem das Projekt darauf verzichtet, eine feste emotionale Kontrollstruktur vorzuschreiben, untersucht es die Beziehung zwischen Umgebungen und Agentenemotionen. Dieses Wissen verspricht, dabei zu helfen, den Ursprung emotionaler Mechanismen zu verstehen und allgemein intelligente künstliche Agenten zu entwickeln. Die hierarchische Kontrolle des emotionalen Mechanismus beeinflusst den Basisagenten in drei Schlüsselbereichen: 1. Lernen: Der Lernprozess des Agenten wird modifiziert, indem beispielsweise Erinnerungen bevorzugt gewichtet werden, um die erlernte Darstellung der Umgebung zu verändern. 2. Planung: Bei der Verwendung des Agentenmodells zur Vorhersage von Zukünften (Rollouts) ermöglicht der emotionale Mechanismus dem Agenten, Flugbahnen selektiv abzutasten, ähnlich einer Aufmerksamkeitskontrolle. 3. Aktionsauswahl: In jedem Zeitschritt werden potenzielle Zukünfte auf der Grundlage der erwarteten Belohnungen eingestuft. Der emotionale Mechanismus führt zu einer intrinsischen Belohnung, die sich bis in die Zukunft des Agenten erstreckt. Der Agent maximiert eine lineare Kombination aus extrinsischen und intrinsischen Belohnungen. Zu den Hauptzielen gehört eine eingehende Untersuchung dieser Funktionen und die Identifizierung exklusiver Verhaltensdynamiken. Das Hauptziel des Projekts besteht darin, die theoretischen Konsequenzen der Modellierung von Emotionen als hierarchische Kontrolle zu untersuchen, wie sie in der vorhandenen Literatur implizit durchgeführt wird. Das Modell wird hauptsächlich in Bandit-Aufgaben für klare theoretische Vorhersagen veranschaulicht.

• DFG-Verfahren: WBP Stipendium
• Internationaler Bezug: USA
• Gastgeber: Professor Marcelo Mattar