Reinforcement learning on different time scales

• Applicant: Professor Dr. Wolfram Menzel (†)
• Subject Area: Theoretical Computer Science
• Term: from 2000 to 2003
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 5246786

Im beantragten Projekt sollen durch Lernen auf verschiedenen Zeitebenen effizientere Lernalgorithmen erarbeitet werden. Entsprechende Konzepte der zeitlichen Abstraktion existieren bisher nur für den Fall, daß eine Dekomposition des Gesamtproblems in Teilprobleme bereits vorgegeben ist. Durch die hierauf beruhende Strukturierung konnte eine drastische Reduktion der Lernzeiten erreicht werden. Im beantragten Projekt soll nun zeitliche Abstraktion auch dann genutzt werden, wenn eine Zerlegung in Teilprobleme nicht offensichtlich ist, z. B. bei Maschinenzuteilungsproblemen in Produktionsprozessen oder bei Regelungsaufgaben. Die hierzu erforderlichen neuen Algorithmen müssen Konzepte der zeitlichen Abstraktion in den Reinforcement-Lernansatz integrieren. Zentrales Konzept ist das der Blockaktion. Blockaktionen sind Folgen derselben Aktionen, deren Längen jedoch variieren und während des Lernens festgelegt werden. Hierdurch ergibt sich dann im Nachhinein eine Strukturierung des Problems. Sobald zugehörige Algorithmen erarbeitet sind, läßt sich ein erfolgreicher Einsatz von Reinforcement-Lernen auch bei solchen sequentiellen Entscheidungsproblemen erwarten, die aufgrund eines sehr großen Zustandsraums und mangelnden Vorwissens über eine helfende Struktur bislang nur schwer zugänglich waren.

• DFG Programme: Research Grants
• Participating Person: Professor Dr. Martin Riedmiller