Erwerb neuer Einsichten in die neuromuskuläre Gangkontrolle durch Deep Reinforcement Learning

• Antragsteller: Professor Jan Reinhard Peters, Ph.D.; Professor Dr. André Seyfarth
• Fachliche Zuordnung: Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 456562029

Muskuloskeletale Krankheiten sind eine der häufigsten Erkrankungen des Menschen. Dieses Krankheitsrisiko nimmt in vielen Ländern mit einer alternden Bevölkerung so wie in Deutschland zu. Assistenzsysteme (z.B. Exoskelette, Prothesen) können die menschliche Bewegung und die Gangfunktion (z.B. Gleichgewicht, metabolische Kosten) unterstützen. So konnte gezeigt werden, dass der menschliche Gang durch ein Exoskelett mit nutzer-spezifischen Regelparametern bei Verwendung der human-in-the-loop (HIL) Optimierung verbessert werden kann. Der HIL Ansatz ist jedoch beschränkt bezüglich der Anpassungsfähigkeit des Ganges und der Optimierungszeit. Der große Zeitaufwand zur Bestimmung der optimalen Parameter beschränkt dabei die Praktikabilität des Ansatzes (z.B. für ältere Menschen oder Patienten) sehr deutlicj. Ein dynamisches neuromuskuläres Gangmodell welches in der Lage ist, vielseitiges Laufverhalten auf kinematisch, kinetischer und auf Muskelebene zu beschreiben, könnte helfen, die benötigte Optimierungszeit drastisch zu senken, indem die Parameter zunächst im Modell bestimmt und dann auf das reale Bewegungsszenario übertragen werden. Unter Berücksichtigung der komplexen neuromuskulären Regelprozesse des Menschen schlagen wir daher vor, eine modellbasierte Entwicklungsumgebung basierend auf tiefem Reinforcement-Lernen zu entwickeln, welche zur Generation von vielseitigem Gangverhalten geeignet ist. Durch die Simulation der muskel-skeletalen Laufdynamik erwarten wir eine verbesserte Vorhersagefähigkeit auf drei Ebenen: 1) individueller gleichmäßiger und wechselhafter Gang, 2) Störantwort auf unerwartete Gang-Störungen, und 3) Gang Assistenz Dynamik.Das gelernte neuronale Netzwerkmodel wiederspiegelt dabei (schematisch) die neuronalen Strukturen des Rückenmarks mit der Projektion von sensorischen Eingängen auf die Muskelstimulierungen. Wir benutzen die Gangdaten aus vielfältigen Gangsituationen für das Lernen des Modells, um das Laufverhalten in allen drei oben beschriebenen Aspekten abzubilden. Die Qualität des gelernten Modells wird durch einen Störversuch beim Gehen und mit einem Assistenzszenario mit einem Bein-Exoskelett bestimmt. Dieser modellbasierte Ansatz soll einerseits zum verbesserten Verständnis der menschlichen Gangkontrolle beitragen. Gleichzeitig werden neue KI-basierte Gangregler entwickelt, welche mit minimalem Bedarf an Online-Optimierung auf hardward-basierte System übertragen werden können.

• DFG-Verfahren: Sachbeihilfen