Sicheres Reinforcement Learning unter Unsicherheit für hybride Trennprozesse mit Recyclen in der Verfahrenstechnik

• Antragsteller: Professor Dr.-Ing. Sergio Lucia Gil; Professor Dr.-Ing. Jens-Uwe Repke
• Fachliche Zuordnung: Chemische und Thermische Verfahrenstechnik ; Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 466380688

Online-Methoden wie die nichtlineare modellprädiktive Regelung (NMPC) sind wünschenswert, um chemische Prozesse optimal zu betreiben und Ressourcen zu sparen. Diese Methoden beruhen oft auf rigorosen, dynamischen Modellen, die jedoch schwer in Echtzeit zu lösen sind, insbesondere bei komplexen Prozessen wie dem Anfahren von Anlagen. Dies erschwert die Anwendung von NMPC. Die steigende Verfügbarkeit größerer Datenmengen eröffnet die Anwendung datengetriebener Betriebsstrategien wie Reinforcement Learning (RL). Einige Herausforderungen, wie die rigorose Einhaltung von Betriebsbeschränkungen und die großen benötigten Datenmengen grenzen jedoch die Anwendbarkeit bei verfahrenstechnischen Prozessen ein. In der ersten Phase dieses Projekts wurde ein rigoroses Modell durch ein Surrogat ersetzt, das in einem NMPC-Controller verwendet wird. Ein RL-Algorithmus, der mit einem rigorosen Modell interagiert, passt das NMPC-Problem entsprechend an, um eine optimale Leistung zu erzielen. Dieser Ansatz wurde an einer Batch-Destillation von Ethanol und Wasser demonstriert. An der TU Berlin wurde die Batch-Kolonne gebaut und ein dynamisches Modell formuliert, während an der TU Dortmund der NMPC-basierte RL-Algorithmus entwickelt wurde. Unser bisheriger Ansatz setzt ein perfektes, rigoroses Modell voraus. Reale chemische Prozesse sind jedoch mit Unsicherheiten behaftet, die aus Modellparametern resultieren, die an Experimentaldaten angepasst werden. Bei der Verwendung von Surrogaten müssen Unterschiede zwischen dem rigorosen Modell und dem Surrogat berücksichtigt werden. Außerdem werden in der Verfahrenstechnik selten einzelne Prozesseinheiten isoliert betrieben; sie sind oft Teil komplexer Fließbildern mit Kreisläufen zur Massen- oder Energieintegration. In der zweiten Phase des Projekts werden diese Herausforderungen systematisch angegangen. Zur Verbesserung der Parameterschätzung wird das Ziel des NMPC-basierten RL-Algorithmus in eine Informationsmetrik geändert, die auf optimaler Versuchsplanung basiert. Unsicherheiten in Modellparametern werden durch Bayes'sche - Inversion oder Bootstrapping quantifiziert. Die Diskrepanz zwischen rigorosem und Ersatzmodell wird durch das Training eines Bayesian Last Layer Netz behoben. Die quantifizierte Unsicherheit wird genutzt, um einen robusten NMPC zu formulieren, das durch RL mit einem rigorosen Modell angepasst wird. Wir untersuchen auch, ob Surrogatmodelle einzelner Einheiten kombiniert werden können, indem größere Unsicherheiten berücksichtigt werden. Das vorgeschlagene Vorgehen wird auf das hybride Trennverfahren die Batch-Destillation/Pervaporation zur Trennung von Ethanol und Wasser angewandt. Hierzu wird die Batch-Kolonne aus der ersten Phase um den Membranprozess erweitert und ein dynamisches Modell des Pervaporationsprozesses erstellt. Das Ziel der zweiten Phase ist die optimale Regelung dieses hybriden Prozesses in Echtzeit mit unserem NMPC-basierten RL-Algorithmus.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2331: Maschinelles Lernen in der Verfahrenstechnik. Wissen trifft auf Daten: Interpretierbarkeit, Extrapolation, Verlässlichkeit, Vertrauen