Vorwärts- und differenzierbare Simulation von L2S Sensordaten

• Antragsteller: Professor Dr.-Ing. Andreas Kolb
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 459284860

Das Gesamtziel der Forschungsgruppe "Learning to Sense" (L2S), d.h. die gemeinsame Optimierung der Designparameter eines Sensorsystems und des zugehörigen neuronalen Netzes zur Analyse der resultierenden Daten in einer durchgängigen maschinellen Lernweise, erfordert eine große Menge an Trainingsdaten für unterschiedliche Sensor- und Szenenkonfigurationen. Da das Sammeln von Trainings- und Testdaten mit realen Sensoren kostspielig oder gar nicht möglich ist, ist die Simulation des Sensordatenbildungsprozesses ein zentraler Erfolgsfaktor, um die Verbindung zwischen Sensorsystemparametern und Anwendungsaufgabe herzustellen.Dieses Teilprojekt konzentriert sich auf die effiziente Simulation des Sensordatenbildungsprozesses, der die Simulation von physikalischen, realweltlichen Effekten umfasst, die in der Szene bei unterschiedlichen Wellenlängen (visuell zwischen 0,4-0,7µm und im Terahertz (THz) Bereich zwischen 0,4-0,6mm) für eine potenziell große Anzahl von bis zu 10³ Frequenzen auftreten, wobei kohärente Strahlung und Materialinteraktion unter Verwendung komplexer Brechungsindizes und synthetischer, d.h. unfokussierter Abbildungsmethoden und Aspekte des Designs von Sensorsystemen, z. B. die Anordnung von Pixeln und Spektralfiltern einbezogen werden.Technisch gesehen liegt der Schwerpunkt dieses Projekts auf der vorwärtsgerichteten sowie differenzierbaren Simulation von Sensordaten, die eine auf maschinellem Lernen basierende Anwendungs- und Hardwareentwicklung für beliebige Sensor- und Szenenparameter ermöglicht. In diesem Zusammenhang werden drei Hauptaspekte untersucht. Erstens wird die Konzeption und Entwicklung eines Simulations-Frameworks betrachtet, das in der Lage ist, sowohl fokussierte optische Bildgebung als auch unfokussierte kohärente THz-Strahlung zu simulieren, einschließlich der Umwandlung der einfallenden Strahlung in Sensor-Daten. Der zweite Forschungsschwerpunkt bezieht sich auf die Erweiterung bestehender Vorwärtssimulationsansätze, um hochperformante Path-Tracing Simulationstechniken zu erreichen, die physikalisch plausible Sensorausgaben erzeugen und eine durchgängige Abbildung von Szenen- und Sensorparametern auf die resultierenden photoelektrischen Eigenschaften erlaubt. Drittens werden effiziente differenzierbare Methoden für den Simulationsprozess entwickelt, um das maschinelle Lernen zur Identifizierung optimaler Sensorparameter zu unterstützen.Um diese Ziele zu erreichen, wird das Projekt eng mit den Hardware-Projekten P4 zum Sensorlayout und zu On-Chip-Berechnungen, P6 zur Simulation wellenoptischer Effekte und P7 hinsichtlich der Simulation kohärenter THz-Strahlung und Materialinteraktion zusammenarbeiten. Zudem findet eine intensive Zusammenarbeit mit den Projekten des maschinellen Lernens P1 in Bezug auf die Handhabung unregelmäßiger Sensoranordnungen, P2 in Bezug auf die Bildklassifizierung und semantische Segmentierung, sowie P3 zur Lokalisierung und Objektrekonstruktion direkt im THz-Frequenzbereich statt.

• DFG-Verfahren: Forschungsgruppen
• Teilprojekt zu: FOR 5336: KI-FOR Lernen optimaler Bilddatensensorik