FOR 2987:  Lernen und Simulieren im Visual Computing

• Fachliche Zuordnung: Informatik, System- und Elektrotechnik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 413611294

In den letzten Jahren hat es enorme Fortschritte bei maschinellen Lernalgorithmen zur Verarbeitung visueller Daten, einschließlich Bildern, Videos, geometrischen Modellen und volumetrischen Feldern, gegeben. Insbesondere die Entwicklungen im Bereich des Deep Learnings hat in vielen Forschungsbereichen unglaubliche Aufmerksamkeit erregt. Insbesondere in der Computer Vision haben diese Entwicklungen zu deutlichen Verbesserungen bei Aufgaben wie der Bildklassifizierung oder der semantischen Segmentierung geführt.Trotz der jüngsten Erfolge von Deep Learning-Methoden gibt es jedoch immer noch grundlegende Herausforderungen für Forscher und Praktiker, die diese Methoden zur Lösung realer Probleme anwenden möchten:Automatisierte Trainingsdatengenerierung und Selbstlernende AlgorithmenTransfer von Lernverfahren zwischen verschiedenen DomänenAnalyse und Verständnis von LernprozessenDie Nutzung simulierter Daten bietet in diesem Bereich eine einzigartige Möglichkeit, da es die Generierung perfekter Ground Truth für Trainingsdaten implizit ermöglicht. Anstatt beispielsweise Millionen von Bildern mit Annotierungen zu versehen, kann man synthetische Bilder mit Ground Truth Labels aus einer bestehenden virtuellen Umgebung rendern. Dies ist besonders wichtig für höherdimensionale Daten wie temporalkonsistente Anmerkungen in Videos (z. B. Bewegung, optischer Fluss usw.) oder volumetrische Beschriftungen in 3D-Szenen oder Physiksimulationen (z. B. Rauch, Flüssigkeiten, Tücher usw.). Gleichzeitig bieten die simulierten Daten die volle Kontrolle über den Prozess der Trainingsdatengenerierung: Datenungleichgewichte können erzeugt oder vermieden werden, Daten können angereichert werden, um bestimmte Invarianzen zu lernen, oder beliebige physikalische Effekte, wie zum Beispiel die Beleuchtung direkt während des Trainingsprozess anzupassen. Diese Kontrollebene eröffnet auch neue Wege, beispielsweise bei der Analyse von Ausbildungsprozessen auf Basis spezifischer Datensatzstatistiken. Dies ermöglicht den Einsatz analytischer Techniken, um die Lernprozesse, ihre Sensibilität für die Trainingsdaten sowie ihre Fähigkeit, spezifische Datenmerkmale zu kodieren, besser zu verstehen.Die große Herausforderung ist aber letztendlich der Domänentransfer zwischen simulierten und realen Daten, um die gelernten Ergebnisse und Erkenntnisse aus dem synthetischen Umfeld auf die reale Welt zu übertragen. Die Realisierung und Nutzung dieses Domain-Transfers ist das Hauptziel der Forschungsgruppe.

• DFG-Verfahren: Forschungsgruppen

Projekte

• Differenzierbare Physiksimulatoren für realistische 3D Rekonstruktion (Antragsteller Cremers, Daniel )
• Domänentransfer mit generativen Modellen und neuronalem Rendering (Antragsteller Nießner, Matthias )
• Lernen des Abtastvorgangs für Visual Computing (Antragsteller Westermann, Rüdiger )
• Synthetische Daten und selbstständige Annotation für datengetriebene Videoanalyse. (Antragsteller Cremers, Daniel )
• Transfer und Representation Learning für Physikalische Simulationen (Antragsteller Thuerey, Nils )

• Sprecher: Professor Dr.-Ing. Matthias Nießner