Trainieren tiefer Netzwerke für reale Computer Vision Szenarien mithilfe gerenderter Daten

• Antragsteller: Professor Dr.-Ing. Thomas Brox
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2018 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 401269959

Das Lernen von Computer Vision Aufgaben mittels tiefer neuronaler Netzwerk benötigt große Datenmengen, um die volle Leistungsfähigkeit des Ansatzes auszureizen. Für einige Computer Vision Aufgaben, wie Bewegungsschätzung oder Tiefenschätzung, ist es jedoch unmöglich, entsprechend große Datenmengen durch manuelle Annotation realer Bilddaten zur Verfügung zu stellen. Eine Möglichkeit stellen synthetische, gerenderte Bilddaten dar. In diesem Fall werden neben den Eingangsbildern, auch die gewünschten Ausgaben gerendert und stehen so für den Trainingsprozess zur Verfügung. Am Ende soll das Netzwerk jedoch gute Ergebnisse auf Realdaten produzieren. In diesem Projekt möchten wir daher Verfahren entwickeln, mit denen sich Netzwerke auf synthetischen Daten trainieren lassen, jedoch auch auf Realdaten optimale Ergebnisse erzielen können. Hierbei werden wir insbesondere Verfahren entwickeln, die neben den annotierten synthetischen Bilddaten nichtannotierte Realdaten in den Trainingsprozess integrieren. Das Hauptaugenmerk liegt auf der Bewegungsschätzung und der Tiefenschätzung aus Videos. Daneben möchten wir untersuchen, inwieweit sich die erarbeiteten Konzepte auch im Bereich bildbasierte Kontrolle einsetzen lassen.

• DFG-Verfahren: Sachbeihilfen