Faktorisierungsansätze zur 3D-Rekonstruktion starrer und nicht-starrer Szenen

• Antragsteller: Hanno Ackermann, Ph.D.
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2014 bis 2018
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 250009097

Die Aufgabe eine 3D-Rekonstruktion einer Szene aus Videodaten bei einer sich allgemein bewegenden und unkalibrierten Kamera zu berechnen, ist eines der ältesten Probleme im Bereich Computer Vision. Bei zwei, drei oder vier Bildern einer starren Szene und einer sich bewegenden Kamera kann eine Rekonstruktion mittels Epipolargeometrie berechnet werden. Für Videosequenzen hat sich in den letzten Jahren der Ansatz etabliert, erst aus zwei, drei oder vier Bildern eine Rekonstruktion mittels Epipolargeometrie zu schätzen und mit dieser dann Bündelausgleichsverfahren zu initialisieren. Während sich für starre Szenen dieses Standardverfahren zur 3D-Rekonstruktion etabliert hat, existiert für allgemein deformierende Objekte, wie sie etwa durch menschliche Gesichter gegeben sind, noch nicht einmal ein Konsens über das zu verwendende mathematische Modell in der wissenschaftlichen Gemeinschaft.Ein solches Modell ist durch sogenannte Faktorisierungsansätze gegeben, die auf der Zerlegung einer gegebenen Datenmatrix in ein Produkt zweier Matrizen mit niedrigem Rang basieren. Faktorisierungsansätze haben gegenüber anderen Algorithmen den Vorteil, daß alle Daten gleichwertig in die Schätzung eingehen, d.h. bestimmte Daten werden anderen gegenüber nicht bevorzugt. Sie können zur 3D-Rekonstruktion sowohl für starre als auch für deformierende Szenen verwendet werden, haben aber den Nachteil, nur schlecht mit fehlenden 2D-Korrespondenzen umgehen zu können. Im Rahmen dieses Forschungsprojektes sollen zwei Schwerpunkte bearbeitet werden. Als erstes sollen Faktorisierungsalgorithmen entwickelt werden, die mit mehr als 70% fehlender Daten umgehen können, wohingegen die Ergebnisse herkömmlicher Ansätze unserer Erfahrung nach bei mehr als 40% fehlenden Daten nicht mehr zuverlässig sind. Dazu sollen aus Bilddaten Priors extrahiert werden und in geeignete Optimierungsverfahren integriert werden. Der zweite Schwerpunkt dieses Forschungsvorhabens soll auf die 3D-Rekonstruktion allgemein deformierender Objekte und Szenen -- etwa ein menschliches Gesicht -- gelegt werden. Hierbei haben existierende Verfahren Probleme mit Deformationen nur einiger weniger, benachbarter Punkte. Dafür sollen einerseits aus Bilddaten Priors extrahiert werden und zur Regularisierung der 3D-Punkte eingesetzt werden. Zweitens sollen in Bereichen der Datenmatrix, in denen der Prädiktionsfehler groß ist, selektiv zusätzliche Variablen eingesetzt werden. Von den entwickelten Algorithmen beider Schwerpunkte ist zu erwarten, daß sie sich interdisziplinär einsetzen lassen. Von besonderem Interesse ist hier die Customer Recommendation, die fehlende Daten und zeitliche Veränderungen von Kundenmeinungen - eine Art von nicht-starrer Deformation in bestimmten Bereichen der Datenmatrix - berücksichtigen muß.

• DFG-Verfahren: Sachbeihilfen