Joint Correspondence Computation and Statistical Analysis of Geometric Models of Human Faces and Bodies
Final Report Abstract
Die während des Projektes entwickelten Optimierungsmethoden ermöglichen das Training eines multi-linearen statistischen Tensor-Modells für Gesichtsdaten mit fehlerhafter Punkt-Korrespondenz, fehlenden Daten, fehlerbehafteten Daten und fehlerhaften Zuordnungen von Gesichtsausdrücken und Gesichtsscans. Während der Optimierung werden automatisch die Korrespondenzen optimiert, die fehlenden Daten geschätzt, die fehlerbehafteten Daten korrigiert und die fehlerhaften semantischen Korrespondenzen verbessert. Diese Optimierung ist dabei im Vergleich zu existierenden Methoden auf größere Datenmengen anwendbar und liefert bessere Ergebnisse als existierende Verfahren. Die Veröffentlichung des Quellcodes ermöglicht anderen Forschern die Reproduktion der Ergebnisse und die Anwendung auf andere Datenbanken. Die veröffentlichten multi-linearen Tensor-Modelle ermöglichen eine vielseitige Anwendung wie beispielsweise die Rekonstruktion eines 3D Gesichtsmodells von Photos oder Videos im Bereich der Interaktion von Mensch und Maschine. Überraschend während der ersten Projektphase war, dass die einfachste Tensorzerlegung für praktische Anwendungen zu Ergebnissen vergleichbarer Qualität führte wie deutlich komplexere Optimierungsmethoden. Dies war für den weiteren Projektverlauf positiv, da dies während der multi-linearen Korrespondenzoptimierung eine einfachere Optimierungsstrategie ermöglichte. Unerwartet war für uns außerdem der Einfluss der Rander (Mund und außerer Rand) auf die Korrespondenzoptimierung. Durch die Wahl der kontinuierlichen Repräsentation für jedes Modell konnte der äußere Rand hierbei verschoben werden. Dies ermöglichte eine Optimierung des Randbereiches über den Bereich der gegebenen Gesichtsscans hinaus und führte zu signifikanten Verbesserungen der Korrespondenz im Randbereich. Während der zweiten Projektphase überraschte uns die Optimierung der semantischen Korrespondenz, die trotz fehlerhafter Zuordnungen der Gesichtsausdrücke für 50% der Daten erfolgreich ein kompaktes multi-lineares Tensor-Modell berechnete.
Publications
- Robust Multilinear Model Learning Framework for 3D faces, 2015
T. Bolkart and S. Wuhrer
- A groupwise multilinear correspondence optimization for 3D faces. In International Conference on Computer Vision, pages 3604–3612, 2015
T. Bolkart and S. Wuhrer
- Multilinear MDL for 3D faces, 2015
T. Bolkart and S. Wuhrer
