Factorization Approaches for 3D-Reconstruction of Rigid and Non-Rigid Scenes

• Applicant: Hanno Ackermann, Ph.D.
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2014 to 2018
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 250009097

• Final Report Year: 2017

Final Report Abstract

In diesem Projekt wurden folgende wissenschaftlichen Fortschritte erzielt: • Es wurden Ansätze für query-basiertes Suchmaschinen-Mining, wodurch soziale Netzwerken von extrem großen Mengen an Wed-Datenextrahiert werden können. Damit können qualitativ hochwertige Schätzungen extrem großer Graphen zu einem Bruchteil der üblichen Kosten erreicht werden. Eine effiziente und skalierbare Konstruktion sozialer Graphen ist möglich. • Eine 3D-Rekonstruktion menschlicher Bewegungen und Körper für nicht-periodische Bewegungen, die die Konstanz der Knochenlängen menschlicher Körper ausnutzt. Im Unterschied zu anderen Arbeiten ist hierfür kein a-priori bekanntes Modell der zu rekonstruierenden Person notwendig. Außerdem können beliebige Kamerabewegungen rekonstruiert werden. Verglichen mit Arbeiten, die ein solches Vorwissen benötigen, erzielt der vorgeschlagene Algorithmus deutlich bessere Ergebnisse. • Der Raum der Gesichtsausdrücke weist eine Stern-artige Struktur auf. Der Schnittpunkt der Trajektorein der unterschiedlichen Emotionen korrespondiert nicht mit dem neutralen Gesichtsdruckt, sondern mit einem besonderen Punkt, der – in den ursprünglichen 3D-Raum projiziert – zu einem absolut emotionslosen, apathischen Gesicht führt. Die Ergebnisse zeigen, dass eine überzeugende Trennung der Personen- und Gesichtsausdruck-spezifischen Parameter erreicht werden kann. Fernerhin können menschliche Gesichter innerhalb einer großen Spannbreite modelliert werden. Es können sogar Übergänge zwischen Gesichter und Gesichtsausdrücken, die nicht Teil der ursprünglichen Datenbank waren, berechnet werden. Im Gegensatz zu existierenden Ansätzen, bewirkt dieser Transfer keine starken Verzerrungen der geschätzten Gesichter. In der Anwendung der Emotionsklassifikation werden Ergebnisse erzeilt, die existierende Ansätze um eine Größenordnung verbessern. Insbesondere der letzte Punkt ist von großen Interesse, da der gefundene Sachverhalt eine analytische Interpretation auf die Deformationen menschlicher Gesichter zuläßt.

Publications

• 3D Human Motion Capture from Monocular Image Sequences. In “IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)”, Boston, USA, Juni 2015
  B. Wandt, H. Ackermann, B. Rosenhahn
  
• Randomly Walking Can Get You Lost: Graph Segmentation with Unknown Edge Weights. In “10th International Conference on Energy Minimization Methods in Computer Vision and Pattern Recognition (EMMCVPR)”, Hong Kong, China, Januar 2015
  H. Ackermann, B. Scheuermann, T.-J. Chin, B. Rosenhahn
  
• Who with Whom and How? – Guided Pattern Mining for Extracting Large Social Networks using Search Engines. In “24th ACM International Conference on Information and Knowledge Management (CIKM)”, Melbourne, Australia, Oktober 2015
  S. Siersdörfer, P. Kemkes, H. Ackermann, S. Zerr
  
• 3D Reconstruction of Human Motion from Monocular Image Sequences. In “Transactions on Pattern Analysis and Machine Intelligence (TPAMI)”, Vol. 38, No. 8, pp. 1505-1516, 2016
  B. Wandt, H. Ackermann, B. Rosenhahn
  
• Apathy is the Root of all Expressions. In “12th IEEE Conference on Automatic Face and Gesture Recognition (FG 2017)”, Washington D.C., USA, Mai 2017
  S. Graßhof, H. Ackermann, S. Brandt, J. Ostermann
  
• Motion Segmentation via Global and Local Sparse Subspace Optimization. In “Photogrammetric Engineering & Remote Sensing (PERS)”, 2017
  M. Ying Yang, H. Ackermann, W. Lin, S. Feng, B. Rosenhahn