Objektsegmentierung in Videodaten mittels Analyse von Punkttrajektorien

• Applicant: Professor Dr.-Ing. Thomas Brox
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2012 to 2019
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 211353192

• Final Report Year: 2017

Final Report Abstract

In diesem Projekt haben wir aufbauend auf dem Prinzip der Bewegungssegmentierung anhand von Punkttrajektorien erhebliche Fortschritte erzielt und Schwachpunkte der Vorarbeiten behoben. Insbesondere wurde im Projekt ein Verfahren entwickelt, welches raum-zeitlich dichte Segmentierungen der bewegten Objekte erzielt. Zudem haben wir das zugrundeliegende Bewegungsmodell mithilfe von Hypergraphen mit Triplet-Kanten erweitert. Wir konnten zeigen, dass sich damit auch Bildsequenzen mit dominanter Rotations- oder Skalierungsbewegung korrekt segmentieren lassen, was zuvor nicht möglich war. Durch Ersetzen der spektralen Clusteranalyse durch eine Minimum-Cost-Multi-Cut-Formulierung konnten wir zudem allgemeine Verbesserungen in der Robustheit der Bewegungssegmentierung erzielen, die es nun erlaubt auch kleinere bewegte Objekte korrekt zu erfassen. Im Rahmen des Projekts wurde ein Benchmark Datensatz erstellt – der Freiburg-Berkeley Motion Segmentation Datensatz – welcher zur freien Verfügung steht und die Evaluation und den Vergleich von Bewegungssegmentierungsverfahren in den vergangenen Jahren standardisiert und deutlich vereinfacht hat.

Publications

• Object segmentation in video: a hierarchical variational approach for turning point trajectories into dense regions, IEEE International Conference on Computer Vision (ICCV), 2011
  Peter Ochs, Thomas Brox
  
• Higher Order Motion Models and Spectral Clustering, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2012
  Peter Ochs, Thomas Brox
  
• iPiano: Inertial Proximal Algorithm for Non-convex Optimization, SIAM Journal on Imaging Sciences, 7(2): 1388-1419, 2014
  Peter Ochs, Y. Chen, Thomas Brox, T. Pock
  (See online at https://doi.org/10.1137/130942954)
• Segmentation of moving objects by long term video analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(6): 1187-1200, 2014
  Peter Ochs, Jitendra Malik, Thomas Brox
  (See online at https://doi.org/10.1109/TPAMI.2013.242)
• Motion trajectory segmentation via minimum cost multicuts, IEEE International Conference on Computer Vision (ICCV), 2015
  Margret Keuper, B. Andres, Thomas Brox
  (See online at https://doi.org/10.1109/ICCV.2015.374)
• DeMoN: depth and motion network for learning monocular stereo, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2017
  Benjamin Ummenhofer, Huizhong Zhou, Jonas Uhrig, Nikolaus Mayer, Eddy Ilg, Alexey Dosovitskiy, Thomas Brox
  (See online at https://doi.org/10.1109/CVPR.2017.596)