Computational Video zur pixelgenauen Bearbeitung von Bildsequenzen
Final Report Abstract
Ziel des Projektes war es Algorithmen zu entwickeln, die es erlauben, Editierwerkzeuge für 2D Bildbearbeitung und 2D Videobearbeitung auch für 3D stereoskopische Videos anzuwenden. Dafür mussten nicht nur zeitliche, sondern auch räumliche Korrespondenzen beachtet werden. Um diese Korrespondenzen zuverlässig zu bestimmen, wurden verschiedene Methoden entwickelt, welche insbesondere Rücksicht auf die Problematik der Verdeckung und Entdeckung in stereoskopischen Videos nehmen, sowie Raum-Zeit-Schleifen für eine robuste, dichte Korrespondenzschätzung ausnutzen. Mittels eines in diesem Projekt mitentwickelten Multi-View Image-based Rendering System konnten verschiedene stereoskopische Videos erzeugt werden. Vorteil dieses Systems ist zudem, dass für ein und dieselbe Szene verschiedene Stereokameras simuliert werden können, etwa mit unterschiedlicher Baseline. In der zweiten Projektphase konnte eine weitergehende Analyse und Fortentwicklung der im Vorantrag entworfenen Korrespondenzalgorithmen ausgenutzt werden, um ihre Tauglichkeit und Schwierigkeiten für die Anwendung stereoskopischer Videos zu erforschen. Mittels Integration fortgeschrittener Datenterme und Symmetrie in die Formulierung der Korrespondenzalgorithmen konnte zunächst das Problem der Ver- und Entdeckung in stereoskopischen Bildern handhabbar gemacht werden. Gerade dieses Problem sorgt bspw. bei Bildinterpolationen für äußerst negativ auffallende Artefakte. Durch Erweiterung auf drei Bilder innerhalb einer Raum-Zeit-Schleife konnte die Robustheit der Algorithmen weiter verbessert werden. Die entwickelte automatische Integration von zuverlässigen, zueinandergehörigen Bildmerkmalen innerhalb einer Schleife konnte die Reichweite der Korrespondenzalgorithmen zusätzlich erhöhen. In der letzten Projektphase wurden weiterhin verschiedene Bilbearbeitungsmethoden für stereoskopische und Multi-View Videos entwickelt. Teil dieser Projektphase war auch die Entwicklung eines für stereoskopische Videos und Bewegungsfelder geeigneten De-/Kompressionsalgorithmus, um interaktive Bildbearbeitungsoperationen zu erlauben, bei denen der Nutzer sich frei im Video bewegen kann. Mittels interaktiver Werkzeuge kann der Nutzer auf unterschiedlichste Welse die stereoskopischen Videos bearbeiten. Möglich sind eine direkte Manipulation der Bewegungsfelder um fehlerhafte Korrespondenzen zu korrigieren, räumliche und zeitlich Bildinterpolation für Zeitlupeneffekte oder künstliche Bewegungsunschärfe, Multi-Exposure Videos, Simulation eines Rolling Shutters sowie Flash Trail Effekte. Mittels Objektsegmentierung sind auch nicht-fotorealistische Effekte wie Partikel oder Speedlines simpel zu erstellen. Auch möglich ist eine Tiefenregulierung um den Tiefeneindruck selbst zu verstärken oder abzuschwächen. Sämtliche Effekte lassen sich zudem in einem Effektgraphen kombinieren. Neben diesen direkten Anwendungen wurden zudem Grundlagen für fortgeschrittene Bearbeitungstechniken wie der nahtlosen Integration eines Bildes in ein anderes geschaffen.
Publications
- High Resolution Image Correspondences for Video Post-Production. In: Proc. European Conference on Visual Media Production (CVMP) 2010, Bd. 7, IEEE Computer Society, 2010, S. 33-39
Lipski, Christian ; Linz, Christian ; Neumann, Thomas ; Wacker, Markus ; Magnor, Marcus
- Space-Time Visual Effects as a Post-Production Process. In: ACM Multimedia 2010 Workshop - 1st International Workshop on 3D Video Processing (3DVP) 2010, Bd. 1, 2010, S. 1-6
Linz, Christian ; Lipski, Christian ; Rogge, Lorenz ; Theobalt, Christian ; Magnor, Marcus
- Virtual Video Camera: Image-Based Viewpoint Navigation Through Space and Time. In: Computer Graphics Forum 29 (2010), Nr. 8, S. 2555-2568
Lipski, Christian ; Linz, Christian ; Berger, Kai; Sellent Anita ; Magnor, Marcus
- Flowlab - an interactive tool for editing dense image correspondences. In: Proc. European Conference on Visual Media Production (CVMP)2011, 2011, S. 1-8
Klose, Felix ; Ruhl, Kai ; Lipski, Christian ; Magnor, Marcus
- Motion Field Estimation from Alternate Exposure Images. In: IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 33 (2011), Nr. 8, S. 1577-1589
Sellent Anita ; Eisemann, Martin ; Goldlücke, Bastian ; Cremers, Daniel ; Magnor, Marcus
- Perception-motivated interpolation of image sequences. In: ACM Transactions on Applied Perception (TAP) 8 (2011), Nr. 2, S. 1-25
Stich, Timo ; Linz, Christian ; Wallraven, Christian ; Cunningham, Douglas ; Magnor, Marcus
