Komponentenbasierte konvexe Trennung und Schätzung von Bewegungen in Bildfolgen
Final Report Abstract
Variationsmethoden dominieren in der aktuellen Forschung zur mathematischen Bildverarbeitung: Das Ziel eines Verarbeitungsschrittes wird mittels eines globalen Gütekriteriums quantitativ spezifiziert. Dabei werden alle zugrundliegende Annahmen, sowie datengetriebene und modellgestutzte Kriterien explizit gemacht und miteinander fusioniert. Das resultierende Optimierungsproblem liefert Einsichten in Eigenschaften der Lösung und eine mathematische Grundlage für den fundierten Algorithmen- und Verfahrensentwurf. Ein wesentlicher Fokus der aktuellen Forschung konzentriert sich auf Variationsansätze, die einerseits eine reichhaltige Repräsentation des Bildsignals und entsprechende adaptive Verarbeitungsstrategien ermöglichen, andererseits aus Sicht der Optimierung moglichst “gutartig”, das heißt konvex, sind. Nur Ansatze mit dieser letztgenannten Eigenschaft sind robust und skalierbar genug zur Handhabung von 105 - 108 Variablen, wie in der Bild(folgen)auswertung üblich. Ausgangspunkt des Projektes war der Variationsansatz von Rudin-Osher-Fatemi zur Zerlegung und Entrauschung von stuckweise glatten Bildsignalen und die Frage, wie man diese Methodik sinnvoll auf die Repräsentation und Verarbeitung von Vektorfeldern im Zusammenhang mit Bewegungen in Bildfolgen erweitern kann. In den 24 Monaten des Projektes wurden reichhaltige Ergebnisse erzielt, mit sehr guter Resonanz der internationalen Community – siehe Abschnitt 4. Die wesentlichen Resultate sind in den Beiträgen zu Fachzeitschriften 1.-3. publiziert worden, sowie in entsprechenden Konferenzbeitragen 1.-2. Die Resultate betreffen • eine math. exakte Repräsentation und Zerlegung von Vektorfeldern endlichdimensionalen u ... R 2n , • die gleichzeitige Zerlegung und Schätzung von Vektorfeldern aus Bildfolgenddaten mit fortgeschrittenen Methoden der konvexen Optimierung, • eine reichhaltigere Darstellung des strukturellen Anteils von Vektorfeldern (im Gegensatz zur stuckweise konstanten Anteil skalarwertiger Funktionen), • einen neuen Ansatz zur De?nition von “Bewegungstextur”, • Regularisierungsterme zweiter Ordnung zur Schatzung von Vektorfeldern. Wir weisen darauf hin, dass jedes dieser Resultate neben einem theoretisch-methodischen Kernproblem auch praxisrelevante Aspekte aufweist. So garantiert zum Beispiel nur eine adäquate Diskretisierung, dass im Computer genau das abläuft, was auf Papier gezeigt worden ist. Dieser Aspekt ist im Zusammenhang mit Vektorfeldern und Regularisierung höherer Ordnung nichttrivial. Als Konsequenz solcher Untersuchungen wurde unter anderem offenkundig, dass die insbesondere für Anwendungen relevante Regularisierung von Variationen divergenter und wirbelhafter Flußkomponenten inharent numerisch instabil ist, sofern sie nicht durch einen stabilisierenden Randterm ergänzt wird. Die oben skizzierten Projektergebnisse stießen (und stoßen) eine Reihe weiterer, vielversprechender Forschungsarbeiten an, die teilweise zu Projektbeginn nicht absehbar waren. Beispiele: • Ein Teil der Ansatze (nur glatte Regularisierungsterme hoherer Ordnung) ?ndet Anwendung bei der Verarbeitung von Bildfolgen turbulenter Stromungen in der experimentellen Stromungsmechanik. Eine Ubersicht hierzu gibt der Fachzeitschriftbeitrag 5. • Regularisierung höherer Ordnung auf der Grundlage konvexer Funktionale konnten auch für gewöhnliche (skalarwertige) Bildfunktionen weiterentwickelt werden – Fachzeitschriftbeitrag 4, Konferenzbeitrag 2. Ansatze dieser Art sind für die Verarbeitung von Tiefenkarten und die Stereoanalyse bedeutsam. • Ansätze fur die in diesem Projekt thematisierten vektor wertigen Funktionen wurden auch fur matrixwertige Funktionen studiert – Buchbeitrag 1.Das Hauptanwendungsgebiet ist die medizinische Bildverarbeitung. • Die konvexe Zerlegung und Regularisierung von Vektorfeldern spielt in einem völlig anderen Kontext aktuell eine zentrale Rolle: Formulierungen von konvexen Variationsansätzen fur das nichtbinare Bildlabeling-Problem (Bildsegmentierung) – Konferenzbeitrage 3, 4.
Publications
- Discrete Orthogonal Decomposition and Variational Fluid Flow Estimation, J. Math. Imag. Vision 28 (2007) 67-80
Yuan, J. and Schnörr, C. and Memin, E.
- Simultaneous Optical Flow Estimation and Decomposition SIAM J. Scientific Computing 29/6 (2007) 2283-2304
Yuan, J. and Schnörr, C. and Steidl, G.
- Convex Hodge Decomposition of Image Flows, Pattern Recognition – 30th DAGM Symposium, LNCS 5096, Springer, 2008, pp. 416- 425
Yuan, J. and Steidl, G. and Schnörr, C.
- Combined 2 data and gradient fitting in conjunction with 1 regularization, Adv. Comp. Math. 30/1 (2009) 79 - 99
Didas, S. and Setzer, S. and Steidl, G.
- Convex Hodge Decomposition and Regularization of Image Flows, J. Math. Imag. Vision 33/2 (2009) 169-177
Yuan, J. and Schnörr, C. and Steidl, G.
- Convex Multi-Class Image Labeling by Simplex-Constrained Total Variation Scale Space and Variational Methods in Computer Vision (SSVM 2009), LNCS 5567, Springer, pp. 150-162
Lellmann, J. and Kappes, J. and Yuan, J. and Becker, F. and Schnörr, C.
- Convex Optimization for Multi-Class Image Labeling with a Novel Family of Total Variation Based Regularizers. IEEE International Conference on Computer Vision (ICCV), 2009
Lellmann, J. and Becker, F. and Schnörr, C.
- Total-Variation Based Piecewise Affine Regularization Scale Space and Variational Methods in Computer Vision (SSVM 2009), LNCS 5567, Springer, 2009, pp. 552-564
Yuan, J. and Schnörr, C. and Steidl, G.
- Variational fluid flow measurements from image sequences: synopsis and perspectives, Exper. Fluids 2009
Heitz, D. and Memin, E. and Schnörr, C.
(See online at https://doi.org/10.1007/s00348-009-0778-3) - Variational methods for denoising matrix fields, Visualization and Processing of Tensor Fields: Advances and Perspectives., Springer, Berlin, 2009, pp. 341-360
Setzer, S. and Steidl, G. and Popilka, B. and Burgeth, B.
