Automatische 3D Rekonstruktion komplexer Straßenkreuzungen aus Luftbildsequenzen durch semantische Modellierung von statischen und bewegten Kontextobjekten
Final Report Abstract
Das Ziel dieses Projekts bestand in der Entwicklung von Methoden zur automatischen Klassifizierung von Luftbildern von Kreuzungen, um die darin abgebildeten Objekte erkennen und auch Rückschlüsse auf die möglicherweise verdeckten Straßenoberflächen ziehen zu können. Letzteres sollte vor allem dazu dienen, bessere Voraussetzungen zur automatischen Erkennung von Straßen zu liefern, weil existierende Verfahren zur Straßendetektion mit Verdeckungen bzw. generell im Kreuzungsbereich mit Problemen konfrontiert sind. Solche Straßenextraktionsalgorithmen sind z.B. für die Neuerfassung oder Aktualisierung von Straßendatenbanken für Navigationssysteme von Interesse. Unter den extrahierten Objekten sind vor allem Fahrzeuge für Anwendungen wie z.B. die Verkehrsüberwachung interessant. Da sich die Erkennung von Straßenoberflächen bzw. von Fahrzeugen gegenseitig bedingen, wurde eine gemeinsame Behandlung dieser beiden Probleme angestrebt. In Hinblick auf die Klassifizierung standen dabei die Berücksichtigung von Kontext und die explizite Modellierung von Verdeckungen in einem einheitlichen Ansatz im Vordergrund. Es konnte ein statistischer Ansatz entwickelt werden, bei dem die vertikale Struktur einer Szene modelliert wurde. Von einer „Basis-Ebene“, welche den potentiell durch andere Objekte verdeckten Objektarten wie z.B. Gebäude und (vor alle) Straßenoberflächen entspricht, wird eine „Verdeckungs-Ebene“ unterschieden, welche die Objektarten der Basis-Ebene potentiell verdeckende Objekte wie z.B. Bäume oder Fahrzeuge enthält. Dabei wird auch berücksichtigt, dass in vielen Fällen keine Verdeckung vorliegt, die Verdeckungs-Ebene also „leer“ ist. Anhand von aus Bilddaten abgeleiteten Merkmalen wird für jedes Pixel eine Objektzugehörigkeit für beide Ebenen simultan bestimmt, wobei einerseits die beiden Ebenen mit einander verknüpft werden, indem z.B. mit Hilfe von Klassifikationsverfahren Wahrscheinlichkeiten dafür, dass an einem Pixel eine Straßenoberfläche, die von einem Fahrzeug verdeckt wird, abgeleitet wird. Gelichzeitig wird bei der Klassifikation Kontext berücksichtigt, indem davon ausgegangen wird, dass Objekte üblicherweise eine im Vergleich zur Bildauflösung große Ausdehnung haben, sodass benachbarte Pixel wahrscheinlich nur dann zu unterschiedlichen Objektarten gehören, wenn die dort beobachtbaren Daten unterschiedlich sind. Alle diese Modelle werden in einem neuartigen statistischen Ansatz vereinigt und zur simultanen Bestimmung der Objektarten der beiden Ebenen verwendet, wobei das aus dem computergestützten Sehen bekannte Verfahren der „Conditional Random Fields“ den mathematischen Rahmen bilden. Experimente haben gezeigt, dass durch diese explizite Behandlung von Verdeckungen sowie die Berücksichtigung von Verdeckungen tatsächlich die Klassifikationsergebnisse für Straßenoberflächen und verdeckende Objekte zum Teil verbessert werden konnte, wobei aber die Genauigkeit der Fahrzeugdetektion noch nicht zufriedenstellend ist. Parallel zu diesen Arbeiten wurden auch neuartige Methoden zur Detektion und Verfolgung von Fahrzeugen aus Luftbildern entwickelt. Bei der Detektion wurden verschiedenen Verfahren und zuletzt mit großem Erfolg die so genannten „Convolutional Neural Networks“ angewandt, welche aus den Daten sogar die Definition der Merkmale automatisch lernen und aktuell zu den erfolgreichsten Klassifikatoren zählen. Für das Tracking, d.h. die Verfolgung von Objekten über mehrere Bilder einer (zeitlich hoch aufgelösten) Sequenz wurde ein Ansatz gewählt, bei dem gleichzeitig mehrere Hypothesen für die Zuordnung von detektierten Fahrzeugen aus unterschiedlichen Bildern betrachtet werden, um Probleme wie z.B. „Identity Switches“ (d.h. das Verwechseln von nahe beieinanderliegenden Objekten bei der Verfolgung) zu verhindern. Dieser Ansatz zeigt ein hohes Potential auch für andere Anwendungen wie z.B. die echtzeitfähige Verfolgung von Personen in Überwachungsvideos. Schließlich wurden die Ergebnisse der oben skizzierten Teilprojekte auch zusammengeführt, indem die Ergebnisse der Fahrzeugdetektion in die Gesamtklassifikation mit eingeführt wurden, um die Ergebnisse weiter zu verbessern. Eine solche Verbesserung konnte in den Experimenten auch beobachtet werden, sie fiel aber geringer als erwartet aus. In diesen Experimenten waren die Ergebnisse der Fahrzeugverfolgung noch nicht verfügbar. In weiterführenden Untersuchungen soll die Integration von Fahrzeugtrajektorien in die Gesamtklassifikation erfolgen, was eine weitere Verbesserung der Ergebnisse erwarten lässt.
Publications
- (2011). Evaluation of selected features for car detection in aerial images. In: International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XXXVIII-4/19, S. 341-346
Türmer, S., Leitloff, J., Reinartz, P., Stilla, U.
- (2012). 3D classification of crossroads from multiple aerial images using Markov random fields. In: International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences Vol. XXIX- B3, S. 479-484
Kosov, S., Rottensteiner, F., Heipke, C., Leitloff, J., Hinz, S.
- (2013). 3D classification of crossroads from multiple aerial images using Conditional Random Fields. In: Proceedings of the 7th IAPR Workshop on Pattern Recognition in Remote Sensing, ICPR 2012, 4 Seiten (auf CD-ROM)
Kosov, S., Rottensteiner, F., Heipke, C.
- (2013). Sequential Gaussian Mixture Models for two-level Conditional Random Fields. In: Proceedings of the 35th German Conference on Pattern Recognition (GCPR), LNCS 8142, Springer, Heidelberg, S. 153-163
Kosov, S., Rottensteiner, F., Heipke, C.
- (2013). The application of a car confidence feature for the classification of cross-roads using conditional random fields. In: ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences Vol. II-3/W3, S. 43-48
Kosov, S., Rottensteiner, F., Heipke, C., Leitloff, J., Hinz, S.
- (2014) An Operational System for Estimating Road Traffic Information from Aerial Images. Remote Sensing, 6 (11), Seiten 11315-11341. ISSN 2072-4292
Leitloff, J., Rosenbaum, D., Kurz, F., Meynberg, O., Reinartz, P.
(See online at https://doi.org/10.3390/rs61111315) - (2014). Design of a spectral–spatial pattern recognition framework for risk assessments using Landsat data - A case study in Chile. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 7(3):917-928
Braun, A. C., Rojas, C., Echeverri, C., Rottensteiner, F., Bähr, H.-P., Niemeyer, J., Aguayo Arias, M., Kosov, S., Hinz, S. Weidner, U.
(See online at https://doi.org/10.1109/JSTARS.2013.2293421) - (2016). Kontextbasierte Ansätze in der Bildanalyse. In: Heipke, C. (Hrsg.), Handbuch Geodäsie, Band „Photogrammetrie und Fernerkundung“. Springer Berlin Heidelberg, 48 S.
Rottensteiner, F. (
(See online at https://doi.org/10.1007/978-3-662-46900-2_45-1)
