Simultaneous contextual classification of multitemporal and multiscale remote sensing imagery based on existing GIS data for training
Final Report Abstract
Digitale topographische Datenbestände („Karten“) stellen einen wichtigen Teil der nationalen Infrastruktur dar. Neben der geometrischen Genauigkeit ist die Aktualität ein wesentliches Qualitätsmerkmal solcher Karten. Eine Möglichkeit zur Aktualisierung veralteter Karten besteht in der überwachten Klassifikation aktueller Fernerkundungsdaten, wofür in ausreichendem Umfang Trainingsdaten zur Verfügung stehen müssen. Dabei ist vor allem die Bereitstellung der Information über die Klassenlabels mit hohem manuellem und daher kostenintensivem Aufwand verbunden. Vor diesem Hintergrund war es das Ziel dieses Projektes, maximalen Nutzen aus der in einer Karte eines Gebietes vorhandenen Information für die überwachte kontextbasierte Klassifikation von aktuellen Fernerkundungsdaten mittels Conditional Random Fields (CRF) zu ziehen. Einerseits sollte die vorhandene Karte die Labels für das Training liefern, sodass für diesen Prozess überhaupt keine manuell erstellten Trainingsdaten benötigt werden, andererseits sollte sie als a priori Information in die Klassifikation eingebunden werden, um in den nicht von Änderungen betroffenen Gebieten deren Genauigkeit zu erhöhen. Dies sollte zunächst für die monotemporale Klassifikation von Bildern eines einzigen Zeitpunktes implementiert und anschließend auf die multitemporale Klassifikation von Zeitreihen erweitert werden. Die wichtigste methodische Herausforderung lag in der Entwicklung von Lernverfahren, die robust gegenüber Fehlern in den Trainingslabeln („Label Noise“) sind, wie sie v. A. wegen der Veränderung der Bodenbedeckung zwischen der Kartenerstellung und der Erfassung der zu klassifizierenden Daten zu erwarten sind. Zu diesem Zweck wurde zunächst ein der Literatur entnommenes Verfahren auf Basis der logistischen Regression so erweitert, dass es die Tatsache, dass Veränderungen der Bodenbedeckung in räumlichen Ballungen auftreten, berücksichtigen kann. In weiterer Folge wurde mit dem Random Forest ein stärkeres Klassifikationsverfahren so erweitert, dass es mit einer größeren Anzahl an räumlich abhängigen fehlerhaften Trainingslabels umgehen kann. Umgesetzt wurde dies durch die Entwicklung eines komplexen Fehlermodells, welches die Abhängigkeit der Wahrscheinlichkeit für das Auftreten von Fehlern von den Daten berücksichtigt. Konkret wurde die Berechnung des Kriteriums für die Auswahl der Trennflächen im Training so adaptiert, dass jeder Merkmalsvektor mit einer gewissen datenabhängigen Wahrscheinlichkeit als Beispiel für alle Klassen dient. Diese Wahrscheinlichkeiten werden in einem iterativen Verfahren aus dem aktuellen Zustand des Klassifikators abgeleitet. Sie werden auch bei der Zuordnung von Blättern der Bäume des Random Forest zu Klassen genutzt. Für die monotemporale Klassifikation wurden die beiden gegenüber Fehlern in den Trainingslabels robusten Verfahren in eine kontextbasierte Klassifikation auf Basis von CRF eingebaut, für welches sie die Datenterme liefern. In dieses CRF wurden auch die aus der Karte entnommenen Labels als Beobachtungen integriert; sie werden mit einer in dem iterativen Trainingsprozess abgeleiteten Wahrscheinlichkeit als a priori Information berücksichtigt. Der Einfluss dieser Information muss in Gebieten, die sehr wahrscheinlich von Veränderungen betroffen sind, limitiert werden, was durch die Bestimmung von Gewichten in dem iterativen Trainingsprozess gelang. In einem zweiten Schritt wurde das beschriebene Verfahren auf die multitemporale Klassifikation von Zeitreihen erweitert. Auch dies gelang im Rahmen eines CRF, bei dem die Klassenlabels benachbarter Zeitpunkte über aus Übergangswahrscheinlichkeiten abgeleitete temporalen Interaktionspotentiale verknüpft werden. Es wurde ein sequentieller Trainingsprozess entwickelt, bei dem für alle Zeitpunkte das monotemporale Lernverfahren angewandt wird, wobei für alle Bilder ab dem zweiten Zeitpunkt das Klassifikationsergebnis aus dem vorherigen Zeitpunkt die Rolle der „veralteten Karte“ übernimmt. Abschließend kann das Ergebnis der Klassifikation im CRF noch verfeinert werden. Eine ursprünglich geplante Erweiterung zur Nutzung von Bildern stark unterschiedlicher Auflösung wurde zugunsten der erwähnten Entwicklung des auf Random Forests basierenden Verfahrens nicht mehr realisiert. In den Experimenten zur monotemporalen Klassifikation konnte anhand von fünf sehr unterschiedlichen Datensätzen gezeigt werden, dass die neu entwickelten Verfahren eine höhere Gesamtgenauigkeit liefern als herkömmlicher Klassifikatoren, wobei in den meisten Fällen der gegenüber Label Noise robuste Random Forest besser abschneidet als die logistische Regression. Die Integration der Kartenlabels führt zwar zu einer leichten Reduktion der Gesamtgenauigkeit für Pixel mit geändertem Label, jedoch ist diese Verkleinerung sehr gering verglichen mit der Verbesserung der Gesamtgenauigkeit aller Pixel und verglichen mit dem Anteil an fehlerhaften Labeln in der Karte. Die Experimente zur Evaluierung der multitemporalen Klassifikation zeigten, dass durch das neu entwickelte Verfahren die Gesamtgenauigkeit einer Zeitreihe verbessert werden konnte, vor allem in Gebieten mit starker Veränderung. In zukünftigen Arbeiten sollen die hier entwickelten Methoden auf Verfahren des Deep Learning, insbesondere Convolutional Neural Networks, übertragen werden.
Publications
- (2016): Using label noise robust logistic regression for automated updating of topographic geospatial databases. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences III-7, pp. 133-140
Maas, A., Rottensteiner, F., Heipke, C.
(See online at https://doi.org/10.5194/isprs-annals-iii-7-133-2016) - (2017): Automatic classification of high resolution satellite imagery - a case study for urban areas in the Kingdom of Saudi Arabia. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences XLII-1/W1, pp. 11-16
Maas, A., Alrajhi, M., Alobeid, A., Heipke C.
(See online at https://doi.org/10.5194/isprs-archives-xlii-1-w1-11-2017) - (2017): Classification under label noise using outdated maps. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences IV-1/W1, pp. 215-222
Maas, A., Rottensteiner, F., Heipke, C.
(See online at https://doi.org/10.5194/isprs-annals-iv-1-w1-215-2017) - (2018): Label noise robust classification of hyperspectral Data. Proceedings of the 9th Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing, Amsterdam, 5p.
Maas, A., Rasti, B., Ulfarsson, M.
(See online at https://doi.org/10.1109/whispers.2018.8747035) - (2018): Multitemporal classification under label noise based on outdated maps. Photogrammetric Engineering and Remote Sensing 84(5): 263-277
Maas, A., Rottensteiner, F., Alobeid, A., Heipke, C.
(See online at https://doi.org/10.14358/pers.84.5.263) - (2019): A label noise tolerant random forest for the classification of remote sensing data based on outdated maps for training. Computer Vision and Image Understanding 188:102782
Maas, A., Rottensteiner, F., Heipke, C.
(See online at https://doi.org/10.1016/j.cviu.2019.07.002)
