Transfer learning for hierarchical Conditional Random Fields for the classification of urban aerial and satellite images
Final Report Abstract
Das Ziel dieses Projektes bestand in der Entwicklung einer Methode des Transfer-Lernens (TL) zur automatischen Klassifikation von Luftbildern von urbanen Gebieten. Der Fokus lag auf Verfahren der Domänenadaption, bei denen durch Nutzung existierender Trainingsdaten aus bestehenden Projekten der Aufwand zur Generierung von Trainingsdaten für neu zu klassifizierende Daten vollständig vermieden werden kann. Solche Methoden sind zur Datenerfassung für Geo-Informationssysteme von Interesse, wenn für neu erfasste Daten keine Trainingsdaten für eine überwachte Klassifikation zur Verfügung stehen oder deren Beschaffung sehr kostspielig ist. Das dabei zu lösende Problem besteht darin, dass die Merkmale in den existierenden Daten (Quelldomänen im Sinne des TL) auf Grund unterschiedlicher Sensorcharakteristiken, Lichtverhältnisse oder wegen saisonaler Effekte eine unterschiedliche Verteilung zu jenen des neu zu klassifizierenden Bildes (Zieldomäne im Sinne des TL) aufweisen können. Damit wäre allerdings eine grundlegende Annahme der überwachten Klassifikation verletzt, nämlich jene, dass die Trainingsdaten repräsentativ für die zu klassifizierenden Daten sein müssen. Die Domänenadaption umfasst Verfahren, bei denen der anhand von Trainingsdaten aus der Quelldomäne angelernte Klassifikator schrittweise an die Verteilung der Daten in der Zieldomäne angepasst wird. Dies geschah im vorliegenden Projekt durch Instanzentransfer. Ausgehend von einem bereits angelernten Klassifikator werden Merkmalsvektoren aus der Zieldomäne ausgewählt und automatisch mit Klassenlabels versehen („Semi-Labels“); diese Samples aus der Zieldomäne werden in der Folge in die Menge der Trainingsdaten aufgenommen, während gleichzeitig Samples aus der Quelldomäne daraus entfernt werden. In der Folge wird der Klassifikator anhand der neu definierten Trainingsdaten neu angelernt. Diese Schritte werden so lange wiederholt (und der Klassifikator damit sukzessive so lange verändert und an die Verteilung der Daten der Zieldomäne angepasst), bis ausschließlich Daten aus der Zieldomäne zum Trainieren genutzt werden. Im Rahmen dieses Projekts wurde eine entsprechende Methode zur Domänenadaption durch Instanzentransfer auf Basis der Logistischen Regression als Klassifikator entwickelt. Die Auswahl von Trainingsbeispielen hat dabei einen wesentlichen Einfluss auf die Qualität der Anpassung. Es wurden unterschiedliche Strategien auf Basis von Bewertungsfunktionen zur Auswahl von Trainingsbeispielen aus der Quell- bzw. Zieldomäne entwickelt und getestet. Um den Übergang zu stabilisieren, wurde eine geeignete Methode zur Regularisierung ebenso in die Optimierungsfunktion integriert wie individuelle Gewichte für jedes Trainingsbeispiel. Diese Gewichte modellieren das Vertrauen des Verfahrens in die Korrektheit des (Semi-) Labels eines Trainingsbeispiels und bringen eine Verbesserung der Anpassung der Parameter des Klassifikators an die Verteilung der Daten in der Zieldomäne. Erste Experimente der Domänenadaption zeigten zwar ein großes Potential der entwickelten Methode zur Verbesserung der Klassifikationsgenauigkeit auf der Zieldomäne ohne neu generierte Trainingsdaten, aber auch deren Grenzen. Insbesondere trat relativ häufig negativer Transfer auf, d.h. die Domänenadaption führte häufig auch zur Verschlechterung der Ergebnisse im Vergleich zur direkten Anwendung eines auf Daten der Quelldomäne angelernten Klassifikators auf die Zieldomäne. Um die Leistungsfähigkeit der Domain Adaptation zu verbessern wurde daher eine Strategie zur Vermeidung von negativem Transfer vorgeschlagen. Auf Grund der Vermutung, dass negativer Transfer in erster Linie auf zu große Unterschiede der Verteilungen der Daten in den beiden Domänen zurückzuführen ist, wurde eine Metrik für die Distanz von Verteilungen auf Basis der Maximum Mean Discrepancy für diesen Zweck genutzt. Ist diese Distanz sehr groß, ist ein negativer Transfer zu erwarten; in diesem Fall wird auf eine Domänenadaption verzichtet. Experimente haben gezeigt, dass durch dieses Verfahren die Anzahl der Fälle von negativem Transfer deutlich reduziert werden kann, ohne dass allzu viele Fälle von positivem Transfer irrtümlich verworfen werden.
Publications
- (2015): Transfer Learning based on Logistic Regression. In: The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-3/W3, pp. 145-152
Paul, A.; Rottensteiner, F.; Heipke, C.
(See online at https://doi.org/10.5194/isprsarchives-XL-3-W3-145-2015) - (2016): Iterative re-weighted instance transfer for domain adaptation. In: ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences III-3, pp. 339-346
Paul, A.; Rottensteiner, F.; Heipke, C.
(See online at https://doi.org/10.5194/isprs-annals-III-3-339-2016) - (2017): Boosted unsupervised multi-source selection for domain adaptation In: ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences IV-1/W1, pp. 229-236
Vogt, K.; Paul, A.; Ostermann, J.; Rottensteiner, F.; Heipke, C.
(See online at https://doi.org/10.5194/isprs-annals-IV-1-W1-229-2017) - (2018): A comparison of two strategies for avoiding negative transfer in domain adaptation based on logistic regression. In: International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences XLII-2, pp. 845-852
Paul, A.; Vogt, K.; Rottensteiner, F.; Ostermann, J.; Heipke, C.
(See online at https://doi.org/10.5194/isprs-archives-XLII-2-845-2018) - (2018): Unsupervised source selection for domain adaptation. In: Photogrammetric Engineering and Remote Sensing 84(5): 249-261, 2018
Vogt, K.; Paul, A.; Ostermann, J.; Rottensteiner, F.; Heipke, C.
(See online at https://doi.org/10.14358/PERS.84.5.249)
