Illumination-invariant landmark representation by color contrasts - Insect Model and Robot Application
Cognitive, Systems and Behavioural Neurobiology
Final Report Abstract
Ziel dieses DFG-Projektes war es zu untersuchen, ob mithilfe von Farbkontrasten beleuchtungsinvariante Landmarken aus der Umgebung extrahiert und zur Navigation eines autonomen Agenten genutzt werden können. Dazu wurde zunächst ein (von Insekten inspirierter) UV-/Grün-Sensor konstruiert. Mithilfe dieses Sensors sollte geprüft werden, inwieweit es möglich ist, Pixel als terrestrische Objekte oder Himmel zu klassifizieren, sodass die Skyline (ein Binärbild, in welchem jeder Pixel einer der beiden Klassen zugeordnet wird) extrahiert werden kann. Zudem sollte geprüft werden, inwieweit ausschließlich die Skyline genutzt werden kann, um die Navigation von autonomen Agenten unter wechselnden Beleuchtungsverhältnissen zu ermöglichen. Dabei sollten bestehende Navigationsverfahren modifiziert oder neue Navigationsverfahren entwickelt werden. Mit der Kombination von beleuchtungsinvarianten Landmarken und daran angepassten Navigationsverfahren erwarten wir sowohl neue Impulse im technischen Bereich (z.B. autonomes Fahren und Lokalisation) als auch neue Erkenntnisse für biologische Modelle zu liefern. Es wurden zunächst mit dem konstruierten Sensor eine Vielzahl von Outdoor-Datenbanken gesammelt, in welchen jeweils ein einzelnes Panorama (z.B. eine Sand-Skyline oder eine Baum-Skyline) über den gesamten Tag aufgenommen wurden. Für diese Datenbanken konnte gezeigt werden, dass mithilfe eines UV-/Grün-Kontrast im Allgemeinen eine bessere Klassifikationsgüte erreicht werden kann, als wenn nur ein einzelner Farbkanal (UV oder Grün) genutzt wird. Allerdings ist der Unterschied der erreichten Klassifikationsgüten gering, sodass zumindest für technische Anwendungen eine Klassifikation alleine im UV-Kanal bereits ausreichend ist. Basierend auf diesen Ergebnissen wurde eine Kamera mit einem nur im UV-Bereich empfindlichen, himmelwärts gerichteten, Fisheye-Objektiv versehen und auf einem Modellauto montiert. Es konnte gezeigt werden, dass mithilfe der Skyline die Lokalisation des Modellautos auf einem zuvor gefahrenen Rundkurs möglich ist und selbst unter widrigen Bedingungen (starke Verkippungen und Beleuchtungsänderungen) eine bessere Performance als bei state-of-the-art Verfahren (SeqSLAM, FAB-MAP) erreicht werden kann. Um die Toleranz gegen Verkippungen des Modellautos zu erhöhen, wurden dazu nicht die Skyline-Bilder selbst als Information genutzt, sondern diese per Fourier-Transformation auf eine Sphäre projiziert (Spherical Harmonics) und deren - gegen Rotationen invariante - Amplitudenspektren berechnet. Eine weitere Anwendung von Spherical Harmonics ist die Nutzung als visueller Kompass, welcher - unter der Annahme, dass sie an der selben Position aufgenommen wurden - den rotatorischen Versatz zwischen zwei sphärischen Panoramabildern bestimmen kann. Während diese Form der Anwendung bekannt ist, so konnte gezeigt werden, dass durch eine effektive Implementation die Nutzung sowohl für sphärische, als auch für hemisphärische, Panoramabilder in Echtzeit auf Low-Cost-Hardware möglich ist. Schließlich wurde damit begonnen, das ALV-Modell - welches genutzt werden kann, um mithilfe von bekannten Landmarken in der Umgebung zu einer bereits bekannten Position (Snapshot) zurückzukehren - zu untersuchen Es ist bekannt, dass eine Modifikation dieses Modells genutzt werden kann, um auch die Skyline als Landmarke zu nutzen, allerdings verändert dies grundlegende Eigenschaften des ALV-Modells: Während ein Agent im klassischen ALV-Modell theoretisch immer die Snapshot-Position erreicht, so ist dies im modifizierten ALV-Modell nicht mehr der Fall. Dies konnte bewiesen werden und es wurde damit begonnen, in einer Computersimulation die Folgen dieser theoretischen Erkenntnisse zu untersuchen.
Publications
- (2015). Insect models of illumination-invariant skyline extraction from UV and green channels. Journal of Theoretical Biology, 380(7):444–462
Differt, D. and Möller, R.
(See online at https://doi.org/10.1016/j.jtbi.2015.06.020) - (2016). Skyline-based localisation for aggressively manoeuvring robots using UV sensors and spherical harmonics. ICRA (International Conference on Robotics and Automation)
Stone, T., Differt, D., Milford, M., and Webb, B.
(See online at https://doi.org/10.1109/ICRA.2016.7487780)
