Local Perception for the Autonomous Navigation of Multicopters
Geophysics
Final Report Abstract
Ziel des Projektes war die Entwicklung von Verfahren zur Umgebungswahrnehmung für die autonome Navigation von Multikoptern. In der ersten Projektphase wurde die egozentrische und allozentrische Kartierung auf Basis von Laserdaten umgesetzt. Dabei wurden zwei Verfahren entwickelt, die Laserscans in Multiresolutions-Surfel-Karten bzw. mittels Vermaschung lokal registrieren. Die lokalen Karten wurden dann in re-gelmäßigen Abständen als Schlüsselansichten gespeichert und gegeneinander registriert. Die Registrierungsfehler wurden in einem Posen-Graphen optimiert, um eine global konsistente Karte zu erhalten. Darauf aufbauend wurden in der zweiten Phase erweiterte Funktionalitäten realisiert und weitere Modalitäten für die Wahrnehmung der Schwebeplattform integriert. Um die Sicherheit und Robustheit bei der Detektion von Hindernissen zu erhöhen, wurden Sensoren weiterer Modalitäten wie Radar, RGB-D, Stereo- und Thermalkameras hinsichtlich ihrer Eigenschaften untersucht und bei Eignung integriert. Zur Komplementierung der bisher nur auf Laserscannern basierenden lokalen 3D-Kartierung wurden mehrere Kartierungsverfahren für Multikamerasysteme entwickelt und visuelle Merkmalspunkte in die lokale Laser-3D-Kartierung integriert. Zusätzlich wurden getroffene Entscheidungen innerhalb der lokalen Karten in regelmäßigen Abständen überprüft und Punktwolken bei Bedarf neu registriert. In der allozentrischen 3D-Kartierung wurden lokale Karten als Subgraphen modelliert und die Sensorbewegung mit zeitkontinuierlichen Splines approximiert, um Versätze bei der Scanaggregation zu minimieren. Ein hierarchischer Ansatz sorgt für die Optimierung sowohl innerhalb der Subgraphen als auch auf globaler Ebene. Verbleibende Registrierungsfehler werden zudem zur Verbesserung der Sensorkalibrierung während der Laufzeit genutzt. Dies beinhaltet sowohl pixelweise Korrekturfaktoren für Tiefenbilder von RGB-D Kameras, als auch für die Vignettierung von Objektiven und Änderungen in der Belichtungszeit. Messungen von Personen und bewegten Objekten erschweren die Kartierung und können die Lokalisationsgenauigkeit reduzieren. Daher wurden diese detektiert, in ihrer Bewegung modelliert und aus den statischen Karten entfernt. Die 3D-Umgebungsrepräsentationen wurden auch um semantiche Kategorisierung von Oberflächen erweitert. Die gemessenen Oberflächen wurden durch ein Mesh dargestellt und bildbasierte Kategorisierung probabilistisch auf semantischen Texturen fusioniert. Die Fusion ermoglicht konsistente Labels zurück zu propagieren und die Klassifikatoren von aus anderen Perspektiven aufgenommen Bildern selbstüberwacht zu trainieren. Die Arbeiten erfolgten in enger Zusammenarbeit mit anderen Teilprojekten der Forschergruppe. Sie dienen in Teilprojekt P3 als Grundlage für die sichere Navigation in der Nähe von Hindernissen. In enger Kooperation mit den Teilprojekten P1 und P4 wurde zudem die Sensorik am Versuchskopter integriert und zusammen mit P4 und P7 ein Laserdatensatz mit semantischen Annotationen versehen.
Publications
- (2016). Efficient multi-camera visualinertial SLAM for micro aerial vehicles. In Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
Houben, S., Quenzel, J., Krombach, N., and Behnke, S.
(See online at https://doi.org/10.1109/IROS.2016.7759261) - (2016). Multilayered mapping and navigation for autonomous micro aerial vehicles. Journal of Field Robotics (JFR), 33(4):451–475
Droeschel, D., Nieuwenhuisen, M., Beul, M., Holz, D., Stueckler, J., and Behnke, S.
(See online at https://doi.org/10.1002/rob.21603) - (2017). Online depth calibration for RGB-D cameras using visual SLAM. In Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
Quenzel, J., Rosu, R. A., Houben, S., and Behnke, S.
(See online at https://doi.org/10.1109/IROS.2017.8206043) - (2018). Efficient continuous-time SLAM for 3D lidar-based online mapping. In Proceedings of IEEE International Conference on Robotics and Automation (ICRA)
Droeschel, D. and Behnke, S.
(See online at https://doi.org/10.1109/ICRA.2018.8461000) - (2018). Keyframe-based photometric online calibration and color correction. In Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
Quenzel, J., Horn, J., Houben, S., and Behnke, S.
(See online at https://doi.org/10.1109/IROS.2018.8593595) - (2019). Semi-supervised semantic mapping through label propagation with semantic texture meshes. International Journal of Computer Vision (IJCV)
Rosu, R. A., Quenzel, J., and Behnke, S.
(See online at https://doi.org/10.1007/s11263-019-01187-z)
