Laser-based Scene Interpretation in Dynamic Envrionments

• Applicant: Dr. Jens Behley
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2015 to 2020
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 289062648

• Final Report Year: 2020

Final Report Abstract

Semantisches Szenenverständnis ist von entscheidender Bedeutung für autonome Systeme, welche in natürlichen und dynamischen Umgebungen agieren wollen. Für das autonome Fahren sind hierbei die sich potentiell bewegenden Objekte, wie andere Fahrzeuge, Fahrradfahrer, und Fußgänger, aber auch die befahrbaren Flächen und anderen Objekte von entscheidender Bedeutung, da diese bei der Planung und Ausführung relevant sind. In den letzten Jahren werden neben Bildinformationen immer häufiger auch präzise Entfernungsdaten in Form von dreidimensionalen Punktwolken bzw. Tiefenbildern zur Szenenanalyse eingesetzt. Im Rahmen des Projektes sollte die dichte semantische Szeneninterpretation einer Sequenz von Punktwolken untersucht werden. Zur Verwirklichung der Zielsetzung wurde zuerst ein Verfahren zur globalkonsistenten Kartierung entwickelt, welches in Echtzeit die Position und Orientierung eines Lasersensors nur unter zur Hilfenahme der gemessenen dreidimensionalen Punktwolken ermitteln kann. Die so geschätzten Posen konnten dann genutzt werden, um so Zeitreihen von Punktwolken zu aggregieren. Die überlagerten Punktwolken konnten so effizient punktweise mit aufgabenrelevanten semantischen Klassen annotiert werden. Zudem wurden manuell einzelnen Objektinstanzen bestimmt und zeitlich konsistente Instanzzuordnungen vorgenommen. Resultat ist einer der größten Datensätze, der SemanticKITTI Datensatz, der die Entwicklung und Evaluation von semantischer Segmentierung auf Basis von einzelnen Punktwolken ermöglicht. Aufbauend auf dem Datensatz wurde zuerst ein Verfahren zur semantischen Segmentierung auf Basis einer Projektion der Punktwolke entwickelt, welches zudem Fehler bei der Rückprojektion in die dreidimensionalen Punktwolken korrigieren kann. Neben semantische Segmentierung wurde zudem ein Verfahren zur sogenannten panoptische Segmentierung, um gleichzeitig semantische Segmentierung und Instanzsegmentierung zu erreichen, entwickelt. Letztlich wurde die semantische Kartierung auf Basis der zuvor entwickelten semantischen Segmentierung und Kartierung zur Verbesserung der Posenschätzung mittels semantischer Information umgesetzt.

Publications

• "Efficient Surfel-Based SLAM using 3D Laser Range Data in Urban Environments“. In: Proc. of Robotics: Science and Systems (RSS). 2018
  J. Behley und C. Stachniss
  
• RangeNet++: Fast and Accurate LiDAR Semantic Segmentation“. In: Proceedings of the IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS). 2019
  A. Milioto, I. Vizzo, J. Behley und C. Stachniss
  
• SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences“. In: Proc. of the IEEE/CVF International Conf. on Computer Vision (ICCV). 2019
  J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss und J. Gall
  
• SuMa++: Efficient LiDAR-based Semantic SLAM“. In: Proc. of the IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). 2019
  X. Chen, A. Milioto, E. Palazzolo, P. Giguere, J. Behley und C. Stachniss
  
• A Benchmark for LiDAR-based Panoptic Segmentation based on KITTI“. In: arXiv preprint (2020)
  J. Behley, A. Milioto und C. Stachniss
  
• Domain Transfer for Semantic Segmentation of LiDAR Data using Deep Neural Networks“. In: Proc. of the IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). 2020
  F. Langer, A. Milioto, A. Haag, J. Behley und C. Stachniss
  
• LiDAR Panoptic Segmentation for Autonomous Driving“. In: Proc. of the IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). 2020
  A. Milioto, J. Behley, C. McCool und C. Stachniss