3D-Surface Reconstruction

• Applicant: Professor Dr. Daniel Cremers
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing ; Geophysics
• Term: from 2011 to 2019
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 166047863

• Final Report Year: 2020

Final Report Abstract

Das Ziel von Projekt 5 ist die genaue Bewegungsschätzung und 3D-Rekonstruktion mittels Daten, die von den Sensoren eines Mikro-Luftfahrzeugs (micro aerial vehicle, MAV) aufgenommen werden. Um dieses Ziel zu erreichen, haben wir verschiedene Erweiterungen für direkte visuelle Odometrie- und SLAM-Methoden entwickelt, welche für höhere Genauigkeit und Robustheit sorgen. Dies erlaubt den Einsatz auf einem im Flug befindlichen MAV. Zusammengefasst wurde an folgenden Themen gearbeitet: • Erweiterung semi-dichter, direkter Verfahren auf Stereo-Kamerasysteme. • Adaption semi-dichter, direkter Verfahren für Fisheye-Kameras, mit einem Öffnungswinkel von bis zu 180°. • Direkte Inkorporation anderer verfügbarer Sensorik (IMU) anstelle von nachfolgender Fusion. • Direkte Schätzung von Wunsch-Blickpunkten für bereits partiell rekonstruierte / beobachtete Bereiche, die für die weitere Pfadplanung in Echtzeit benutzt werden kann. • Entwicklung von Loop-Closure und Relokalisierungs-Ansätzen. • Erhöhung der Robustheit, insbesondere gegenüber Beleuchtungsänderungen und dynamischen Objekten. Die Methoden, welche in diesem Teilprojekt entwickelt wurden, erlauben Bewegungsschätzungen und 3D-Rekonstruktionen in Echtzeit auf einem MAV. Dies kann nützlich sein, falls die Kommunikation mit der Basisstation nicht vorhanden oder instabil ist. In solch einem Fall kann das MAV trotzdem Hindernisse einbeziehen und seinen Pfad planen.

Publications

• (2015). Large-scale direct slam for omnidirectional cameras. In 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 141–148
  Caruso, D., Engel, J., and Cremers, D.
  (See online at https://doi.org/10.1109/IROS.2015.7353366)
• (2015). Large-scale direct slam with stereo cameras. In 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 1935–1942
  Engel, J., Stückler, J., and Cremers, D.
  (See online at https://doi.org/10.1109/IROS.2015.7353631)
• (2016). Direct visual-inertial odometry with stereo cameras. In 2016 IEEE International Conference on Robotics and Automation (ICRA), pages 1885–1892
  Usenko, V., Engel, J., Stückler, J., and Cremers, D.
  (See online at https://doi.org/10.1109/ICRA.2016.7487335)
• UAV 2016 – Vermessung mit unbemannten Flugsystemen, volume 82 of Schriftenreihe des DVW, pages 247–264. Wißner Verlag
  Schneider, J., Stachniss, C., and Forstner, W.
  
• (2017). Real-time trajectory replanning for mavs using uniform b-splines and a 3d circular buffer. In 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 215–222
  Usenko, V., von Stumberg, L., Pangercic, A., and Cremers, D.
  (See online at https://doi.org/10.1109/IROS.2017.8202160)
• (2018). LDSO: Direct sparse odometry with loop closure. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 2198–2204
  Gao, X., Wang, R., Demmel, N., and Cremers, D.
  (See online at https://doi.org/10.1109/IROS.2018.8593376)
• (2018). The double sphere camera model. In 2018 International Conference on 3D Vision (3DV), pages 552–560
  Usenko, V., Demmel, N., and Cremers, D.
  (See online at https://doi.org/10.1109/3DV.2018.00069)