Distributed sensing and assessment of visual surface conditions for regional road networks

• Applicant: Professor Dr.-Ing. Markus König, since 1/2017
• Subject Area: Structural Engineering, Building Informatics and Construction Operation ; City Planning, Spatial Planning, Transportation and Infrastructure Planning, Landscape Planning
• Term: from 2013 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 233324858

• Final Report Year: 2021

Final Report Abstract

Um die Lebensdauer kommunaler Straßen zu verlängern, müssen Straßenschäden wie Risse und Schlaglöcher frühzeitig erkannt werden. Die Erkennung erfolgt meistens manuell oder mithilfe von speziell ausgestatteten Fahrzeugen. Dieses Verfahren ist zeit- und kostenaufwändig und die meisten Kommunen verfügen nicht über eine ausreichende Anzahl von Fahrzeugen. Des Weiteren werden die Schadensdaten meistens offline verarbeitet, was dazu führt, dass eine beträchtliche Datenmenge persistent bis zur eigentlichen Verarbeitung gespeichert wird. In diesem Projekt wurde eine Methodik zur automatisierten Erkennung von Straßenschäden auf Basis von maschinellem Sehen entwickelt. Bilder der Straßenoberfläche werden in Echtzeit auf Grafikprozessoren (GPU) analysiert, die anstelle von dedizierten Fahrzeugen mit Hilfe von Fahrzeugen wie PKWs, Busse und Taxis auf ihren gewöhnlichen Routen aufgenommen werden. Um die Menge der gespeicherten Daten zu reduzieren, werden die Bilder in Echtzeit analysiert, während die Fahrzeuge mit ihrer üblichen Geschwindigkeit fahren. Dazu wurden entsprechende Methoden entwickelt und implementiert. Darüber hinaus wurden Bildvorverarbeitungsmethoden wie Median-Filterung und Top-Hat Transformation umgesetzt, um eine Rauschentfernung und eine Korrektur der ungleichmäßigen Hintergrundbeleuchtung in Echtzeit zu ermöglichen. Da Straßen durch unterschiedliche Oberflächentypen gekennzeichnet sind, wurden Texturmerkmale berechnet und in die Methodik integriert, um bei der Analyse der Bilder zwischen Oberflächentypen zu unterscheiden. Um die Art der Schäden (d. h. Risse, Schlaglöcher oder Flickstellen) zu erkennen wurden zusätzlich Deep Learning Ansätze angewandt. Die entwickelte Methodik wurde mittels von zwei Fallstudien validiert. Hierzu wurden mehr als 50.000 Bilder auf deutschen kommunalen Straßen aufgenommen und zum Nachweis der Klassifikationsfähigkeit des erarbeiteten Ansatzes verwendet. Eine Klassifikationsgenauigkeit von 93% konnte erreicht werden. Die Bilder wurden mithilfe eines im Fahrzeug installierten GPS-Empfängers mit Geotags versehen. Die Ergebnisse der Analysen mit der Wavelet-Transformation und den Texturmerkmalen wurden auf Basis der Verortung der Schäden mit den Ergebnissen der Deep Learning basierten Analyse kombiniert. Darüber hinaus wurden die von verschiedenen Fahrzeugen gewonnenen Ergebnisse aggregiert, um ein Ensemble-Verfahren zur Straßenschadenerkennung zu entwickeln und die Zuverlässigkeit der Erkennung zu steigern. Die Ergebnisse dieses Projektes zeigen, dass auf Basis von dezentralisierten Systemen, die Straßenoberflächen kostengünstig und in Echtzeit analysiert werden können. Somit bietet die Methodik den Kommunen die Möglichkeit mit bezahlbarer technischen Ausstattung Straßenschäden zu erfassen und infolgedessen die Lebensdauer der Straßen deutlich zu verlängern.

Publications

• Multi-GPU enabled wavelet analysis for real-time pavement distress detection. In: Forum Bauinformatik 2014. Shaker Verlag, 2014. ISBN: 978-3-8440-3068-6
  Kristina Georgieva
  
• A review on computer vision based defect detection and condition assessment of concrete and asphalt civil infrastructure. Advanced Engineering Informatics, 29:196–210, 2015
  Christian Koch, Kristina Georgieva, Varun Kasireddy, Burcu Akinci, and Paul Fieguth
  
• Dichtebasierte Clusteranalyse zur Georeferenzierung-von Strassenschaden. In: Christoph Blut and Catia Maria Real Ehrlich, Forum Bauinformatik 2015, pages 166–174, Aachen, Germany, 2015. Wichmann
  Kristina Doycheva and Zeynep Seckin
  
• GPU-enabled shadow removal on pavement images. In: Christoph Blut and Catia Maria Real Ehrlich, Forum Bauinformatik 2015, pages 158–165, Aachen, Germany, 2015. Wichmann
  Vasil Vakavchiev and Kristina Doycheva
  
• Wavelet transform on multi-GPU for real-time pavement distress detection. In: Proceedings of the 2015 ASCE International Workshop on Computing in Civil Engineering, pages 99–106, Austin, USA, 2015
  Kristina Georgieva, Christian Koch, and Markus König
  
• A framework for automated pavement condition monitoring. In: Construction Research Congress 2016, pages 770–779, San Juan, Puerto Rico, 2016
  Stefania Radopoulou, Ioannis K. Brilakis, Kristina Doycheva, and Christian Koch
  
• Implementing Haralick features on GPU for pavement distress detection. In: 16th International Conference on Computing in Civil and Building Engineering, pages 1575–1582, Osaka, Japan, 2016
  Kristina Doycheva, Christian Koch, and Markus König
  
• Implementing textural features on GPUs for improved real-time pavement distress detection. Journal of Real-time Image Processing, 2016
  Kristina Doycheva, Christian Koch, and Markus König
  
• GPU-enabled pavement distress image classification in real time. Journal of Computing in Civil Engineering, 31(3), 2017
  Kristina Doycheva, Christian Koch, and Markus König
  
• Computer vision and deep learning for real-time pavement distress detection. In: Timo Hartmann and Ivan Mutis, Advances in Informatics and Computing in Civil and Construction Engineering; Proceedings of the 35th CIB W78 2018 Conference: IT in Design, Construction, and Management, pages 601–607, Chicago, USA, 2019. Springer
  Kristina Doycheva, Christian Koch, and Markus König
  
• GPU-enabled real-time pavement distress detection based on computer vision and deep learning. Dissertation, Ruhr-Universität Bochum, 2020
  Kristina Doycheva