Distributed sensing and assessment of visual surface conditions for regional road networks
City Planning, Spatial Planning, Transportation and Infrastructure Planning, Landscape Planning
Final Report Abstract
Um die Lebensdauer kommunaler Straßen zu verlängern, müssen Straßenschäden wie Risse und Schlaglöcher frühzeitig erkannt werden. Die Erkennung erfolgt meistens manuell oder mithilfe von speziell ausgestatteten Fahrzeugen. Dieses Verfahren ist zeit- und kostenaufwändig und die meisten Kommunen verfügen nicht über eine ausreichende Anzahl von Fahrzeugen. Des Weiteren werden die Schadensdaten meistens offline verarbeitet, was dazu führt, dass eine beträchtliche Datenmenge persistent bis zur eigentlichen Verarbeitung gespeichert wird. In diesem Projekt wurde eine Methodik zur automatisierten Erkennung von Straßenschäden auf Basis von maschinellem Sehen entwickelt. Bilder der Straßenoberfläche werden in Echtzeit auf Grafikprozessoren (GPU) analysiert, die anstelle von dedizierten Fahrzeugen mit Hilfe von Fahrzeugen wie PKWs, Busse und Taxis auf ihren gewöhnlichen Routen aufgenommen werden. Um die Menge der gespeicherten Daten zu reduzieren, werden die Bilder in Echtzeit analysiert, während die Fahrzeuge mit ihrer üblichen Geschwindigkeit fahren. Dazu wurden entsprechende Methoden entwickelt und implementiert. Darüber hinaus wurden Bildvorverarbeitungsmethoden wie Median-Filterung und Top-Hat Transformation umgesetzt, um eine Rauschentfernung und eine Korrektur der ungleichmäßigen Hintergrundbeleuchtung in Echtzeit zu ermöglichen. Da Straßen durch unterschiedliche Oberflächentypen gekennzeichnet sind, wurden Texturmerkmale berechnet und in die Methodik integriert, um bei der Analyse der Bilder zwischen Oberflächentypen zu unterscheiden. Um die Art der Schäden (d. h. Risse, Schlaglöcher oder Flickstellen) zu erkennen wurden zusätzlich Deep Learning Ansätze angewandt. Die entwickelte Methodik wurde mittels von zwei Fallstudien validiert. Hierzu wurden mehr als 50.000 Bilder auf deutschen kommunalen Straßen aufgenommen und zum Nachweis der Klassifikationsfähigkeit des erarbeiteten Ansatzes verwendet. Eine Klassifikationsgenauigkeit von 93% konnte erreicht werden. Die Bilder wurden mithilfe eines im Fahrzeug installierten GPS-Empfängers mit Geotags versehen. Die Ergebnisse der Analysen mit der Wavelet-Transformation und den Texturmerkmalen wurden auf Basis der Verortung der Schäden mit den Ergebnissen der Deep Learning basierten Analyse kombiniert. Darüber hinaus wurden die von verschiedenen Fahrzeugen gewonnenen Ergebnisse aggregiert, um ein Ensemble-Verfahren zur Straßenschadenerkennung zu entwickeln und die Zuverlässigkeit der Erkennung zu steigern. Die Ergebnisse dieses Projektes zeigen, dass auf Basis von dezentralisierten Systemen, die Straßenoberflächen kostengünstig und in Echtzeit analysiert werden können. Somit bietet die Methodik den Kommunen die Möglichkeit mit bezahlbarer technischen Ausstattung Straßenschäden zu erfassen und infolgedessen die Lebensdauer der Straßen deutlich zu verlängern.
Publications
- Multi-GPU enabled wavelet analysis for real-time pavement distress detection. In: Forum Bauinformatik 2014. Shaker Verlag, 2014. ISBN: 978-3-8440-3068-6
Kristina Georgieva
- A review on computer vision based defect detection and condition assessment of concrete and asphalt civil infrastructure. Advanced Engineering Informatics, 29:196–210, 2015
Christian Koch, Kristina Georgieva, Varun Kasireddy, Burcu Akinci, and Paul Fieguth
(See online at https://doi.org/10.1016/j.aei.2015.01.008) - Dichtebasierte Clusteranalyse zur Georeferenzierung-von Strassenschaden. In: Christoph Blut and Catia Maria Real Ehrlich, Forum Bauinformatik 2015, pages 166–174, Aachen, Germany, 2015. Wichmann
Kristina Doycheva and Zeynep Seckin
- GPU-enabled shadow removal on pavement images. In: Christoph Blut and Catia Maria Real Ehrlich, Forum Bauinformatik 2015, pages 158–165, Aachen, Germany, 2015. Wichmann
Vasil Vakavchiev and Kristina Doycheva
- Wavelet transform on multi-GPU for real-time pavement distress detection. In: Proceedings of the 2015 ASCE International Workshop on Computing in Civil Engineering, pages 99–106, Austin, USA, 2015
Kristina Georgieva, Christian Koch, and Markus König
(See online at https://doi.org/10.1061/9780784479247.013) - A framework for automated pavement condition monitoring. In: Construction Research Congress 2016, pages 770–779, San Juan, Puerto Rico, 2016
Stefania Radopoulou, Ioannis K. Brilakis, Kristina Doycheva, and Christian Koch
(See online at https://doi.org/10.1061/9780784479827.078) - Implementing Haralick features on GPU for pavement distress detection. In: 16th International Conference on Computing in Civil and Building Engineering, pages 1575–1582, Osaka, Japan, 2016
Kristina Doycheva, Christian Koch, and Markus König
- Implementing textural features on GPUs for improved real-time pavement distress detection. Journal of Real-time Image Processing, 2016
Kristina Doycheva, Christian Koch, and Markus König
(See online at https://doi.org/10.1007/s11554-016-0648-1) - GPU-enabled pavement distress image classification in real time. Journal of Computing in Civil Engineering, 31(3), 2017
Kristina Doycheva, Christian Koch, and Markus König
(See online at https://doi.org/10.1061/(ASCE)CP.1943-5487.0000630) - Computer vision and deep learning for real-time pavement distress detection. In: Timo Hartmann and Ivan Mutis, Advances in Informatics and Computing in Civil and Construction Engineering; Proceedings of the 35th CIB W78 2018 Conference: IT in Design, Construction, and Management, pages 601–607, Chicago, USA, 2019. Springer
Kristina Doycheva, Christian Koch, and Markus König
(See online at https://doi.org/10.1007/978-3-030-00220-6_72) - GPU-enabled real-time pavement distress detection based on computer vision and deep learning. Dissertation, Ruhr-Universität Bochum, 2020
Kristina Doycheva
