Aktive daten- und modellbasierte Sensorpositionierung zur 3D-Vermessung
Final Report Abstract
Schon früh während der Projektbearbeitung wurde ersichtlich, dass ein objektiver Maßstab zum Vergleich der mittels Ansichtenplanung erzielten 3-D-Rekonstruktionen bisher nicht vorhanden war. Gemeinsam wurde daraufhin zur Bewertung ein Benchmark und Referenzobjekt definiert und publiziert (Munkelt et al., 2007), welcher unabhängig von der Rekonstruktionsmethode einen Vergleich anhand der notwendigen Ansichtenanzahl, der erzielten Vollständigkeit sowie des mittleren Punktabstandes und des mittleren 3-D-Fehlers ermöglicht. Die entwickelten Planungsmethoden wurden anhand des entwickelten Benchmarks bewertet. Während die Zielstellung – die Planung der zur 3-D Rekonstruktion von (un-) bekannten Objekten notwendigen Sensorparameter – bei beiden Projektpartnern identisch war, unterscheiden sich die Methoden hinsichtlich der zum Einsatz kommenden Rekonstruktionsverfahren. Bei der am DBV eingesetzten Rekonstruktion ohne aktive Beleuchtung spielt die Merkmalsverfolgung eine entscheidende Rolle. Deshalb wurde Vorwissen aus der kontrollierten Umgebung innerhalb der Kanade-Lucas-Tomasi- (KLT) Merkmalsverfolgung eingesetzt. Das resultierende erweiterte Guided KLT-Tracking (GKLT) schränkt den Suchraum auf die jeweiligen Epipolarlinien ein, bewertet gleichzeitig die Unsicherheit und führt eine robuste 3-D-Schätzung mit Ausreißerdetektion durch. Weiterhin wird mittels probabilistischer Oberflächenschätzung eine nicht-diskrete Oberflächenrepräsentation bei Verwendung passiver Sensorik berechnet, welche eine Sichtbarkeits- bzw. Verdeckungsanalyse auch bei geringen Punktdichten ermöglicht. Beide Partner optimieren die Genauigkeit der 3-D-Rekonstruktion bezüglich eines erweiterten E- Kriteriums. Dieses auf den Eigenwerten und Eigenvektoren der Kovarianzmatrix der 3-D-Schätzungen basierende Kriterium berechnet Ansichten, welche orthogonal zur vorherrschenden Hauptfehlerrichtung orientiert sind. Solch eine Ansicht minimiert diese Unsicherheit und erhöht somit die Genauigkeit der 3-D Rekonstruktion. Die bei IOF zum Einsatz kommende Variante betrachtet – basierend auf der Objektoberfläche – zusätzlich den Antastwinkel und die Sichtbarkeit. Zur Einbeziehung von Vorwissen aus Referenzmodellen müssen diese zu den Messdaten registriert werden. Dazu wurde am DBV eine Grobregistrierung von 3-D-Oberflächentriangulationen anhand euklidisch invarianter Deskriptoren entwickelt. Zur modellbasierten 3-D-Rekonstruktion komplexer Objekte mittels Streifenprojektion wurde am IOF ein mengentheoretischer Planungsansatz zur Planung einer Serie von Ansichten angepasst. Somit können bei Berücksichtigung von z.B. Einschränkungen des Sensorbewegungsbereiches Messobjekte mit komplizierter Objekttopographie deutlich vollständiger rekonstruiert werden. Unter Nutzung des E-Kriteriums und sensorspezifischer Parameter können als Resultat der Planung sowohl Vollständigkeit als auch Messunsicherheit vor Durchführung der eigentlichen Messung bewertet werden. Um eine kombinierte daten- und modellgetriebene Ansichtenplanung zu ermöglichen, wurde ein iteratives Planungsverfahren implementiert, welches in einer ersten Phase unter Nutzung von Messdaten einer Time-Of-Flight 3-D Kamera oder Objektplatzhaltern (sog. Hüllkörpern) ein Grobmodell des zu vermessenden Objektes erzeugt. Dieses wird durch weitere, mit Hilfe des jeweils aktuellen Objektmodells geplante Ansichten komplettiert. Die entwickelten Methoden zur Grobregistrierung von 3-D-Oberflächentriangulationen sollen zusätzlich genutzt werden, um geometrische Grundkörper im Messobjekt zu finden. Damit ist es möglich, Hypothesen über bisher nicht gescannte Objektbereiche aufzustellen und mittels geeigneter Teilpläne gezielt zu erfassen. Dies ist speziell bei der Vermessung von zylindrischen und sphärischen Objekten, wie z.B. Bohrungen oder Kalibriernormalen hilfreich. Zur besseren Rundumvermessung soll des Weiteren die Mehransichtenplanung am IOF für die Einbeziehung weiterer Objektmanipulatoren (z.B. Drehteller) erweitert werden. Damit würde die automatische Erfassung fast der gesamten Oberfläche selbst komplexer Objekte ermöglicht. Die Mehrschrittplanung vor Beginn einer Messung ist, abhängig vom zu vermessenden Objekt, relativ zeitaufwendig (zwischen 20 und 120 Minuten). Im Rahmen des Einsatzes in einer Produktivumgebung soll die gegenwärtige prototypische Implementierung durch native Umsetzung in C/C++ und Parallelisierung um einen Faktor von ca. 10x beschleunigt werden. Mögliche Anwendungsfelder sind die industrielle Qualitätssicherung und die Flächenrückführung (Reverse Engineering). Bei ersterer müssen bekannte Objekte möglichst schnell – also mit möglichst wenigen Ansichten – vollständig erfasst werden, um produktionsbedingte Abweichungen von der Sollgeometrie auszuschließen. Bei der Flächenrückführung kann im Allgemeinen eben nicht auf ein Objektmodell zurückgegriffen werden. Damit sind in diesem Bereich sowohl die am DBV, als auch die am IOF entwickelten Methoden zur datengetriebenen Planung anwendbar.
Publications
- (2007). Benchmarking 3D Reconstructions from Next Best View Planning. Proceedings of the IAPR Conference on Machine Vision Applications (MVA), 1:552–555
Munkelt, C., Trummer, M., Wenhardt, S., and Denzler, J.
- (2007). NBV Benchmark Website, Data and CAD- Models
Munkelt, C., Trummer, M.
- (2008). KLT Tracking Using Intrinsic and Extrinsic Camera Parameters in Consideration of Uncertainty. Proceedings of the International Conference on Computer Vision Theory and Applications (VISAPP), 2:346–351
Trummer, M., Denzler, J., and Munkelt, C.
- (2009). Coarse Registration of 3D Surface Triangulations Based on Moment Invariants with Applications to Object Alignment and Identification. Proceedings of the IEEE International Conference on Computer Vision (ICCV), 1:1273–1279
Trummer, M., Süße, H., and Denzler, J.
- (2009). Combined GKLT Feature Tracking and Reconstruction for Next Best View Planning. Proceedings of the Symposium of Deutsche Arbeitsgemeinschaft für Mustererkennung (DAGM), Lecture Notes in Computer Science (LNCS), Springer, 5748:161–170
Trummer, M., Munkelt, C., and Denzler, J.
- (2009). Extending GKLT Tracking – Feature Tracking for Controlled Environments with Integrated Uncertainty Estimation. Proceedings of the IAPR Scandinavian Conference on Image Analysis (SCIA), Lecture Notes in Computer Science (LNCS), Springer, 5575:460–469
Trummer, M., Denzler, J., and Munkelt, C.
- (2009). View Planning for 3D Reconstruction Using Time-of-Flight Camera Data. Proceedings of the Symposium of Deutsche Arbeitsgemeinschaft für Mustererkennung (DAGM), Lecture Notes in Computer Science (LNCS), Springer, 5748:352–361
Munkelt, C., Trummer, M., Kühmstedt, P., Notni, G., and Denzler, J.
- (2009). Volumetric view planning for 3D reconstruction using combined quality criteria. In: Grün, A. and Kahmen, H., editors, 9th Conference on Optical 3-D Measurement Techniques, Wien, pages 275–284
Munkelt, C., Trummer, M., Denzler, J., and Notni, G.
- (2010). Multi-view planning for simultaneous coverage and accuracy optimisation. In: Labrosse, F., Zwiggelaar, R., Liu, Y., and Tiddeman, B., editors, Proceedings of the British Machine Vision Conference, pages 118.1– 118.11. BMVA Press
Munkelt, C., Breitbarth, A., Notni, G., and Denzler, J.
- (2010). Online Next-Best-View Planning for Accuracy Optimization Using an Extended E-Criterion. Proceedings of the IAPR International Conference on Pattern Recognition (ICPR)
Trummer, M., Munkelt, C., and Denzler, J.
- (2011). Purposive Three-dimensional Reconstruction by Means of a Controlled Environment. Dissertation, Lehrstuhl Digitale Bildverarbeitung, Friedrich-Schiller-Universität Jena
Trummer, M.
