Entwicklung grundlegender Verfahren für den Einsatz der Time - of - Flight - Kameratechnologie in der offenen und laparoskopischen Chirurgie
Final Report Abstract
Ziel des beantragten Forschungsvorhabens war die Entwicklung grundlegender Verfahren für den Einsatz der ToF-Kameratechnologie in der offenen und laparoskopischen Chirurgie. Die wissenschaftlichen Beiträge des Kooperationsprojekts lassen sich folgendermaßen zusammenfassen: Internationale Vergleichsstudie: Die erste internationale Vergleichsstudie zur Oberflächenrekonstruktion im medizinischen Kontext, welche in Kooperation mit namhaften Instituten wie dem Imperial College London, dem University College London und dem KIT durchgeführt wurde. Erstmals wurde nicht nur die Genauigkeit der Techniken, sondern auch die Robustheit gegenüber klinisch relevanten Aspekten wie Blut oder Rauch im Sichtfeld der Kamera untersucht. Diese Studie führte zu weiteren methodischen Entwicklungen im Bereich Sensorfusion. Vorverarbeitung: Neue hybride Vorverarbeitungstechniken zur Kompensation der begrenzten Auflösung, von Artefakten sowie Rauschen von ToF Kameras. Kompensation anisotroper Unsicherheiten: Eine Generalisierung des etablierten ICP Algorithmus, welcher die Integration von a-priori Wissen über - für ToF-Daten charakteristische - anisotrope Messunsicherheiten ermöglicht. Deformierbare Registrierung: Ein neues Verfahren zur Etablierung von Oberflächenkorrespondenzen zwischen partiell überlappende Oberflächen, welches speziell für Objekte ohne charakteristische Merkmalspunkte (wie die Leber) und stark verrauschte Eingangsdaten (wie ToF Daten) entwickelt wurde. Der Algorithmus dient zur Generierung von Randbedingungen einer FEM-basierten Methode zur nicht-rigiden Registrierung, die in Kooperation mit dem KIT entwickelt wurde. Mobile Erweiterte Realität: Ein neues, zum Patent eingereichtes, Konzept zur mobilen Erweiterten Realität, welches auf der Integration einer Tiefenbildkamera mit einem mobilen Display (z.B. iPad) basiert. Das Konzept wurde genutzt, um das erste System zur Visualisierung und Dokumentation multi-modaler forensischer Daten zu entwickeln. Anwendung in der minimal-invasiven Chirurgie: Eine neue Methode zur Erweiterung des medizinischen Sichtfeldes in laparoskopischen Interventionen auf Basis einer an der Bauchdecke des Patienten befestigten ToF Kamera. Zusammenfassend lässt sich feststellen, dass die kooperierenden Institute neuartige Konzepte entwickelt haben, um Tiefenbildkameras im Allgemeinen und die ToF-Technik im Speziellen fur medizinische Anwendungen einsetzbar zu machen und somit das Gebiet der computer-assistierten Chirurgie entscheidend vorangetrieben haben. Obwohl sich Konkurrenzverfahren in aktuellen Studien als genauer und robuster als die ToF-Technik gezeigt haben, bietet diese durch die Möglichkeit zur Tiefenrekonstruktion ohne Korrespondenzanalyse und ohne Baseline enormes Potential gerade für minimal-invasive medizinische Anwendungen, sofern systematische Fehler in zukünftigen Chiptechnologien deutlich reduziert werden können.
Publications
- 2012. Convergent Iterative Closest-Point Algorithm to Accomodate Anisotropic and Inhomogenous Localization Error. Pattern Analysis and Machine Intelligence, IEEE Transactions on 34, S. 1520-1532
Maier-Hein, L., Franz, A.M., Santos, T.R. dos, Schmidt, M., Fangerau, M., Meinzer, H.-P., Fitzpatrick, J.M.
(See online at https://doi.org/10.1109/TPAMI.2011.248) - 2012. Registration of partially overlapping surfaces for range image based augmented reality on mobile devices. SPIE Medical Imaging. International Society for Optics and Photonics, S. 83160T- 83160T
Kilgus, T., Franz, A.M., Seitel, A., März, K., Bartha, L., Fangerau, M., Mersmann, S., Groch, A., Meinzer, H.-P., Maier-Hein, L.
- 2013. 3-D Operation Situs Reconstruction with Time-of-Flight Satellite Cameras Using Photogeometric Data Fusion. Medical Image Computing and Computer-Assisted Intervention - MICCAI. Springer, S. 356-363
Haase, S., Bauer, S., Wasza, J., Kilgus, T., Maier-Hein, L., Schneider, A., Kranzfelder, M., Feußner, H., Hornegger, J.
- 2013. Optical techniques for 3D surface reconstruction in computer-assisted laparoscopic surgery. Medical Image Analysis 17, S. 974-996
Maier-Hein, L., Mountney, P., Bartoli, A., Elhawary, H., Elson, D.S., Groch, A., Kolb, A., Rodrigues, M., Sorger, J., Speidel, S., Stoyanov, D.
(See online at https://doi.org/10.1016/j.media.2013.04.003) - 2013. ToF Meets RGB: Novel Multi-Sensor Super-Resolution for Hybrid-3-D Endoscopy. Medical Image Computing and Computer-Assisted Intervention - MICCAI. Springer, S. 139-146
K¨öler, T., Haase, S., Bauer, S., Wasza, J., Kilgus, T., Maier-Hein, L., Feußner, H., Hornegger, J.
- 2014. Comparative Validation of Single-shot Optical Techniques for Laparoscopic 3D Surface Reconstruction. Medical Imaging, IEEE Transactions on 33, S. 1913-1930
Maier-Hein, L., Groch, A., Bartoli, A., Bodenstedt, S., Boissonnat, G., Chang, P.-L., Clancy, N.T., Elson, D.S., Haase, S., Heim, E., Hornegger, J., Jannin, P., Kenngott, H., Kilgus, T., Müller-Stich, B., Oladokun, D., Röhl, S., dos Santos, T.R., Schlemmer, H.-P., Seitel, A., Speidel, S., Wagner, M., Stoyanov, D.
(See online at https://doi.org/10.1109/TMI.2014.2325607) - 2014. Mobile markerless augmented reality and its application in forensic medicine. International Journal of Computer Assisted Radiology and Surgery, S. 1-14
Kilgus, T., Heim, E., Haase, S., Prüfer, S., Müller, M., Seitel, A., Fangerau, M., Wiebe, T., Iszatt, J., Schlemmer, H.-P., Hornegger, J., Yen, K., Maier-Hein, L.
(See online at https://doi.org/10.1007/s11548-014-1106-9) - 2014. Pose-Independent Surface Matching for Intra-Operative Soft-Tissue Marker-Less Registration. Medical Image Analysis 18, S. 1101-1114
dos Santos, T.R., Seitel, A., Kilgus, T., Suwelack, S., Wekerle, A.-L., Kenngott, H., Speidel, S., Schlemmer, H.-P., Meinzer, H.-P., Heimann, T., Maier-Hein, L.
(See online at https://doi.org/10.1016/j.media.2014.06.002) - 2015. Multi-Sensor Super-Resolution for Hybrid Range Imaging with Application to 3-D Endoscopy and Open Surgery. Medical Image Analysis 24, S. 220-234
Köhler, T, Haase, S., Bauer, S., Wasza, J., Kilgus, T., Maier-Hein, L., Stock, C., Hornegger, J., Feußner, H.
(See online at https://doi.org/10.1016/j.media.2015.06.011)
