Patient-specific 4D Virtual Reality Simulation of Punctures and Radiofrequency Ablations in Breathing Virtual Body Models
Final Report Abstract
Im Rahmen des Projektes wurden Methoden für die realitätsnahe visuo-haptische VR-Simulation von Atembewegungen für die Planung und das Training von Punktionen und Radiofrequenz-Ablationen in virtuellen Körpermodellen entwickelt. Hierbei wurde nicht nur die visuelle, sondern auch die haptische Immersion mit einem haptischen Kraftrückkopp-lungsgerät mit 6 Freiheitsgraden realisiert, so dass der Bediener neben der Wahrnehmung eines stereoskopischen Bewegtbildes auch die Intervention und Atembewegung spüren kann. Mithilfe des haptischen Kraftrückkopplungsgeräts ist der Benutzer in der Lage, die Punktions- bzw. Ablationsnadel in einem dreidimensionalen Arbeitsraum intuitiv zu steu-ern. Zugleich spürt er realistische Kräfte bei der Einführung der Nadel in den Körper sowie beim Gleiten durch den Körper und dem Durchstechen innerer Organe. Zur realitätsnahen Simulation der Atembewegungen wurden auf der Grundlage von 4D-Bilddaten reale Bewegungsmuster mithilfe nicht-linearer Registrierungsverfahren extra-hiert, die die Bewegung eines jeden Bildpunktes über den Atemzyklus hinweg durch ein zeitlich sich veränderndes 3D-Vektorfeld beschreiben. Im Rahmen des Projektes wurden sowohl individuelle als auch über ein Patientenkollektiv gemittelte 4D-Bewegungsmodelle generiert und zu voxelbezogenen Simulation realer Atembewegungen verwendet. Mithilfe surrogatbasierter 4D-Bewegungsmodelle wurde zudem zeitliche Veränderungen der Atmungsmuster in verschiedenen Atmungszyklen in Abhängigkeit von einem externen Sur-rogat (z.B. Volumen der zu den verschiedenen Atemphasen ein- und ausgeatmeten Luft) realitätsnah simuliert. Die Kompensation der anatomischen Unterschiede zwischen der Modell- und der Patien-tenanatomie sowie der Übertragung der komplexen 4D-Bewegungsmodelle auf die stati-schen 3D-Patientendaten zur Animation wurde durch Einsatz deformierbarer Registrie-rungsverfahren ermöglicht. Die 4D-Bewegungsmodelle wurden in ein visuo-haptisches Framework integriert, das die haptisch-visuell gesteuerte Interaktion der Punktions- bzw. Ablationsnadel mit dem atmenden virtuellen Körper ermöglichte. Für die visuo-haptische 4D-Darstellung der bewegten 3D-Bilddaten in Echtzeit wurden spezielle volumenbasierte 4D-Renderingtechniken entwickelt und laufzeitoptimiert auf der GPU parallelisiert. Weiter-hin wurde insbesondere für die Planung und das Training von Radiofrequenzablationen im Leberbereich die biophysikalische Simulation der mit der RF-Ablation einhergehenden Temperaturveränderungen im Gewebe ermöglicht. Über die Methodenentwicklung hinaus wurden die entwickelten Verfahren prototypisch in einen VR-Simulator mit eingebautem Kraftrückkopplungsgerät und Stereobilddarstellungsmöglichkeit integriert und somit für den praktischen Einsatz verfügbar gemacht.
Publications
- Direct Visuo-Haptic 4D Volume Rendering Using Respiratory Motion Models. IEEE Transactions on Haptics, Vol. 8. 2015, Issue 4, pp. 371-383.
Fortmeier, D., M. Wilms, A. Mastmeyer, H. Handels.
(See online at https://doi.org/10.1109/TOH.2015.2445768) - Direct Volume Rendering Methods for Needle Insertion Simulation. Dissertation, Techn.-Naturwiss. Fakultät der Universität zu Lübeck, Institut für Medizinische Informatik, 2016.
Fortmeier, D.
- Efficient Patient Modeling for Visuo-Haptic VR Simulation using a Generic Patient Atlas. Computer Methods and Programs in Biomedicine, Vol. 132. 2016, pp. 161-175.
Mastmeyer, A., D. Fortmeier, H. Handels.
(See online at https://doi.org/10.1016/j.cmpb.2016.04.017) - Real-Time Ultrasound Simula-tion for Training of US-Guided Needle Insertion in Breathing Virtual Patients. Studies in Health Technology and Informatics, Vol. 220: Medicine Meets Virtual Reality, 22 - MMVR 2016, pp. 219-226.
Mastmeyer, A., M. Wilms, J. Schröder, H. Handels.
(See online at https://dx.doi.org/10.3233/978-1-61499-625-5-219) - Evaluation of Direct Haptic 4D Volume Rendering of Partially Segmented Data for Liver Puncture Simulation.
Nature Scientific Reports, Vol 7. 2017, Issue 1, Article number: 671.
Mastmeyer, A., D. Fortmeier, H. Handels.
(See online at https://doi.org/10.1038/s41598-017-00746-z) - Interpatient Respiratory Motion Model Trans-fer for Virtual Reality Simulations of Liver Punctures.
Journal of World Society of Computer Graphics - WSCG 25(1): 1-10.
Journal of WSCG, Vol.25, No.1, ISSN 1213-6972, 2017
Mastmeyer, A., M. Wilms, H. Handels
- Patientenspezifische VR-Simulation von US-gestützten Nadelpunktionen in atmungsbewegten virtuellen Patienten. Habilitationsschrift zur Erlangung der venia legendi für Medizinische Informatik, Universität zu Lübeck.
Mastmeyer, A.
- Population-based Respiratory 4D Motion At-las Construction and its Application for VR Simulations of Liver Punctures. In: Angelini E.D. (ed.), Proceedings of SPIE Medical Imaging 2018: Image Processing, Houston, Texas, United States, SPIE, 10574, 1057417-1-1057417-7, ISBN 978-1-5106-1637-0
Mastmeyer, A., M. Wilms, H. Handels.
