Nutzung multimodaler Lernsignale in der ophthalmologischen Bildgebung

• Antragsteller: Dr. Martin Menten
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Augenheilkunde ; Klinische Neurologie; Neurochirurgie und Neuroradiologie
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 532139938

Deep Learning hat die medizinische Bildgebung grundlegend revolutioniert. Bei der Klassifizierung und Segmentierung medizinischer Bilder werden häufig die Leistungen von Experten erreicht oder sogar übertroffen. Darüber hinaus ist Deep Learning zu einem integralen Bestandteil von Methoden zur Aufnahme, Rekonstruktion und Registrierung medizinischer Bilddaten geworden. Trotz dieser weitreichenden Erfolge hat Deep Learning jedoch immer noch einige Defizite. Es benötigt große Mengen an annotierten Datensätzen während des Trainings, deren Kuration zeitaufwendig ist und Fachwissen erfordert. Außerdem sind neuronale Netze nur bedingt interpretierbar und nutzen oftmals flüchtige Korrelationen, obwohl diese nicht kausal mit der Aufgabenstellung zusammenhängen. Diese Probleme können potentiell durch die Integration von fachlichem Vorwissen mit Deep Learning gelöst werden. Solche multimodalen Lernsignale sind zum Beispiel geometrische und topologische Gleichungen, zeitliche Datensequenzen, physikalische Gesetze oder medizinische Texte. Diese Lernsignale können zum einen explizit zum Optimieren von neuronalen Netzen verwendet werden. Zum anderen kann Vorwissen implizit während des Entwurfs der Netzwerkarchitektur oder Trainingsstrategie einfließen. Im Rahmen des beschriebenen Arbeitsprogramms werden Strategien zur Integration multimodaler Lernsignale untersucht. Durch diese soll Deep Learning akkurater, effizienterer und interpretierbarer werden. Die hierbei gewonnenen Erkenntnisse werden zur Entwicklung von Methoden verwendet, welche akute klinische Probleme in der Augenheilkunde und Neurologie adressieren. Das erste von vier Arbeitspaketen wird nicht-euklidische Daten auswerten, um das Krankheitsstadium in Augen mit diabetischer Retinopathie zu bestimmen. Das zweite Arbeitspaket wird geometrische und topologische Gleichungen mit Deep Learning integrieren. Diese Methoden werden die automatisierte Vorhersage des Krankheitsverlaufs in Patienten mit altersbedingter Makuladegeneration ermöglichen. Das dritte Arbeitspaket wird die Aufnahme und Rekonstruktion von optischen Kohärenztomographie-Angiographie verbessern, einer nicht-invasiven Bildgebungsmodalität, welche retinale Blutgefäße abbilden kann. Dabei sollen physikbasierte neuronale Netze höhere Bilderfassungsgeschwindigkeiten ermöglichen und gleichzeitig Artefakte in den Bildern reduzieren. Das vierte Arbeitspaket befasst sich mit der Entwicklung von Algorithmen, die in der Lage sind, ein breites Spektrum multimodaler klinischer Informationen auszuwerten, um so die Behandlung von Patienten mit Multipler Sklerose zu unterstützen.

• DFG-Verfahren: Emmy Noether-Nachwuchsgruppen