Interactive Multifunctional Confocal Image Analysis
Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
Optics, Quantum Optics and Physics of Atoms, Molecules and Plasmas
Final Report Abstract
Die 3D-konfokale Mikroskopie ist ein räumlich hoch auflösendes bildgebendes Verfahren zur optischen Analyse, welches in Bereichen wie Life Sciences und Materialwissenschaften eine breite Anwendung findet. Aktuelle Systeme konzentrieren sich vornehmlich auf spezielle monomodale Analysen/Fragestellungen, deren Ziele beispielsweise in der Messung der Topologie, der Lokalisation von Molekülen, oder die Label-freie Analyse der chemischen Zusammensetzung ist, und die ein erhebliches Maß an Expertenwissen hinsichtlich der konfokalen Bildgebung und der zugrunde liegenden physikalischen Effekte erfordert. In diesem Projekt wurde ein kombiniertes Messsystem entwickelt, welches verschiedene weitere Modalitäten mit einem bestehenden konfokalen Raman-Mikroskop (CRM) kombiniert, um zusätzlich ergänzende Informationen zu erfassen. Dies sind u.a. die räumlich aufgelöste transiente Absorption mittels direct Confocal Absorption Microscopy (dCAM), der ortsaufgelösten Photostromgenerierung bzw. der mikrolithographischen Modifikation. Die Komplexität der multimodalen Mikroanalyse hat neue wissenschaftliche Ansätze sowohl im Bereich der Entwicklung der experimentellen Apparatur, als auch in der interaktiven Datenanalyse hervorgebracht. In der ersten Projektphase wurde die technische Integration der dCAM-Modalität in das CRM-Mikroskopie-System realisiert. Die Bewertung des neuen Systems offenbart ein unerwartet starkes und stabiles dCAM Signal, wobei die räumliche Auflösung in der Nähe der theoretischen Beugungsgrenze liegt. Das in der zweiten Phase erweiterte System zeigt nun seinen Mehrwert in der Analyse der Messdaten auf der µm-Skala in der deutlichen größeren Anzahl an Modalitäten und einer schnelleren Bildgebung wodurch zahlreiche neue Anwendungen erstmalig möglich wurden. Es wurde ein multimodales, interaktives, und exploratives visuelles Analysesystem entwickelt, das trotz seiner domainspezifischen Implementierung mit seiner kaskadierten Transferfunktion eine nützliche allgemeine Methode zur Visualisierung und Analyse von multimodalen, hochdimensionalen Spektraldaten darstellt. Das Visualisierungskonzept für qualitative und quantitative Werten ermöglicht nicht nur reine Klassifikation oder quantitative Merkmalsvisualisierung, sondern führt diese beiden meist getrennte durchgeführten Analysen zusammen und eröffnet somit den Zugang zu komplexen Beziehungen zwischen verschiedenen Effekten. Die resultierende Hierarchie der kaskadierten Visualisierungs-Zykluses erlaubt es durch den entstehenden Merkmalsgraphen, bestehend aus initialen oder abgeleiteten Merkmalen zu navigieren und neue Merkmale abzuleiten. Das explorative Visualisierungskonzept erlaubt es unter Einbeziehung domänenspezifischer Maße, z.B. aus der konfokalen Raman Bildgebung, Korrelationen zwischen den Modalitäten und Merkmalen mittels Transferfunktionen zu extrahieren, um damit spezifische Effekte z.B. an Materialübergängen offen zu legen. Als weitere Analysefunktion wurde ein semi-automatisches System zur Identifikation relevanter, konstituierender Spektren (Endmember) entwickelt, welches zeitgleich die Qualität und die Stabilität der Rekonstruktion berücksichtigt. Zudem wurden spezifische Aspekte der Visualisierung weiter entwickelt. Einerseits wurden Methoden zur Farbmischung realisiert, in dem die Farbzuweisung der Transferfunktion für den skalaren quantitativen Wert visuell über den Farbkanal erfolgt. Darüber hinaus wurden zur visuellen Trennung räumlich-spektraler Merkmale sogenannte Farbsignaturen für Fehlerspektren entwickelt, welche in Zusammenhang mit der interaktiven Auswahl von Endmembern Aufschluss sowohl über die Art von Rekonstruktionsfehlern, als auch deren spektrale Zusammensetzung liefert. Des Weiteren wurde ein visuelles Analysewerkzeug für die halbautomatische, cluster-basierte Segmentierung von multispektralen Bildern als Alternative zur automatischen oder manuellen Extraktion von Endmembern entwickelt.
Publications
- “Ultrafast transient absorption and Raman imaging studies of stacked graphene”, Graphene, Brussels (2012)
Oum, K., Lenzer T., Bornemann, R., Haring Bolivar, P.
(See online at https://doi.org/10.1021/nl904106t) - "Generic visual analysis for multi- and hyperspectral image data." Data Mining and Knowledge Discovery 27(1): 117-145 (2013)
Labitzke, B, Bayraktar,S., Kolb,A.
(See online at https://doi.org/10.1007/s10618-012-0283-9) - (2013). Effect of Ti (Macro-) Alloying on the High-Temperature Oxidation Behavior of Ternary Mo–Si–B Alloys at 820–1,300° C. Oxidation of metals, 80(3-4), 231-242
Azim, M. A., Burk, S., Gorr, B., Christ, H. J., Schliephake, D., Heilmaier, M., Bornemann, R & Haring Bolívar, P.
(See online at https://doi.org/10.1007/s11085-013-9375-1) - (2013). Expressive Spectral Error Visualization for Enhanced Spectral Unmixing. Proceedings of International Workshop on Vision, Modeling and Visualization, S. 9-16
Labitzke, B., Urrigshardt, F., & Kolb, A.
(See online at https://doi.org/10.2312/PE.VMV.VMV13.009-016) - (2013). Radviz-based Visual Analysis of Multispectral Images. Proc. Colour and Visual Computing Symposium (CVCS), Seiten 1-6
Labitzke, B., Paltian, M., & Kolb, A.
(See online at https://doi.org/10.1109/CVCS.2013.6626270) - “Efficient, Robust, and Scale-Invariant Decomposition of Raman Spectra”, Proc. IEEE Int. Conf. Signal and Image Processing Applications (ICSIPA), Seite 317–321, 2013
Bayraktar, S., Labitzke B., Bornemann R., Haring Bolivar, P., Kolb, A.
(See online at https://doi.org/10.1109/ICSIPA.2013.6708025) - Optimizing the optical and electrical properties of graphene ink thin films by laser-annealing; 2D Materials, Volume 2, Number 1, (2015)
Khandan Del S.; Bornemann R.; Bablich A.; Schäfer-Eberwein H.; Li J., Kowald T.; Östling M.; Haring Bolívar P.; & Lemme M.C.
(See online at https://doi.org/10.1088/2053-1583/2/1/011003) - (2017). Visual Analysis of Confocal Raman Spectroscopy Data using Cascaded Transfer Function Design. Computer Graphics Forum, S. 239-24
Schikora, C. M., Plack, M., Bornemann, R., Bolivar, P. H., & Kolb, A.
(See online at https://doi.org/10.1111/cgf.13183) - High Photocurrent in Gated Graphene–Silicon Hybrid Photodiodes; ACS Photonics 2017 4 (6), 1506-1514
Riazimehr S.; Kataria S.; Bornemann R.; Haring Bolívar P.; Garcia Ruiz F. J.; Engström O.; Godoy A.; & Lemme M.C.
(See online at https://doi.org/10.1021/acsphotonics.7b00285) - Influence of cocamidopropyl betaine on the formation and carbonation of portlandite – A microscopy study; Construction and Building Materials 163, Seite 793–797 (2018)
Müller, T.; Krämer, C.; Pritzel, C.; Bornemann, R.; Kowald, T.; Trettin R.; & Haring Bolívar, P.
(See online at https://doi.org/10.1016/j.conbuildmat.2017.12.093) - Residuum-Condition Diagram and Reduction of Over-Complete Endmember-Sets
Schikora, C. M., Plack, M., & Kolb, A.
