Plenoptic Image Acquisition and Projection: Theoretical Developments and Applications
Final Report Abstract
Das DFG-geförderte Projekt hat neue bildgebende Verfahren im Bereich des “Computational Imaging” oder der rechnergestützten Bildgebung untersucht, die auf dem Konzept der hochdimensionalen, sogenannten plenoptischen Funktion beruhen. Hierbei werden klassische optische Konzepte wie zwei-dimensionale Objekt- und Bildebenen bewusst generalisiert und auf Messungen sowohl im Positions- als auch im Richtungsbereich der Lichtstrahlen erweitert. Zusätzlich werden Variationsmöglichkeiten auch in der spektralen Zusammensetzung des Lichts oder in dessen zeitlichen Eintreffen zugelassen. Dieser hochdimensionale Ansatz ermöglicht zum einen eine Kodierung von Objektinformationen in verschiedene “Bänder” des Lichtes, die später algorithmisch, meist mit Hilfe von Optimierungsverfahren, dekodiert werden. Dies erfolgt mit dem Ziel, klassische Limitierungen optischer Systeme zu umgehen und/oder um neuartige Fähigkeiten wie z.B. die hyperspektrale oder richtungsaufgelöste Lichtfeldbildgebung zu ermöglichen. Zum anderen ergeben sich aus den erweiterten Möglichkeiten neuartige Anwendungen wie z.B. die 3D-Analyse, Geometrie- und Reflektanzmessungen, bessere Farbgebung, räumlich aufgelöste Spektralanalyse, Snapshot-Polarimetrie, Aufnahmen mit erweitertem Dynamikbereich und viele mehr. Eine wichtige Charakteristik dieser neuartigen Verfahren ist die starke Verknüpfung mit der immer mächtiger werdenden Rechentechnik und eine intensive Nutzung der zur Verfügung stehenden Rechen- und Speicherresourcen. Die Entwicklungen werden sich daher in den nächsten Jahren noch intensivieren. Das Projekt hatte zum Ziel, algorithmische und theoretische Grundlagen voranzutreiben und anhand von ausgewählten Anwendungsbeispielen zu validieren. Das Projekt ist insgesamt sehr erfolgreich verlaufen. Als Highlights unserer Forschungen sind zu nennen: KaleidoCamera: Im kommerziellen und Publicity-Bereich hat unser “KaleidoCamera”-Projekt für erhebliches Aufsehen gesorgt. Onlinemedien wie “New Scientist”, “Wired”, “Slashdot”,“Digital Photography Review”, “Chip.de”, “Fotomagazin”, etc. haben über unser Projekt berichtet. Das Papervideo wurde nahezu 100,000 mal geschaut. Etliche führende Unternehmen haben Interesse für unsere Entwicklung bekundet und teilweise bereits intern evaluiert. Wir haben daraufhin ein Kommerzialisierungsprojekt gestartet, das sich momentan in der ersten externen Finanzierungsrunde befindet. Das Ziel ist es, einen optischen Konverter für Spiegelreflexkameras auf den Markt zu bringen, der plenoptische Aufnahmemöglichkeiten allgemein zugänglich macht, dabei aber keine permanenten Hardwaremodifikationen benötigt. Das angehende Produkt wurde auf der Cebit 2016 als “K-Lens” vorgestellt. Die Produkteinführung ist für Ende 2016 geplant. 3D-Vermessung von instationären Strömungsfeldern: Im Bereich der Ingenieursanwendungen haben wir als Erste zeigen können, daß es möglich ist eine Strömungssimulation automatisiert an 3D-Messdaten von zeitvariablen Dichteverteilungen, wie sie z.B. in der experimentellen Strömungsmechanik aufgenommen werden, anzupassen. Die Standardpraxis in diesem Bereich ist das manuelle Tuning von Simulationen um Übereinstimmung mit dem Experiment zu erreichen. Unsere Methoden zur nichtinvasiven, zeit-aufgelösten 3D-Messung von Dichtevolumen werden derzeit von ONERA, der französischen Luft-und Raumfahrtagentur, in Modane, der größten europäischen Windtunnelanlage, getestet. Theorie: Im theoretischen Bereich haben wir eine lange gesuchte explizite analytische Formulierung der Verbindung von verschiedenen geometrischen Beschreibungen der Aberrationen von Optiken gefunden. Die bisher bekannte Verbindung, vor mehr als 50 Jahren publiziert, hatte auf Differentialgleichungen geführt, sodaß ihre praktische Anwendbarkeit eingeschränkt war. Insgesamt hat das Projekt zu 14 Publikationen geführt. Diese Publikationen haben bereits 111 Zitationen und einen h-index von 6 (Google) erreicht. Es entstand eine Ausgründung, das Potential für eine zweite wird evaluiert.
Publications
- A Kaleidoscopic Approach to Simultaneous Geometry and Reflectance Acquisition. IEEE International Workshop on Computational Cameras and Displays (CCD), 1-8, 2012 (best paper award)
Ivo Ihrke, Ilya Reshetouski, Alkhazur Manakov, Art Tevs, Michael Wand, and Hans-Peter Seidel
- A Reconfigurable Camera Add-On for High Dynamic Range, Multi- Spectral, Polarization, and Light-Field Imaging. ACM Trans. on Graphics (Proceedings of SIGGRAPH), (32),4, article 47, 2013
Alkhazur Manakov, John Restrepo, Oliver Klehm, Ramon Hegedüs, Hans-Peter Seidel, Elmar Eisemann, and Ivo Ihrke
- Discovering the Structure of a Planar Mirror System from Multiple Observations of a Single Point. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 89-96, 2013
Ilya Reshetouski, Alkhazur Manakov, Ayush Bhandari, Ramesh Raskar, Hans-Peter Seidel, Ivo Ihrke
- On Plenoptic Multiplexing and Reconstruction. International Journal of Computer Vision (IJCV), (101),2, 384-400, 2013
Gordon Wetzstein, Ivo Ihrke, and Wolfgang Heidrich
- Connecting Forward and Inverse Problems in Fluids. ACM Trans. on Graphics (Proceedings of SIGGRAPH), (33),4, article 139, 2014
James Gregson, Ivo Ihrke, Nils Thuerey, and Wolfgang Heidrich
(See online at https://doi.org/10.1145/2601097.2601147) - “Multiplexed Imaging”, US Patent No. US8,860,856 B2 (granted, acquired by Dolby Laboratories Licensing Corp.), 2014
Gordon Wetzstein, Ivo Ihrke, and Wolfgang Heidrich
- “Multi-view Imaging System”, European Patent No. EP2533199, (granted) 2015
Ivo Ihrke, Ilya Reshetouski, Alkhazur Manakov
- Principles of Light Field Imaging: Briefly revisiting 25 years of research. IEEE Signal Processing Magazine, vol. 33, no. 5, pp. 59-69, Sept. 2016
Ivo Ihrke, John Restrepo, and Loïs Mignard-Debise
(See online at https://doi.org/10.1109/MSP.2016.2582220) - Ray and Wave Aberrations Revisited: A Huygens-Like Construction Yields Exact Relations . OSA Journal of the Optical Society of America A, (33), 2, pp. 160-171, 2016, Impact Factor: 1.56 (2015)
John Restrepo, Pawel J. Stoerck, Ivo Ihrke
(See online at https://doi.org/10.1364/JOSAA.33.000160)
