Geometrische Kalibration und Kompensation von Multispektralkameras
Zusammenfassung der Projektergebnisse
Ziele dieses Projekts waren die geometrische Kalibration und Kompensation von Aberrationen bei Multispektralkameras und die Charakterisierung und erste Messungen mit einem neuen Kameratyp, einem 6-kanaligen Stereo-Multispektralsystem. Im ersten Teil dieses Projekts wurden die transversalen Aberrationen erfolgreich untersucht. Diese Aberrationen bringen eine Verschiebung der Bildpunkte senkrecht zur optischen Achsen mit sich und werden sowohl von den Farbfiltern als auch von dem Objektiv verursacht. Die Filteraberrationen und die chromatischen Aberrationen wurden getrennt analysiert, so dass geometrische Modelle, die von der Bildposition aber auch von der Wellenlänge abhängen, für ihre Korrektur zur Verfügung stehen. Ein gemeinsames Modell wurde auch für beide Aberrationen entwickelt. Zusätzlich wurden die transversalen Aberrationen für Filter, die vor dem Objektiv positioniert sind, untersucht und mit den Aberrationen von Filtern zwischen Sensor und Objektiv verglichen: Auch wenn die Reihenfolge der Aberrationen auf dem Strahlengang umgekehrt erfolgt, kann eine ähnliche Gleichung fur das geometrische Modell benutzt werden. Das entwickelte Multispektralsystem wurde außerdem spektral und radiometrisch kalibriert. Die longitudinalen Aberrationen, die bei einer Multispektralkamera mit Filterrad wegen der unterschiedlichen Brennweiten der Farbkanäle auftreten, wurden im zweiten Teil des Projekts untersucht. Die Punktantwort des Aufnahmesystems wurde aus einer speziell entworfenen und von der Kamera aufgenommenen Vorlage berechnet und kann sich wahlweise auf einen Referenzkanal oder auf das Originalobjekt beziehen. Mit einer modernen Simulationssoftware wurden wichtige Kenntnisse gewonnen und Ergebnisse der realen Aufnahmen bestätigt. Verschiedene Techniken wurden für die Kompensation der transversalen Aberrationen analysiert und in Bezug auf Schärfe und Artefakte verglichen. Die transversalen und die longitudinalen Aberrationen, die bei Filterradkameras durch die optischen Filtern und das Objektiv auftreten, wurden damit gründlich analysiert. Während der Aufnahme wurde keine Verschiebung des Sensors vorgenommen und es wurde lediglich das Filterrad gedreht. Die Lösungen der Bildverarbeitung, die im Projekt untersucht wurden, ermöglichen eine Kompensation der Fehler der Multispektralaufnahme ohne Benutzung einer aufwändigen Mechanik oder manuelle Abgleiche der verschiedenen Farbkanäle bei der Erfassung. Dies vereinfacht die Aufnahme von Multispektralbildern mit einer Filterradkamera. Das gesamte Korrekturverfahren für die transversalen Aberrationen ist in einem geschlossenen Softwarepaket unter Matlab zusammengefasst und die Korrektur erfolgt direkt nach der Aufnahme mit einer Benutzeroberfläche. Die Kompensation der longitudinalen Aberrationen erfordert noch eine zusätzliche Kalibrationsaufnahme. Erste Ansätze fur eine Kompensation der Aberrationen, die keine zusätzliche Kalibration erfordert, wurden bearbeitet. Im letzten Teil wurde die Analyse eines neuen Typs von Multispektralkameras abgeschlossen, der mit zwei RGB-Sensoren und zwei Farbfiltern die gleichzeitige Erfassung von Multispektral- und Tiefeninformation aus einer 3D-Szene ermöglicht. Die Elemente des Aufnahmesystems wurden optimal ausgewählt, um die beste Farbgenauigkeit zu erreichen. Vorversuche mit unterschiedlichen Positionierungen des Messgeräts (sei es eine Multispektralkamera oder ein Spektralfotometer) zeigten, dass die aufgenommenen Objekte eine beschränkte Winkelabhängigkeit erweisen und somit eine Stereoaufnahme für solche Oberflächen auch eine präzise Farberfassung erlaubt. Die Farbgenauigkeit dieser 6-kanaligen Kamera war sehr nah an der Farbgenauigkeit der 7-kanaligen Kamera aus den ersten Teilen des Projekts und beide Kameratypen sind für die Erfassung von genauen Farbinformationen geeignet. Die Unterschiede zwischen den Ergebnissen der Disparitätsschätzung mit dem Stereo-Multispektralsystem und den Werten, die mit einem herkömmlichen RGB-System erreicht werden, blieben begrenzt. Für die Erfassung von 3D-Szenen und für die Kalibration des Stereosystems stehen Benutzeroberflächen zur Verfügung, die gegenseitig abrufbar sind. Nach der Kalibration und der Aufnahme erfolgt mit Hilfe einer Benutzeroberfläche die komplette Verarbeitung der Stereobilder, von der Rektifizierung der Bilder über die Disparitätsschätzung bis zur Berechnung von Farbdifferenzen, wenn eine Farbtafel mit bekannten spektralen Reflexionen in der Szene benutzt wird. Die prinzipielle Funktionsfähigkeit der vorgeschlagenen Zusammensetzung von Multispektral- und Stereo-Aufnahme wurde in diesem Teil demonstriert. Insbesondere die guten Ergebnisse, die mit dem Stereo-Multispektralsystem aus zwei RGB-Kameras und Filtern erzielt wurden, zeigen, dass mit einer wirtschaftlich herstellbaren Stereokamera auch Multispektralbilder erfasst werden können. In geplanten Arbeiten sollen nun die erarbeiteten Algorithmen und Verfahren weiter verfeinert werden und auf komplexere 3D-Objekte, die eine goniometrische Aufnahme benötigen, angewendet werden.
Projektbezogene Publikationen (Auswahl)
- Direct PSF estimation using a random noise target. In J. Allebach and S. Süsstrunk, editors, IS&T/SPIE Electronic Imaging: Digital Photography VI, pages 75370B–1 – 75370B–10, San Jose, USA, January 17–21 2010. SPIE-IST Vol. 7537
J. Brauers and T. Aach
- Spektrale Charakterisierung einer Multispektralkamera. In Zentrum fur Bild-und Signalverarbeitung (ZBS) e.V., editor, 16. Workshop Farbbildverarbeitung 2010, pages 18–27, Ilmenau, Germany, October 7–8 2010
J. Klein, J. Brauers, and T. Aach
- Geometric calibration of lens and filter distortions for multispectral filter-wheel cameras. IEEE Transactions on Image Processing, 20(2):496–505, 2011
J. Brauers and T. Aach
- Spatio-spectral modeling and compensation of transversal chromatic aberrations in multispectral imaging. Journal of Imaging Science and Technology, 55(6):060502, 2011
J. Klein, J. Brauers, and T. Aach
- Multispectral filter wheel cameras: modeling aberrations with filters in front of lens. In IS&T/SPIE Electronic Imaging: Digital Photography VIII, pages 82990R–1 – 82990R–9, San Francisco, CA, USA, January 22–26 2012. SPIE-IST Vol. 8299
J. Klein and T. Aach
- Spectral and colorimetric constancy and accuracy of multispectral stereo systems. In Proc. IS&Ts 6th European Conference on Color in Graphics, Imaging, and Vision (CGIV), pages 239–246, Amsterdam, the Netherlands, May 6–9 2012
J. Klein and T. Aach
