Reconstruction of Irregularly Sampled Image Signals Using Sparse Representations

• Applicant: Professor Dr.-Ing. André Kaup
• Subject Area: Electronic Semiconductors, Components and Circuits, Integrated Systems, Sensor Technology, Theoretical Electrical Engineering
• Term: from 2012 to 2020
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 225074913

• Final Report Year: 2020

Final Report Abstract

Im Rahmen des durch die Deutsche Forschungsgemeinschaft geförderten Projekts „Rekonstruktion unregelmäßig abgetasteter Bildsignale unter Verwendung dünn besetzter Repräsentationen“ wurden Verfahren zur Rekonstruktion unregelmäßig abgetasteter Bilddaten entwickelt. Weiterhin wurden verschiedene Sensordesigns entwickelt und Szenarien untersucht, die aufgrund der unregelmäßigen Abtastung eine erhöhte Ortsauflösung erlauben. Bei der frequenzselektiven Rekonstruktion handelt es sich um eine angepasste Form der Selektiven Extrapolation, welche für die Rekonstruktion von unregelmäßig abgetasteten Bilddaten geeignet ist. Ein Hauptaugenmerk liegt auf der Verwendung einer Frequenzgewichtungsfunktion, welche niederfrequente Basisfunktionen in der Auswahl bevorzugt. Darüber hinaus wurden Verfeinerungen für spezielle Fälle entwickelt. So ist beispielsweise eine Anpassung der Ortsgewichtungsfunktion für spezielle Geometrien von Vorteil. Im Zuge des Projekts wurden mehrere Konzepte für neuartige Bildsensoren entwickelt und die Verwendbarkeit von 1/4-Sampling-Sensoren für die Aufnahme von Videodaten untersucht. Um den Nachteil der geringeren Lichtempfindlichkeit zu relativieren, kann das neu vorgestellte 3/4-Sampling verwendet werden. Hierbei werden zufällig gedrehte, L-förmige Pixel verwendet. Neben der Lichtausbeute ist hierbei auch die Rekonstruktionsqualität erhöht. Um bei der Aufnahme von Videos auch eine Unregelmäßigkeit in zeitlicher Dimension zu ermöglichen, wurde ein geeignete Auslesestrategie entwickelt, bei der in jedem Zeitschritt ein anderer Quadrant eines niedrig auflösenden Sensorelements ausgelesen wird. Durch diese dynamische Abtastung konnte die Rekonstruktionsqualität für Videoaufnahmen stark erhöht werden. Des Weiteren wurde die Verwandtschaft zwischen unregelmäßige Abtastung und Compressed Sensing untersucht. Hierbei konnte eine Verallgemeinerung der JSDE für die im Compressed Sensing üblichen zufälligen Messungen gute Ergebnisse erzielen. Es konnte gezeigt werden, dass die Komplexität durch eine Verwendung von sich periodisch wiederholenden Messungen drastisch reduziert werden kann. Durch die erreichte Verallgemeinerung der JSDE sind zukünftig nicht nur punktförmige Messungen, sondern auch Messungen mit beliebig geformten Integrationsgebieten denkbar, was neuartige Bildsensoren denkbar macht. Dadurch hat die JSDE das Potential, Aufnahmesysteme über die klassische Bildgebung hinaus langfristig zu verbessern.

Publications

• “Reconstruction of Images Taken by a Pair of Non-Regular Sampling Sensors Using Correlation Based Matching,” in: Proc. IEEE Int. Conf. on Image Processing (ICIP), 2014
  M. Jonscher, J. Seiler, T. Richter, M. Bätz und A. Kaup
  
• “Reconstruction of Videos Taken by a Non-Regular Sampling Sensor,” in: Proc. IEEE Visual Communications and Image Processing (VCIP), 2015
  M. Jonscher, J. Seiler, M. Bätz, T. Richter, W. Schnurrer und A. Kaup
  
• “Resampling Images to a Regular Grid from a Non-Regular Subset of Pixel Positions Using Frequency Selective Reconstruction,” IEEE Trans. on Image Processing, 2015, Bd. 24, Nr. 11, S. 4540–4555
  J. Seiler, M. Jonscher, M. Schöberl und A. Kaup
  
• “Recursive Frequency Selective Reconstruction of Non-Regularly Sampled Video Data,” in: Proc. Picture Coding Symposium (PCS), 2016
  M. Jonscher, K. Jaskolka, J. Seiler und A. Kaup
  
• “Texture-Dependent Frequency Selective Reconstruction of Non-Regularly Sampled Images,” in: Proc. Picture Coding Symposium (PCS), 2016
  M. Jonscher, J. Seiler und A. Kaup
  
• “Frequency Selective Mesh-to-Grid Resampling for Image Communication,” IEEE Trans. on Multimedia, 2017, Bd. 19, Nr. 8, S. 1689–1701
  J. Koloda, J. Seiler und A. Kaup
  
• “Design Techniques for Incremental Non- Regular Image Sampling Patterns,” in: IEEE Int. Conf. on Imaging Systems and Techniques (IST), 2018
  S. Grosche, J. Seiler und A. Kaup
  
• “Iterative Optimization of Quarter Sampling Masks for Non-Regular Sampling Sensors,” in: Proc. IEEE Int. Conf. on Image Processing (ICIP), 2018
  S. Grosche, J. Seiler und A. Kaup
  
• “Sparse Hartley Modeling for Fast Image Extrapolation,” in: Proc. IEEE Int. Workshop on Multimedia Signal Processing (MMSP), 2018
  N. Genser, S. Grosche, J. Seiler und A. Kaup
  
• “Dynamic Non-Regular Sampling Sensor Using Frequency Selective Reconstruction,” IEEE Trans. on Circuits and Systems for Video Technology , 2019, Bd. 29, Nr. 10, S. 2859–2872
  M. Jonscher, J. Seiler, D. Lanz, M. Schöberl, M. Bätz und A. Kaup
  
• “Increasing Imaging Resolution by Non-Regular Sampling and Joint Sparse Deconvolution and Extrapolation,” IEEE Trans. on Circuits and Systems for Video Technology , 2019, Bd. 29, Nr. 2, S. 308–322
  J. Seiler, M. Jonscher, T. Ussmueller und A. Kaup
  
• “Motion-adapted Three-dimensional Frequency Selective Extrapolation,” in: Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing (ICASSP), 2019
  A. Spruck, M. Jonscher, J. Seiler und A. Kaup