Skalierbare Videocodierung mit Wavelet-Techniken
Final Report Abstract
In letzter Zeit wurden erhebliche Fortschritte in der Videocodierung erzielt, die eng mit der Verwendung nicht-rekursiver zeitlicher Prädiktionsstrukturen zusammenhängen. Mittels der neuen Konzepte lässt sich eine gegenüber bisherigen Verfahren weitere Verbesserung der Kompressionsfähigkeit erreichen. Zudem wird in effizienter Weise die Eigenschaft der Skalierbarkeit von Bitströmen ermöglicht, die nach einmaliger Codierung eine Variabilität der Decodierung hinsichtlich Qualität, zeitlicher und örtlicher Auflösung erlaubt. In diesem Zusammenhang entstand eine gemeinsame Aktivität von ITU-T/VCEG und ISO/MPEG zur Entwicklung eines standardisierten skalierbaren Codierverfahrens als Erweiterung von ITU-T H.264 / ISO-IEC MPEG-4 Advanced Video Coding. Schwerpunkt des durchgeführten Vorhabens war die Weiterentwicklung und Verbesserung der Leistungsfähigkeit des für die Standardisierung vorgesehenen Verfahrens, insbesondere durch Modellierung und Verringerung der Fehlerfortpflanzung, sowie durch Codierung und Skalierung unter Verwendung so genannter Rate-Distortion Kriterien. Die Arbeiten standen in engem Zusammenhang mit der Standardisierungsaktivität, zu der intensiv beigetragen wurde. Motiviert durch die nicht-rekursiven zeitlichen Prädiktionsstrukturen wurde ein generisches Modell zur Beschreibung der Rekonstruktionsfehler entwickelt, welches die wesentlichen Elemente des Codiersystems als parametrierbares nicht-rekursives Filter hoher Dimension beschreibt. Dies ermöglicht eine gut handhabbare mathematische Beschreibung, mittels der sich in allgemeiner Weise Einflüsse verschiedener Arten von Codierkontrollen darstellen lassen. Hieraus können Verzerrungsmodelle abgeleitet werden, mittels derer sich durch Ableitung von Korrespondenzen zeitlich-örtlicher Regionen die bewegungsabhängige Fehlerfortpflanzung und damit der Einfluss von Quantisierungsfehlern auf die Rekonstruktionsqualität mit hoher Genauigkeit vorhersagen lässt. Es wurde darüber hinaus gezeigt, dass sich durch eine im Weiteren durchgeführte Erweiterung des Modells in einfacher Weise zeitliche Korrelationen der Quantisierungsfehler beschreiben lassen, so dass auf Basis desselben Modellierungsansatzes auch Aussagen über den Effekt von Quantisierereinstellungen bei so genannter "abhängiger Quantisierung" gemacht werden können. Auf Basis von Rate-Distortion Methoden wurden die Modelle zur Optimierung der Ratenaufteilung für mehrere unterschiedliche Anwendungsfälle angewendet und evaluiert, darunter • Prioritätsgesteuerte Qualitätsskalierung codierter Repräsentationen, • lokal adaptive Optimierung der Quantisiererparameter für Open-Loop Codierung, • lokal adaptive Optimierung der Quantisiererparameter zur Generation so genannter "Redundant Slices" im Zusammenhang mit einem neu entwickelten Ansatz zur Multiple Description Codierung von Video, • lokal adaptive Optimierung der Quantisiererparameter für Closed-Loop Codierung. Die entwickelte Optimierungsmethodik zeichnet sich für die verschiedenen Anwendungsfälle in gleicher Weise durch die Ermöglichung einer signifikant verbesserten Qualität der rekonstruierten Videodaten bei vergleichsweise geringem Rechenaurwand aus. Darauf aufbauend wurde ein Verfahren zur Ratenkontrolle entwickelt, mit dem sich unter Verwendung zweier Codierdurchläufe durch gemeinsame Optimierung von Textur- und Bewegungsbeschreibung die Kompressionseffizienz für ein oder mehrere vorgegebene Zielratenpunkte optimieren lässt. Gegenüber bisherigen Verfahren konnte der Aufwand zur Lösung dieses Optimierungsproblems ganz erheblich reduziert werden. Gleichzeitig konnte in Kombination des Verfahrens mit der Methodik zur adaptiven Ratenaufteilung eine Verbesserung der Kompressionseffizienz erreicht werden.
Publications
- T. Rusert and J.-R. Ohm, "Backward drift estimation with application to quality layer assignment in H.264/AVC based scalable video coding," Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing ICASSP '07, Honolulu, HI, USA, Apr. 2007.
- T. Rusert and J.-R. Ohm, "Macroblock based bit allocation for SNR scalable video coding with hierarchical B pictures," Proc. IEEE Int. Conf. Image Processing ICIP '06, Atlanta, GA, USA, Oct. 2006.
- T. Rusert and J.-R. Ohm, "Overcomplete MCTF for improved spatial scalability in 3D wavelet video compression," Proc. Visual Communications and Image Processing VCIP '05, pp. 210-220, Beijing, China, Jul. 2005.
- T. Rusert, K. Hanke, and C. Mayer, "Enhanced interframe wavelet video coding considering the interrelation of spatio-temporal transform and motion compensation," Signal Processing: Image Communication, 19(7):617-635, 2004.
- T. Rusert, K. Hanke, and M. Wien, "Optimization for locally adaptive MCTF based on 5/3 lifting," Proc. International Picture Coding Symposium PCS '04, San Francisco, CA, USA, Dec. 2004.
- T. Rusert, M. Spiertz, and J.-R. Ohm, "H.264/AVC compatible scalable multiple description video coding with RD optimization," Proc. IEEE Int. Workshop on Intelligent Signal Processing and Communication Systems ISPACS '06, Tottori, Japan, Dec. 2006.
