Konturbasierte multidirektionale Prädiktion für die Intra-Codierung
Zusammenfassung der Projektergebnisse
Die zur Übertragung von Videos benötigte Übertragungskapazität wächst schneller als die hierfür zur Verfügung stehende Kanalkapazität. Hieraus entsteht die Notwendigkeit einer stetigen Verbesserung der Codierungsverfahren für die verwendeten Videocodecs. Moderne Videocodecs beruhen in der Regel auf dem Prinzip der Hybridcodierung, also der Kombination von einer Prädiktion mit einer Transformationscodierung des Prädiktionsfehlers. Die Prädiktionsverfahren können grob in Intra- und Inter-Prädiktion unterschieden werden. Für die Verbesserung der Intra-Prädiktion werden in dieser Arbeit zwei Verfahren vorgeschlagen. Der erste Beitrag in diesem Projekt besteht aus einem stochastischen Konturmodell zur Modellierung und Extrapolation von Konturen, die im Referenzbereich detektiert werden. Für die Modellierung wird ein Gauß-Prozess verwendet. Die Erwartungen an typischerweise vorkommende Konturverläufe werden durch die Wahl des Squared-Exponential-Kernels als Kovarianzfunktion des Prior-Gauß-Prozesses berücksichtigt. Der Posterior-Gauß-Prozess ergibt sich aus dem Prior-Gauß-Prozess durch die Optimierung der Hyperparameter der Kovarianzfunktion für jede Kontur. Für die Konturextrapolation wird eine multivariate Gauß-Verteilung formuliert. Der zweite Beitrag in diesem Projekt ist ein auf neuronalen Netzwerken basierendes Verfahren zur Abtastwertprädiktion. Mit den neuronalen Netzwerken werden die benachbarten Referenzabtastwerte sowie das Ergebnis der Konturmodellierung und Konturextrapolation als Eingabedaten verarbeitet, um eine Prädiktion der Abtastwerte des zu codierenden Blocks zu erzeugen. Die Konturen werden für die Abtastwertprädiktion benötigt. Die neuronalen Netzwerke wurden mit einer Autoencoder-Architektur entworfen und mittels einer SATD-Kostenfunktion trainiert. Die Codierungseffizienz des Videocodecs HEVC wurde um bis zu 5% gesteigert. Gemittelt über alle 55 verwendeten Testsequenzen ergaben sich für die All Intra-Konfiguration Datenrateneinsparungen bei gleichbleibender Qualität (gemessen mit BD-Raten) von 0,54% für hohe Datenraten und in Höhe von 1,0% für niedrige Datenraten. Verglichen mit den Verfahren aus eigenen Vorarbeiten, welche bereits besser waren als verwandte Arbeiten aus der Literatur, wurde eine zusätzliche Steigerung der Codierungseffizienz um 0,21 Prozentpunkte für hohe Datenraten und um 0,27 Prozentpunkte für niedrige Datenraten erzielt. Eine Anregung aus dem ersten Gutachten zum Projektantrag aufgreifend wurde es dem bearbeitenden Doktoranden ermöglicht, den erlangten Erkenntnisgewinn – insbesondere im Bereich des maschinellen Lernens in der Anwendung für die Videocodierung – auf weitere Teilgebiete der Videocodierung zu transferieren. Hierdurch wurde zusätzlich ein Verfahren zur Inter-Codierung mittels neuronaler Netzwerke entwickelt.
Projektbezogene Publikationen (Auswahl)
-
Non‐linear contour‐based multidirectional intra coding. APSIPA Transactions on Signal and Information Processing, 7(11), 2018
Thorsten Laude, Jan Tumbrägel, Marco Munderloh und Jörn Ostermann
-
„A Comparison of JEM and AV1 with HEVC: Coding Tools, Coding Efficiency and Complexity“. Proceedings of the IEEE Picture Coding Symposium (PCS). Juni 2018
Thorsten Laude, Yeremia Gunawan Adhisantoso, Jan Voges, Marco Munderloh und Jörn Ostermann
-
HEVC Inter Coding using Deep Recurrent Neural Networks and Artificial Reference Pictures. Picture Coding Symposium (PCS), 2019
Thorsten Laude, Felix Haub und Jörn Ostermann
-
„A Comprehensive Video Codec Comparison“. APSIPA Transactions on Signal and Information Processing 8 (Nov. 2019)
Thorsten Laude, Yeremia Gunawan Adhisantoso, Jan Voges, Marco Munderloh und Jörn Ostermann
-
„Contour‐based Intra Coding Using Gaussian Processes and Neural Networks“. Proceedings of the IEEE Picture Coding Symposium (PCS). Juli 2021
Thorsten Laude and Jörn Ostermann
