Verlustlose und verlustbehaftete Kompression von Screen-Content-Daten mit Hilfe von maschinellem Lernen

• Antragsteller: Professor Dr.-Ing. André Kaup; Professor Dr.-Ing. Tilo Strutz
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 438221930

Dieses Projektes erforscht einen neuartigen Ansatz für die Kompression von Screen-Content-Daten unter Berücksichtigung von verschiedenen Facetten der Bildeigenschaften und der spezifischen Zielstellung der Kompression.Im Gegensatz zu klassischen Foto- oder Broadcast-Videodaten ist der Inhalt von Screen-Content-Bildern sehr divers hinsichtlich seiner statistischen Eigenschaften. Häufig sind bestimmte Regionen innerhalb der Bilder durch zwei typische Eigenschaften gekennzeichnet: eine begrenzte Anzahl von Farben und sich wiederholende Muster.Untersuchungen haben gezeigt, dass konventionelle Kompressionsverfahren auch mit Einbeziehen von speziellen Werkzeugen nicht in der Lage sind, Screen-Content-Daten effizient zu speichern. Deutlich erfolgreicher ist eine Methode basierend auf der idealen Datencodierung, deren Erfolg von einer optimalen Modellierung der Wahrscheinlichkeitsverteilungen der Bildpunktsymbole abhängt.Für diese neue Kompressionsmethode wurde bereits ein Modellansatz implementiert (Prototyp), welcher jedoch noch beschränkt ist auf die verlustlose Kompression und nur für Bildinhalte mit bestimmten Eigenschaften eine hohe Kompressionseffizienz erreicht.Das Projektvorhaben untersucht neue Verfahren zum besseren Modellieren der Wahrscheinlichkeitsverteilungen der Bildpunktsymbole unter Einbeziehung von Methoden des maschinellen Lernens. Insgesamt verfolgt das Vorhaben mehrere Ansätze:• Der vorhandene Prototyp verwendet in einigen Verarbeitungsstufen lediglich globale Bildinformation für das Modellieren der Wahrscheinlichkeitsverteilungen. Durch Schätzverfahren, die mehr Vorwissen, z. B. lokaler Natur, einfließen lassen, sind deutliche Gewinne in der Kompression zu erwarten. Dafür werden alternative Lernverfahren in Betracht gezogen. Generell geht es um das Lernen mit wenigen Beispielen. Für diesen Ansatz sind höhere Kompressionsverhältnisse zu erzielen als mit klassischen Verfahren, welche zunächst das Bild in Regionen unterschiedlichen Typs segmentieren und anschließend ggf. auf herkömmliche Kompressionsmethoden umschalten.• Das Forschungsvorhaben soll weiterhin untersuchen, wie eine geeignete Rate-Distortion-Optimierung das Verfahren zu einer nahezu-verlustlosen oder verlustbehafteten Kompression erweitern kann. Diese Optimierung kann durch eine dedizierte Bildanalyse parametrisiert werden, um Wahrnehmungsmodelle des menschlichen Sehens zu berücksichtigen. • Eine Erweiterung des Modellansatzes auf Bildsequenzkompression ist prinzipiell möglich und wird angestrebt. Das Berücksichtigen der zeitlichen Komponente kann situationsabhängig zu einer verbesserten Modellierung der Wahrscheinlichkeitsverteilung führen und muss deshalb erforscht werden. In Bildsequenzen treten typischerweise Änderungen in der Signalstatistik durch neu auftauchende Inhalte oder Szenenwechsel auf. Es ist speziell zu untersuchen, wie das vorhandene bzw. neue Lernverfahren mit geeigneten Elementen zum Vergessen bzw. Umlernen ergänzt werden können.

• DFG-Verfahren: Sachbeihilfen