Entwicklung eines Softwaresystems zur Szenen- und Personenerkennung für die automatische Erschließung von wissenschaftlich genutzten Videoarchiven

• Antragstellerinnen / Antragsteller: Professor Dr. Ralph Ewerth; Professor Dr.-Ing. Bernd Freisleben; Angelika Hörth
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Neuere und Neueste Geschichte (einschl. Europäische Geschichte der Neuzeit und Außereuropäische Geschichte)
• Förderung: Förderung von 2017 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 388420599

Das Deutsche Rundfunkarchiv (DRA) ist eine gemeinnützige Stiftung bürgerlichen Rechts mit Standorten in Frankfurt am Main und Potsdam-Babelsberg. Sammlungsschwerpunkte des Archivs am Standort Frankfurt am Main sind Aufnahmen aus Zeitgeschichte und Musik seit Beginn der Tonaufzeichnung und historische Tonträger. 1994 erfolgte die Erweiterung um die Rundfunkarchive des Hörfunks und Fernsehens der DDR zunächst als Standort in Berlin, heute in Potsdam-Babelsberg. In gemeinsamen Vorarbeiten sind ausgewählte Spezialbestände der DDR-Fernsehüberlieferung digitalisiert und mithilfe von innovativen Verfahren der inhaltsbasierten Videoanalyse durchsuchbar gemacht worden. Hierbei handelt es sich um ca. 3.000 Stunden Videomaterial, das die DDR-Fernsehnachrichtensendung "Aktuelle Kamera", Magazinsendungen und 220 Stunden der DDR- Fernsehfilmüberlieferung beinhaltet. Durch die Verwendung und Weiterentwicklung von automatischen Verfahren zur inhaltlichen Analyse von Videos haben Wissenschaftlerinnen und Wissenschaftler ganz neue Möglichkeiten erhalten, Recherchen nach bestimmten Szenen, Personen, sowie nach ähnlichen Motiven durchzuführen. Die Nachhaltigkeit der erzielten sehr guten Ergebnisse dieser Szenenerkennung (Erkennung visueller Motive bzw. Konzepte) gilt es für die Zukunft sicherzustellen. Im beantragten Vorhaben wird ein von Archivmitarbeitern nutzbares Softwaresystem entwickelt, das künftig dem DRA und auch anderen Archiven die einfache Integration von automatischen Videoanalyseverfahren für eine Bildinhalt-basierte Suche erlaubt. Die Software wird auf Verfahren des Deep Learning basieren, wodurch zugleich die Personen- und Konzepterkennung verbessert und auf weitere forschungsintensive Teile des Fernsehbestandes ausgeweitet werden kann. Im Einzelnen werden die folgenden Ziele verfolgt: 1. Entwicklung eines nachhaltigen Softwaresystems zur bedienerfreundlichen Erweiterung der Lexika (Konzepte bzw. Personen),2. Integration der Software in die Digitalisierungsabläufe des DRA, um die automatischen Verfahren künftig auf dem Gesamtbestand des Fernseharchivs anwendbar zu machen, 3. Verbesserung der Erkennungsraten für Konzepte bzw. Personen durch Anwendung von Deep Learning Methoden, 4. Erweiterung des Konzeptlexikons um circa 100 weitere Konzepte, 5. Erweiterung des Personenlexikons auf circa 100 Persönlichkeiten der DDR-Geschichte, 6. Verbesserung der Erkennungsraten für Konzepte bzw. Personen durch Benutzerfeedback und Ähnlichkeitssuche, 7. Entwicklung von geeigneten Visualisierungen für die effektive Suche. Auf diese Weise ist es Wissenschaftlerinnen und Wissenschaftlern nicht nur möglich, Rechercheanfragen auf Basis der umfangreichen Lexika für Konzepte und Personen durchzuführen, sondern sie können diese für eigene Forschungszwecke beliebig und mit geringem Aufwand erweitern. Die entwickelten Softwarewerkzeuge werden anderen wissenschaftlichen Einrichtungen als Open Source zur Verfügung gestellt.

• DFG-Verfahren: Forschungsdaten und Software (Wiss. Literaturversorgung und Informationssysteme)