NSF-DFG: SaTC: CORE: Small: Anforderungen, Metriken und Werkzeuge für effektive und interpretierbare Transparenz bei der Content-Moderation

• Antragstellerin: Professorin Dr. Yixin Zou
• Fachliche Zuordnung: Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 538873437

Die Principle Investigators (PIs) planen eine grundlegende Forschungsagenda, die darauf abzielt, den praktischen Nutzen der Content-Moderation für verschiedene Interessengruppen zu verbessern. Aufbauend auf der jüngsten Arbeit des Forschungsteams wird die Forschung durch eine Fallstudie über die Moderation von Image-based Sexual Abuse (IBSA) vorangetrieben - IBSA beschreibt die Begünstigung von Gewalt, bei der intime Bilder von Personen ohne deren Zustimmung verbreitet werden. 1. Die PIs werden die bestehenden Transparenzmechanismen für die Content-Moderation untersuchen und prüfen, inwiefern sie für verschiedene Zielgruppen unzureichend sein können. Aus der Perspektive der Betroffenen werden die PIs eine Nutzerstudie durchführen, um herauszufinden, wie Opfer von IBSA und unterstützende Organisationen versuchen, diese Bilder von Plattformen entfernen zu lassen, inwieweit bestehende Transparenzmechanismen ihnen dabei helfen, den Fortschritt des Entfernungsprozesses zu verfolgen, und welche neuen Transparenzinstrumente sie möglicherweise benötigen. Aus Forschersicht werden die PIs die Transparenzberichte der Plattformen analysieren, um herauszufinden, inwieweit die Plattformen genügend Kontext bieten, um die in den Daten beobachteten Trends zu erklären, und ob die gewählten Kennzahlen und die Detailgenauigkeit ausreichen, um sowohl die Erfolge der Plattform bei der Content-Moderation als auch die Erfahrungen der Nutzer auf der Plattform zu bewerten (z. B. ob der Bericht die Schwierigkeiten der Nutzer bei der Entfernung von nicht einvernehmlich geteilten intimen Inhalten erklärt und reflektiert). 2. Um Transparenz für Dritte zu schaffen, werden die PIs Methoden entwickeln, um die Lücken zu schließen, die sich aus den bestehenden Praktiken der Plattformen ergeben. In Zusammenarbeit mit IBSA-Opferhilfsorganisationen werden die PIs ein System entwickeln, das den Fortschritt von IBSA-Anträgen auf Entfernung von Inhalten, die von Nutzern und Hilfsorganisationen eingereicht wurden, automatisch verfolgt, sodass die Betroffenen nicht erneut traumatisiert werden, weil sie manuell überprüfen müssen, ob die Plattform ihrem Antrag nachgekommen ist. Aufbauend auf Vorarbeiten, die die Bearbeitungsdauer der Plattformen bei der Content-Moderation abschätzen, werden die PIs auch eine umfassendere Reihe von Metriken zur Transparenz der Content-Moderation berechnen, die auf unabhängig von den Plattformen erhobenen Daten basieren. 3. Die PIs werden Rahmenbedingungen für die Verbesserung der Transparenz schaffen, indem sie die neuen Datenzugangsrechte für Forscher in Deutschland und der Europäischen Union nutzen. Dies wird die Untersuchung neuer Transparenzmetriken ermöglichen, die auf internen Daten der Plattformen beruhen (und daher bisher nicht öffentlich zugänglich sind), z.B. wie IBSA-Verstöße auf Kontoebene für Wiederholungstäter behandelt werden.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: USA
• Kooperationspartnerinnen / Kooperationspartner: Professor Tobias Lauinger, Ph.D.; Professor Damon McCoy, Ph.D.; Professorin Elissa Redmiles, Ph.D.