Die Reproduzierbarkeit und Robustheit von Sekundäranalysen in der Bildungsforschung: Die Rolle von Publication Bias und Datenanalyseentscheidungen

• Antragsteller: Dr. Malte Jansen; Dr. Aleksander Kocaj
• Fachliche Zuordnung: Entwicklungspsychologie und Pädagogische Psychologie ; Allgemeines und fachbezogenes Lehren und Lernen
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464313518

In den letzten Jahren ist die Robustheit zentraler Befunde der Psychologie, der Sozialwissenschaften, der Medizin und verwandten Disziplinen zunehmend in Frage gestellt worden. Ein Grund, der für mangelnde Replizierbarkeit von Studien aufgeführt wird, sind Freiheitsgrade bei Datenaufbereitungs- und Datenanalyseentscheidungen („researcher degrees of freedom“; Simmons, Nelson & Simonsohn, 2011, S. 1359). Darüber hinaus treffen Forschende nicht nur Entscheidungen über die Auswertung einer Studie, sondern auch darüber, ob und in welcher Form die Ergebnisse publiziert werden. Ein typischer Befund ist, dass Nullbefunde seltener veröffentlicht werden (Publication Bias; Rosenthal, 1979).Ziel unseres Projekts ist die Untersuchung der Robustheit von Befunden in der sekundäranalytischen empirischen Bildungsforschung. Wir untersuchen drei Quellen von möglicher Heterogenität publizierter Studienergebnisse: Entscheidungen der Forschenden (a) für einen bestimmten Datensatz, (b) für eine Datenanalysestrategie und (c) für oder gegen das Verfassen eines Manuskripts zur Studie inklusive der Auswahl einer Publikationsform und der (potenziell selektiven) Auswahl von Befunden für die Veröffentlichung. Als Datengrundlage zur Untersuchung des Publikationsprozesses nutzen wir Datennutzungsanträge, die am Forschungsdatenzentrum des Instituts zur Qualitätsentwicklung im Bildungswesen (FDZ am IQB) gestellt wurden. In den Datennutzungsanträgen beschreiben Forschende, die Daten für eine sekundäranalytische Studie beantragen, ihre Forschungsfragen und Hypothesen sowie ihre Datenanalysestrategie. Wir planen, rund 570 Datenanträge von über 900 Forschenden sowie rund 164 dazugehörige Publikationen zu analysieren, um einen Index für Publication Bias in der empirischen Bildungsforschung zu entwickeln (Ziel A1). Durch den Vergleich der in den Nutzungsanträgen beschriebenen Forschungsfragen mit dem Vorgehen in der späteren Publikation werden wir darüber hinaus Einblicke in die Prävalenz des selektiven Berichtens von Studienergebnissen erhalten (Ziel A2). Im nächsten Schritt führen wir selbst Sekundäranalysen auf Basis der beantragten Datensätze durch. Zunächst soll, auf gleicher Datenbasis und mit der gleichen Analysestrategie, die Reproduzierbarkeit einer ausgewählten Teilstichprobe von aus den Datennutzungsanträgen entstandenen Publikationsergebnissen geprüft werden (Ziel B1). Zweitens soll untersucht werden, wie sich die Entscheidung der Forschenden für eine bestimmte Analysestrategie und einen bestimmten Datensatz auf die Studienergebnisse auswirkt (Ziel B2). Zu diesem Zweck kombinieren wir die Methoden der Integrativen Datenanalyse (IDA) und der Specification Curve Analyse. Insgesamt trägt das Projekt dazu bei, Einblicke in verschiedene Einflussfaktoren der Reproduzierbarkeit und Robustheit von Befunden sekundäranalytischer Bildungsforschung zu gewinnen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2317: META-REP: Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften