Selektives Berichten und die evolvierende Forschungslandschaft in den Wirtschaftswissenschaften

• Antragsteller: Dr. Stephan Bruns; Professor Dr. Helmut Herwartz
• Fachliche Zuordnung: Statistik und Ökonometrie
• Förderung: Förderung seit 2018
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 405039391

Die Replizierbarkeit empirischer Forschung ist ein zunehmend wichtiges Thema in den Wirtschaftswissenschaften. Dieses Projekt nutzt einen umfassenden Datensatz, der von DORIS (Diagnosis Of Reporting Errors In Scraped Tables) mit mehr als 600.000 Hypothesentests aus den 50 wichtigsten wirtschaftswissenschaftlichen Zeitschriften erstellt wurde. Zunächst untersuchen wir die Prävalenz und die potenziellen Determinanten des selektiven Berichtens in den Wirtschaftswissenschaften. Selektives Berichten beschreibt die Auswahl statistisch signifikanter Ergebnisse im Forschungs- und Publikationsprozess, um die Wahrscheinlichkeit einer Veröffentlichung zu erhöhen. Ein solcher Selektionsprozess kann auf der Ebene von Analysen (p-hacking) oder auf der Ebene ganzer Studien (publication bias) auftreten. Wir verwenden Diskontinuitätstests an den Schwellenwerten der statistischen Signifikanz, um das Vorhandensein des selektiven Berichtens zu analysieren. Unser großer Stichprobenumfang ermöglicht es uns, zu untersuchen welche Kovariate mit selektivem Berichten zusammenhängen (z. B. Methoden, Stichprobengrößen, Anzahl der Koautoren, Forschungsgebiet). Wir analysieren auch den (kausalen) Effekt von Richtlinien zur Verfügbarkeit von Daten und Code auf die Prävalenz selektiven Berichtens. Insbesondere die Analyse der Wirksamkeit bestehender Daten- und Coderichtlinien wird für die Herausgeber von Zeitschriften von unmittelbarem Nutzen sein. Zweitens dokumentieren wir empirisch, wie sich die Forschungslandschaft in den Wirtschaftswissenschaften entwickelt. Insbesondere dokumentieren wir empirisch die "credibility revolution“, indem wir analysieren, ob sich die in den Wirtschaftswissenschaften angewandten Methoden zu Gunsten (quasi-)experimenteller Designs verändert haben und ob sich die wirtschaftswissenschaftliche Forschung in anderen Aspekten weiterentwickelt hat (z.B. Anzahl der Kontrollvariablen und Anzahl der Robustheitsuntersuchungen). Darüber hinaus analysieren wir die "replication crisis", indem wir dokumentieren, wie viele Artikel „pre-analysis plans“ verwenden, Daten und Code zur Verfügung stellen, explizit zwischen explorativer und hypothesentestender Forschung unterscheiden und wie sich die Berichterstattung über Nullergebnisse im Laufe der Zeit verändert. Schließlich beleuchten wir, ob der "big data trend" in den Wirtschaftswissenschaften relevant ist, indem wir die Entwicklung der Stichprobengrößen dokumentieren. Die empirische Dokumentation dieser Trends wird der Forschungsgemeinschaft helfen, eine Bestandsaufnahme der wirtschaftswissenschaftlichen Forschung vorzunehmen und die Zuverlässigkeit der empirischen Forschung in den Wirtschaftswissenschaften weiter zu verbessern.

• DFG-Verfahren: Sachbeihilfen