SocEnRep - Automatisierung von Reproduzierbarkeit in den Wirtschafts- und Sozialwissenschaften

• Antragsteller: Professor Dr. Jörg Ankel-Peters; Dr. Arnim Bleier; Dr. Johannes Breuer; Dr. Sebastian Kranz; Dr. Alexander Rieber; Professor Dr. Ansgar Scherp
• Fachliche Zuordnung: Empirische Sozialforschung ; Künstliche Intelligenz und Maschinelle Lernverfahren ; Statistik und Ökonometrie
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 551687338

Reproduzierbarkeit ist ein grundlegender Eckpfeiler wissenschaftlicher Forschung, der entscheidend für deren Transparenz und Glaubwürdigkeit ist. In den Sozial- und Wirtschaftswissenschaften haben zahlreiche empirische Studien wiederholt Probleme hinsichtlich der Reproduzierbarkeit von Forschungsergebnissen aufgedeckt. Die Reproduktion von Forschungsergebnissen ist zeitaufwendig und wird von der wissenschaftlichen Gemeinschaft oft nicht ausreichend anerkannt oder gewürdigt, was dazu führt, dass sie häufig ausbleibt. Dies beeinträchtigt sowohl die Sicherstellung der Reproduzierbarkeit eigener Forschung als auch die Überprüfung durch Herausgeber:innen, Reviewer:innen oder andere Forschende nach der Veröffentlichung. Das Projekt „SocEnRep - Automatisierung von Reproduzierbarkeit in den Wirtschafts- und Sozialwissenschaften“ adressiert die genannten Herausforderungen durch die Entwicklung einer e-Research-Toolchain. Diese ermöglicht eine systematische Extraktion und Überprüfung von Informationen, um die Reproduzierbarkeit für Autor:innen, Reviewer:innen, Herausgeber:innen und andere Forschende zu erleichtern. Die Toolchain automatisiert speziell das Mapping von Informationen aus Forschungsartikeln (PDF oder HTML) und den zugehörigen „Replication Packages“ (Code + Daten), wobei sie sich besonders auf Regressionstabellen und Code in Stata und R konzentriert. Das Projekt hat drei zentrale Ziele: Ziel 1 "Automatisieren von Reproduzierbarkeitschecks": Wir entwickeln und testen eine Toolchain, die automatisch Stata- und R-Code aus Replication Packages extrahiert und ausführt. Diese vergleicht die Ergebnisse mit den Tabellen in den zugehörigen Artikeln und erstellt detaillierte Berichte über eventuelle Inkonsistenzen. Dies vereinfacht die Überprüfung und Sicherstellung der Reproduzierbarkeit von Forschungsarbeiten für Autor:innen, Herausgeber:innen, Reviewer:innen und andere Forschende. Ziel 2 "Unterstützung von Metastudien": Wir erstellen eine durchsuchbare Datenbank, die detaillierte Informationen aus Artikeln und Replication Packages, wie Spezifikationen und Ergebnisse von Regressionsanalysen, enthält. Dies erleichtert Metastudien zur Robustheit empirischer Evidenz in den Wirtschafts- und Sozialwissenschaften. Ziel 3 "Training von Forschenden": Um die Nutzung der entwickelten Toolchain zu erleichtern und fördern, erstellen wir Schulungsmaterialien und bieten Workshops an. Diese sollen insbesondere Nachwuchswissenschaftler:innen helfen, die Reproduzierbarkeit ihrer Forschung zu verbessern. Das übergeordnete Ziel unseres Projekts ist es, durch Entwicklung einer Toolchain, Schulungsmaterialien und ergänzende Maßnahmen wie Publikationen und eine Reproduzierbarkeitsdatenbank die Forschungskultur in den Wirtschafts- und Sozialwissenschaften so zu wandeln, dass Reproduzierbarkeit zum Standard wird. Wir zielen darauf ab, die Qualität, Transparenz und Vertrauenswürdigkeit dieser Forschung nachhaltig zu steigern.

• DFG-Verfahren: Forschungsdaten und Software (Wiss. Literaturversorgung und Informationssysteme)