Ein 'goldener Maßstab' für institutionelle Beurteilungen? Eine Operationalisierung und Erklärung politischer Verzerrungen in einer großen Anzahl von Evaluationsberichten internationaler Organisationen

• Antragsteller: Professor Dr. Steffen Eckhard
• Fachliche Zuordnung: Politikwissenschaft
• Förderung: Förderung von 2020 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 445467518

Die Evaluation von politischen Programmen (policies) wurde in den vergangenen Jahren zu einem zentralen Bestandteil von Politikprozessen in internationalen Organisationen (IOs). Als ein scheinbar technokratisches Managementinstrument, soll Evaluation nach allgemeiner Lesart evidenzbasierte Politikanpassung und Lernen ermöglichen. Daran bestehen allerdings zunehmend Zweifel. Eine wachsende Literatur zu den ‚politics of evaluation‘ zeigt, dass Evaluation in vielen Fällen lediglich die vorgefertigten politischen Interessen zentraler politischer Akteure bedient. Neben perzeptionsbasierten Befunden gibt es allerdings keinerlei empirische Forschung zu der Frage, ob und wie genau sich politische Interessen in den eigentlichen Evaluationsergebnissen und -berichten niederschlagen. Diese Lücke versucht das Projekt zu schließen. Es konzeptualisiert, misst und erklärt politische Verzerrungen (biases) in Evaluationsberichten. Dazu werden Organisationen miteinander verglichen, in denen entweder die Verwaltung den größten Einfluss auf die Evaluationsabteilungen hat, oder die Mitgliedsstaaten (gemessen anhand von Budgethoheit und Agendasetzungsrecht). Es wird erwartet, dass die eigentlich unabhängigen Evaluationsabteilungen sich an den für sie jeweils dominanten politischen Interessen orientieren und die Berichte entsprechende politische Verzerrungen aufweisen (beispielsweise eine positive oder negative Darstellung der Befunde). Der zentrale Beitrag des Projekts ist die konzeptionelle Ausarbeitung solcher politischen Verzerrungen und deren Messung anhand eines Textkorpus von über 8.000 Evaluationsberichten von 19 internationalen Organisationen. Sollten sich die zentralen Hypothesen bestätigen lassen, lägen zum ersten Mal belastbare empirische Daten vor, die darauf hinweisen, dass Evaluationen systematisch ihren angenommenen Zweck verfehlen, nämlich die kritische Überprüfung der Effekte politischer Programme. Wäre die zentrale Hypothese jedoch falsifizierbar, wären dies gute Neuigkeiten für Praktiker und andere Nutzer von Evaluationsergebnissen. Das Projekt leistet daher einen wichtigen theoretischen und praktischen Beitrag für das Verständnis von Evaluation in Politikprozessen.

• DFG-Verfahren: Sachbeihilfen