Identification of Falsifications in Survey Data
Final Report Abstract
Innerhalb der ersten Förderphase verfolgte das Projekt das Ziel, neue Erkenntnisse über die Interviewer-Motivation, den Fälschungsprozess sowie über die Fälschungsstrategien zu erhalten und die eingesetzte Aufdeckungsmethode zur Identifizierung von Fälschungen in Umfragedaten zu optimieren. Dabei wurde einerseits analysiert, inwieweit bestehende Methoden zur Identifikation von Fälschungen in Umfragedaten nützlich sind. Zweitens wurden Theorien zur Motivation aus der Psychologie näher betrachtet und genutzt, um weitere Erkenntnisse über die Motivation eines Interviewers, einen Fragebogen zu fälschen, sowie über die verwendete Fälschungsstrategie zu erhalten. Aufbauend auf den Erkenntnissen aus der Literatur wurden Hypothesen zum Antwortverhalten von echten Befragten und Interviewfälschern abgeleitet, die zur Konstruktion neuer Fälschungsindikatoren benutzt wurden. Die neu entwickelten Indikatoren wurden hinsichtlich ihres Potentials für eine verbesserte Aufdeckung von Fälschungen zunächst im Rahmen der Vorstudien untersucht. Der im Rahmen der experimentellen Studie erhobene Datensatz wurde sowohl zum Testen und zur Bewertung der bekannten und neu entwickelten Indikatoren als auch zur Überprüfung und Verbesserung des weiterentwickelten multivariaten Clusterverfahrens genutzt. In der zweiten Förderphase wurde untersucht, in wie weit die Verfahren auch geeignet sind, um Teilfälschungen zu erkennen. Es zeigte sich wie erwartet, dass die Trennschärfe der Methode dann schnell abnimmt. Die Festlegung einer Maximalgröße für den Cluster, der die potenziellen Fälschungen umfasst, erwies sich aber als geeignete Maßnahme, um dennoch eine kleine Zahl von besonders kritischen Fällen identifizieren zu können, auf die dann ergänzende Auswertungen zu konzentrieren wären, während der Einsatz probabilistischer Methoden sich als wenig ergiebig erwies. Außerdem konnten eine Reihe neuer Resultate zu Determinanten des Interviewerverhaltens und zu Interviewereffekten gewonnen werden. Insbesondere liegen deutliche Signale vor, dass die Art der Bezahlung von Interviewern (pro Interview oder pro Stunde) sowohl die Wahrscheinlichkeit beeinflusst, von vorgegebenen Richtlinien abzuweichen, als auch die Qualität der echten Interviews. Daraus und aus vertiefenden Studien zur Motivation der Interviewer ergibt sich als klare Empfehlung aus dem Projekt, dass eine Bezahlung pro Stunde deutlich zu präferieren ist, wenn qualitativ hochwertige Daten angestrebt werden. Insgesamt erlauben die Ergebnisse des Projekts Empfehlungen zur Verbesserung von Fragebögen und Erhebungsmethoden, um Anreize für Fälschungen oder andere Formen abweichenden Verhaltens zu verringern und gleichzeitig die Chancen auf eine auf die Daten selbst gestützte Erkennung von potentiell fehlerhaften Daten zu verbessern.
Publications
- Dem Umfragefälscher auf der Spur. Stadtforschung und Statistik 2/2011, 37-40
Bredl, S., Winker, P. und Kötschau K.
- A Statistical Approach to Detect Interviewer Falsification of Survey Data. Survey Methodology 38(1), 1-10, 2012
Bredl, S., Winker, P. und Kötschau K.
- (2013): A Literature Review of Methods to Detect Fabricated Survey Data. In: Winker, P., Menold, N. und Porst, R. (Hrsg.) Interviewers’ Deviations in Surveys – Impact, Reasons, Detection and Prevention. Peter Lang, Frankfurt a.M., 3-24
Bredl, S., Storfinger, N. und Menold, N.
- (2013): A Method for Ex-post Identification of Falsifications in Survey Data. In: Winker, P., Menold, N. und Porst, R. (Hrsg.) Interviewers’ Deviations in Surveys – Impact, Reasons, Detection and Prevention. Peter Lang, Frankfurt a.M., 25-47
Menold, N., Winker, P., Storfinger, N. und Kemper, C.J.
- (2013): Assessing the Performance of Clustering Methods in Falsification Identification using Bootstrap. In: Winker, P., Menold, N. und Porst, R. (Hrsg.) Interviewers’ Deviations in Surveys – Impact, Reasons, Detection and Prevention. Peter Lang, Frankfurt a.M., 49-65
Storfinger, N. und Winker, P.
- (2013): Interviewers‘ Experience and “Quality” of Falsified Data. In: Winker, P., Menold, N. und Porst, R. (Hrsg.) Interviewers’ Deviations in Surveys – Impact, Reasons, Detection and Prevention. Peter Lang, Frankfurt a.M., 161-171
Menold, N. und Opper, M.K.
- (2013): Interviewers’ Deviations in Surveys – Impact, Reasons, Detection and Prevention. Peter Lang, Frankfurt a.M.
Winker, P., Menold, N. und Porst, R. (Hrsg.)
- (2014): How Do Real and Falsified Data Differ? Psychology of Survey Response as a Source of Falsification Indicators in Face-to-Face Surveys, International Journal of Public Opinion Research, 26(1), 41-65
Menold, N. und Kemper, C.J.
(See online at https://doi.org/10.1093/ijpor/edt017) - (2014): Identification of partial falsifications in survey data, Statistical Journal of the IAOS, 30, 271-281
De Haas, S. und Winker, P.
(See online at https://doi.org/10.3233/SJI-140834) - (2014): Nuisance or remedy? The Utility of Stylistic Responding as an Indicator of Data Fabrication in Surveys. Methodology, 10(3), 92-99
Kemper, C.J. und Menold, N.
(See online at https://doi.org/10.1027/1614-2241/a000078) - Interviewers’ Falsifications in Face-to-Face Surveys: Impact, Reasons, Detection and Prevention, In: U. Engel, B. Jann, P. Lynn, A. Scherpenzeel, P. Sturgis (Hrsg.): “Improving Survey Methods – Lessons from Recent Research”, Taylor & Francis, New York, 86-97, 2014
Menold, N., Winker, P., Storfinger, N. und Bredl, S.
- (2015): Interviewer Effects in Real and Falsified Interviews – Results from a Large Scale Experiment, Statistical Journal of the IAOS, 30, 271-281
Winker, P., Kruse, K.-W., Menold, N. und Landrock, U.
(See online at https://doi.org/10.3233/SJI-150908) - (2016): Detecting Fraudulent Interviewers by Improved Clustering Methods – The Case of Falsifications of Answers to Parts of a Questionnaire. Journal of Official Statistics, 32(3), 643-660
De Haas, S. und P. Winker
(See online at https://doi.org/10.1515/JOS-2016-0033)
