Experimentelle Untersuchungen zur Validität zufallsverschlüsselter Befragungen
Empirische Sozialforschung
Zusammenfassung der Projektergebnisse
Viele Befragte beantworten Fragen zu sensiblen Themen wie Xenophobie nicht wahrheitsgemäß, sondern in Einklang mit sozialen Normen. Die Randomized-Response-Technik (RRT) garantiert die Vertraulichkeit individueller Antworten. Dies soll zu ehrlicheren Antworten auf sensible Fragen führen und die Validität der Schätzungen der Prävalenz sensibler Merkmale steigern. Ziel des Projektes war, die Validität mehrerer konkurrierender Varianten der RRT zu untersuchen und zu vergleichen. Darüber hinaus sollten Faktoren identifiziert werden, die für spezifische Modelle die Validität der Ergebnisse zu steigern vermögen. Eine besondere Bedeutung kam dabei starken Validierungen zu, bei denen die Prävalenz des sensiblen Merkmals bekannt war und somit als Validierungskriterium zur Verfügung stand. Diese starken Validierungen ermöglichten auch eine Bestimmung der Sensitivität und Spezifität der konkurrierenden Modelle. Insgesamt zeigte sich in Bezug auf die Validität der ermittelten Prävalenzschätzungen eine Überlegenheit mehrerer untersuchter RRT-Varianten gegenüber konventionellen direkten Befragungen, da die RRT-Schätzungen höher ausfielen und näher an der bekannten Prävalenz sozial unerwünschter Merkmale lagen. Allerdings führten auch RRT-Befragungen noch zu einer Unterschätzung der bekannten Prävalenz sozial unerwünschter Merkmale. Die starken Validierungen offenbarten dabei einige Schwächen sowohl der untersuchten RRT-Modelle als auch der direkten Selbstauskünfte, insbesondere hinsichtlich ihrer Sensitivität und Spezifität. Für spezifische RRT-Modelle wurden Faktoren identifiziert, welche die Validität der Ergebnisse erhöhten. Hierzu gehören die Antwortsymmetrie, ein Mechanismus zur Verweigererdetektion, die Verwendung ausführlicher Instruktionen und Verständnisfragen sowie ein hohes Bildungsniveau der Befragten. Insbesondere die geringe Validität für Befragte mit niedrigem Bildungsniveau stellt dabei ein Problem für RRT-Befragungen der allgemeinen Bevölkerung dar. Für Stichproben mit niedrigem Bildungsniveau sollten deshalb in Zukunft vereinfachte Instruktionen entwickelt werden, um so auch bevölkerungsrepräsentative Umfragen mit Hilfe der RRT sinnvoll durchführen zu können. Für zwei RRT-Varianten ergaben sich Hinweise auf eine mangelhafte Validität. Für das Triangular-Modell zeigte sich, dass eine der zentralen Modellannahmen verletzt war, was eine sinnvolle Interpretation der ermittelten Prävalenzschätzungen verhinderte. Wir führen diesen Befund auf die Asymmetrie der Antwortoptionen dieses Modells zurück, welche den Befragten eine klar selbstschützende Antwortoption zur Verfügung stellt. Hinweise auf eine unzureichende Validität fanden sich auch für den Stochastischen Lügendetektor, welcher eine sehr geringe Spezifität aufwies und zu einer signifikanten Überschätzung der bekannten Prävalenz eines sensiblen Merkmals führte. Insgesamt scheinen RRT-Befragungen zur Erfassung sensibler Merkmale konventionellen, direkten Befragungen überlegen zu sein. Beide Methoden sind jedoch mit jeweils spezifischen Problemen verbunden. Die Validität der RRT hängt nach den vorliegenden Ergebnissen vom verwendeten Modell, von den Instruktionen und den Eigenschaften der untersuchen Stichprobe ab. Ein wichtiges Ziel für die weitere Forschung wäre deshalb eine Optimierung der RRT-Instruktionen, um die Validität der Ergebnisse unabhängig vom Bildungsniveau der Befragten zu machen.
Projektbezogene Publikationen (Auswahl)
- (2019). Prejudice against Women Leaders: Insights from an Indirect Questioning Approach. Sex Roles, 80, 681-692
Hoffmann, A., & Musch, J.
(Siehe online unter https://doi.org/10.1007/s11199-018-0969-6) - (2020). Can detailed instructions and comprehension checks increase the validity of crosswise model estimates? PloS ONE, 15, 1-19
Meisters, J., Hoffmann, A., & Musch, J.
(Siehe online unter https://doi.org/10.1371/journal.pone.0235403) - (2020). On the validity of non-randomized response techniques: An experimental comparison of the crosswise model and the triangular model. Behavior Research Methods, 52, 1768-1782
Hoffmann, A., Meisters, J., & Musch, J.
(Siehe online unter https://doi.org/10.3758/s13428-020-01349-9)
