Improving intercultural comparative research by the application of cognitive techniques using the Internet in several countries
Final Report Abstract
Wenn es auch nicht neu ist, offene Fragen in Web-Umfragen zu stellen oder kognitive Probes dazu zu verwenden, die (interkulturelle) Validität von Items zu beleuchten, so besteht doch die Innovation des hier vorgestellten Ansatzes aus der Verbindung dieser zwei Herangehensweisen. In einer (Forschungs-)Welt, die immer stärker auch durch den Imperativ der Internationalität gekennzeichnet ist, ist es notwendig, dass qualitativ hochwertige intemational vergleichbare Daten erhoben werden, um zu validen Aussagen zu gelangen. Internationales Web-Probing kann relativ kostengünstig begleitend zur Entwicklung internationaler Fragebögen eingesetzt werden, um z.B. bei problematischen Fragen interkulturelle Antwortmuster und somit auch die Validität von Items einschätzen zu können. Zudem kann in Umfrageprojekten, bei denen in regelmäßigen Abständen dieselben Variablen erhoben werden, die Vergleichbarkeit dieser Variablen über Zeit und Länder hinweg einem Monitoring unterworfen werden. Das Projekt hat die methodischen Tools zur Bewertung der Äquivalenz von Items um ein zentrales Instrumentarium erweitert. Trotz der insgesamt sehr positiven Bilanz konnten Lücken identifiziert werden, die nun im Rahmen des bewilligten Folgeprojekts gefüllt werden sollen ("Optimierung von Probe-Techniken für internationale Online-Umfragen"). Unter anderem sollen Möglichkeiten geprüft werden, bei Probe-Non-Response eine Folgefrage zu stellen, um doch noch eine produktive Antwort zu erhalten. Des Weiteren ist zu testen, inwieweit ein (anonymer) Chat nach abgeschlossener Umfrage eine Vertiefung der Informationen ermöglichen kann. Eine zusätzliche Forschungsperspektive liegt in der Einschaltung multipler Probes für einzelne Items. Zudem sollen neue geschlossene Fragen auf der Grundlage der Antworten bisheriger Probes konstruiert werden und die Erklärungskraft dieser geschlossenen Fragen mit der Erklärungskraft der aus dem Probing gewonnen Codes verglichen werden. Schließlich soll Web-Probing zeitnah zu aktuellen ISSPs laufen, um ein Real Time Monitoring zu ermöglichen.
Publications
- (2012). Asking probing questions in web surveys: which factors have an impact on the quality of responses?. Social Science Computer Review
Behr, D., Kaczmirek, L., Bandilla, W., & Braun, M.
(See online at https://doi.org/10.1177/0894439311435305) - (2012). Item Comparability in Cross-National Surveys: Results from Asking Probing Questions in Cross-National Web Surveys about Attitudes towards Civil Disobedience. Quality & Quantity
Behr, D., Braun, M., Kaczmirek, L., & Bandilla, W.
(See online at https://doi.org/10.1007/s11135-012-9754-8) - Assessing Cross-National Equivalence of Measures of Xenophobia: Evidence from Probing in Web Surveys. International Journal of Public Opinion Research
Braun, M., Behr D., & Kaczmirek, L.
(See online at https://doi.org/10.1093/ijpor/eds034) - Testing the validity of gender ideology items by implementing probing questions in web surveys. Field Methods
Behr, D., Braun, M., Kaczmirek, L., & Bandilla, W.
(See online at https://doi.org/10.1177%2F1525822X12462525)
