Modeling missing data in competence tests
Final Report Abstract
Kompetenztestdaten großangelegter Bildungsstudien dienen dem Kompetenzvergleich verschiedener Zeitpunkte, Länder oder Personengruppen und haben – im Vergleich zu beispielsweise Einstellungstests – für den einzelnen Teilnehmer geringfügige Konsequenzen. Bei der Bearbeitung der Kompetenztests treten dementsprechend häufig fehlende Werte aufgrund übersprungener oder nicht erreichter Aufgaben auf. Diese nicht-ignorierbaren fehlenden Werte müssen angemessen bei der Skalierung berücksichtigt werden, da sie zu Verzerrungen bei der Schätzung der Fähigkeit der Teilnehmer führen können. Neuere modellbasierte Ansätze wurden entwickelt, welche im Vergleich zu traditionellen Ansätzen im Umgang mit fehlenden Werten den Vorteil aufweisen, auch nicht-ignorierbare fehlende Werte berücksichtigen zu können. Diese postulierten Modelle sind noch nicht in großangelegten Bildungsstudien implementiert, da sie für diesen Anwendungskontext zunächst geprüft und gegebenenfalls erweitert werden müssen. Das vorliegende Projekt befasste sich damit, (1) wie die beiden Arten fehlender Werte – übersprungene und nicht erreichte Aufgaben – gleichzeitig in einem Modell berücksichtigt werden können, (2) ob die Annahmen modellbasierter Ansätze in Bezug auf Kompetenztestdaten erfüllt sind und wie die Modelle bei einer möglichen Verletzungen von Annahmen erweitert bzw. modifiziert werden können. Weiterhin behandelte das Projekt die Fragen (3) wie fehlende Werte bei der Skalierung mehrerer Kompetenzdomänen berücksichtigt werden können, (4) welche weiteren Personencharakteristika das Auftreten fehlender Werte beeinflussen und ob diese als zusätzliche Variablen mit in das Messmodell für die Fähigkeit aufgenommen werden sollten und zuletzt (5) welche Ansätze zum Umgang mit fehlenden Werten bei der Schätzung von Kennwerten auf Gruppenebene, wie zum Beispiel Regressionskoeffizienten, adäquate Ergebnisse liefern. Die Ergebnisse der Untersuchungen zeigen, dass die modellbasierten Ansätze durchaus für Kompetenztests großangelegter Bildungsstudien geeignet sind. Die beiden Arten fehlender Werte können und sollten getrennt voneinander modelliert und in das Messmodell integriert werden. Leichte Modifizierungen der Modelle wie bspw. eine flexiblere Verteilungsannahme und der Einbezug von Personenvariablen, welche mit dem Auftreten fehlender Werte zusammenhängen, können vorgenommen werden, um den Prozess, der zu fehlenden Werten führt, adäquater abzubilden . Die relative Stabilität des Auslassverhaltens über verschiedene Kompetenzdomänen hinweg legt nahe, dass die fehlenden Werte nicht pro Domäne modelliert werden müssen, sondern als eine Dimension in das Messmodell aufgenommen werden können. Für die Schätzung von Kennwerten auf Gruppenebene führt das Ignorieren der fehlenden Werte zu adäquaten Schätzungen und kann auch aufgrund seiner sparsamen Parametrisierung empfohlen werden. Modellbasierte Verfahren zum Umgang mit fehlenden Werten können sinnvoll sein, wenn ein hohes Ausmaß an Nicht-Ignorierbarkeit sowie ein großer Anteil fehlender Werte vorliegt, wenn der Missing-Prozess genauer untersucht werden soll oder wenn die Missing-Propensity selbst als weiteres Maß der Kompetenz der Person verwendet werden soll. Auch besteht bei der Verwendung von modellbasierten Methoden im Vergleich zum Ignorieren eine geringere Gefahr fehlende Werte als Testbearbeitungsstrategie zu induzieren.
Publications
- (2014). Dealing with omitted and not reached items in competence tests - Evaluating approaches accounting for missing responses in IRT models. Educational and Psychological Measurement, 74, 423-452
Pohl, S., Gräfe, L., & Rose, N.
(See online at https://doi.org/10.1177/0013164413504926) - (2015). Investigating mechanisms for missing responses in competence tests. Psychological Test and Assessment Modeling, 57, 499-522
Köhler, C., Pohl, S., & Carstensen, C. H.
- (2015). Taking the missing propensity into account when estimating competence scores – Evaluation of IRT models for non-ignorable omissions. Educational and Psychological Measurement, 75, 850-874
Köhler, C., Pohl, S., & Carstensen, C. H.
(See online at https://doi.org/10.1177/0013164414561785) - Dealing With Item Nonresponse in Large‐Scale Cognitive Assessments: The Impact of Missing Data Methods on Estimated Explanatory Relationships. JEM Journal of Educational Measurement, Vol 54 Issue 4, Winter 2017, Pages 397-419
Köhler, C., Pohl, S., & Carstensen, C. H.
(See online at https://doi.org/10.1111/jedm.12154)
