Theoriegeleitete Konstruktion von Aufgaben zur Erfassung des Problemlösens in dynamischen Situationen
Final Report Abstract
Seit nahezu drei Jahrzehnten ist problemlösendes Denken und Handeln ein zentrales Thema experimentalpsychologischer Forschung. In diesem Zeitraum wurde eine Vielzahl unterschiedlicher Messinstrumente entwickelt, die als gravierenden Mangel aber alle lediglich ein einziges Item beinhalten und somit grundlegenden Anforderungen an ein Testverfahren widersprechen. Um diesen Mangel zu beheben, entwickelten wir einen Ansatz, in dem eine ganze Serie minimal komplexer Szenarios vorgegeben wird, den wir MicroDYN nennen. Die Bearbeitungszeit für ein Item ist dabei kurz gehalten, um eine hinreichende Itemzahl (ca. 15) in einer vertretbaren Testzeit (ca. 1 Stunde) vorgeben zu können. Das Testverfahren ist an Dörners Theorie der operativen Intelligenz angelehnt. In seiner endgültigen Version soll MicroDYN Aussagen über die fünf Anforderungsbereiche an ein Individuum in einer Problemlösesituation treffen: Modellbildung, Prognose, Informationsgenerierung, Informationsreduktion und Bewertung. Die drei Erstgenannten wurden in der ersten Projektphase fokussiert. Um für die Facetten Modellbildung und Prognose ein Kompetenzmodell empirisch abzuleiten, bestimmten wir mittels einer Aufgabenanalyse potentiell schwierigkeitsbestimmende Systemmerkmale. Diese variierten wir experimentell, um den schwierigkeitserzeugenden Einfluss abschätzen zu können. Aus den Befunden konnte für beide Facetten eine Kompetenzstufung abgeleitet werden, die über klar definierte Systeme (=Items) in einem Testverfahren implementiert werden können. Für den Aspekt der Informationsgenerierung, operationalisierbar über das strategische Eingriffsverhalten der Probanden, wurde basierend auf bestehender Forschung eine vorläufige Kompetenzstufung abgeleitet. Hinsichtlich der Binnenstruktur MicroDYNs zeigte sich sowohl in konfirmatorischen Faktorenanalysen als auch im Rahmen eines 1-PL MIRT-Modell die erwartete 3-dimensionale Struktur mit den Faktoren Modellbildung, Prognose und Informationsgenerierung deutlich separierbar. Der Modellfit in der CFA war gut (CFI: .98; TLI: .98; RMSEA: .06). Andere Lösungen (bspw. 1-dimensional) zeigten eine substantiell schlechtere Modellpassung. Kommunalitäten, MNSQ-Statistiken und globale Modelltests in der IRT sowie Reliabilitätsschätzungen fielen durchgängig sehr befriedigend aus. In Bezug zu weiteren Konstrukten verhielten sich die drei MicroDYN-Facetten generaliter wie erwartet. Als externe Kriterien wurde von uns das in PISA applizierte Problemlöseverfahren HEIFI sowie die Schulleistung (operationalisiert über Fachnoten) herangezogen. Die Vorhersage des HEIFIs gelang durch die Dimensionen MicroDYNs in der vorhergesagten Weise; darüber hinaus war Modellbildung ein starker Prädiktor der Schulleistung (stand. Pfadgewicht: .64; p < .01), was für den HEIFI nicht galt. Der Fit für das Gesamtmodell war akzeptabel (CFI: .97; TLI: .96; RMSEA: .07). Die abgeleiteten Kompetenzstufungen werden nun in ein Testverfahren übersetzt und an einer neuen Stichprobe validiert (Studie läuft aktuell). Für die beiden verbleibenden Facetten, Informationsreduktion und Bewertung, müssen Kompetenzstufungen gänzlich neu entwickelt werden. Auch die Binnenstruktur ist dann einer erneuten Evaluation zu unterziehen. Die Ergebnisse zur Konstruktvalidierung sind unbedingt auszuweiten. Derzeit läuft eine Studie mit fluider Intelligenz als Kriterium, aber Bezüge zu anderen Formen der kognitiven Leistungsfähigkeit sowie zu verschiedenen Formen des Problemlösens (analytisch und fachbezogen) sind in folgenden Untersuchungen zu überprüfen, um die Eigenständigkeit und Bedeutsamkeit der dynamischen Problemlösefähigkeit fundiert bewerten zu können.
Publications
- (2009). Measuring Complex Problem Solving. The MicroDYN approach. In F. Scheuermann (Ed.), The Transition to Computer-Based Assessment. Lessons learned from large-scale surveys and implications for testing. Luxembourg: Office for Official Publications of the European Communities
Greiff, S. & Funke, J.
