Konkrete biologische Beispiele und ihr Einfluss auf die Schwierigkeit von Testaufgaben
Final Report Abstract
Für das aufgabenbasierte Lernen und für die Gestaltung von formativen und summativen Assessments ist das Verständnis darüber, wie Aufgabenmerkmale die Schwierigkeit und damit das Denken beeinflussen, von großer Bedeutung. Das Ziel dieser Studie war es, in einer Experimentalstudie zu untersuchen, inwieweit sich kontextuelle Aufgabenmerkmale auf die Aufgabenschwierigkeit im Bereich der mendel'schen Genetik auswirken. Hierzu wurden zwei Stichproben untersucht (n = 480 deutsche Mittel- und Oberstufenschüler*innen; n = 444 US-amerikanische Biologiestudierende). Es wurde ein Multi-Matrix-Testdesign verwendet um die Items zu verteilen und inhaltliche Abhängigkeiten aufzulösen. Die Testitems, die sich bezüglich der darin genannten Organismen unterscheiden (Pflanze vs. Tier vs. Mensch; reale vs. fiktive Organismen), wurden den Teilnehmenden zufällig zugeordnet. Die IRT-skalierten Daten zeigen gute Item-Fits und zufriedenstellende Reliabilitäten. Insgesamt schnitten die Studierenden besser ab als die Schüler*innen. Entgegen der Annahme konnten in beiden Stichproben keine signifikanten Unterschiede bezüglich der Itemschwierigkeiten zwischen dem tierischen, pflanzlichen und menschlichen Aufgaben-Kontext bzw. zwischen dem fiktiven und dem „realen“ Aufgaben-Kontext nachgewiesen werden. Allerdings wird deutlich, dass der gewählte Erbgang, der zur Aufgabenlösung angewendet werden muss, die Itemschwierigkeit beeinflusst. Die Ergebnisse deuten darauf hin, dass in diesem Zusammenhang die Schwierigkeit der Aufgaben zur Mendel-Genetik nur durch das Tiefenmerkmal (Erbgang), nicht aber durch das Oberflächenmerkmal (Beispielorganismus) beeinflusst wird. Offenbar treten die Oberflächenmerkmale hier im Verhältnis der Anwendung von Heuristiken in den Hintergrund. Es erscheint daher realistisch, Aufgabenpools, sowohl für Test- als auch Lernzwecke, mittels der Variation von (fiktiven) Organismen erweitern zu können.
Publications
- Assessment of Genetics Understanding. Under What Conditions Do Situational Features Have an Impact on Measures? Science & Education, Vol. 26. 2017, Issue 10, pp 1161–1191.
Schmiemann, P., Nehm, R. H., Tornabene, R. E.
(See online at https://doi.org/10.1007/s11191-017-9925-z)
