Validierung von Standard-Setting Verfahren für kompetenzorientierte Leistungstests

• Applicant: Professor Dr. Hans Anand Pant
• Subject Area: General and Domain-Specific Teaching and Learning
• Term: from 2007 to 2012
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 43495535

Die Bilanzierung von Lernergebnissen auf nicht-individueller Ebene (Schule, Bundesland) im Rahmen von Schulleistungsstudien ist Kernstück eines evidenz-basierten Rechenschaftssystems im Bildungswesen. Zur Rechenschaftslegung werden oft nicht die Schülertestleistungen auf den kontinuierlichen Messskalen herangezogen, sondern deren klassifikatorische Einteilung in wenige Kompetenzstufen. Die Festlegung von Grenzwerten (Cut- Scores), die den Übergang zwischen Kompetenzstufen markieren, wird als Standard-Setting bezeichnet. Das beantragte Projekt untersucht am Beispiel der Kompetenzstufenmodelle der länderübergreifenden Bildungsstandards für Englisch und des Gemeinsamen Europäischen Referenzrahmens für Sprachen (GERS), welche Standard-Setting Verfahren umfassend valide Cut-Scores generieren. Als Validitätskriterien werden untersucht: (1) die Passung zwischen den Kompetenzstufendeskriptoren der Bildungsstandards bzw. des GERS und den auf ihrer Basis entwickelten Testaufgaben, (2) der Effekt prozeduraler und statistischer Varianten des Standard-Setting, (3) die Übereinstimmung von lehrerseitigen und Standard-Setting generierten Kompetenzstufenzuordnungen und (4) die Angemessenheit der Ergebnisrezeption in der nichtfachlichen Öffentlichkeit. In der zweiten Projektphase werden zu den jeweiligen Validitätsaspekten ergänzende und vertiefende Studien durchgeführt.

• DFG Programme: Priority Programmes
• Subproject of: SPP 1293: Models of Competencies for Assessment of Individual Learning Outcomes and the Evaluation of Educational Processes
• Participating Person: Professor Dr. Olaf Köller