Validierung von Standard-Setting Verfahren für kompetenzorientierte Leistungstests

Applicant Professor Dr. Hans Anand Pant
Subject Area General and Domain-Specific Teaching and Learning
Term from 2007 to 2012
Project identifier Deutsche Forschungsgemeinschaft (DFG) - Project number 43495535
 

Project Description

Die Bilanzierung von Lernergebnissen auf nicht-individueller Ebene (Schule, Bundesland) im Rahmen von Schulleistungsstudien ist Kernstück eines evidenz-basierten Rechenschaftssystems im Bildungswesen. Zur Rechenschaftslegung werden oft nicht die Schülertestleistungen auf den kontinuierlichen Messskalen herangezogen, sondern deren klassifikatorische Einteilung in wenige Kompetenzstufen. Die Festlegung von Grenzwerten (Cut- Scores), die den Übergang zwischen Kompetenzstufen markieren, wird als Standard-Setting bezeichnet. Das beantragte Projekt untersucht am Beispiel der Kompetenzstufenmodelle der länderübergreifenden Bildungsstandards für Englisch und des Gemeinsamen Europäischen Referenzrahmens für Sprachen (GERS), welche Standard-Setting Verfahren umfassend valide Cut-Scores generieren. Als Validitätskriterien werden untersucht: (1) die Passung zwischen den Kompetenzstufendeskriptoren der Bildungsstandards bzw. des GERS und den auf ihrer Basis entwickelten Testaufgaben, (2) der Effekt prozeduraler und statistischer Varianten des Standard-Setting, (3) die Übereinstimmung von lehrerseitigen und Standard-Setting generierten Kompetenzstufenzuordnungen und (4) die Angemessenheit der Ergebnisrezeption in der nichtfachlichen Öffentlichkeit. In der zweiten Projektphase werden zu den jeweiligen Validitätsaspekten ergänzende und vertiefende Studien durchgeführt.
DFG Programme Priority Programmes
Subproject of SPP 1293:  Models of Competencies for Assessment of Individual Learning Outcomes and the Evaluation of Educational Processes
Participating Person Professor Dr. Olaf Köller