Effects of test coaching on students´ mathematics and reading performance in PISA 2003

• Applicant: Professor Dr. Jürgen Baumert
• Subject Area: General and Domain-Specific Teaching and Learning
• Term: from 2003 to 2005
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 5420543

Mit der Veröffentlichung der Ergebnisse von PISA 2000 sind auch die Rahmenkonzeption von PISA und die Anforderungen der Testaufgaben bekannt geworden. Es kann davon ausgegangen werden, dass bei der Diskussion der Ergebnisse von PISA 2003 Fragen nach der "Trainierbarkeit" des PISA-Tests aufgeworfen werden: Inwieweit sind etwaige Leistungsverbesserungen im Vergleich zu PISA 2000 durch eine echte Kompetenzsteigerung oder "nur durch gezieltes Üben mit PISA-2000-Materialien" zustande gekommen? Das Ziel des geplanten Projekts ist es, die Wirkung von Testcoaching, also von gezielter Vorbereitung auf den Test, auf die Mathematik- und die Leseleistung bei PISA zu erfassen, und damit auch zu untersuchen, inwieweit etwaige Übungseffekte Validitätsprobleme für das laufende DFG-Projekt darstellen. Das Kernstück des Projektes ist ein Feldexperiment ("Coachingstudie"), bei dem im Kontrollgruppendesign die Wirkung von "authentischem" Coaching auf die PISA-Leistung von Schülerinnen und Schülern aus Hauptschulen und Gymnasien untersucht werden soll. Authentisches Coaching bezeichnet Testcoaching, das von tatsächlichen "PISA-Lehrkräften" zu erwarten ist. Das Ziel der Coachingstudie ist es also, abzuschätzen, welchen Effekt gezieltes Üben auf die Schülerleistung im PISA-Test haben kann, wenn dieses Üben in einem realistischen Rahmen erfolgt. Da alle an der Studie teilnehmenden Schüler einen Pre-Test erhalten, können wir auch die Effekte einer Pre-Testung experimentell untersuchen und somit überprüfen, ob Pre-Testung oder Coaching größere Effekte auf die spätere Posttestleistung hat. Die beantragte Studie ist Teil der deutschen Ergänzungsstudie zur internationalen PISA-2003-Studie. Es ist möglich, bei der Auswertung auf alle im Rahmen von PISA 2000 und PISA 2003 erhobenen Daten zurückzugreifen. Durch zusätzliche Analysen dieser Daten können die Ergebnisse der Coachingstudie validiert und um relevante Aspekte wie beispielsweise Auswirkungen von Veröffentlichung von Testmaterialien ergänzt werden.

• DFG Programme: Priority Programmes
• Subproject of: SPP 1082: Studies on The Quality of School: Acquisition of Content Specific and Cross-Curricular Competencies in Mathematics and Science Depending on In-School and Out-of-School Contexts
• Participating Persons: Professorin Dr. Cordula Artelt; Professor Dr. Stefan Krauss