Homepage: Ist die PISA-Studie fehlerhaft? Kritische Stimmen aus Potsdam und München

Ungewöhnlich viele Studierende und Kollegen konnte Prof. Dr. Thomas Jahnke am vergangenen Dienstag zu einem Vortrag am Institut für Mathematik der Universität Potsdam begrüßen. Der Münchner Physiker und Pädagoge Dr. Joachim Wuttke sprach vor einem vollen Hörsaal zu einem umstrittenen Thema. Hinter dem Titel „Gewichtungs- und Skalierungsprobleme in der PISA-Auswertung“ verbarg sich eine deutliche Kritik an der PISA-Studie. Dr. Wuttke machte seine Kritikpunkte anhand der Datensätze der PISA-Studie von 2003 klar. Aus statistischer Sicht, so Wuttkes These, lassen sich aus der enormen Datenmenge der Studie kaum eindeutige Ergebnisse herauslesen.

„Die Stichprobe ist nicht repräsentativ“, so Wuttkes erste These. Wenn von Island bis Australien Stichproben bei Schülern genommen werden müssen, ergeben sich Unregelmäßigkeiten. Damit die Schülerdaten überhaupt verwendet werden können, müsse oft massiv hin und hergerechnet werden. So hätten im Jahr 2003 weniger als 65 Prozent der Schulen in den USA an der Studie teilgenommen. Nach internen PISA-Normen zu wenig. Dennoch flossen die Daten in die Studie ein. Wuttkes Vermutung: man wollte den größten Geldgeber nicht verärgern. Entscheidend sei aber, dass an der Studie nicht teilnehme, wer sich überfordert fühlt. Bei Ländern mit einer niedrigen Beteiligung könne dies das Ergebnis verzerren, weil nur gute Schüler teilnehmen.

Noch schwieriger ist die Aufgabe, die Schülerkompetenz und den Schwierigkeitsgrad der Aufgabenstellung aufeinander zu beziehen („Skalierung“). Was heißt es, eine Aufgabe richtig zu lösen? Aus welchen Gründen erscheint sie als schwer lösbar? Der Physiker wies darauf hin, dass man eine Aufgabe auch aus Versehen richtig lösen könne. Manche Antworten ließen sich erraten. Aber auch gute Schüler könnten Fragestellungen missverstehen. Dass solche Faktoren bei der elektronischen Verarbeitung der Daten ausreichend berücksichtigt werden, zweifelte Wuttke an. Dafür gebe es kein überzeugendes mathematisches Modell bei PISA. Ein Lachen ging durch den Hörsaal, als Wuttke die verwendete Formel vorstellte: es handelte sich um eine leicht abgewandelte physikalische Formel. Statt des Zustandes eine Elektrons ermittelt man nun die Kompetenzen der Schüler in Mathematik, Sprachen und den Naturwissenschaften.

Neben mathematischen Problemen spielen schließlich kulturelle Faktoren eine Rolle. So hat der Referent herausgefunden, dass in mexikanischen Schulen sehr gezielt für die PISA-Studie trainiert wird. In Luxemburg geben mehr als zehn Prozent der Schüler dort mehrere Antworten, wo nur eine gefragt ist. Hier wird, wie Wuttke meint, das multiple-choice-Verfahren nicht angenommen. In solchen Fällen würde das Ergebnis durch unkalkulierbare äußere Einflüsse verzerrt. Dies lässt sich aber aus reinen Ranglisten nicht mehr erkennen.

In der folgenden Diskussion beklagten die Wissenschaftler die Haltung des PISA-Konsortiums gegenüber ihren Einwänden. Diese würden ignoriert. Es gehe offenbar nur darum, die Umfrage in regelmäßigen Abständen zu wiederholen. Joachim Wuttke plädierte dafür, die Daten vorsichtiger zu interpretieren. Dass es Zeit für eine Denkpause ist, meinen auch seine Potsdamer Kollegen Thomas Jahnke und Wolfram Meyerhöfer. Aus ihrer Sicht schaden unterschiedliche Interessen der wissenschaftlichen Aussagekraft der PISA-Studie. Sie raten davon ab, nun in den Klassenzimmern alles anders zu machen. Mark Minnes

Mark Minnes