Pisa: Schöner rechnen

Ist etwas faul mit Pisa? Wir dokumentieren Kritik und die Erklärungen des deutschen Pisa-Konsortiums dazu.

Erster Vorwurf:
Die deutschen Forscher rechnen die Ergebnisse in den Naturwissenschaften schön.

In den Naturwissenschaften haben Deutschlands Schüler nach der Pisa-Tabelle zwischen der ersten Messung im Jahr 2000 und der jüngsten im Jahr 2006 zugelegt: von 487 auf 516 Punkte. Nach Auskunft des OECD-Koordinators Andreas Schleicher liegt das aber nur daran, dass das Testdesign der Studie im Jahr 2006 verändert wurde. Blicke man nur auf jene Aufgaben, die sowohl 2003 als auch 2006 überprüft wurden, ließe sich kein Leistungszuwachs feststellen (im Jahr 2003 erreichten die Schüler danach 514 Punkte, 2006 auch nur 518 Punkte).

Die deutschen Pisa-Forscher sagen hingegen, das Testkonzept sei keineswegs grundlegend verändert, sondern nur erweitert worden. Zumal, wenn man nur jene Aufgaben betrachte, die in allen drei Studien gestellt wurden, könne man für Deutschland sehr wohl einen statistisch bedeutsamen Leistungszuwachs erkennen. Manfred Prenzel, der Sprecher des deutschen Pisa-Konsortiums, erklärt das so: Eigentlich soll Pisa es erlauben, Vergleiche der Schülerleistungen über die Zeit zu machen. Deshalb gibt es für Mathematik, Lesen und Naturwissenschaften einen Satz von Kernaufgaben, die in jedem Jahr wiederholt werden („link items“). In manchen Ländern hätten die Schülerleistungen beim Lösen der naturwissenschaftlichen Aufgaben in den ersten zwei Erhebungszyklen aber dermaßen geschwankt, dass ihre Repräsentativität für diese Länder nicht mehr gegeben war. So musste die OECD auf den Zeitvergleich verzichten. Erst ab 2006, wo die Zahl der Aufgaben stark anwuchs und nun für alle Länder aussagekräftig ist, kann es Trendaussagen geben.

Anders in Deutschland. Blickt man nur auf die deutschen Ergebnisse, sieht man, dass die Leistungen sich verbessert haben, so die deutschen Forscher.

Schleichers Tabelle gibt zwar ebenfalls Auskunft darüber, wie deutsche Schüler die Kernaufgaben im Lauf der Zeit gelöst haben. Aber die Mittelwerte sind in Relation zu den verzerrten Zahlen anderer Staaten berechnet worden – also nicht aussagekräftig, wie die deutschen Forscher meinen. Schleicher habe die Tabelle entgegen des OECD-Beschlusses kurzfristig auf Druck mehrerer Staaten beigelegt. Karin Zimmer von der OECD will nicht ausschließen, dass Prenzel für Deutschland isoliert eine seriöse Darstellung über die Naturwissenschaften vorlegen kann. Mit der internationalen Pisa-Studie habe das aber dann nichts mehr zu tun.

Zweiter Vorwurf:
Um zu beweisen, dass sich der Zusammenhang zwischen sozialer Herkunft und Kompetenz in Deutschland leicht verringert hat, wechseln die deutschen Forscher ständig die Indikatoren.

Im Gegenteil, sagen die deutschen Pisa-Forscher, die OECD habe von Studie zu Studie ihre Indikatoren gewechselt. So sei es nicht möglich, damit die Entwicklungen im Zeitverlauf zu betrachten. Aufklärung verschafft ein Kapitel in der deutschen Pisa-Studie, in dem die Pisa-Forscher Jürgen Baumert und Timo Ehmke für Deutschland anhand zweier Indikatoren einen leichten Trend zur Besserung nachweisen können.

Dritter Vorwurf:
Der Erziehungswissenschaftler Klaus Klemm erklärt in der „Zeit“, die deutschen Forscher würden den Anteil von Migranten unterschätzen, was die deutschen Ergebnisse in ein freundlicheres Licht tauche. Es müsse nicht mit 20, sondern mit 25 Prozent Migranten gerechnet werden.

Klemm hat vergessen, dass nur an Pisa teilnehmen darf, wer mindestens ein Jahr in Deutschland lebt, antworten die Pisa-Forscher. Ausgeschlossen wurden daher fünf Prozent der Migranten.

Vierter Vorwurf:
Klemm behauptet, die deutschen Forscher hätten ihre Definition der „Risikogruppe“ unter den Schülern zwischen 2000 und 2003 ausgeweitet. Damit würde nun ein weit größerer Teil von Jugendlichen als nicht ausbildungsfähig abgestempelt.

Klemm irrt. Schon für das Jahr 2000 lautete die Definition: Zur Risikogruppe gehören Schüler, die im Lesen unter Kompetenzstufe I liegen, zur potenziellen Risikogruppe auch solche, die nicht über Stufe I kommen.