US-Forscher über internationale Studien : Die Pisa-Studie hat methodische Mängel

Statistische Schwankungen und überzogene Interpretationen: US-Forscher fordern, große internationale Studien wie Pisa zu verbessern. Ganz wertlos seien die Studien aber nicht.

Der schiefe Turm von Pisa
Der schiefe Turm von PisaFoto: imago/PEMAX

„Rankings bekommen zwar Schlagzeilen. Aber sie sind oft irreführend.“ Zu diesem Schluss kommen die Bildungswissenschaftler Judith D. Singer (Harvard) und Henry I. Braun (Boston College) mit Blick auf die großen internationalen Bildungsstudien, darunter Pisa und Timms, die von der OECD durchgeführt werden. Über die Ergebnisse ihrer Untersuchung berichten Singer und Braun jetzt im Magazin „Science“.

Manche der Ergebnisse würden mehr über die kulturellen Einflüsse auf die Schülerleistungen aussagen als über die Schulsysteme. Auch gebe es statistische Überlappungen, die im Ranking aber nicht dargestellt würden. Wertlos seien die Studien darum aber keineswegs, betonen die Wissenschaftler. Sie sollten aber verbessert werden, um bessere Anhaltspunkte für die Entwicklung der Schulsysteme zu geben.

Zuerst entzaubern die Forscher den asiatischen Erfolg bei Pisa. Dort standen Shanghai, Singapur, Hong Kong, Taiwan, Südkorea, Macau und Japan auch im Jahr 2012 auf Spitzenplätzen der Tabelle. Doch waren die Daten überhaupt repräsentativ? Pisa testet 15-Jährige. Bis vor kurzem war es in China Migranten aus ländlichen Gebieten allerdings nicht erlaubt, ihre Kinder an Schulen in Städten anzumelden. Im Jahr 2014 musste die OECD denn auch zugeben, dass die Stichprobe aus Shanghai 27 Prozent der 15-Jährigen Chinesen nicht umfasste.

In manchen Ländern nehmen bildungsferne 15-Jährige nicht teil

Das sollten andere Staaten berücksichtigen, bevor sie meinen, Merkmale des asiatischen Schulsystems für sich übernehmen zu können, schreiben Singer und Braun. So habe Großbritannien die etwa in Shanghai, Singapore and Hong Kong verwendete „Mastery“-Methode für den Mathematik-Unterricht an tausenden Grundschulen eingeführt.

Auch für andere weniger gut entwickelte OECD-Länder ist die Pisa-Studie nicht repräsentativ, stellen Singer und Braun fest. Denn in Mexiko oder der Türkei gehen 40 Prozent der 15-Jährigen nicht mehr zur Schule – das Abschneiden dieser wohl eher bildungsfernen Jugendlichen fließt also ins Ranking nicht ein.

Auch seien Ergebnisse aus einzelnen Städten wie Shanghai und Stadtstaaten wie Singapur oder auch Ländern mit einem zentralisierten Schulsystem wie Frankreich nicht gut vergleichbar mit dezentralisierten Ländern wie den USA, Kanada und Deutschland. Für diese föderalen Systeme seien die von Pisa gelieferten Durchschnittswerte „fast bedeutungslos“, weil sie die große Heterogenität der Schulpolitik innerhalb des Staates verdecken würden. So habe Massachusetts im Jahr 2015 als eigene Schulregion an Pisa teilgenommen. Dabei erzielten die Schüler im Lesen Mittelwerte auf dem Niveau der asiatischen Länder auf den Spitzenplätzen des Rankings, sie schnitten also deutlich besser ab als der US-amerikanische Durchschnitt.

Welches Merkmal Unterschiede in den Leistungen erklärt, ist schwer festzustellen

Dieses Problem ist für Deutschland allerdings nicht neu. Denn da es hier neben Pisa auch nationale Vergleichsstudien gibt, ist seit langem bekannt, dass es zwischen den Schülerleistungen in den verschiedenen Bundesländern eine gewaltige Spreizung gibt.

Warum ist ein Schulsystem besser als das andere? Liegt es an den Unterrichtsmethoden? Oder vielleicht an der Lehrerausbildung? 50 bis 75 Faktoren kommen in Frage. Das übertrifft die Anzahl der an den meisten großen Schulstudien teilnehmenden Länder. Das mache es unmöglich festzustellen, ob ein Merkmal eines Schulsystems wirklich die Unterschiede in den Schülerleistungen erklärt, schreiben die Forscher.

Nicht zuletzt würden die Testergebnisse von Faktoren beeinflusst, die außerhalb der Schule liegen. So würden Familien in vielen asiatischen Ländern private Tutoren engagieren, die besonders bei der Vorbereitung auf Prüfungen helfen. In Korea zum Beispiel komme ein großer Anteil der Bildungsausgaben am Bruttoinlandsprodukt aus privaten Quellen. Die Erfolge der Schüler könnten also kein Effekt des staatlichen Schulsystems sein, sondern ein Erfolg der privaten Nachhilfe. Gute Leistungen könnten asiatische Schülerinnen und Schüler in den großen Schulstudien außerdem auch deshalb erzielen, weil sie besonders darauf gedrillt würden, sich bei Tests anzustrengen.

Vor einfachen Schlüssen aus Rankings wird gewarnt

Schon ohne solche Aspekte seien Länderrangfolgen in Schulleistungsstudien im Einzelnen aber oft verzerrt. So gebe es bei den Konfidenzintervallen – also im Bereich großer statistischer Sicherheit – starke Überlappungen, die die im Ranking gezeigte Rangfolge nicht rechtfertigen. Beispielsweise sei Kanada in Mathematik bei der Pisastudie von 2015 auf Platz 10 eingeordnet worden, obwohl es sich im Konfidenzbereich mit Korea (Platz 7) und Deutschland Platz 16 stark überlappt habe.

Ferner würden die Rankings im Zeitverlauf davon beeinflusst, aus welchen Schulbezirken die Schüler der jeweiligen Stichprobe stammen. So könne ein Land seine Position im Ranking von Studie zu Studie verändern, obwohl die Schülerleistungen gleichgeblieben sind.

All diese Kritikpunkte könnten die starken Leistungen asiatischer Schülerinnen und Schüler nicht „wegerklären“, schreiben die Forscher. Vor einfachen Schlüssen aus solchen Rankings müsse aber gewarnt werden. Getrieben von einer Mischung aus Nationalismus und Angst vor dem globalen Wettbewerb würden Politiker in Ländern mit schwachen Ergebnissen dazu neigen, schnelle und eindimensionale Lösungen zu präsentieren – auf einer schwankenden Grundlage.

Kulturell ähnliche Länder miteinander vergleichen

Was ist zu tun? Die internationalen Schulstudien hätten sich seit der First International Mathematics Study im Jahr 1964 bereits deutlich verbessert, erklären die Forscher. Sie ließen sich jedoch noch weiter optimieren. So sei es sinnvoller, Rankings zwischen Staaten in den Hintergrund zu rücken und lieber Daten unterhalb der Staatsebene miteinander zu vergleichen: So könnten aussagefähige Bezüge zwischen Regionen, Provinzen, Bundesländern, Schulen oder Schülern mit bestimmten Merkmalen hergestellt werden – auch, indem Staaten die Daten mit anderen Erhebungen verlinken, um ein differenzierteres Bild zu zeigen. Kulturell ähnliche Länder sollten miteinander verglichen werden, etwa, was den Einfluss der sozialen Herkunft auf die Schülerleistungen betrifft. So sei die Abhängigkeit der Leistungen von der sozialen Herkunft in Kanada deutlich schwächer als in den USA ausgeprägt.

Besonders aussagefähig sei eine zusätzliche Befragung der Schüler, Eltern, Lehrkräfte oder Schulleitungen, wie sie in großen Schulstudien inzwischen auch üblich sei. So habe eine britische Studie anhand der Pisa-Daten von 2012 gezeigt, dass die zweite Generation von nach Australien eingewanderten Ost-Asiaten so gut wie die Schüler in Ost-Asien abschnitten, selbst wenn sie schwache australische Schulen besuchten. Daraus folgerten die Wissenschaftler, dass familiäre Faktoren auf die Schülerleistungen einen sehr hohen Einfluss haben.

Zusätzliche Verlaufsstudien würden helfen

Außerdem empfehlen Singer und Braun zusätzliche Verlaufsstudien, in denen Schüler über einen längeren Zeitraum beobachtet werden können: „Beim Lernen geht es um Veränderung, nicht um den Status quo“, schreiben sie. Dänemark und die Schweiz würden die Entwicklung ihrer Pisa-Teilnehmer bereits über einen längeren Zeitraum hinweg verfolgen. Besonders vielversprechend für die Schulentwicklung seien außerdem Tests, die die Effekte von bestimmten Interventionen im Schulsystem untersuchen. Dies könne dazu beitragen, mehr Klarheit über die Ursachen der unterschiedlichen Schülerleistungen zu gewinnen.

Andreas Schleicher, Direktor des für die Studien zuständigen Bildungsdirektorats der OECD, sagte dem Tagesspiegel auf Anfrage: „Das ist eine sehr gute Studie, über die ich mich freue. Sie gibt uns viele Ansatzpunkte zur weiteren Entwicklung.“ Schleicher nahm am Donnerstag an der Präsentation der Ergebnisse in den USA teil. Viele der von Singer und Braun angesprochenen Punkte seien auch bei einer internen Analyse der OECD im vergangenen Jahr kritisch hinterfragt worden, sagte er. Im wesentlichen gehe es um „technische Aspekte“, die die OECD-Forscher gut in den Griff bekommen könnten. Die Forderung der Forscher nach mehr Verlaufsstudien, die erlauben die Entwicklung von Schülern zu verfolgen, teilt Schleicher. „Das ist aber eine Frage des Geldes.“

Große methodische Herausforderungen für die Schulstudien sieht Schleicher bei den emotionalen und sozialen Kompetenzen der Schülerinnen und Schüler. Diese würden im Berufsleben immer wichtiger, seien aber schwer zu messen.

Twitter

Folgen Sie unserer Wissen und Forschen Redaktion auf Twitter: