Von wegen objektive Daten: Was eine Statistik bedeuten kann? Kommt drauf an, wer draufschaut

Tag um Tag berichten wir auf diesen Seiten über Forschungsergebnisse, die informieren, faszinieren oder auch erschrecken. Immer wieder müssen wir dabei einen Schritt zurücktreten, uns fragen: Auf welche Weise werden all diese Ergebnisse überhaupt generiert, und wie verlässlich sind sie?

Ein solcher Augenblick war wieder gekommen, als in der vergangenen Woche ein bemerkenswertes Experiment im Fachjournal PNAS veröffentlicht wurde: Forschende der Princeton University hatten 73 wissenschaftlichen Arbeitsgruppen einen Satz Daten zur Auswertung ausgehändigt.

Anhand der Daten sollten diese unabhängig voneinander die folgende Hypothese testen: Führt verstärkte Immigration dazu, dass die Bevölkerung ablehnender gegenüber Sozialleistungen wie etwa einer allgemeinen Krankenversicherung wird? Es handelt sich um eine typische Frage aus der der Sozial- und Wirtschaftwissenschaft, deren Antwort zum Beispiel den Unterschied zwischen der US-amerikanischen und europäischen Gesundheitsversorgung erklären könnte.

Umfrageergebnisse aus 31 Ländern

Alle 73 Gruppen werteten Umfrageergebnisse aus 31 Ländern und jeweils bis zu fünf unterschiedlichen Zeiträumen aus. Es sind Daten, die bereits in mehr als 10.000 veröffentlichte Forschungsarbeiten eingeflossen waren.

Dennoch fielen die Ergebnisse höchst unterschiedlich aus. Gut die Hälfte konnte keinen oder kaum einen Einfluss der Immigration finden. 25 Prozent meinten aus den Daten schließen zu können, dass Menschen durch mehr Migranten einen fürsorglichen Staat eher ablehnen. Der Rest diagnostizierte das genaue Gegenteil. Alle waren sich ihrer Ergebnisse recht sicher.

Das Erschreckende: Die Forschenden in Princeton konnten in ihrer Analyse nicht herausfinden, warum die Ergebnisse so unterschiedlich ausfielen. Auch gab es kaum einen Zusammenhang mit vorgefassten Meinungen und Expertise der Teilnehmer. Von einem „verborgenen Universum der Ungewissheit“ ist in der Veröffentlichung die Rede. Daran sollten alle denken, die im Brustton der Überzeugung eindeutige Gewissheiten bei komplizierten Sachverhalten kommunizieren.