Warum Forscher aus denselben Daten entgegengesetzte Schlüsse ziehen – Wissen

Vermutlich war es während der Covid-19-Pandemie, als der Slogan „Follow the Science“ populär wurde. Weitreichende Entscheidungen auf Grundlage wissenschaftlicher Evidenz zu treffen, ist ja auch sinnvoll. Nur lässt sich diese Forderung manchmal schwer umsetzen. Denn wäre „die“ Wissenschaft so etwas wie eine Landkarte, ließe sich der rechte Weg in manchen Gegenden kaum finden.

Die Studienlage in den empirischen Sozial- und Verhaltensforschungen zum Beispiel ist in einigen Bereichen höchst widersprüchlich. Auf die Frage nach den Effekten eines Mindestlohns auf den Arbeitsmarkt liefern Studien teils diametral entgegengesetzte Antworten, als wäre für jede Haltung etwas dabei. Auf dieses Beispiel und das generelle Phänomen weisen George Borjas und Nate Breznau in der Wissenschaftszeitschrift Science Advances hin.

Die beiden Sozialwissenschaftler identifizieren dort auch einen Faktor, der dazu beitragen könnte. Ihrer Studie zufolge gibt es einen Zusammenhang zwischen den Einstellungen und Grundüberzeugungen von Forschern und den Ergebnissen ihrer Analysen: Studien scheinen diese Einstellungen mit erhöhter Wahrscheinlichkeit zu bestätigen.

Die Sozialwissenschaftler nutzten für ihre aktuelle Analyse eine Studie, an der Breznau mitgearbeitet hatte und die 2022 im Fachjournal PNAS publiziert worden war. Dafür hatten 161 Wissenschaftler in 73 Teams denselben Datensatz ausgewertet und waren zu widersprüchlichen Ergebnissen gekommen. Die an dieser Studie beteiligten Forscherteams sollten die Hypothese überprüfen, dass Immigration die Unterstützung für Sozialhilfeprogramme schwäche.

Obwohl alle Gruppen die gleichen Daten auswerteten, streuten die Aussagen ihrer Analysen in sämtliche Richtungen: Manche Auswertungen ergaben, dass Immigration Menschen zunehmend kritisch auf Wohlfahrtsprogramme blicken lasse, andere ergaben das Gegenteil, also dass der Zuzug von Menschen aus anderen Ländern die Unterstützung für Sozialhilfeleistungen in Gesellschaften sogar erhöhen könne.

Die beteiligten Wissenschaftler hatten auf zahlreiche unterschiedliche statistische Modelle zur Auswertung gesetzt. Diese Analyseinstrumente ergaben jenen bunten Strauß an Ergebnissen, aus dem keine Blüte, um im Bild zu bleiben, so sehr herausragte, dass ein halbwegs klares Bild entstand. In der ursprünglich in PNAS publizierten Studie hatten die Forscher um Breznau, der am Deutschen Institut für Erwachsenenbildung – Leibniz-Zentrum für Lebenslanges Lernen in Bonn arbeitet, die weltanschauliche Einstellung der beteiligten Wissenschaftler beziehungsweise Teams nicht ausreichend berücksichtigt. Allerdings waren diese Daten vorhanden, die Borjas und Breznau nun also analysierten.

Offenbar wählten die Teams statistische Modelle, deren Ergebnisse zu ihren Überzeugungen passten

Dabei zeigte sich eine Korrelation zwischen den Ergebnissen der jeweiligen Datenanalysen und den grundsätzlichen Einstellungen der beteiligten Wissenschaftler zur Immigration. Wer überzeugt war, dass Gesellschaften grundsätzlich von Zuwanderung profitieren, stieß in seinen Auswertungen auch eher darauf, dass Migration die Zustimmung zu Sozialhilfeleistungen erhöhe. Umgekehrt korrelierte eine negative Grundeinstellung zu Einwanderung mit dem Ergebnis, dass diese die Zustimmung zu Sozialtransfers negativ beeinflussen würde.

Offenbar wählten die Teams statistische Modelle zur Auswertung der Daten, die eher Ergebnisse entsprechend ihren Grundeinstellungen lieferten. „Die Entscheidungen für Analysemethoden, die besonders starke negative Effekte zeigen konnten, stammten fast durchweg von einwanderungskritischen Forschungsteams – während das Gegenteil bei einwanderungsfreundlichen Teams der Fall war“, schreiben Borjas und Breznau in Science Advances.

Laut Breznau lässt sich daraus zwar kein kausaler Zusammenhang von Ideologie und Forschungsergebnis belegen, aber eine Korrelation. Dass Ideologie keine kausale Rolle spiele, sei jedoch höchst unplausibel, so Breznau. Wie groß dieser Effekt sei, lasse sich nicht sagen. Klar aber sei, dass Erfahrungen, Ausbildung, Präferenzen und politische Einstellungen von Wissenschaftlern die Ergebnisse ihrer Arbeiten prägten.

Ähnliche Befunde haben bereits andere Forscher vorgelegt. In einer klassischen Arbeit mussten zum Beispiel Psychologen Studienmanuskripte bewerten, die bis auf das Fazit identisch waren. Im Schnitt bewerteten sie die Qualität dieser Arbeiten dann als höher, wenn die Ergebnisse mit ihren politischen Grundeinstellungen übereinstimmten. Vergleichbare Ergebnisse publizierten Forscher aus Norwegen erst 2022 im Fachjournal Scandinavian Political Studies.

Am Ende sind es eben auch Menschen, die Wissenschaft betreiben, und Menschen sind fehlbare Wesen. Ob das nun ein Grund ist, Wissenschaft grundsätzlich infrage zu stellen? Natürlich nicht. Aber es ist ein Grund, Forschungsergebnissen mit Grundskepsis und gleichzeitig kritischer Offenheit zu begegnen. Dabei sollte jeder bedenken: Die persönliche Weltanschauung kommt so gut wie jedem in die Quere. Laien vielleicht sogar noch mehr als Wissenschaftlern.