Wie verlässlich ist die Wissenschaft?

Vertrauen in Kollaborationen

Mit wohl berechtigtem Stolz überreicht mir ein Freund seine neueste wissenschaftliche Veröffentlichung: Sechs Seiten Inhalt plus eineinhalb Seiten für die Auflistung der insgesamt zweihundert Autoren. Meine nur verhaltene Begeisterung erzeugt bei ihm eine leichte Verstimmung. Dem Klima nicht förderlich ist auch mein Hinweis auf den Ig-Nobel-Preis für Literatur(!) des Jahres 1993, der an die 976 Autoren einer knapp zehnseitigen Medizinstudie ging.

Mein Freund meint, dass heute in den üblichen großen Kollaborationen der Teilchenphysik diese Veröffentlichungskultur gang und gäbe und dass die Qualität der Arbeiten durch kollaborationsinterne Gremien und Verfahren sichergestellt sei.

Ich frage mich: Wohin ist sein Urheberrecht verschwunden? Wie lässt sich in einer solchen Kultur die kreative Leistung von Forscherpersönlichkeiten erkennen? In Berufungsverfahren für Professoren spielt ja die Liste der Veröffentlichungen eine zentrale Rolle. Ich kann den Wert solcher Listen nun nicht mehr erkennen. Daran gezweifelt habe ich ja schon vorher. Wenn ein und dieselbe Veröffentlichung auf den Listen von zweihundert Leuten auftaucht, dann handelt es sich um eine Inflation. Ein Leistungsnachweis kann das nicht mehr sein.

Vor allem ist es eins: Gleichmacherei. Im Abspann von Filmen wird wenigstens mitgeteilt, was die Genannten gemacht haben: Produktion, Regie, Schauspielerei, Maske, Schnitt, Musik, Tricktechnik, Brötchen holen, Leute von Ort zu Ort fahren und so weiter.

Wir alle, auch der Wissenschaftler, sind in fast jedem Fach Laien. Unsere Urteilskraft beruht ganz wesentlich auf Auskünften von Leuten, denen wir vertrauen. Woran soll man sich denn halten, wenn nicht an den guten Ruf großer Namen. Wir verlassen uns auf Institutionen und Redaktionen, deren Verfassungen und Statuten vertrauenswürdige Wissenschaftler und Publizisten an die Front bringen. Von den Publikationsprozessen verlangen wir durchschaubare Kompetenzregelungen und Verantwortungsabgrenzungen, kurz: Transparenz.

Durch Gleichmacherei und durch ein für Außenstehende nicht durchschaubares Qualitätswesen entzieht sich Wissenschaft weitgehend der Beurteilung.

Große Kollaborationen sind heute unvermeidbar, die Autorenvielzahl ist es nicht. Es geht anders. Man kann der Kollaboration beispielsweise einen Namen geben und als eigenständigen Organismus behandeln. Als solcher kann er auch Reputation gewinnen.

Ein berühmtes Beispiel aus dem Fach Mathematik ist das Autorenkollektiv unter dem Namen „Nicolas Bourbaki“. Als Autor des Werkes tritt nur das Kollektiv in Erscheinung. Bei Bourbaki wurde sogar geheim gehalten, wer Mitglied ist.

Verantwortung für das Werk trägt das Kollektiv in seiner Gesamtheit. Und nur ihm gebührt der Ruhm und auch nur das Kollektiv hat einen Ruf zu verlieren.

Eine Kollaboration oder ein Kollektiv kann sich nicht um eine Professorenstelle bewerben. Aber es spricht nichts dagegen, wenn Einzelne heraustreten und durch eigene Veröffentlichungen zu persönlicher Reputation gelangen. Genau das ist bei Bourbaki passiert: Durch mein Studium kenne ich Bücher von Henri Cartan und Jean Dieudonné. Allein ihr Schreibstil macht klar: Das sind Bourbakisten. Inzwischen ist bekannt, dass sie Gründungsmitglieder des Autorenkollektivs waren.

Die Arbeit meines Freundes schätze ich, weil ich etwas über seinen Beitrag zur Kollaboration weiß. Der Bericht der zweihundert Autoren hat meiner Wertschätzung nichts hinzugefügt.

Ich kann den Mitgliedern von Berufungskommissionen oder vergleichbaren Gremien nur raten, sich nicht auf die Längen der von den Bewerbern eingereichten Literaturlisten zu verlassen. Gerade bei Arbeiten mit mehreren Autoren lohnt sich die genaue Nachforschung, welchen Beitrag der Bewerber tatsächlichen geleistet hat.

Suche nach dem Gral

Die meisten Skeptikerorganisationen erklären das kritische Denken und die Wissenschaft zur Basis ihrer Arbeit. Nur so könne man zu verlässlichem Wissen kommen, das es erlaubt, rein illusionäres Denken und Pseudowissenschaft als solche zu erkennen.

Im letzten Hoppla!-Artikel war von Skeptikern die Rede, die verblüfft feststellten, dass manches, was sie als „unwissenschaftlich“ bezeichneten, eben doch Wissenschaft im landläufigen Sinne ist. Umgekehrt steht auch die in Skeptikerkreisen beliebte Beteuerung, das eigene Argument sei „wissenschaftlich erwiesen“, auf ziemlich wackeligem Fundament.

Wir wollen einmal davon ausgehen, dass Wissenschaft das ist, was der Wissenschaftsbetrieb ausbrütet und für glaubhaft erklärt. Wir haben auch eine grobe Vorstellung davon, was unter Wissenschaftsbetrieb zu verstehen ist. Ganz grundlos ist unser Vertrauen in die Wissenschaft nicht, denn immerhin funktioniert die uns umgebende Technik ganz ordentlich, und diese ist das gänzlich praktische Resultat wissenschaftlichen Treibens.

Nicht immer liegt die Sache so klar vor uns, vor allem dann nicht, wenn es um die Erforschung des Scheuen und Flüchtigen geht, um schwache und launische Effekte und um Vorgänge, die mutmaßlich spiritueller Natur sind. Dann kommt die wissenschaftliche Vorgehensweise an ihre Grenzen. Es ist Forschung zu Themen, die vielleicht gar keine sind; sie gleicht einer streng wissenschaftlichen Suche nach dem Gral.

Was beispielsweise die Psi-Forscher treiben, sieht nicht nur nach Wissenschaft aus, es genügt auch den strengen Maßstäben der wissenschaftlichen Arbeitsweise. Dennoch bleibt die Frage, ob das, was sie wissenschaftlich (unter)suchen auch tatsächlich existiert. Dem Skeptiker fällt es nicht leicht, eine Tätigkeit, die sich mit etwas Nichtexistenten befasst, als Wissenschaft zu akzeptieren. Aber genau das ist die Frage: Gibt es Psi wirklich nicht? Im vorletzten Hoppla!-Artikel habe ich herausgestellt, wie eine Pattsituation zwischen Forschern und Skeptikern entstehen kann.

Ähnlich sieht es bei einigen Studien der Karl und Veronica Carstens-Stiftung aus. Darin geht es vornehmlich um die Wirksamkeit der Homöopathie. Aber gerade diese Wirksamkeit stellt der Skeptiker grundsätzlich infrage.  Für ihn ist es die wissenschaftliche Untersuchung von etwas, das es nicht gibt. Aber dennoch ist es augenscheinlich Wissenschaft.

Die Übergänge zur Mainstream-Wissenschaft sind fließend. Denn was ist davon zu halten, wenn ein großes staatlich gefördertes Forschungsprojekt darauf angelegt ist, die Neutrinomasse zu bestimmen? Eine frühe Hypothese lautet, dass diese Masse gleich null ist. Das Projekt hat nun ergeben, dass man mit großen messtechnischen Anstrengungen die Abschätzung der Obergrenze der Neutrinomasse von vormals 2 eV auf 1,1 eV hat senken können. (Gemessen wird die der Masse entsprechende Energie.) Da das Projekt noch weiter läuft, kann man nur hoffen, dass im Laufe der Zeit noch eine Untergrenze für die Masse herauskommt. Damit wüsste man dann wenigstens, dass es den Gral tatsächlich gibt. (Es gibt Schätzungen der Untergrenze auf der Grundlage von Modellen. Direkte Messungen haben so etwas bisher nicht ergeben, wie ich auf Nachfrage erfahren habe.)

Spektakuläres zieht – die Widerlegung nicht

Den Ig-Nobel-Preis 2019 für Psychologie bekam der Würzburger Professor Fritz Strack zugesprochen, und zwar für die Entdeckung, dass ein Stift, quer im Mund gehalten, einen zum Lächeln bringt und dabei glücklicher macht – und für die Entdeckung, dass das nicht stimmt.

In den letzten Jahren hatten mehrere Forscher an Tausenden von Probanden Stracks These überprüft. Neun Studien sahen den Effekt, acht Studien fanden das Gegenteil. Dies wirft ein Schlaglicht auf die Replikationskrise in der Psychologie. „Viele Ergebnisse klassischer Experimente dieses Fachs lassen sich nicht reproduzieren, wenn andere Forscher sie nachzumachen versuchen“ (Christoph Drösser in Zeit online vom 13. September 2019).

Es ist eine viel beklagte Tatsache, dass wissenschaftliche Zeitschriften sehr gern spektakuläre Resultate bringen. Gescheiterte Replikationsversuche haben eine geringere Chance, an die breite Öffentlichkeit zu gelangen. Das verzerrt das, was wir den Stand der Wissenschaft nennen.

Das  Bleistift-Beispiel bringe ich, weil es mir meine eigene Leichtgläubigkeit vor Augen geführt hat. Ich schätze die Arbeiten von Daniel Kahneman sehr hoch ein und ich habe einige seiner Ergebnisse in meine Denkfallen-Studien einfließen lassen. Kahneman ist Nobelpreisträger für Wirtschaftswissenschaften des Jahres 2002. Er vertritt Stracks Bleistift-These im Buch „Thinking, Fast and Slow“ (2011, S. 54).  Ich habe die These zwar nicht weiter verbreitet, aber einfach so hingenommen.  Das hätte ins Auge gehen können. Die Lehre daraus: Ein Skeptiker sollte auch angesichts von Autoritäten seine Kritikfähigkeit nicht über Bord werfen.

Fragwürdige Methoden der Wissenschaft

Von den fragwürdigen Methoden der Wissenschaft war im Hoppla!-Artikel über Psi-Forschung die Rede. Sie bedrohen die Glaubwürdigkeit dessen, was wir den Stand der Wissenschaft nennen. Im Buch „Die Pharma-Lüge“ von 2013 stellt Ben Goldacre die Typen schlechter Studien zusammen. Ich liste hier einige der unethischen Methoden auf und charakterisiere sie ganz knapp.

Offener Betrug  liegt vor, wenn ein Wissenschaftler Messergebnisse fälscht oder gar rundheraus erfindet.

Fishing for Significance. Der Forscher erweckt fälschlich den Eindruck, sämtliche Versuche einer Versuchsreihe sauber protokolliert zu haben, stattdessen hat er, zur Erzielung einer spektakulären Veröffentlichung, eine passende Auswahl getroffen. Das damit einhergehende Publication Bias verfälscht das Bild der Wissenschaft. Eine Variante dieser fragwürdigen Praxis ist das vorzeitige Abbrechen einer Studie, wenn das gewünschte Ergebnis nicht mehr zu erwarten ist. Auch das Gegenteil kommt vor: Weitermachen, bis sich das gewünschte Ergebnis zeigt.

Vorsortierte Test- und Kontrollgruppe. Der Hoppla!-Artikel Artikel „Schlank in 14 Tagen“ mit Skepsis betrachtet zeigt einen solchen Fall: Es ging um den Wirkungsnachweis für ein Fitnessgerät. Für den Test wurden Produktanwender und Kontrollgruppe nicht nach dem Zufallsprinzip ausgewählt. Die Leute der Kontrollgruppe waren im Mittel schlanker und ihre Chance abzunehmen dadurch von vornherein geringer. Von verzerrten Stichproben in der Medizin ist die Rede, wenn Goldacre schreibt (2013, S. 208): „Die meisten Studien, auf deren Basis in der Praxis medizinische Entscheidungen getroffen werden, erproben Arzneimittel an nicht repräsentativen Idealpatienten, die häufig jung sind, nur eine einzige Diagnose vorweisen, kaum andere gesundheitliche Probleme haben und so weiter.“

Zu kleine Stichprobe. Die Aral-Studie, von der ich in meinem Buch „Klüger irren – Denkfallen vermeiden mit System“ (2016) berichte, ist ein Beispiel dafür, wie man mit kleinen Stichproben zu reißerischen und zugleich inhaltsarmen Schlagzeilen kommt. Von den dreihundert Personen, darunter gleich viele Frauen und Männer, haben beim Autokauf zwölf Frauen und nur sechs Männer einen Ford gewählt. Zur Sensation aufgebauscht, liest sich das so: „4 % der Männer und 8 % der Frauen würden als nächsten Wagen einen Ford kaufen“.

Kreative Zielsetzung. Sie ist eine Variante des Fishing for  Significance. Hierbei ist es nicht die Vielzahl von Versuchen, aus denen gewählt wird, sondern es ist nur ein Versuch, der aber nach mehreren Beurteilungskriterien bewertet wird. Im Gesundheitswesen sind das beispielsweise Schmerz, Depression, Lebensqualität, Mobilität, Gesamtmortalität oder auch Sterbefälle nach bestimmten Ursachen. „Messen wir viele Faktoren, sind einige von ihnen am Ende nur aufgrund der natürlichen Zufallsvariation, die in allen Studien auftritt, statistisch signifikant verbessert.“ (Goldacre, 2013, S. 233)

Fragwürdige Forschungspraktiken verzerren den „Stand der Wissenschaft“.

Der Matthäus-Effekt

In Mt 13, 12 steht: „Denn wer da hat, dem wird gegeben, dass er die Fülle habe; wer aber nicht hat, von dem wird auch genommen, was er hat.“ Volksnah formuliert: „Der Teufel scheißt immer auf den größten Haufen.“ Der Zurückhaltende spricht vom Matthäus-Effekt.

Vor Jahren machte ich diese Erfahrung: Ich hatte einen wissenschaftlichen Beitrag an eine renommierte Zeitschrift eingereicht. Dort durchlief er das übliche Peer-Review-Verfahren. Der Gutachter empfahl mir, doch noch zwei Artikel eines bekannten Autors zu zitieren. Obwohl der Gutachter anonym blieb, war mir schnell klar, dass es sich um just jenen empfohlenen Autor handeln musste. Er war mir persönlich bekannt.

Manch ein Autor geht noch unverfrorener zu Werke. In der Amazon-Rezension zum Buch „Autopilot im Kopf“ schreibt Rolf Dobelli: „Carl Naughton hätte einen einfachen Ratgeber schreiben können, mit Tipps, wie man Denkfallen umgeht. Stattdessen wühlt er in den Tiefen unseres Gehirns und fördert erstaunliche Erkenntnisse zutage[…] Naughtons fundierte und unterhaltsame Überlegungen hätten eine sorgfältigere Gestaltung verdient, und sein Pech ist, dass das Buch kurz nach Rolf Dobellis Bestseller Die Kunst des klaren Denkens erscheint, welcher dasselbe Terrain beackert.“

Autoren bilden zuweilen Grüppchen und jubeln sich gegenseitig hoch, wie man sieht; und manche bejubeln gar sich selbst.

Auch ohne berechnende Absicht entsteht ein Matthäus-Effekt. Berühmte Autoren hält der unbefangene Leser für gut, nicht weil sie gut, sondern weil sie berühmt sind. Es kommt zu einem weitgehend qualitätsunabhhängigen Rückkopplungsprozess. In der Wissenschaft wirkt dasselbe Prinzip: vielzitierte Autoren müssen gut sein, also zitiert man sie ebenfalls und hofft so auf Anerkennung durch das Establishment. Also: Vorsicht bei der Interpretation bibliometrischer Maße und Ranglisten!

Anstelle der inhaltlichen Qualitäten werden Befindlichkeiten zu den treibenden Kräften. Das Resultat ist dann großenteils ohne Relevanz. Manche Diskussionen zu Wikipedia-Artikeln sind wunderbare Beispiele für derart sinnfreie Dynamik. In mehreren Hoppla!-Artikeln seziere ich die Auseinandersetzung zum sogenannten Ziegenproblem und führe vor, wie sich bewegte Diskussionen entwickeln, und zwar weitgehend unabhängig von den Inhalten.

Der Matthäus-Effekt bringt den Stand der Wissenschaft in Schieflage.

Fazit

Der Skeptiker beruft sich besser nicht allgemein auf den „Stand der Wissenschaft“. Er schaut im Zweifelsfall genauer hin und studiert den einen oder anderen Forschungsbericht und Übersichtsartikel, immer eingedenk der Täuschungsmöglichkeit. Er sucht auch nach Gegenmeinungen. Abwägen und zu einem Urteil kommen muss er schließlich selber. Dass bei diesem Prozess keine absolute Sicherheit entsteht, keine Wahrheit herauskommt, gehört zum Wesen der Wissenschaft.