Ein toter Lachs und eine dressierte Ziege

Forscher kauften einen Lachs auf dem Wochenmarkt. Sie legten ihn in eine Gehirndurchleuchtungsmaschine, ein fMRI-Gerät1)fMRI=Funktionelle Magnetresonanztomographie / Mit diesen Geräten ist es möglich, Durchblutungsänderungen im Gehirn sichtbar zu machen. Diese hängen statistisch mit der Aktivität von Nervenzellen zusammen.. Sie zeigten ihm Bilder. Äußerlich war dem Tier allerdings kein Interesse daran anzumerken. Kein Wunder. Der Lachs war tot.

Dennoch fanden die Wissenschaftler signifikante Zusammenhänge2)Statistisch signifikant ist ein Zusammenhang, wenn er nicht auch durch Zufall zustande gekommen sein könnte. Bei der Beurteilung statistischer Signifikanz muss man immer eine gewisse Irrtumswahrscheinlichkeit in Kauf nehmen. Häufig wählt man 5 Prozent. zwischen der Hirnaktivität des toten Lachses und den Bildern. Sie schreiben dazu:

Mit den extremen Ausmaßen der Daten des funktionellen Neuroimagings ist ein extremes Risiko falsch positiver Befunde verbunden. Bei den 130000 Voxels3)Voxel: Datenelement in einer dreidimensionalen Grafik, entspricht dem Pixel in einer zweidimensionalen / Problem der multiplen Vergleiche: Je mehr Hypothesen man auf einem Datensatz testet, desto höher wird die Wahrscheinlichkeit, dass eine davon fälschlich als zutreffend angenommen wird. eines typischen fMRI-Volumens ist die Wahrscheinlichkeit eines falsch positiven Befunds4)Falsch positiv bedeutet: Ein Phänomen wird als vorhanden betrachtet, ist in Wirklichkeit aber gar nicht existent. beinahe sicher. Korrekturen für multiple Vergleiche sollten bei diesen Datenmengen vollzogen werden, doch dies wird oft von Forschern ignoriert (Bennett et al. 2010).“

Jedem Psychologiestudenten werden im Grundstudium die Korrekturverfahren für multiple statistische Vergleiche vermittelt5)Das Problem: Man führt z. B. 20 Tests durch, ob ein Zusammenhang vorliegt. Dabei nimmt man eine Irrtumswahrscheinlichkeit von 5 Prozent in Kauf. Nun muss man nur noch die Prozentrechnung beherrschen, um den Fehler zu finden. Es ist zu erwarten, dass unter diesen Bedingungen ein Test einen statistischen Zusammenhang bestätigt, obwohl dieser gar nicht existiert. Das ist ein falsch positiver Befund. Der tote Lachs denkt.. Allein, psychiatrische Neuroforscher kennen diese Verfahren oftmals entweder nicht oder sie möchten sich durch deren Anwendung nicht das schöne positive Ergebnis versauen lassen. Der Lachs ist immer und überall. 

Das statistische Niveau der Veröffentlichungen in medizinischen Fachzeitschriften ist generell atemberaubend niedrig. Die Studien stecken voller methodischer Mängel, Schwächen und Fehler.6)Strasak, A. M. et al. (2007). Statistical errors in medical research – a review of common pitfalls. Swiss Med Wkly, 137: 44–49 Dies ist nicht nur meine Meinung, sondern dies wurde inzwischen empirisch nachgewiesen.

In einem Artikel des Spiegels heißt es, dass viele Ärzte nicht in der Lage seien, Statistiken richtig zu interpretieren. Deswegen würden ihnen unausweichlich diagnostische Fehler unterlaufen. Sie gefährdeten damit u. U. sogar Menschenleben. Der Artikel kommt zu dem Schluss, dass die ärztliche Ausbildung nicht in ausreichendem Maß Statistik-Kenntnisse vermittele. Auch die medizinische Fachliteratur unterrichte Ärzte in statistischen Fragen schlecht.7)Gruber, C. (2012). Statistik-Know-how: Warum viele Ärzte ihre Patienten falsch beraten, Spiegel online, 15. Juli

Es kann überhaupt kein Zweifel daran bestehen:  Man braucht eine solide statistische Ausbildung, um empirische Literatur in Psychiatrie und Psychologie angemessen zu würdigen. Nur so kann man die Spreu vom Weizen trennen.

Daher ist jedem Patienten eines Psychiaters oder eines Psychotherapeuten zu raten, den Heiler nach seinen Statistik-Kenntnissen zu befragen. Wenn er hier Schwächen einräumt, dann weiß man, wie es um die Weiterbildung dieses Menschen bestellt ist. Er ist dann nämlich darauf angewiesen zu glauben, was man ihm erzählt. Denn aus der Fachliteratur kann er selbständig keinen Nutzen ziehen. Unter diesen Bedingungen ist er auf seine persönliche Erfahrung zurückgeworfen. Persönliche Erfahrung ist aber u. U. nur ein Kosename für Scheuklappen.

Der Arzt und Statistiker John Ioannidis bringt den Stand der Dinge bündig auf den Punkt. In einem Artikel zeigt er mit beeindruckender Stringenz, warum die meisten medizinischen Forschungsergebnisse falsch sind. Dies liegt an mangelhafter Forschungsmethodik, die zu einer nur scheinbaren Erhärtung von Hypothesen führt. Und kaum einer merkt es; oder will es merken (Ioannidis 2005).

Ioannidis ist kein Wald-Wiesen-Feld-Arzt. Er ist einer der ganz Großen, ein renommierter Experte für Forschungsmethodik in der Medizin.

Es gibt viele Gründe, warum man Brain Scans skeptisch betrachten sollte. Die Statistik ist nur einer davon. Wer schon einmal in einer „Röhre“ gelegen hat, ahnt vermutlich bereits, warum. Es ist verdammt eng dort, und auch ein wenig unheimlich. Wer garantiert mir, dass sich dort das Gehirn genauso verhält wie im realen Leben? Klaustrophobie? Kein Problem?

Die Probanden in der Röhre müssen den Kopf still halten, weil sonst die Aufzeichnungen verzerrt werden. Das psychiatrische Neuroimaging arbeitet aber oft genug mit Menschen, deren Selbstkontrolle eingeschränkt ist. Kleine Kinder, alte Menschen und „clinical patients“ zeigen signifikant stärkere Kopfbewegungen als andere Versuchspersonen, heißt es in einem Forschungsbericht zu methodischen Problemen des „Neuroimaging“.8)Lazar, N. A. et al. (2001). Statistical Issues in fMRI for Brain Imaging, International Statistical Review, Issue 1, 105–127

Fixierte man bei diesen „problematischen“ Versuchspersonen den Kopf, so würde die Situation dadurch selbstredend noch unnatürlicher.

Man möge mich nicht falsch verstehen: Ich bin keineswegs gegen Neuroimaging. Es hat seinen Platz bei dem Versuch, menschliches Verhalten zu ergründen. Das ist Wissenschaft: Sie fängt klein an und kommt irgendwann vielleicht groß raus. Doch praktisch besitzen die Befunde des Neuroimaging heute noch keine Bedeutung. Für die Praxis sind sie einfach nicht eindeutig genug. Sie geben deswegen der psychiatrischen Praxis auch kein wissenschaftliches Fundament.

Psychiatrische Diagnostik ist beim heutigen Stand der Erkenntnis keine Wissenschaft. „Bestimmte Symptome unter bestimmte Begriffe zu subsumieren, kann auch jede dressierte Ziege.“9)Gert Postel: Das kann auch eine dressierte Ziege. Focus 5. 8. 2009 Dies sagte Gert Postel. Er ist gelernter Briefzusteller. Er brachte es als Hochstapler in der Psychiatrie weit, sehr weit. Er war auch ein gefragter Diagnostiker vor Gericht.

Fußnoten   [ + ]

1.fMRI=Funktionelle Magnetresonanztomographie / Mit diesen Geräten ist es möglich, Durchblutungsänderungen im Gehirn sichtbar zu machen. Diese hängen statistisch mit der Aktivität von Nervenzellen zusammen.
2.Statistisch signifikant ist ein Zusammenhang, wenn er nicht auch durch Zufall zustande gekommen sein könnte. Bei der Beurteilung statistischer Signifikanz muss man immer eine gewisse Irrtumswahrscheinlichkeit in Kauf nehmen. Häufig wählt man 5 Prozent.
3.Voxel: Datenelement in einer dreidimensionalen Grafik, entspricht dem Pixel in einer zweidimensionalen / Problem der multiplen Vergleiche: Je mehr Hypothesen man auf einem Datensatz testet, desto höher wird die Wahrscheinlichkeit, dass eine davon fälschlich als zutreffend angenommen wird.
4.Falsch positiv bedeutet: Ein Phänomen wird als vorhanden betrachtet, ist in Wirklichkeit aber gar nicht existent.
5.Das Problem: Man führt z. B. 20 Tests durch, ob ein Zusammenhang vorliegt. Dabei nimmt man eine Irrtumswahrscheinlichkeit von 5 Prozent in Kauf. Nun muss man nur noch die Prozentrechnung beherrschen, um den Fehler zu finden. Es ist zu erwarten, dass unter diesen Bedingungen ein Test einen statistischen Zusammenhang bestätigt, obwohl dieser gar nicht existiert. Das ist ein falsch positiver Befund. Der tote Lachs denkt.
6.Strasak, A. M. et al. (2007). Statistical errors in medical research – a review of common pitfalls. Swiss Med Wkly, 137: 44–49
7.Gruber, C. (2012). Statistik-Know-how: Warum viele Ärzte ihre Patienten falsch beraten, Spiegel online, 15. Juli
8.Lazar, N. A. et al. (2001). Statistical Issues in fMRI for Brain Imaging, International Statistical Review, Issue 1, 105–127
9.Gert Postel: Das kann auch eine dressierte Ziege. Focus 5. 8. 2009