Letzten Monat diskutierten wir ein JAMA-Artikel, der die obige irreführende Grafik enthielt und starke Behauptungen aufstellte, die nicht durch Daten gestützt wurden.
Seitdem haben diese starken Behauptungen noch mehr Publizität erhalten. Hier ist ein Nachrichtenartikel unkritische Wiedergabe dieser Behauptungen, einschließlich dieses Zitats von einem der Autoren der Studie:
Einer der Vorteile dieser Studie besteht darin, dass wir bisexuelle und lesbische Teilnehmer trennen konnten, da wir über genügend Leute verfügten und sie lange genug beobachteten, sodass wir diese Risiken tatsächlich getrennt betrachten konnten, was keiner anderen US-Studie gelungen ist.
Dies ist ein eher subtiles Drawback, und man kann kaum erwarten, dass ein Nachrichtenreporter eine solche Behauptung zurückweist, aber nein, ein Vergleich der 49 Todesfälle unter Lesben und 32 Todesfälle unter Bisexuellen in dieser Studie ist so ungenau, dass die Unterschiede zwischen den beiden Gruppen allein durch Zufall erklärt werden können. Sogar ihre eigenen berichteten Vergleiche erreichten kein konventionelles Niveau statistischer Signifikanz, und das geht noch nicht einmal auf die anderen oben diskutierten statistischen Probleme ein. Siehe der oben verlinkte Beitrag für Einzelheiten zu diesem Punkt.
Diese Überlebensdiagramme sind so irreführend – sie lassen die Beweise viel stärker erscheinen, als sie sind. Es wäre die Aufgabe des Statistikers des Projekts gewesen, diese Artwork von Noise-Mining-Behauptungen zurückzuweisen. Ich sage nicht, dass die Unterschiede zwischen den Gruppen null sind, sondern nur, dass die Daten so spärlich sind, dass sie, selbst abgesehen von allen anderen Problemen, mit zugrunde liegenden Unterschieden übereinstimmen, die in beide Richtungen gehen könnten.
Es ist frustrierend, dass die Berichterstattung in den Medien so unkritisch ist. Hier, HierUnd Hier für weitere Beispiele. Das Status von JAMA muss Teil des Issues sein, und ich denke, ein weiteres Drawback ist diese verführerisch ansprechende Grafik (für Leute, die nicht allzu genau hinschauen). Aus einem dieser Berichte:
„Diese Ergebnisse unterschätzen möglicherweise die wahren Unterschiede in der US-Bevölkerung insgesamt“, schrieben die Autoren und fügten hinzu, dass es sich bei der untersuchten Bevölkerung um „eine Stichprobe rassisch homogener Krankenschwestern mit hoher Gesundheitskompetenz und sozioökonomischem Standing handelt, was sie zu einem längeren und gesünderen Leben als die Allgemeinbevölkerung prädisponiert.“
„Wir glauben, das bedeutet, dass unsere Schätzung leider konservativ ist“, bemerkte McKetta.
So etwas ist frustrierend und wir sehen es so oft: Forscher erkennen ein Muster in verrauschten Daten und erwarten dann, dass der tatsächliche Effekt noch größer ist. Alles ist möglich, aber Erfahrung und Bayessche Logik sprechen eine andere Sprache.
Ich würde mir wünschen, dass die fortlaufende Berichterstattung über die Replikationskrise in der Wissenschaft den Menschen dieses Drawback klarer machen würde, aber ich fürchte, dass die meisten Forscher die Replikationskrise als etwas betrachten, das anderen Menschen passiert und nicht ihnen.
Dies ist ein weiterer Grund, warum ich den neutralen Begriff „forking paths“ dem anklagend klingenden Begriff „p-hacking“ vorziehe, der sich nach etwas Schlechtem anhört, das Menschen tun. Ehrlichkeit und Transparenz sind nicht genug; das Begehen statistischer Fehler bedeutet nicht, dass Sie ein schlechter Mensch sind, und auch ernsthafte und qualifizierte Forscher können statistische Fehler machen.
Es gibt auch diese Echokammer-Sache: Wenn man mehrmals gebeten wird, über ein Thema zu sprechen, und nie Gegenwind bekommt, ist es natürlich, immer stärkere Behauptungen aufzustellen, die weit über die Daten hinausgehen, die ursprünglich zur Begründung dieser Behauptungen verwendet wurden. Wir haben das bei den Schlafender Kerldie Stanford Professor für Medizindie glamouröse Professor für Wirtschaftswissenschaftenund viele andere. Wenn es keinen Widerstand gibt, ist es allzu leicht, von experimentellen Daten über starke Behauptungen bis hin zu reiner Spekulation abzudriften.
Noch einmal: Ich möchte die Erforschung gesundheitlicher Ungleichheiten nicht herabwürdigen. Tatsächlich stört es mich, wenn Forscher bei der Untersuchung dieses Themas vermeidbare Fehler machen, gerade weil es wichtig ist.