Damaging Forschungsergebnisse bei Erwachsenen nahmen zu, nachdem Fachzeitschriften für öffentliche Gesundheit zunehmend bereit waren, absoluten Blödsinn zu veröffentlichen

Kevin Lewis weist uns darauf hin ein ArtikelDamaging Auswirkungen auf die Gesundheit von Säuglingen nahmen nach den US-Präsidentschaftswahlen 2016 unter nicht-weißen in den USA und im Ausland geborenen Müttern zu, die kürzlich in der Zeitschrift Demography veröffentlicht wurde. Aus der Zusammenfassung:

Anhand von Daten von 15.568.710 US-Geburten zwischen November 2012 und November 2018 stellen wir fest, dass die negativen Geburtsergebnisse nach Trumps Wahl unter US-amerikanischen und im Ausland geborenen Müttern, die als Schwarze, Hispanoamerikaner, Asiaten und Pazifikinsulaner (API) eingestuft wurden, im Vergleich zu dem Zeitraum, der die beiden Präsidentschaften Obamas umfasste, zugenommen haben. Die Ergebnisse für Weiße deuten darauf hin, dass sich die negativen Ergebnisse nach Trumps Wahl nicht verändert oder leicht verringert haben, doch dieser Befund warfare gegenüber Saisonalitätsprüfungen nicht sturdy. Die Unterschiede zwischen Schwarzen und Weißen, Hispanoamerikanern und Weißen sowie API-Weißen bei den negativen Geburtsergebnissen vergrößerten sich nach Trumps Wahl sowohl unter US-amerikanischen als auch im Ausland geborenen Müttern. Unsere Ergebnisse deuten darauf hin, dass Trumps Wahl eine rassistisch und fremdenfeindlich (im Authentic kursiv) politisches Ereignis auf Makroebene, das die Gesundheit von Säuglingen nicht-weißer Mütter in den Vereinigten Staaten beeinträchtigte.

Die politische Agenda ist klar; schauen wir uns additionally die Zeitung an. Wir haben viel über die angeblichen Krise der öffentlichen Gesundheit unter weißen Männern, additionally erscheint es durchaus sinnvoll, dass Forscher untersuchen, was unter nicht-weißen Frauen passiert.

Wie das Sprichwort sagt: „Ich habe den Artikel gelesen, damit Sie es nicht müssen“, und meiner Meinung nach handelt es sich um Pfusch.

Ich werde nicht alles durchgehen, denn das ist nicht wirklich der Zweck dieses Beitrags, aber hier ist ein bisschen, nur um Ihnen einen Eindruck von der Sache zu vermitteln. Der Artikel enthält zwei Sätze von Diagrammen mit Rohdaten, einer zeigt Geburten mit niedrigem Geburtsgewicht und einer zeigt Frühgeburten. Ich zeige die Frühgeburten, weil diese Muster etwas dramatischer sind:

Ich habe keine Ahnung, was mit den komischen Beschriftungen der Y-Achse oder dem Fehler in den Linien am Anfang jeder angepassten Zeitreihe los ist, und die ganze Diskontinuitätssache ist ein Blödsinn, insofern, als (a) man jeden beliebigen Zeitpunkt wählen und die Linien unterbrechen könnte und man diese Artwork von Muster sehen würde (siehe dieses Papier mit Zelizer zur weiteren Diskussion dieses Punktes) und (b) es gibt keinen logischen Grund, den November 2016 als einen Wendepunktmonat zu betrachten, da die betreffenden Babys quick ein Jahr zuvor gezeugt wurden. Diese Grafiken sind additionally nur etwas, das jemand mit einigen Daten erstellt hat.

Darüber hinaus stellt sich die Frage, wie diese Grafiken interpretiert werden. Im Artikel wird es folgendermaßen beschrieben:

Eine visuelle Auswertung der Daten deutet darauf hin, dass alle Mütter im November 2016 eine Trendwende bei ungünstigen Geburtsergebnissen erlebten. Im Einklang mit unseren Hypothesen hinsichtlich der rassistischen Schäden durch Trumps Wahl geht die Wahl für alle nicht-weißen Mütter mit Ausnahme der in den USA geborenen API-Mütter mit einer Zunahme der Steigung der Trendlinie einher. Beispielsweise sank die monatliche Frühgeburtenrate unter in den USA und im Ausland geborenen hispanischen Müttern in der Zeit vor Trumps Wahl, stieg jedoch in der Zeit nach Trumps Wahl an.

In diesem kurzen Absatz ist so vieles falsch. Sie stellen viele starke Behauptungen auf der Grundlage dieser extrem verrauschten Steigungsschätzungen auf und scheinen sich wirklich sehr anzustrengen, um die Geschichte zu verbreiten, dass bei Nichtweißen etwas anderes passiert, obwohl die allgemeinen Muster für alle Gruppen ähnlich sind. Und nein, es gibt in der Grafik keine Hinweise darauf, dass im November 2016 irgendetwas passiert ist. Wählen Sie einen anderen Monat und Sie würden auch unterschiedliche Steigungen und Diskontinuitäten sehen. Ähm … lassen Sie es mich Ihnen anhand einer einfachen Simulation zeigen:

par(mfrow=c(4,2), mar=c(3,3,1,1), mgp=c(1.7,.5,0), tck=-.01)
T <- 72
x <- 1:T
earlier than <- x < 48
for (ok in 1:8){
  y <- rnorm(T, 0, 1)
  fit_before <- coef(lm(y ~ x, subset=earlier than))
  fit_after <- coef(lm(y ~ x, subset=!earlier than))
  plot(x, y, cex=.5)
  curve(fit_before(1) + fit_before(2)*x, from=1, to=48, col="blue", add=TRUE)
  curve(fit_after(1) + fit_after(2)*x, from=49, to=T, col="blue", add=TRUE)
  abline(v=49, lty=2)
}

Die Daten sind völlig zufällig, aber ansonsten mache ich es wie in der obigen Grafik: Ich nehme eine monatliche Zeitreihe über sechs Jahre und passe für die ersten vier und die letzten zwei Jahre separate Kurven an.

Folgendes kommt dabei heraus:

Additionally, ja, Sie sehen offensichtliche Diskontinuitäten, wie Sie sie überall sehen, wo Sie die Daten aufteilen. Der große Unterschied besteht darin, dass die Grafik in der veröffentlichten Arbeit ähnliche Tendencies für alle 8 Gruppen zeigte – aber das spricht gegen ihre Behauptung, die Veränderungen seien „rassistisch“.

Ich nehme an, dass sich die Autoren gegen die oben genannte Kritik verteidigen könnten, indem sie sagen, dass ihre obige Diskussion nur auf ihrer beschreibenden Analyse beruhte und dass der Kern ihres Papiers in ihren Regressionsmodellen liegt. Aber ihre Interpretation der Regressionen hat dieselben Probleme, nämlich sich auf die willkürliche Diskontinuität vom November 2016 zu verlassen und verschiedene Vergleiche herauszupicken, um die Geschichten zu erzählen, die sie erzählen wollen, zum Beispiel: „Für API- und hispanische Mütter warfare Trumps Wahl für im Ausland geborene Mütter schädlicher als für ihre in den USA geborenen Gegenstücke.“ Die Schätzungen haben Standardfehler, die meiner Meinung nach im Kontext aller nicht modellierten Tendencies in den Daten nicht viel Bedeutung haben – ein Punkt, den sie auf Seite 20 kurz erwähnen, ohne viel über seine Auswirkungen auf alle ihre zuvor berichteten Ergebnisse nachzudenken.

Ich glaube nicht, dass die Autoren dieses Papier als Pfuscharbeit betrachten würden – ich nehme an, sie betrachten sich selbst als objektive Wissenschaftler –, aber wenn sie eine Aussage machen wie: „Wir haben festgestellt, dass die Raten von niedrigem Geburtsgewicht und Frühgeburten bei schwarzen, hispanischen und API-Müttern in den zwei Jahren nach Trumps Wahl 2016 zugenommen haben“, obwohl ihre eigenen Diskontinuitätsdiagramme zu dieser Zeit einen Anstieg unter Weißen zeigen, habe ich keine andere Wahl, als hinzuzufügen, dass dies eine politisierte Model der Artwork von „Märchenstunde“ wir haben in den Sozialwissenschaften so viel davon gesehen.

An diesem Punkt könnten Sie fragen: Was hätte ich von den Autoren und der Zeitschrift erwartet? Ich würde mit den Diagrammen der Rohdaten beginnen, aber ohne die Diskontinuitäten oder diese lächerlichen Linien. Darüber hinaus sollten Sie präsentieren, was Sie haben, ohne die Erzählung und die Auswahl von Teilmengen. Wenn Sie etwas mit einer politischen Agenda schreiben möchten, ist das in Ordnung, aber trennen Sie das dann von den empirischen Behauptungen. Vielleicht würde ein solcher Artikel nicht in Demography veröffentlicht werden, da er nicht den Candy Spot zwischen Szientismus und gewünschter politischer Schlussfolgerung treffen würde … aber vielleicht ist es in Ordnung, dort nicht zu veröffentlichen.

Warum diesen Beitrag schreiben?

Warum habe ich mir die Mühe gemacht, das alles zu schreiben? Nicht, weil dieser spezielle Artikel all diese Aufmerksamkeit verdient hätte; tatsächlich scheint er nur minimale Aufmerksamkeit in der Presse erhalten zu haben. Und ich habe nichts gegen die Autoren, die, da bin ich mir sicher, nur ihr Bestes geben; leider haben viele akademische Arbeiten in den Bereichen öffentliche Gesundheit, öffentliche Ordnung und Sozialwissenschaften diesen politischen Contact. Was mich eher interessiert, ist, wie diese Artwork von Artikeln mit schwacher Wissenschaft und einer kruden politischen Agenda in seriösen Zeitschriften veröffentlicht werden können. Ich habe einige Theorien dazu, die in einem kommenden Beitrag erscheinen werden. Aber zuerst musste ich diesen Beitrag hinter mich bringen, damit ich auf diese spezielle Studie verweisen konnte.

Außerdem gefällt mir das R-Beispiel oben. Es ist intestine, daran erinnert zu werden, wie hilfreich eine schnelle Simulation sein kann.