Der ursprüngliche Titel dieses Beitrags lautete: „Erinnern Sie sich an die vielfach widerlegte Behauptung, Fettleibigkeit sei eine ansteckende Krankheit? Wie wird sie heutzutage zitiert?“, aber das conflict irreführend –siehe Folgebeitrag. Was ich sagen möchte, ist nicht, dass die Behauptung „entlarvt“ wurde, sondern dass die Arbeit, in der sie zuerst erschien, statistische Probleme aufwies. In diesem Beitrag geht es darum, wie diese spezielle Arbeit zitiert wurde, aber wie ihr Co-Autor Nicholas Christakis hilfreich darauf hingewiesen In einem Kommentar wurde darauf hingewiesen, dass auf die spätere Literatur zu diesem Thema überhaupt nicht eingegangen wurde.

Ich habe heute zufällig mit einigen Studenten über die Erforschung sozialer Netzwerke gesprochen – wir führen eine Nachbereitung durch zu unser Penumbra-Papier– und wir kamen auf die umstrittene Studie von Nicholas Christakis und James Fowler aus den 2000er Jahren über die Ansteckungsgefahr von Fettleibigkeit zu sprechen.

Wir haben das Thema an dieser Stelle bereits 2010 und 2011 behandelt:

Kontroverse über soziale Ansteckung

Kontroverse um die Ergebnisse von Christakis und Fowler zur Ansteckungsgefahr durch Fettleibigkeit

Christakis-Fowler-Replace

Dort diskutierten wir die Arbeit von Christakis und Fowler; Kritik an dieser Arbeit durch die Ökonomen Jason Fletcher und Ethan Cohen-Cole, den Mathematiker Russ Lyons, die Politikwissenschaftler Hans Noel und Brendan Nyhan sowie die Statistiker Cosma Shalizi und Andrew Thomas; und eine Antwort der ursprünglichen Autoren, die schrieben:

Wir behaupten nicht, dass diese Arbeit das letzte Wort ist, aber wir glauben, dass sie einige neue, informative und anregende Beweise bezüglich sozialer Ansteckung in Netzwerken liefert, die im Längsschnitt beobachtet wurden. Gemeinsam mit anderen Wissenschaftlern arbeiten wir an der Entwicklung neuer Methoden zur Ermittlung kausaler Effekte anhand von Daten aus sozialen Netzwerken und glauben, dass dieser Bereich reif für statistische Entwicklungen ist, da aktuelle Methoden bekannte und oft unvermeidbare Einschränkungen aufweisen.

Die kurze Zusammenfassung lautet:

1. Christakis und Fowler betrieben interessante, revolutionary Sozialwissenschaften; sie gingen bei der Interpretation ihrer Daten nur zu weit. Sie kennen das Sprichwort „hohes Risiko, hohe Belohnung“? Genau das conflict hier der Fall. Es gab potenziell hohe Belohnungen, aber diese Studie conflict letztlich ein Misserfolg, allerdings insofern, als Misserfolge auch nützlich sein können, um uns dabei zu helfen, in Zukunft gewisse Sackgassen zu vermeiden.

2. Die Behauptung, Fettleibigkeit sei eine soziale Ansteckungsgefahr, wurde durch die Daten der Framingham Well being Research nicht gestützt; die Kritiker (Fletcher, Cohen-Cole, Lyons, Noel, Nyhan, Shalizi und Thomas) hatten recht.

3. Es gibt soziale Auswirkungen auf Einstellungen und Verhalten, und diese sind schwer zu untersuchen. Wie Christakis und Fowler schrieben, ist dieser Bereich reif für statistische Entwicklungen und auch reif für Entwicklungen im experimentellen Design und der Datenerfassung.

Ich conflict neugierig, wie dieses Werk über 15 Jahre später zitiert wird. Google Scholar listet 7000 Zitate auf. Ich habe nach Zitaten aus diesem Jahr gesucht und hier sind die ersten paar:

Der erste Hyperlink oben führt zu einem Buch und hier ist die entsprechende Passage:

Das nächste stammt aus einem Übersichtsartikel, in dem das Papier von Christakis-Fowler hier als Referenz 31 erwähnt wird:

Als nächstes folgt eine Untersuchung zu den Auswirkungen von Gleichaltrigen auf „gewichtsbezogenes Verhalten junger Menschen“, die folgende falsche Zusammenfassung enthält:

Der Relaxation dieser Literaturübersicht macht mir irgendwie Sorgen!

Als nächstes folgt ein Aufsatz über den „Einfluss der Gemeinschaft auf Zahlungsausfälle bei Mikrofinanzkrediten unter Krisenbedingungen“, in dem Christakis und Fowler nicht wegen ihrer inhaltlichen Behauptungen zitiert werden, sondern wegen einer Methode, die sie verwendeten:

Es ist Referenz 40 im folgenden Dokument:

Und es wird hier etwas zu leichtgläubig als Referenz 15 zitiert:

Und dann ist da noch dieses hier:

Sie zitierten die Arbeit von Brian „„Pizzagate“ Wansink! Das ist nicht intestine. Wenn dieser Weblog ein Trinkspiel wäre, müsste jetzt jeder einen Schluck nehmen.

Zusammenfassung

Die falsche Behauptung, Fettleibigkeit sei ansteckend, ist im Umlauf, und so intestine wie niemand scheint sie mit Verweisen auf die Kritiker zu relativieren. Tut mir leid, Fletcher, Cohen-Cole, Lyons, Noel, Nyhan, Shalizi und Thomas. Ihre harte Arbeit conflict (quick) umsonst.

PS Im KommentarbereichLyons Aktien einige schreckliche Beispiele für die Hartnäckigkeit der widerlegten Behauptung ein unkritischer Verweis auf den ursprünglichen, fehlerhaften Artikel in einer Prüfung für Medizinstudenten. Ihr zukünftiger Arzt! Diese Fortsetzung der Episode sagt Schlechtes über das wissenschaftliche, mediale und akademische Institution veranschaulicht die Herausforderungen von Zitaten und Referenzen: Wenn Sie ein Thema diskutieren möchten, sollten Sie das Originalpapier zitieren, dann sollten Sie aber auch die Kritik zitieren, dann sollten Sie aber auch spätere Literatur zu dem Thema zitieren, aber das ist dann eine Menge, worüber man sich den Kopf zerbrechen muss, wenn man nur versucht, eine Prüfungsfrage zu formulieren …

[ad_2]

Zeigt auf dieser aktuelle Artikel„Nicht reproduzierbare Publikationen werden häufiger zitiert als reproduzierbare“ und damit verbundene Pressemitteilungschreibt Carol Ting:

Hier scheint etwas leicht Ironisches vorzuliegen. Die Studie wäre für Bildungszwecke sehr nützlich, wenn die Analyse auf soliden Grundlagen sähe, aber die Klassifizierung scheint zu implizieren, dass Studien mit p>0,05 in der OSC-Studie alle falsch-positiv sind, wovor die OSC in der Pressemitteilung gewarnt hat. Das Ergebnis ist nett, aber ist es sinnvoll, die Analyse auf dieser dichotomen Variable zu basieren? Es wirft auch das größere Downside auf, die Ergebnisse von Replikationsprojekten der Öffentlichkeit mitzuteilen. Selbst Autoren haben gute Absichten, die Botschaft wird oft verzerrt und alle Nuancen gehen verloren, nachdem sie durch die Medienkanäle gegangen sind. Ich denke, dieser Fall ist vielleicht nicht wirklich schädlich, aber als ich die Presseberichterstattung durchlas, habe ich definitiv Artikel gesehen, die eine sehr zynische Sicht auf Wissenschaftler einnehmen und voreilige Schlussfolgerungen auf der Grundlage der Replikationsrate von 36 % ziehen. Ich frage mich, was Sie über dieses Kommunikationsproblem denken.

Meine Antwort: Was mir auffiel – und zwar nicht im positiven Sinne – struggle der allererste Satz in der Pressemitteilung:

Arbeiten, die nicht reproduziert werden können, werden 153-mal häufiger zitiert, weil ihre Ergebnisse interessant sind …

Ich habe mir das Papier angesehen und es stellte sich heraus, dass die Behauptung ein components 153 ist, kein multiplikatives 153. Das heißt, die Gesamtzahl der Zitate der sogenannten nicht replizierten Papiere struggle im Durchschnitt 153 höher als die der sogenannten replizierten Papiere. Oder so ähnlich. Sie haben auch einige Regressionen angepasst.

Ich würde das lieber so beschreiben, dass manche Arten von Artikeln 1,5-mal häufiger zitiert werden als andere, oder 2-mal häufiger als andere, oder was auch immer. Aber ich schätze, dass „153“ (eine Zahl, die eigentlich ziemlich tief im Artikel vergraben ist) in der Pressemitteilung besser aussieht. Dafür kann man den Autoren keine Vorwürfe machen!

Hier ist die entsprechende Grafik aus dem veröffentlichten Artikel, die in der Pressemitteilung wiedergegeben wurde:

Später im Artikel heißt es:

Im Durchschnitt werden Arbeiten, die sich nicht reproduzieren ließen, quick 16-mal häufiger professional Jahr zitiert. … Dieser Unterschied von 16 Zitaten mehr professional Jahr kann mit dem 5-Jahres-Affect-Faktor des Journals verglichen werden, in dem die Originalstudien erschienen sind. Dieser misst die Zitierungen von Arbeiten, die in den vorangegangenen 5 Jahren erschienen sind. Im Jahr 2016 lag der 5-Jahres-Affect-Faktor von Nature und Science bei 44 bzw. 38. Das bedeutet, dass die Arbeiten, die sie im selben Zeitraum wie die Originalstudien veröffentlicht haben, im Durchschnitt 38 bis 44-mal professional Jahr zitiert wurden. …

OK, 153/16 = 9,6, additionally sind die von ihnen untersuchten Papiere vielleicht im Durchschnitt 9,6 Jahre alt? Ich bin nicht sicher, aber ich verstehe, worum es mir geht.

Was die Erklärungen angeht, bietet das Papier eine believable Geschichte:

Wenn das Papier interessanter ist, legt das Überprüfungsteam möglicherweise niedrigere Requirements hinsichtlich seiner Reproduzierbarkeit an.

Ich stimme jedoch mit Ting darin überein, dass es ein Fehler ist, eine Arbeit als „reproduzierbar“ oder „nicht reproduzierbar“ zu charakterisieren, basierend darauf, ob eine Replikationsstudie einen bestimmten p-Wert-Schwellenwert überschritten hat.

[ad_2]