Zeigt auf dieser aktuelle Artikel„Nicht reproduzierbare Publikationen werden häufiger zitiert als reproduzierbare“ und damit verbundene Pressemitteilungschreibt Carol Ting:
Hier scheint etwas leicht Ironisches vorzuliegen. Die Studie wäre für Bildungszwecke sehr nützlich, wenn die Analyse auf soliden Grundlagen sähe, aber die Klassifizierung scheint zu implizieren, dass Studien mit p>0,05 in der OSC-Studie alle falsch-positiv sind, wovor die OSC in der Pressemitteilung gewarnt hat. Das Ergebnis ist nett, aber ist es sinnvoll, die Analyse auf dieser dichotomen Variable zu basieren? Es wirft auch das größere Downside auf, die Ergebnisse von Replikationsprojekten der Öffentlichkeit mitzuteilen. Selbst Autoren haben gute Absichten, die Botschaft wird oft verzerrt und alle Nuancen gehen verloren, nachdem sie durch die Medienkanäle gegangen sind. Ich denke, dieser Fall ist vielleicht nicht wirklich schädlich, aber als ich die Presseberichterstattung durchlas, habe ich definitiv Artikel gesehen, die eine sehr zynische Sicht auf Wissenschaftler einnehmen und voreilige Schlussfolgerungen auf der Grundlage der Replikationsrate von 36 % ziehen. Ich frage mich, was Sie über dieses Kommunikationsproblem denken.
Meine Antwort: Was mir auffiel – und zwar nicht im positiven Sinne – struggle der allererste Satz in der Pressemitteilung:
Arbeiten, die nicht reproduziert werden können, werden 153-mal häufiger zitiert, weil ihre Ergebnisse interessant sind …
Ich habe mir das Papier angesehen und es stellte sich heraus, dass die Behauptung ein components 153 ist, kein multiplikatives 153. Das heißt, die Gesamtzahl der Zitate der sogenannten nicht replizierten Papiere struggle im Durchschnitt 153 höher als die der sogenannten replizierten Papiere. Oder so ähnlich. Sie haben auch einige Regressionen angepasst.
Ich würde das lieber so beschreiben, dass manche Arten von Artikeln 1,5-mal häufiger zitiert werden als andere, oder 2-mal häufiger als andere, oder was auch immer. Aber ich schätze, dass „153“ (eine Zahl, die eigentlich ziemlich tief im Artikel vergraben ist) in der Pressemitteilung besser aussieht. Dafür kann man den Autoren keine Vorwürfe machen!
Hier ist die entsprechende Grafik aus dem veröffentlichten Artikel, die in der Pressemitteilung wiedergegeben wurde:
Später im Artikel heißt es:
Im Durchschnitt werden Arbeiten, die sich nicht reproduzieren ließen, quick 16-mal häufiger professional Jahr zitiert. … Dieser Unterschied von 16 Zitaten mehr professional Jahr kann mit dem 5-Jahres-Affect-Faktor des Journals verglichen werden, in dem die Originalstudien erschienen sind. Dieser misst die Zitierungen von Arbeiten, die in den vorangegangenen 5 Jahren erschienen sind. Im Jahr 2016 lag der 5-Jahres-Affect-Faktor von Nature und Science bei 44 bzw. 38. Das bedeutet, dass die Arbeiten, die sie im selben Zeitraum wie die Originalstudien veröffentlicht haben, im Durchschnitt 38 bis 44-mal professional Jahr zitiert wurden. …
OK, 153/16 = 9,6, additionally sind die von ihnen untersuchten Papiere vielleicht im Durchschnitt 9,6 Jahre alt? Ich bin nicht sicher, aber ich verstehe, worum es mir geht.
Was die Erklärungen angeht, bietet das Papier eine believable Geschichte:
Wenn das Papier interessanter ist, legt das Überprüfungsteam möglicherweise niedrigere Requirements hinsichtlich seiner Reproduzierbarkeit an.
Ich stimme jedoch mit Ting darin überein, dass es ein Fehler ist, eine Arbeit als „reproduzierbar“ oder „nicht reproduzierbar“ zu charakterisieren, basierend darauf, ob eine Replikationsstudie einen bestimmten p-Wert-Schwellenwert überschritten hat.