Das aktuelle System der wissenschaftlichen Journalüberprüfung ist absolut verrückt. Die überwiegende Mehrheit der Überprüfungsbemühungen geht an Papiere, die niemand liest. Wir können durch geplante Überprüfung nach der Veröffentlichung besser abschneiden, beispielsweise jedes Mal, wenn ein Papier sein 250. Zitat erreicht, die Journal aufnimmt eine externe Überprüfung-nicht mit dem Ziel, das Papier zurückzuziehen, sondern eine neue Perspektive zu liefern. Wenn das Papier 250 Mal zitiert wurde, lohnt es sich, diese neue Einstellung zu erhalten-und es ist selten genug, dass ein veröffentlichter Artikel dieses Zitatniveau erreicht hat.
Andy King und ich präsentieren die Idee:
Probleme mit der Glaubwürdigkeit der empirischen Forschung werden seit Jahrzehnten diskutiert.
Die häufigsten Vorschriften zur Verbesserung der Glaubwürdigkeit – bessere Überprüfung, öffentliche Kritik und Replikation – haben Verdienste, aber sie können keine knappen Ressourcen leiten, in denen sie das größte Wohl tun können: die wenigen Veröffentlichungen mit größter Wirkung.
Wir schlagen eine Different vor, indem wir die Überprüfungsressourcen effizienter und effektiver verwenden, indem wir die Idee der „Wiederholungsprüfung“ aus professionellen Sportarten ausleihen. Das derzeitige Peer-Evaluate-System würde die Forschungsartikel in Echtzeit, wenn sie eingereicht werden, weiterhin beurteilen, aber die Veröffentlichungen, die eine übergroße Wirkung haben, würden erneut bewertet und genauer, um die anfängliche Bewertung zu bestätigen oder zu verfeinern.
Hier ist der wichtigste Einblick:
Alle Vorschläge zur Stärkung der primären Überprüfung stehen vor einer wirtschaftlichen Herausforderung: Die meisten Ressourcen, die für die Stärkung der sie verbracht werden, werden verschwendet, da der vorhandene Überprüfungsprozess für die meisten Einreichungen bereits stark genug ist. In den oberen Zeitschriften werden 90 Prozent oder mehr der Einreichungen für offensichtliche Mängel abgelehnt, und somit wird ein gestärkter Überprüfungsprozess das Ergebnis nicht verändert. Von den 10 Prozent, die akzeptiert und veröffentlicht werden, werden die meisten leicht gelesen und zitiert und haben somit wenig Einfluss.
Und das empfehlen wir:
Sobald eine Veröffentlichung eine bestimmte Anzahl von Zitaten erhält, würde sie eine unabhängige Überprüfung erhalten. Diese Überprüfungen würden dann zusammen mit den Antworten der Autoren vollständig veröffentlicht, damit die Leser zusätzliche Anleitung zur Interpretation der ersten Veröffentlichung haben. . . .
Wir haben einige Zahlen knuspriert:
Um die Praktikabilität unseres Vorschlags zu bewerten, haben wir die Einreichung und Zitatgeschichte von Artikeln bewertet, die in der Kohorte 2014 der von Experten begutachteten empirischen Zeitschriften veröffentlicht wurden, die von der Monetary Instances für die Bestimmung des Forschungsranges der Enterprise Faculties ausgewählt wurden.
Die Schiefe der Zitierraten bedeutet, dass ein großer Teil der Zitierauswirkungen zu relativ geringen Kosten überprüft werden kann. Wiederholungsprüfung nur für Artikel, die mehr als 250 Zitate erhalten, würde bedeuten, dass Veröffentlichungen, die 28 Prozent aller Zitate ausmachen, durch weitere Überprüfung überprüft würden. Selbst wenn jede Überprüfung doppelt so hoch conflict wie die durchschnittliche Überprüfung vor der Veröffentlichung, würde unser System nur 1 Prozent zu den Gesamtüberprüfungsbemühungen hinzufügen, während sie wichtige Perspektiven für Papiere liefern, die mehr als ein Viertel der von diesen einflussreiche Zeitschriften erhaltenen Zitate darstellen.
Dies ist eine Ausarbeitung von mir Effizienzargument für die Überprüfung nach der Veröffentlichung.
PS Die Chronik der Hochschulbildung gab unserem Artikel den Titel „Sozialwissenschaft ist gebrochen. Hier erfahren Sie, wie Sie es beheben können. “ Wir haben diesen Titel nicht gewählt! Unsere Empfehlung lautete: „Sozialwissenschaftliche Bedürfnisse müssen wiederholt werden. Aber diejenigen unter Ihnen, die an den Nachrichtenmedien beteiligt sind, wissen, dass die Autoren eines Artikels selten für den Titel verantwortlich sind. Wir mögen unseren Vorschlag für die Überprüfung nach der Veröffentlichung, aber wir sind nicht phantasm, dass es die Sozialwissenschaft „reparieren“ würde. Es ist nur ein kleiner Teil des Bildes.
PPS Wir danken auch David Wescott bei The Chronicle für die Bearbeitung unseres Artikels.