Ray Fisman hat mir eine E-Mail mit dem oben genannten Titel und einem Hyperlink zur folgenden Geschichte geschickt.
Letztes Jahr Dieser Artikel wurde in den Proceedings of the Nationwide Academy of Sciences veröffentlicht:
Einige Monate später erschien die Zeitschrift dieser Transient Kritik an dem oben verlinkten Papier:
Eine Untergruppe der Originalautoren dann antwortete im Tagebuch:
Hier ist der entscheidende Teil aus dem Originalartikel:
Cohn et al. (2019) führten in 40 Ländern ein Pockets-Drop-Experiment durch, um „bürgerliche Ehrlichkeit rund um den Globus“ zu messen. . . Wir haben in China eine erweiterte Replikationsstudie durchgeführt und dabei E-Mail-Antworten und Pockets-Wiederherstellung genutzt, um die bürgerliche Ehrlichkeit zu bewerten. Wir fanden in China ein deutlich höheres Maß an bürgerlicher Ehrlichkeit, gemessen an der Pockets-Restoration-Price, als in der ursprünglichen Studie angegeben, während die E-Mail-Antwortraten ähnlich blieben. Um die unterschiedlichen Ergebnisse aufzulösen, führen wir eine kulturelle Dimension ein, Individualismus versus Kollektivismus, um bürgerliche Ehrlichkeit in verschiedenen Kulturen zu untersuchen. . .
Und hier ist die zentrale Kritik im Transient:
Ein zentrales Ergebnis von YAC ist, dass der Kollektivismus auf Stadtebene eine sichere Aufbewahrung vorhersagt, aber keinen E-Mail-Versand, was darauf schließen lässt, dass sich bürgerliche Ehrlichkeit in den verschiedenen Kulturen unterschiedlich ausdrückt. Dieses Ergebnis ist jedoch ausschließlich auf einen Fehler in ihren Regressionsspezifikationen zurückzuführen; Einmal korrigiert, verschwindet die Beziehung zwischen Kollektivismus und Verwahrung. Die Regressionen von YAC umfassen sowohl feste Stadteffekte (d. h. den Ort, an dem die Studie durchgeführt wurde) als auch die Kollektivismusraten auf Stadtebene (d. h. den Grad des Kollektivismus in einer Stadt). Das Einbeziehen beider Variablen führt zu . . . perfekte Multikollinearität. . . . Willkürliche Änderungen am Modell – die keine Auswirkung auf den Kollektivismuskoeffizienten haben sollten – verändern den Koeffizienten von signifikant positiv über signifikant negativ bis hin zu nicht mehr schätzbar. . . .
Die Antwort der ursprünglichen Autoren hatte zwei Hauptpunkte:
Tannenbaums Kommentare zur Modellspezifikation basierten auf dem falschen Begriff „Kollektivismus auf Stadtebene“. Yang nutzte den Kollektivismus auf Provinzebene, eine höhere Aggregationsebene, die wahrscheinlich keine „perfekte Multikollinearität“ mit den Faktoren auf Stadtebene bilden würde. . .
Yang räumte ein, dass es sich bei der Replikation um eine Studie mit kleinen Stichproben und begrenzter Aussagekraft handelt. Daher können die von Tannenbaum identifizierten nicht signifikanten Zusammenhänge, selbst bei wiederholten Simulationen, echte Assoziationen zwischen Kollektivismus und bürgerlicher Ehrlichkeit nicht ausschließen. Anstatt stadtspezifische Effekte zu beseitigen, besteht laut Tannenbaum der angemessene Ansatz darin, in zukünftigen Experimenten mehr Städte innerhalb der Provinzen zu rekrutieren. . . .
Meine Reaktionen
Ich habe den Inhalt dieser Studien nicht untersucht, daher möchte ich nur auf die beiden statistischen Probleme eingehen, die auftauchen:
1. Wenn Sie versuchen, eine Regression der kleinsten Quadrate einschließlich Indikatoren für Gruppen zusammen mit einem Prädiktor auf Gruppenebene anzupassen, erhalten Sie tatsächlich Kollinearität. Tatsächlich erhalten Sie Kollinearität, wenn Sie Indikatoren für Gruppen einbeziehen ohne ein Prädiktor auf Gruppenebene. Wenn Ihr Modell über J Gruppen und Ok Prädiktoren auf Gruppenebene verfügt, löst Ihre Statistiksoftware dieses Downside normalerweise, indem sie Ok der Gruppenindikatoren aus der Regression entfernt. Tanenbaum et al. Richtig ist, dass dadurch die Interpretation der Koeffizienten der Prädiktoren auf Gruppenebene zerstört wird, wenn dies nicht sehr sorgfältig durchgeführt wird.
2. In ihrer Antwort stellen Zhang et al. Sagen Sie, dass es keine perfekte Kollinearität geben wird, da sich ihr Prädiktor, der Kollektivismus auf Provinzebene, auf einer höheren Aggregationsebene befindet. Sie sind falsch. Ein Prädiktor auf einer höheren Aggregationsebene ist immer noch ein Prädiktor auf Gruppenebene und wird mit den Indikatoren auf Gruppenebene kollinear sein. Anstatt zu versuchen, sich daraus zu befreien, haben Zhang et al. Ich hätte mich einfach bei Tanenbaum et al. bedanken sollen. für den Hinweis auf ihren Fehler.
3. Ich empfehle, mit diesem Downside umzugehen, indem man die Gruppenindikatoren nicht weglässt, sondern sie als variierende Achsenabschnitte in einem mehrstufigen Modell beibehält. Oder, wenn Sie wirklich kein mehrstufiges Modell anpassen möchten, führen Sie eine Analyse durch, die die gruppeninterne Korrelation in den Daten berücksichtigt. Diese „Kollinearität“ ist bei dem Modell überhaupt kein Downside. Es ist völlig ein Downside mit Anpassen des Modells mithilfe der Methode der kleinsten Quadrate. Wechseln Sie zu einem mehrstufigen Modell und das Downside verschwindet.
4. In ihrer Antwort stellen Zhang et al. beschreiben ihr zuvor veröffentlichtes Experiment als „eine Studie mit kleiner Stichprobe und begrenzter Aussagekraft“ mit „nicht signifikanten Beziehungen“. Das ist in Ordnung – aber dann sollten sie diese starke Behauptung aus ihrem veröffentlichten Artikel zurückziehen:
Unsere Ergebnisse zeigen, dass die Unterschiede in den kollektivistischen/individualistischen Werten die Verhaltensunterschiede zwischen den Kulturen erklären können, was erhebliche Auswirkungen auf das Verständnis kultureller Unterschiede in der bürgerlichen Ehrlichkeit hat.
Eine Studie mit kleiner Stichprobe, begrenzter Aussagekraft und nicht signifikanten Beziehungen „enthüllt“ nichts; Es kann auch keine „erheblichen Auswirkungen auf das Verständnis“ haben.
Als Verfechter von alles veröffentlichenIch bin der Letzte, der behauptet, dass mangelnde statistische Signifikanz ein Hindernis für die Veröffentlichung darstellen sollte. Was mir nicht gefällt, ist, wenn Leute die Beweise für ihre Behauptungen überbewerten.
Was schließlich Fismans Charakterisierung dieser Episode als „einen bizarren Misserfolg im Überprüfungsprozess bei PNAS“ betrifft, so ist meine Reaktion: „Machst du Witze???“ PNAS veröffentlichte die berüchtigten Papiere am Flugkoller, himmicanes, Alter endet mit 9, stupst, . . . Ich bin mir sicher, dass mir ein paar berüchtigte Beispiele fehlen. Natürlich Sie veröffentlichen einen Artikel mit statistischen Fehlern, wenn er starke und berichtenswerte Behauptungen aufstellt. Es gibt keinen Grund zu der Annahme, dass den Rezensenten diese Fehler bekannt waren. Die Rezensenten haben die Probleme einfach übersehen, das ist alles. Es passiert ständig.
Auch hier geht keiner der oben genannten Punkte auf die wesentlichen Fragen des Austauschs ein, so interessant sie auch sind. Ich schreibe nur über die statistischen Fragen, über die offenbar überall große Verwirrung herrscht.
PS Es gibt hier auch eine politische Dimension. Fisman zeigt auf Dieser Artikel von einer chinesischen Regierungsquelle, die eine äußerst nationalistische Sicht auf die Geschichte gibt.