Die Geschichte
Ein Leser, der anonym schreibt:
Eine Geschichte des Forschungsbetrugs brach gerade, auf die ich Ihre Aufmerksamkeit auf sich ziehen möchte, wenn Sie sie noch nicht gehört haben.
Im vergangenen Jahr wurde ein Doktor der ersten Jahres in Wirtschaftswissenschaften mit dem Namen Aidan Toner-Rodgers ernannt gewann Schlagzeilen für sein Papier über KI, die wissenschaftliche Entdeckung erhöhen. Acemoglu nennt die Arbeit „fantastisch“ und David Autor struggle „bodend“. Ich bin sicher Das Ganze struggle falsch.
Hey, das ist eine lustige Linie!
Mein Korrespondent fährt fort:
Es scheint, dass TR alles erfunden hat; Es gab wahrscheinlich überhaupt nie ein Experiment. Er registrierte sogar einen Domainnamen, um wie Corning auszusehen, der damals schickte ihm einen Waffenstillstand. Dieser Weblog -Beitrag von einem materiellen Wissenschaftler weist auf einige der offensichtlichen roten Fahnen hin, wie es tut Dieser Twitter -Thread von einem Professor für Materialchemie. MIT schickte a Pressemitteilung. Sie haben Arxiv gebeten, die Zeitung abzubauen, und TR ist kein Scholar mehr am MIT.
Es ist eine unglaubliche Geschichte, insbesondere angesichts der Beliebtheit, wie beliebt das Papier bei der Veröffentlichung des Vordrucks struggle. Es erhielt ein R & R von Qje und wurde von Acemoglu und Autor ausrutscht. Ich struggle froh zu sehen, dass die Geschichte des Betrugs über so viel Aufmerksamkeit wie das Papier selbst bei der Veröffentlichung zu erhalten scheint, aber immer noch traurig, dass dies überhaupt passieren könnte.
Hoffentlich geht es in meiner nächsten Korrespondenz mit Ihnen um Forschung und nicht um das, was auch immer das ist.
„Was auch immer das ist“, in der Tat!
Ich struggle neugierig, additionally habe ich die üblichen Verdächtigen gegoogelt (*Aidan Toner-Rodgers Gladwell*,*Aidan Toner-Rodgers Freakonomics*,*Aidan Toner-Rodgers NPR*usw.), und einige lustige Dinge kamen:
Aus einer Freakonomics -Episode, Ist San Francisco ein gescheiterter Staat? (Und andere Fragen, die Sie dem Bürgermeister nicht stellen sollten):
Es gab nur eine Studie von einem Scholar am MIT, der beschrieb, wie Forscher, die AI verwenden, 44 Prozent mehr Materialien entdecken konnten als eine zufällig zugewiesene Gruppe, die keinen Zugang zur Technologie hatte.
Von NPRs Planet Geld:
Eine der großen Fragen in der Wirtschaftswissenschaften ist derzeit, welche Arten von Arbeitnehmern von der Verwendung von KI profitieren und welche nicht. Wie wir bereits im Planet Cash Publication behandelt haben, haben einige frühe Studien zur generativen KI festgestellt, dass weniger qualifizierte, niedrigere Arbeitnehmer mehr als höhere, qualifizierte, leistungsstarke Arbeitnehmer profitiert haben.
Für Ökonomen wie den David Autor von MIT waren diese frühen Studien aufregend. . . . Eine weitere kürzlich durchgeführte Studie des MIT-Ökonoms Aidan Toner-Rodgers fand etwas Ähnliches. Es untersuchte, was mit der Produktivität von über tausend Wissenschaftlern in einem F & E -Labor eines großen Unternehmens geschah, nachdem sie Zugang zu KI erhalten hatten. Toner-Rodgers stellten fest, dass „während das unterste Drittel der Wissenschaftler nur einen geringen Nutzen sieht, aber der Produktion von Prime-Forschern quick verdoppelt ist“. Auch der KI kommt denen zugute, die herausfinden können, wie man es intestine benutzt, und es deutet darauf hin, dass in vielen Bereichen Prime -Darsteller in vielen Bereichen mehr Prime -Leistung werden könnten, wodurch die Ungleichheit erhöht wird.
Tyler Cowen teilte die Zusammenfassung Von den Toner-Rodgers-Papieren und keiner seiner Kommentatoren schnüffelte die Probleme.
Angesichts der Tatsache, dass die Zeitung die Reporter im Wall Road Journal und die Kommentatoren der Marginal Revolution täuschte, sollte es nicht so überraschen, dass ständig-z. B. Freakonomics und NPR auch darauf geraten.
Ein reibungsloser Forschungsartikel. . .
Nachdem ich diese kurze Websuche durchgeführt hatte, folgte ich dem zweiten Hyperlink oben, um den Artikel von Toner-Rodgers zu lesen. Es struggle sehr intestine geschrieben: Es liest sich wie ein echtes Econ-Papier! Kein Wunder, dass Acemoglu und Autor vernetzt wurden: Das Papier ist reibungslos und professionell aussieht, bis zur Fußnote auf der ersten Seite dankte 21 verschiedene Personen sowie „Seminar -Teilnehmer bei NBER Labour Research und MIT angewandte Mikro -Mittagessen für hilfreiche Kommentare“. Ich erinnere mich an die technische Observe am Ende von Das Zombiespapier.
. . . Mit einigen seltsamen Referenzen
Das erste, was mich aufsprang, struggle dies in der Referenzliste:
Diamandis, Peter. 2020. „Materialwissenschaft: Der unbesungene Held.“
Der Typ ist Ein berüchtigter Bullshitter-Wie ist diese Referenz in ein ansonsten ernsthaft aussehendes Papier geraten?
Tatsächlich sind viele Referenzen in Toner-Rodgers Papier unvollständig, ohne dass überhaupt keine Veröffentlichungsinformationen aus dem Web gezogen wurden, zum Beispiel:
Bostock, J. 2022. „Ein verwirrter Chemikerüberprüfung von Alphafold 2.“
Cotra, Ajeya. 2023. „Sprachmodelle haben uns überrascht.“
Ramani, Arjun und Zhengdong Wang. 2023. „Warum transformative künstliche Intelligenz wirklich, sehr schwer zu erreichen ist.“ Der Gradient.
Schulman, Carl. 2023. „Intelligenzxplosion.“
In den Worten des verstorbenen Joe Biden „Komm schon, Mann.“
Das Papier zitiert auch 6 Artikel von Acemoglu und 6 von Autor. . . OK, ich denke, deshalb waren sie „boden“ und fanden die Arbeit „fantastisch“. Wenn nur Toner-Rodgers seinen Weg gefunden hätten, um 10 Referenzen für jeden von ihnen aufzunehmen, hätte er vielleicht zu „Bowled Over“ und „Wonderful“ aufsteigen können.
Im Ernst, dass ich nicht weiß, dass ich Probleme mit dem Papier bemerkt hätte, wenn es mir kalt gesendet worden wäre.
Misstrauisch breite Konfidenzintervalle
Die einzigen offensichtlich verdächtigen Bits sind die Zahlen A.2 und A.3:
Die Intervalle sehen zu breit aus, wenn man bedenkt, wie nahe die Punkte an der Linie sind. Aber meine Reaktion, so etwas zu sehen, ist, dass das Modell wahrscheinlich in irgendeiner Weise falsch angegeben wird oder die Autoren die Ergebnisse falsch melden. Diese Grafiken schreien nicht „Betrug!“; Sie schreien: „Jemand verwendet statistische Methoden, Hier).
Lustige P-Werte
Oh ja, es gibt auch Tabelle A1:
Etwas Lustiges an dieser ersten Kolumne, nein? Die Schätzung beträgt 0,195, der Standardfehler beträgt 0,105 und ist auf 1% als signifikant aufgeführt. Aber 0,195/0,105 = 1,86, was unter der üblichen Berechnung einen p-Wert von mehr als 5percenthat.
Und Tabelle A3:
0,024/0,015 = 1,6, aber ein Z-Rating von 1,6 ist bei 5% nicht signifikant.
Und dann diese:
Erstens sieht dies falsch aus, denn bei Poisson und negativen Binomial -Regressionen erhalten Sie in der Regel ähnliche Punktschätzungen, aber einen größeren Standardfehler für das unfavourable Binomial. Aber hier sind die Punktschätzungen sehr unterschiedlich, und mit den Standardfehlern scheint etwas nicht zu sein: Das unfavourable Binomial hat winzige Standardfehler. Und wieder stimmen die P-Werte nicht mit den Zahlen in der Tabelle überein. Die Schätzungen in den ersten beiden Spalten von Tabelle A8 sind eine atemberaubende (man könnte verdächtige) 10+ Standardfehler von Null, aber sie haben als mit nicht Erreichen des Signifikanzniveaus von 1%.
Es ist erstaunlich, dass jemand so viel Mühe gegeben hat, eine ganze Studie zu vortäuschen und dann bei diesem letzten Stück schlampig zu werden. Vielleicht hätte er alle Rohdaten vornehmen sollen, um eine interne Konsistenz seiner Ergebnisse zu gewährleisten. Ich frage mich irgendwie, woher all diese Zahlen kamen. Vielleicht benutzte er einen Chatbot, um sie zu produzieren? Es wäre irgendwie anstrengend, sie alle von Grund auf neu zu konstruieren.
Das alles sagte, wäre ich ein Rezensent gewesen, hätte ich vielleicht auf diese Anomalien hingewiesen, und dann hätten die Zahlen im Revisionsprozess aufgeräumt worden sein und ich wäre nicht so klüger gewesen.
Wie haben sie den Betrug festgestellt?
Okay, meine nächste Frage ist, wer hat herausgefunden, dass das Papier eine Fälschung struggle und wie sie es herausgefunden haben? Aus dem Artikel des Wall Road Journal: Artikel:
(Acemoglu und Autor) sagte, sie seien im Januar von einem Informatiker mit Erfahrung in der Materialwissenschaft angesprochen worden, die in Frage stellten, wie die Technologie funktionierte und wie ein Labor, von dem er sich nicht wusste, dass er Innovationsgewinne erzielt hatte.
Kredit an Acemoglu und Autor, dass sie dies akzeptiert und nicht versuchen Schieß auf den Boten. Auch Kredit an MIT, was besser als ColumbiaAnwesend UCBUnd USC Bei der Behandlung von Forschungsfehlern. Ich denke, es ist einfacher, einen schlecht benachteiligen Studenten zu disziplinieren, als ein schlecht benommenes Professor. In jedem Fall schätze ich als MIT -Alaun ihre Aussage: „Forschungsintegrität am MIT ist von größter Bedeutung – sie liegt im Mittelpunkt dessen, was wir tun, und ist von zentraler Bedeutung für die Mission von MIT“. In diesem Fall reden sie über das Gespräch und gehen den Spaziergang.
Um mehr zu erfahren, folgte ich dem obigen Hyperlink zum Weblog -Beitrag des Materialwissenschaftlers, der gibt Viele Particulars Über verdächtige Aspekte des Papiers, verschiedene Dinge, die ich nicht bemerkt hätte – keine Überraschung, da die Letztes Mal Ich habe alles in der Materialwissenschaft veröffentlicht, struggle vor über 40 Jahren! Ich empfehle Ihnen, das Ganze zu lesen (den Materialwissenschaftsbeitrag, nicht mein altes Physikpapier).
Eine Geschichte, die Borges verdient
Oben fragte ich, wie dieser Scholar Berichten zufolge sich die Mühe gemacht hat, eine ganze Studie mit einer gefälschten Webseite zu erstellen, ein langes, professionell geschriebenes Forschungsarbeit zu vervollständigen und einzureichen, die auf gefälschten Studien basieren, und dann auf seine P-Wert-Berechnungen fallen. Ein Z-Rating in einen p-Wert umzuwandeln, das ist das einfachste auf der Welt, nein?
Aber nachdem ich den Bericht des Materialwissenschaftlers gelesen habe, bin ich mir nicht so sicher, wie die P-Werte die geringsten Probleme zu sein scheinen. Wenn überhaupt, hätten Toner-Rodgers weniger Anstrengungen unternommen haben sollten, um die statistischen Zusammenfassungen zu verfälschen und mehr daran zu arbeiten, eine überzeugendere gefälschte Studie zu entwerfen.
Aber es ist schwer, eine überzeugende gefälschte Studie zu entwerfen. Gefälschte Dinge sehen falsch aus. Die Realität ist überbestimmt. Erinnern Sie sich an diese Borges-Geschichte mit einer Karte, die sich auf einer Eins-zu-Eins-Skala mit der Realität befindet? Alles andere wäre unrealistisch. In ähnlicher Weise sollte es kohärent sein, wenn Sie eine Studie vortäuschen möchten, und der einzige Weg, dies zu tun, besteht darin, nicht nur die Tische, sondern auch die Tische zu fälschen fälschen Sie die RohdatenAber dann können Außenseiter die Rohdaten überprüfen und Beweise für ihre Konstruktion finden. Um wirklich auf der sicheren Seite zu sein, müssen Sie die Daten tatsächlich sammeln, was bedeutet, dass Sie die Studie durchführen müssen.
Kurz gesagt, die einzige Möglichkeit, ein wirklich überzeugendes gefälschtes Experiment zu erstellen, ist. . . das Experiment für actual durchführen. Aber das würde viel Arbeit dauern! (Außerdem besteht ein Risiko mit realen Daten, die Sie möglicherweise nicht finden, nach denen Sie suchen, aber moderne Datenanalysemethoden haben genug Freiheitsgrade, damit dies kein Drawback sein sollte.)
Additionally, ja, Toner-Rodgers zeigten echte Talente beim Schreiben eines wirklich aussehenden Papiers mit vielen quick actual aussehenden Tischen und Grafiken-aber seine vielleicht beeindruckendste Leistung struggle in „Social Engineering“: Was auch immer es brauchte, um Acemoglu, Autor und andere davon zu überzeugen, dass er eine echte Studie durchgeführt hatte. Du musst ein Steinkammer sein, um das abzuziehen.
Eine Lösung, die alle glücklich machen sollte
In dem überbrennenden Nachrichtenartikel heißt es, dass der Autor dieses scheinbar fragulanten Papiers nicht mehr am MIT ist. Aber das sollte kein Drawback sein. Wenn Autoren von betrügerischen Papieren das MIT verlassen, können sie normalerweise zu Duke gehen, nein? Für diesen Kerl muss es eine Place in der Enterprise Faculty geben. Er hat eine große Zukunft vor sich. Vielleicht ein paar TED -Gespräche?
Wenn ich das nicht so hörte, dass UNR nach einer Suche nach Dekan der Ingenieurwesen. „Künstliche Intelligenz, wissenschaftliche Entdeckung und Produktinnovation“ klingt perfekt dafür, nein? Aber ich denke wirklich, dass die Fuqua -Schule von Duke perfect wäre, ein Ort, an dem er von einer ihrer leitenden Fakultäten mit sehr relevantem Fachwissen betreut werden könnte.