Bist du LLMs unfair?

Hype um KI, einige schlecht informierte Ideen über die Natur der LLM-Intelligenz schweben herum, und ich möchte einige davon ansprechen. Ich werde Quellen bereitstellen – die meisten von ihnen Vordruck – und begrüßen Sie Ihre Gedanken zu dieser Angelegenheit.

Warum denke ich, dass dieses Thema wichtig ist? Erstens habe ich das Gefühl, dass wir eine neue Intelligenz schaffen, die in vielerlei Hinsicht mit uns konkurriert. Daher sollten wir darauf abzielen, es honest zu beurteilen. Zweitens ist das Thema KI zutiefst introspektiv. Es wirft Fragen zu unseren Denkprozessen, unserer Einzigartigkeit und unseren Überlegenheit gegenüber anderen Wesen auf.

Millière und Buckner schreiben (1):

Insbesondere müssen wir verstehen, was LLMs über die Sätze darstellen, die sie produzieren – und in welcher Welt diese Sätze. Ein solches Verständnis kann nicht allein durch Sesselspekulation erreicht werden; Es erfordert sorgfältige empirische Untersuchungen.

LLMs sind mehr als Vorhersagemaschinen

Tiefe neuronale Netzwerke können komplexe Strukturen mit linear-nonlinearen Pfaden bilden. Neuronen können in Überlagerungen mehrere Funktionen übernehmen (2). Darüber hinaus bauen LLMs interne Weltmodelle und Thoughts Maps des Kontextes, den sie analysieren (3). Dementsprechend sind sie nicht nur Vorhersagemaschinen für das nächste Wort. Ihre internen Aktivierungen denken bis zum Ende einer Erklärung vor – sie haben einen rudimentären Plan (4).

Alle diese Funktionen hängen jedoch von der Größe und Artwork eines Modells ab, sodass sie, insbesondere in bestimmten Kontexten, variieren können. Diese allgemeinen Fähigkeiten sind ein aktives Forschungsfeld und ähnlich dem menschlichen Denkprozess als dem Algorithmus eines Rechtschreibprüfers (wenn Sie eine der beiden auswählen müssen).

LLMs zeigen Anzeichen von Kreativität

Wenn Sie mit neuen Aufgaben konfrontiert sind, können LLMs mehr als nur auswendig ausgelernte Inhalte erfassen. Vielmehr können sie ihre eigenen Antworten produzieren (5). Wang et al. analysierte die Beziehung der Ausgabe eines Modells zu der Stapeldatensatz und stellten fest, dass größere Modelle sowohl beim Rückruf von Fakten als auch beim Erstellen von neuarteren Inhalten voranschreiten.

Doch doch Salvatore Raieli kürzlich berichtet über TDS dass LLMs nicht kreativ sind. Die zitierten Studien konzentrierten sich weitgehend auf Chatgpt-3. Im Gegensatz dazu stellten Guzik, Erike & Byrge fest, dass GPT-4 im oberen Perzentil der menschlichen Kreativität ist (6). Hubert et al. Stimmen Sie dieser Schlussfolgerung (7) überein. Dies gilt für Originalität, Sprach- und Flexibilität. Es kann eine andere Angelegenheit sein, neue Ideen zu generieren, die sich als alles, was in den Trainingsdaten des Modells zu sehen ist, anders sind. Hier können außergewöhnliche Menschen immer noch einen Vorteil haben.

In beiden Fällen gibt es zu viel Debatten, um diese Indikationen vollständig abzulehnen. Um mehr über das allgemeine Thema zu erfahren, können Sie nachschlagen Computerkreativität.

LLMs haben ein Konzept der Emotion

LLMs können den emotionalen Kontext analysieren und in verschiedenen Stilen und emotionalen Tönen schreiben. Dies deutet darauf hin, dass sie interne Assoziationen und Aktivierungen besitzen, die Emotionen darstellen. In der Tat gibt es solche korrelativen Beweise: Man kann die Aktivierungen ihrer neuronalen Netzwerke auf bestimmte Emotionen untersuchen und sie sogar künstlich mit induzieren Lenkvektoren (8). (Eine Möglichkeit, diese Lenkvektoren zu identifizieren, besteht darin, die kontrastiven Aktivierungen zu bestimmen, wenn das Modell die Verarbeitungsanweisungen mit einem entgegengesetzten Attribut, z.

Dementsprechend scheint das Konzept emotionaler Attribute und deren mögliche Beziehung zu internen Weltmodellen in den Umfang dessen zu fallen, was LLM -Architekturen darstellen können. Es besteht eine Beziehung zwischen der emotionalen Darstellung und dem anschließenden Denken, dh der Welt, wie es das LLM versteht.

Darüber hinaus sind emotionale Darstellungen in bestimmten Bereichen des Modells lokalisiert, und viele intuitive Annahmen, die für Menschen gelten, können auch in LLMs beobachtet werden – auch psychologische und kognitive Rahmenbedingungen können gelten (9).

Beachten Sie, dass die obigen Aussagen nicht implizieren PhänomenologieDas heißt, dass LLMs eine subjektive Erfahrung haben.

Ja, LLMs lernen nicht (Nach der Ausbildung)

LLMs sind neuronale Netze mit statische Gewichte. Wenn wir mit einem LLM -Chatbot chatten, interagieren wir mit einem Modell, das sich nicht ändert, und lernt nur In-Kontext des laufenden Chats. Dies bedeutet, dass zusätzliche Daten aus dem Net oder aus einer Datenbank, unsere Eingaben usw. verarbeiten können Natureingebaute Wissen, Fähigkeiten und Vorurteile bleiben unverändert.

Über bloße Langzeitgedächtnissysteme, die zusätzliche In-Kontext-Daten für statische LLMs liefern, könnten zukünftige Ansätze selbst modifiziert werden, indem die Kerngewichte des Kern-LLM angepasst werden. Dies kann erreicht werden, indem kontinuierlich mit neuen Daten oder durch kontinuierlich Feinabstimmung und Überlagerung zusätzlicher Gewichte (10) vorhanden ist.

Viele various Architekturen und Anpassungsansätze für neuronale Netzwerke und Anpassungen werden untersucht, um kontinuierliche Lernsysteme effizient implementieren (11). Diese Systeme existieren; Sie sind noch nicht zuverlässig und wirtschaftlich.

Zukünftige Entwicklung

Vergessen wir nicht, dass die KI -Systeme, die wir derzeit sehen, sehr neu sind. „Es ist nicht intestine in X“ ist eine Aussage, die schnell ungültig wird. Darüber hinaus beurteilen wir in der Regel die preisgünstigen Konsumgüterprodukte, nicht die Topmodelle, die zu teuer sind, um zu laufen, unpopulär oder immer noch hinter verschlossenen Türen zu halten. Ein Großteil der letzten anderthalb Jahre der LLM-Entwicklung hat sich darauf konzentriert, billigere, einfachere Modelle für Verbraucher zu schaffen, nicht nur intelligenteren, höherpreisigen.

Während Pc in einigen Bereichen möglicherweise keine Originalität fehlen, probieren sie jedoch schnell unterschiedliche Optionen aus. Und jetzt kann LLMs sich selbst beurteilen. Wenn uns eine intuitive Antwort fehlt, während wir kreativ sind, tun wir dann nicht das Gleiche – Biking durch Gedanken und auswählen das Beste? Die inhärente Kreativität (oder wie auch immer Sie es nennen möchten) von LLMs, verbunden mit der Fähigkeit, durch Ideen schnell durch Ideen zu iterieren, profitiert bereits die wissenschaftliche Forschung. Siehe meinen vorherigen Artikel über Alphaevolve als Beispiel.

Schwächen wie Halluzinationen, Vorurteile und Jailbreaks, die LLMs verwirren und ihre Schutzmaßnahmen sowie Sicherheits- und Zuverlässigkeitsprobleme umgehen, sind immer noch allgegenwärtig. Trotzdem sind diese Systeme so leistungsfähig, dass unzählige Anwendungen und Verbesserungen möglich sind. LLMs müssen auch nicht isoliert verwendet werden. In Kombination mit zusätzlichen, traditionellen Ansätzen können einige Mängel gemindert oder irrelevant werden. Zum Beispiel können LLMs realistische Trainingsdaten für herkömmliche KI -Systeme generieren, die anschließend in der industriellen Automatisierung eingesetzt werden. Selbst wenn sich die Entwicklung verlangsamen sollte, glaube ich, dass es jahrzehntelange Vorteile gibt, von der Drogenforschung bis zur Bildung zu untersuchen.

LLMs sind nur Algorithmen. Oder sind sie?

Viele Forscher finden nun Ähnlichkeiten zwischen menschlichen Denkprozessen und LLM -Informationsverarbeitung (z. B. (12)). Es wurde seit langem anerkannt, dass CNNs mit den Schichten im menschlichen visuellen Kortex (13) verglichen werden können, aber jetzt sprechen wir über den Neocortex (14, 15)! Versteh mich nicht falsch; Es gibt auch klare Unterschiede. Trotzdem das Fähigkeitsexplosion von LLMs kann nicht geleugnet werden, und unsere Ansprüche der Einzigartigkeit scheinen nicht intestine zu halten.

Die Frage ist nun, wohin dies führen wird und wo die Grenzen sind – an welchen Punkt müssen wir das Bewusstsein diskutieren? Renommierte Vordenker wie Geoffrey Hinton und Douglas Hofstadter haben angesichts der jüngsten LLM -Durchbrüche begonnen, die Möglichkeit des Bewusstseins in KI zu schätzen (16, 17). Andere, wie Yann Lecun, sind zweifelhaft (18).

Professor James F. O’Brien teilte seine Gedanken Zum Thema LLM -Empfindungen letztes Jahr auf TDS und fragte:

Werden wir eine Möglichkeit haben, auf Empfindungen zu testen? Wenn ja, wie wird es funktionieren und was sollten wir tun, wenn das Ergebnis positiv herauskommt?

Weitermachen

Wir sollten vorsichtig sein, wenn wir Maschinen menschliche Merkmale zuschreiben – Anthropomorphismus geschieht allzu leicht. Es ist jedoch auch einfach, andere Wesen zu entlassen. Wir haben gesehen, dass dies zu oft mit Tieren passieren.

Unabhängig davon, ob sich aktuelle LLMs als kreativ herausstellen, Weltmodelle besitzen oder empfindungsfähig sind, möchten wir vielleicht nicht daran hindern, sie herabzusetzen. Die nächste Technology von KI könnte alle drei sein (19).

Was denken Sie?

Referenzen

1. Millière, Raphaël und Cameron Buckner, Eine philosophische Einführung in Sprachmodelle – Teil I: Kontinuität mit klassischen Debatten (2024), Arxiv.2401.03910
2. Elhage, Nelson, Tristan Hume, Catherine Olsson, Nicholas Schiefer, Tom Henighan, Shauna Kravec, Zac Hatfield-Dodds et al., Spielzeugmodelle der Überlagerung (2022), Arxiv: 2209.10652v1
3. Kenneth Li, Lernen große Sprachmodelle Weltmodelle oder nur Oberflächenstatistiken? (2023) der Gradient
4. Lindsey et al., Über die Biologie eines großen Sprachmodells (2025), Transformatorschaltungen
5. Wang, Xinyi, Antonis Antoniades, Yanai Elazar, Alfonso Amayuelas, Alon Albalak, Kexun Zhang und William Yang Wang. Verallgemeinerung vs. Auswendiglernen: Funktionen der Sprachmodelle zurück in die Vorabständungsdaten (2025), Arxiv: 2407.14985
6. Guzik, Erik & Byrge, Christian & Gilde, Christian, Christian, Die Originalität von Maschinen: KI nimmt den Torrance -Take a look at ab (2023), Journal of Creativity
7. Hubert, KF, AWA, Kn & Zabelina, DL, Der aktuelle Stand der künstlichen Intelligenz generativen Sprachmodelle ist kreativer als der Mensch bei unterschiedlichen Denkaufgaben (2024), Sci Rep 14, 3440
8. Turner, Alexander Matt, Lisa Thiergart, David Udell, Gavin Leech, Ulisse Mini und Monte MacDiarmid. Aktivierungseradung: Lenksprachmodelle ohne Optimierung. (2023), Arxiv: 2308.10248v3
9. Tak, Ala N., Amin Banayeanzade, Anahita Bolourani, Mina Kian, Robin Jia und Jonathan Gratch. Mechanistische Interpretierbarkeit von Emotionsinferenz in Großsprachenmodellen (2025), Arxiv: 2502.05489
10. Albert, Paul, Frederic Z. Zhang, Hemanth Saratchandran, Cristian Rodriguez-Opazo, Anton van Den Hengel und Ehsan Abbasnejad. Randlora: Parameter-effiziente Feinabstimmung großer Modelle mit vollem Rang (2025), Arxiv: 2502.00987
11. Shi, Haizhou, Zihao Xu, Hengyi Wang, Weiyi Qin, Wenyuan Wang, Yibin Wang, Zifeng Wang, Sayna Ebrahimi und Hao Wang. Kontinuierliches Lernen von großsprachigen Modellen: Eine umfassende Umfrage (2024), Arxiv: 2404.16789
12. Goldstein, A., Wang, H., Niekerken, L. et al.,, Ein einheitlicher Akustik-zu-Sprach-zu-Sprach-Einbettungsraum erfasst die neuronale Grundlage der Verarbeitung natürlicher Sprache in alltäglichen Gesprächen (2025)Anwesend Nat Hum Verhalten 9, 1041–1055
13. Yamins, Daniel LK, Ha Hong, Charles F. Cadieu, Ethan A. Solomon, Darren Seibert und James J. Dicarlo, Leistungsoptimierte hierarchische Modelle sagen neuronale Reaktionen im höheren visuellen Kortex vor (2014), Proceedings der Nationwide Academy of Sciences der Vereinigten Staaten von Amerika 111 (23): 8619–24
14. Granier, Arno und Walter Senn. Multihead-Selbstbekämpfung in Cortico-Thalamic-Schaltungen (2025), Arxiv: 2504.06354
15. Han, Danny Dongyeop, Yunju Cho, Jiook Cha und Jay-yoon Lee. Denken Sie an die Lücke: Das Ausrichten des Gehirns auf Sprachmodelle erfordert einen nichtlinearen und multimodalen Ansatz (2025), Arxiv: 2502.12771
16. https://www.cbsnews.com/information/geoffrey-hinton-ai-dangers-60-minutes-transcript/
17. https://www.lesswong.com/posts/kamgdejq2eyqkb5pp/douglas-hofstadter-changes-mind-on-peep-learning-ai
18. Yann Lecun, Ein Weg in Richtung autonomer maschineller Intelligenz (2022), OpenReview
19. Butlin, Patrick, Robert Lengthy, Eric Elmoznino, Yoshua Bengio, Jonathan Birch, Axel Fixed, George Deane et al.,, Bewusstsein in künstlicher Intelligenz: Einsichten aus der Wissenschaft des Bewusstseins (2023), Arxiv: 2308.08708