Nehmen wir an, Sie lesen eine Geschichte oder spielen ein Schachspiel. Sie haben es vielleicht nicht bemerkt, aber jeder Schritt des Weges hat sich verfolgt, wie sich die State of affairs (oder der „Zustand der Welt“) änderte. Sie können sich dies als eine Artwork Abfolge von Ereignisliste vorstellen, mit der wir unsere Vorhersage dessen aktualisieren, was als nächstes passieren wird.
Sprachmodelle wie ChatGPT verfolgen auch Änderungen in ihrem eigenen „Geist“, wenn Sie einen Codeblock beenden oder erwarten, was Sie als nächstes schreiben werden. Sie machen in der Regel fundierte Vermutungen mit Transformatoren – interne Architekturen, die den Modellen helfen, sequentielle Daten zu verstehen -, aber die Systeme sind aufgrund fehlerhafter Denkmuster manchmal falsch. Das Identifizieren und Optimieren dieser zugrunde liegenden Mechanismen hilft Sprachmodellen, zuverlässigeren Prognose zu werden, insbesondere mit dynamischeren Aufgaben wie der Vorhersage von Wetter- und Finanzmärkten.
Aber verarbeiten diese KI -Systeme die Entwicklung von Situationen wie wir? Ein neues Papier Von Forschern des MIT -Labors für Informatik und künstliche Intelligenz (CSAIL) und der Abteilung für Elektrotechnik und Informatik zeigen, dass die Modelle stattdessen clevere mathematische Verknüpfungen zwischen jedem progressiven Schritt in einer Sequenz verwenden und schließlich angemessene Vorhersagen machen. Das Group machte diese Beobachtung, indem sie unter die Motorhaube von Sprachmodellen ging und bewertete, wie eng sie Objekte im Auge behalten können, die die Place schnell ändern. Ihre Ergebnisse zeigen, dass Ingenieure steuern können, wenn Sprachmodelle bestimmte Problemumgehungen verwenden, um die Vorhersagefunktionen der Systeme zu verbessern.
Shell -Spiele
Die Forscher analysierten das Innenleben dieser Modelle mit einem klugen Experiment, der an ein klassisches Konzentrationsspiel erinnert. Musste jemals die endgültige Lage eines Objekts erraten, nachdem es unter eine Tasse gelegt und mit identischen Behältern gemischt wurde? Das Group verwendete einen ähnlichen Take a look at, bei dem das Modell die endgültige Anordnung bestimmter Ziffern vermutete (auch als Permutation bezeichnet). Die Modelle erhielten eine Startsequenz wie „42135“ und Anweisungen, wann und wo jede Ziffer bewegt werden sollte, wie das Verschieben der „4“ auf die dritte Place und weiter, ohne das Endergebnis zu kennen.
In diesen Experimenten lernten transformatorbasierte Modelle allmählich, die korrekten endgültigen Preparations vorherzusagen. Anstatt die Ziffern auf der Grundlage der von ihnen gegebenen Anweisungen zu mischen, aggregierte die Systeme die Informationen zwischen aufeinanderfolgenden Zuständen (oder individuellen Schritten innerhalb der Sequenz) und berechneten die endgültige Permutation.
Ein Anlaufmuster, das das Group beobachtete, als „assoziativer Algorithmus“ bezeichnet, organisiert im Wesentlichen in der Nähe von Schritten in Gruppen und berechnet dann eine endgültige Vermutung. Sie können sich diesen Prozess als strukturiert wie ein Baum vorstellen, bei dem die anfängliche numerische Anordnung die „Wurzel“ ist. Wenn Sie den Baum nach oben bewegen, werden benachbarte Schritte in verschiedene Zweige eingeteilt und miteinander multipliziert. Am oberen Rand des Baumes befindet sich die endgültige Kombination von Zahlen, die durch Multiplizieren jeder resultierenden Sequenz auf den Zweigen berechnet wird.
Die andere Artwork und Weise, wie Sprachmodelle die endgültige Permutation durch einen schlaueren Mechanismus als „Paritätsassoziationsalgorithmus“ vermuteten, der vor dem Gruppieren im Wesentlichen die Optionen niederschlägt. Es bestimmt, ob die endgültige Anordnung das Ergebnis einer geraden oder ungeraden Anzahl von Umständen einzelner Ziffern ist. Anschließend multiplizieren die Mechanismusgruppen aus verschiedenen Schritten, bevor sie sie multiplizieren, genau wie der assoziative Algorithmus.
„Diese Verhaltensweisen sagen uns, dass Transformatoren Simulation durch assoziativen Scan durchführen. Anstatt den staatlichen Änderungen Schritt für Schritt zu befolgen, organisieren die Modelle sie in Hierarchien“, sagt MIT PhD Scholar und CSAIL-Associate Belinda Li SM ’23, ein Hauptautor auf dem Papier. „Wie ermutigen wir Transformatoren, eine bessere Zustandsverfolgung zu lernen? Anstatt aufzuerlegen, dass diese Systeme auf menschlichähnliche und sequentielle Weise Schlussfolgerungen über Daten bilden, sollten wir uns vielleicht auf die Ansätze eingehen, die sie bei der Verfolgung von Zustandsänderungen auf natürliche Weise verwenden.“
„Eine Forschung bestand darin, das Testzeit-Computing entlang der Tiefendimension zu erweitern, anstatt der Token-Dimension-durch Erhöhung der Anzahl der Transformatorschichten und nicht der Anzahl der Token der Kette der Gedanken während der Testzeit“, fügt Li hinzu. „Unsere Arbeit legt nahe, dass dieser Ansatz es Transformatoren ermöglicht, tiefere Argumentationsbäume aufzubauen.“
Durch das aussehende Glas
Li und ihre Co-Autoren beobachteten, wie die assoziativen und paritätsassoziativen Algorithmen mit Instruments funktionierten, mit denen sie in den „Verstand“ von Sprachmodellen peerten.
Sie verwendeten zunächst eine Methode namens „Probierung“, die zeigt, welche Informationen durch ein KI -System fließen. Stellen Sie sich vor, Sie könnten in das Gehirn eines Modells schauen, um seine Gedanken in einem bestimmten Second zu sehen-in ähnlicher Weise ordnet die Technik die Vorhersagen des Programs mit den mittleren Experiments über die endgültige Anordnung der Ziffern ab.
Anschließend wurde ein Device namens „Aktivierungspatching“ verwendet, um anzuzeigen, wo sich das Sprachmodell verarbeitet. Es beinhaltet das Einmischen mit einigen der „Ideen“ des Programs, die Injektion falscher Informationen in bestimmte Teile des Netzwerks, während sie andere Teile konstant halten, und zu sehen, wie das System seine Vorhersagen anpasst.
Diese Instruments wurden angezeigt, wenn die Algorithmen Fehler machen und wenn die Systeme „herausgefunden“ haben, wie die endgültigen Permutationen korrekt erraten werden. Sie beobachteten, dass der assoziative Algorithmus schneller lernte als der Paritätsassoziativalgorithmus und gleichzeitig eine bessere Leistung bei längeren Sequenzen. LI führt die Schwierigkeiten des letzteren mit einer überdurchschnittlicheren Anweisungen auf eine übermäßige Abhängigkeit von Heuristiken (oder Regeln, die es uns ermöglichen, eine vernünftige Lösung schnell zu berechnen), um Permutationen vorherzusagen.
„Wir haben festgestellt, dass Sprachmodelle, die früh im Coaching ein heuristisches Coaching verwenden, diese Tips in ihre Mechanismen aufbauen werden“, sagt Li. „Diese Modelle neigen jedoch dazu, schlechter zu verallgemeinern als solche, die sich nicht auf Heuristiken verlassen. Wir haben festgestellt, dass bestimmte Ziele vor dem Coaching diese Muster abschrecken oder fördern können. In Zukunft können wir uns auf Entwurfstechniken entwerfen, die Modelle davon abhalten, schlechte Gewohnheiten aufzuheben.“
Die Forscher stellen fest, dass ihre Experimente an kleinen Sprachmodellen durchgeführt wurden, die mit synthetischen Daten fein abgestimmt wurden, fanden jedoch fest, dass die Modellgröße nur geringe Auswirkungen auf die Ergebnisse hatte. Dies deutet darauf hin, dass die Feinabstimmung größerer Sprachmodelle wie GPT 4.1 wahrscheinlich ähnliche Ergebnisse liefern würden. Das Group plant, seine Hypothesen genauer zu untersuchen, indem sie Sprachmodelle verschiedener Größen testen, die nicht intestine abgestimmt wurden, und ihre Leistung bei dynamischen realen Aufgaben wie Verfolgung von Code und der Entstehung der Geschichten bewertet.
Die Postdoc Keyon Vafa der Harvard College, die nicht an dem Papier beteiligt battle, sagt, dass die Ergebnisse der Forscher Möglichkeiten zur Förderung von Sprachmodellen schaffen könnten. „Viele Verwendungen von großsprachigen Modellen beruhen sich auf die Verfolgung des Standing: Alles, von der Bereitstellung von Rezepten bis hin zum Schreiben von Code bis hin zur Überprüfung von Particulars in einem Gespräch“, sagt er. „Dieses Papier macht erhebliche Fortschritte beim Verständnis, wie Sprachmodelle diese Aufgaben ausführen. Dieser Fortschritt bietet uns interessante Einblicke in die, was Sprachmodelle tun, und bietet vielversprechende neue Strategien, um sie zu verbessern.“
Li schrieb die Zeitung mit dem MIT -Studenten, Zifan „Carl“ Guo und Senior -Autor Jacob Andreas, der Affiliate Professor für Elektrotechnik und Informatik sowie CSAIL -Principal Investigator ist. Ihre Forschung wurde teilweise durch Open Philanthropy, The MIT Quest for Intelligence, The Nationwide Science Basis, das Clare Boothe Luce -Programm für Frauen in STEM und ein Sloan Analysis Fellowship unterstützt.
Die Forscher präsentierten diese Woche ihre Forschung auf der Internationalen Konferenz über maschinelles Lernen (ICML).