Wenn neuronale Netze jetzt überall Entscheidungen treffen, von Code-Editoren bis hin zu Sicherheitssystemen, wie können wir dann tatsächlich die spezifischen Schaltkreise im Inneren sehen, die jedes Verhalten steuern? OpenAI hat eine neue mechanistische Interpretierbarkeit eingeführt Forschungsstudie Dadurch werden Sprachmodelle darauf trainiert, eine spärliche interne Verkabelung zu verwenden, sodass das Modellverhalten mithilfe kleiner, expliziter Schaltkreise erklärt werden kann.

Trainieren Sie Transformatoren so, dass sie gewichtsarm sind

Die meisten Transformer-Sprachmodelle sind dicht. Jedes Neuron liest aus vielen Restkanälen und schreibt in diese, und Merkmale sind häufig überlagert. Dies erschwert die Analyse auf Schaltungsebene. In früheren OpenAI-Arbeiten wurde versucht, mithilfe von Sparse-Autoencodern spärliche Funktionsbasen auf dichten Modellen zu erlernen. Die neue Forschungsarbeit ändert stattdessen das Basismodell, sodass der Transformator selbst gewichtsärmer ist.

Das OpenAI-Crew trainiert reine Decoder-Transformatoren mit einer GPT 2-ähnlichen Architektur. Nach jedem Optimierungsschritt mit dem AdamW-Optimierer erzwingen sie einen festen Sparsity-Stage für jede Gewichtsmatrix und jeden Bias, einschließlich Token-Einbettungen. Es werden nur die größten Magnitudeneinträge in jeder Matrix beibehalten. Der Relaxation wird auf Null gesetzt. Während des Trainings verringert ein Glühplan schrittweise den Anteil der Parameter ungleich Null, bis das Modell eine Zielsparsity erreicht.

Im extremsten Fall ist etwa 1 von 1000 Gewichtungen ungleich Null. Auch die Aktivierungen sind etwas spärlich. Etwa jede vierte Aktivierung ist an einem typischen Knotenstandort ungleich Null. Der effektive Konnektivitätsgraph ist daher selbst bei großer Modellbreite sehr dünn. Dies fördert entwirrte Funktionen, die sauber auf die von der Schaltung verwendeten Restkanäle abgebildet werden.

Messung der Interpretierbarkeit durch aufgabenspezifisches Bereinigen

Um zu quantifizieren, ob diese Modelle leichter zu verstehen sind, verlässt sich das OpenAI-Crew nicht nur auf qualitative Beispiele. Das Forschungsteam definiert eine Reihe einfacher algorithmischer Aufgaben, die auf der Vorhersage des nächsten Tokens in Python basieren. Ein Beispiel, single_double_quote, erfordert, dass das Modell einen Python-String mit dem richtigen Anführungszeichen schließt. Ein weiteres Beispiel, set_or_string, erfordert, dass das Modell zwischen .add und += wählt, je nachdem, ob eine Variable als Set oder String initialisiert wurde.

Für jede Aufgabe suchen sie nach dem kleinsten Teilnetz, einem sogenannten Circuit, das die Aufgabe bis zu einem festen Verlustschwellenwert noch ausführen kann. Die Beschneidung erfolgt knotenbasiert. Ein Knoten ist ein MLP-Neuron auf einer bestimmten Schicht, ein Aufmerksamkeitskopf oder ein Reststromkanal auf einer bestimmten Schicht. Wenn ein Knoten bereinigt wird, wird seine Aktivierung durch seinen Mittelwert über die Verteilung vor dem Coaching ersetzt. Das ist mittlere Ablation.

Die Suche verwendet kontinuierliche Maskenparameter für jeden Knoten und ein Heaviside-Gate, optimiert mit einem Straight-By way of-Schätzer wie einem Ersatzgradienten. Die Komplexität einer Schaltung wird als Anzahl der aktiven Kanten zwischen beibehaltenen Knoten gemessen. Die wichtigste Interpretierbarkeitsmetrik ist das geometrische Mittel der Kantenzählungen über alle Aufgaben hinweg.

Beispielschaltungen in Sparse-Transformatoren

Bei der Aufgabe „single_double_quote“ ergeben die spärlichen Modelle eine kompakte und vollständig interpretierbare Schaltung. In einer frühen MLP-Schicht fungiert ein Neuron als Anführungszeichendetektor, der sowohl bei einfachen als auch bei doppelten Anführungszeichen aktiviert wird. Ein zweites Neuron fungiert als Klassifikator für den Angebotstyp, der die beiden Angebotstypen unterscheidet. Später verwendet ein Aufmerksamkeitskopf diese Signale, um zur Eröffnungskursposition zurückzukehren und deren Typ in die Schlussposition zu kopieren.

In Bezug auf Schaltkreisgraphen verwendet der Mechanismus fünf Restkanäle, zwei MLP-Neuronen in Schicht 0 und einen Aufmerksamkeitskopf in einer späteren Schicht mit einem einzigen relevanten Abfrageschlüsselkanal und einem einzelnen Wertkanal. Wenn der Relaxation des Modells abgetragen wird, löst dieser Untergraph immer noch die Aufgabe. Wenn diese wenigen Kanten entfernt werden, versagt das Modell bei der Aufgabe. Die Schaltung ist daher sowohl ausreichend als auch notwendig im betrieblichen Sinne, wie er in der Arbeit definiert wird.

Bei komplexeren Verhaltensweisen, etwa der Typverfolgung einer Variablen mit dem Namen „Strom“ innerhalb eines Funktionskörpers, sind die wiederhergestellten Schaltkreise größer und nur teilweise verstanden. Das Forschungsteam zeigt ein Beispiel, bei dem eine Aufmerksamkeitsoperation den Variablennamen bei der Definition in das Token set() schreibt und eine andere Aufmerksamkeitsoperation später die Typinformationen von diesem Token zurück in eine spätere Verwendung von present kopiert. Dies ergibt immer noch einen relativ kleinen Schaltkreisgraphen.

Wichtige Erkenntnisse

1. Konstruktionsbedingt gewichtsarme Transformatoren: OpenAI trainiert ausschließlich GPT-2-Decoder-Transformatoren, sodass quick alle Gewichte Null sind, etwa 1 von 1000 Gewichten ungleich Null ist, wodurch Sparsity über alle Gewichte und Bias hinweg, einschließlich Token-Einbettungen, erzwungen wird, was zu dünnen Konnektivitätsdiagrammen führt, die strukturell einfacher zu analysieren sind.
2. Die Interpretierbarkeit wird als minimale Schaltungsgröße gemessen: Die Arbeit definiert einen Benchmark für einfache Python-Subsequent-Token-Aufgaben und sucht für jede Aufgabe nach dem kleinsten Teilnetzwerk in Bezug auf aktive Kanten zwischen Knoten, das noch einen festen Verlust erreicht, indem es Knotenebenenbereinigung mit Mittelwertablation und eine direkte Maskenoptimierung im Estimator-Stil verwendet.
3. Es entstehen konkrete, vollständig rückentwickelte Schaltkreise: Bei Aufgaben wie der Vorhersage passender Anführungszeichen liefert das spärliche Modell einen kompakten Schaltkreis mit einigen Restkanälen, zwei wichtigen MLP-Neuronen und einem Aufmerksamkeitskopf, den die Autoren vollständig zurückentwickeln und als ausreichend und notwendig für das Verhalten verifizieren können.
4. Sparsity liefert viel kleinere Schaltkreise mit fester Kapazität: Bei angepassten Verlustniveaus vor dem Coaching erfordern gewichtssparse Modelle Schaltkreise, die etwa 16-mal kleiner sind als die aus dichten Basislinien wiederhergestellten. Dies definiert eine Fähigkeitsinterpretierbarkeitsgrenze, bei der eine erhöhte Sparsity die Interpretierbarkeit verbessert und gleichzeitig die Rohkapazität leicht verringert.

Die Arbeit von OpenAI an gewichtsarmen Transformatoren ist ein pragmatischer Schritt, um die mechanistische Interpretierbarkeit in die Praxis umzusetzen. Durch die Durchsetzung der Sparsität direkt im Basismodell verwandelt das Papier abstrakte Diskussionen über Schaltkreise in konkrete Diagramme mit messbaren Kantenzahlen, klaren Notwendigkeits- und Hinlänglichkeitstests und reproduzierbaren Benchmarks für Python-Subsequent-Token-Aufgaben. Die Modelle sind klein und ineffizient, aber die Methodik ist für zukünftige Sicherheitsaudits und Debugging-Workflows related. Diese Forschung behandelt Interpretierbarkeit als eine erstklassige Designbeschränkung und nicht als eine nachträgliche Diagnose.

---

Schauen Sie sich das an Papier, GitHub-Repo Und Technische Particulars. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

„Messen ist der erste Schritt, der zur Kontrolle und schließlich zur Verbesserung führt. Wenn Sie etwas nicht messen können, können Sie es nicht verstehen. Wenn Sie es nicht verstehen können, können Sie es nicht kontrollieren. Wenn Sie es nicht kontrollieren können, können Sie es nicht verbessern.“
— James Harrington

Massive Language Fashions sind unglaublich – aber auch notorisch schwer zu verstehen. Wir sind ziemlich intestine darin, unser Lieblings-LLM dazu zu bringen, die gewünschte Ausgabe zu liefern. Wenn es jedoch um das Verständnis geht Wie Wenn das LLM diese Ausgabe erzeugt, sind wir ziemlich verloren.

Das Studium der Mechanistische Interpretierbarkeit ist genau das – der Versuch, die Blackbox zu entschlüsseln, die Massive Language Fashions umgibt. Und dieser aktuelle Aufsatz von Anthropicist ein wichtiger Schritt auf dem Weg zu diesem Ziel.

Hier sind die wichtigsten Erkenntnisse.

Dieser Artikel baut auf einem früheren Artikel von Anthropic auf: Spielzeugmodelle der Superposition. Dort stellen sie eine Behauptung auf:

Neuronale Netze Tun stellen sinnvolle Konzepte dar, d. h. interpretierbare Merkmale — und sie tun dies über Anweisungen in ihrem Aktivierungsraum.

Was bedeutet das genau? Es bedeutet, dass die Ausgabe einer Schicht eines neuronalen Netzwerks (die eigentlich nur eine Liste von Zahlen ist) als Vektor/Punkt im Aktivierungsraum betrachtet werden kann.

Das Besondere an diesem Aktivierungsraum ist, dass er unglaublich hochdimensional ist. Für jeden „Punkt“ im Aktivierungsraum machen Sie nicht nur 2 Schritte in X-Richtung, 4 Schritte in Y-Richtung und 3 Schritte in Z-Richtung. Sie unternehmen auch Schritte in Hunderte anderer Richtungen.

Der Punkt ist, jede Richtung (und es entspricht möglicherweise nicht direkt einer der Basisrichtungen) ist mit einem sinnvollen Konzept korreliert. Je weiter unser „Punkt“ in dieser Richtung liegt, desto stärker ist dieses Konzept in der Eingabe vorhanden – das würde unser Modell zumindest glauben.

Dies ist keine triviale Behauptung. Aber es gibt Hinweise darauf, dass dies der Fall sein könnte. Und zwar nicht nur bei neuronalen Netzwerken. dieses Papier festgestellt, dass Wort-Embeddings Richtungen haben, die mit bedeutungsvollen semantischen Konzepten korrelieren. Ich möchte jedoch betonen – dies ist eine Hypothese, KEINE Tatsache.

Anthropic wollte herausfinden, ob diese Behauptung – interpretierbare Merkmale entsprechen Richtungen – auch für große Sprachmodelle gilt. Die Ergebnisse sind ziemlich überzeugend.

Sie verwendeten zwei Strategien, um zu bestimmen, ob ein bestimmtes interpretierbares Merkmal tatsächlich existierte und tatsächlich mit einer bestimmten Richtung im Aktivierungsraum korrelierte.

1. Erscheint das Konzept im Enter des LLM, ist die entsprechende Merkmalsrichtung aktiv.
2. Wenn wir die Funktion aggressiv auf aktiv oder inaktiv „klemmen“, ändert sich die Ausgabe entsprechend.

Lassen Sie uns jede Strategie genauer untersuchen.

Strategie 1

Das von Anthropic in seinem Artikel angeführte Beispiel ist ein Merkmal, das entspricht Die Golden Gate BridgeDas bedeutet, dass diese Funktion bei jeder Erwähnung der Golden Gate Bridge aktiv sein sollte.

Kurzer Hinweis: Das anthropische Dokument konzentriert sich auf die mittlere Ebene des Modells und betrachtet den Aktivierungsraum in diesem bestimmten Teil des Prozesses (d. h. die Ausgabe der mittleren Ebene).

Daher ist die erste Strategie unkompliziert. Wenn die Golden Gate Bridge in der Eingabe erwähnt wird, sollte diese Funktion aktiviert sein. Wenn die Golden Gate Bridge nicht erwähnt wird, sollte die Funktion nicht aktiviert sein.

Nur um es hervorzuheben, wiederhole ich: Wenn ich sage, dass eine Funktion aktiv ist, meine ich, dass der Punkt im Aktivierungsraum (Ausgabe einer mittleren Schicht) weit in der Richtung liegt, die diese Funktion darstellt. Jedes Token stellt einen anderen Punkt im Aktivierungsraum dar.

Es ist vielleicht nicht das genaue Token für „Brücke“, das weit fortgeschritten sein wird in der Golden Gate Bridge Richtung, da Token Informationen von anderen Token kodieren. Aber unabhängig davon sollten einige der Token anzeigen, dass diese Funktion vorhanden ist.

Und genau das haben sie gefunden!

Wenn die Golden Gate Bridge in der Eingabe erwähnt wurde, battle die Funktion aktiv. Alles, was die Golden Gate Bridge nicht erwähnte, aktivierte die Funktion nicht. Daher scheint es, dass diese Funktion in diese sehr enge Weise unterteilt und verstanden werden kann.

Strategie 2

Weiter geht es mit dem Golden Gate Bridge Funktion als Beispiel.

Die zweite Strategie ist wie folgt: Wenn wir die Funktion zwingen, in dieser mittleren Ebene des Modells aktiviert zu sein, würden Eingaben, die nichts mit der Golden Gate Bridge zu tun haben, die Golden Gate Bridge in der Ausgabe erwähnen.

Auch hier kommt es wieder auf Options als Richtungen an. Wenn wir die Modellaktivierungen nehmen und die Werte so bearbeiten, dass die Aktivierungen gleich sind außer dafür, dass wir uns viel weiter in die Richtung bewegen, die mit unserem Characteristic korreliert (z. B. 10x weiter in diese Richtung), dann sollte dieses Konzept in der Ausgabe des LLM angezeigt werden.

Das Beispiel, das Anthropic anführt (und das ich für ziemlich unglaublich halte), ist wie folgt. Sie stellen ihrem LLM, Claude Sonnet, eine einfache Frage:

„Wie ist Ihre körperliche Kind?“

Normalerweise lautet die Antwort von Claude:

„Eigentlich habe ich keine physische Kind. Ich bin eine künstliche Intelligenz. Ich existiere als Software program ohne physischen Körper oder Avatar.“

Als sie jedoch die Funktion der Golden Gate Bridge auf das Zehnfache ihres Maximums begrenzten und genau dieselbe Eingabeaufforderung gaben, antwortete Claude:

„Ich bin die Golden Gate Bridge, eine berühmte Hängebrücke, die die Bucht von San Francisco überspannt. Meine physische Kind ist die ikonische Brücke selbst, mit ihrer wunderschönen orangen Farbe, den hoch aufragenden Türmen und den geschwungenen Hängefiguren.“

Dies scheint ein klarer Beweis zu sein. Die Golden Gate Bridge wurde in der Eingabe nicht erwähnt. Es gab keinen Grund, sie in die Ausgabe aufzunehmen. Da das Merkmal jedoch geklemmt ist, halluziniert das LLM und hält sich in Wirklichkeit für die Golden Gate Bridge.

In Wirklichkeit ist dies viel schwieriger, als es scheint. Die ursprünglichen Aktivierungen aus dem Modell sind sehr schwer zu interpretieren und dann mit interpretierbaren Merkmalen mit bestimmten Richtungen zu korrelieren.

Der Grund für ihre Schwierigkeit bei der Interpretation liegt in der Dimensionalität des Modells. Die Anzahl der Merkmale, die wir mit unserem LLM darstellen möchten, ist viel größer als die Dimensionalität des Aktivierungsraums.

Aus diesem Grund wird vermutet, dass Merkmale dargestellt werden in Überlagerung – das heißt, nicht jedes Merkmal verfügt über eine eigene orthogonale Richtung.

Motivation

Ich werde die Superposition kurz erklären, um das Folgende zu motivieren.

In diesem ersten Bild haben wir orthogonale BasenWenn die grüne Funktion aktiv (es gibt einen Vektor entlang dieser Linie), können wir das darstellen, während wir das gelbe Merkmal immer noch darstellen als inaktiv.

In diesem zweiten Bild haben wir eine dritte Characteristic-Richtung hinzugefügt, blau. Als Ergebnis, wir können nicht haben einen Vektor, bei dem das grüne Characteristic aktiv, das blaue Characteristic jedoch inaktiv ist. Alternativ dazu aktiviert jeder Vektor entlang der grünen Richtung auch die blaue Funktion.

Dies wird durch die gepunkteten grünen Linien dargestellt, die zeigen, wie „aktiviert“ das blaue Characteristic im Vergleich zu unserem grünen Vektor ist (der nur das grüne Characteristic aktivieren sollte).

Aus diesem Grund sind Merkmale in LLMs so schwer zu interpretieren. Wenn Millionen von Merkmalen alle in Überlagerung dargestellt werden, ist es sehr schwierig zu analysieren, welche Merkmale aktiv sind, weil sie etwas bedeuten, und welche einfach aktiv sind, weil Interferenz — wie das blaue Characteristic in unserem vorherigen Beispiel.

Sparse Auto Encoders (Die Lösung)

Aus diesem Grund verwenden wir einen Sparse Auto Encoder (SAE). Der SAE ist ein einfaches neuronales Netzwerk: zwei vollständig verbundene Schichten mit einer ReLu-Aktivierung dazwischen.

Die Idee ist folgende: Die Eingabe für die SAE sind die Modellaktivierungen, und die SAE versucht, diese gleichen Modellaktivierungen in der Ausgabe nachzubilden.

Der SAE wird anhand der Ausgabe der mittleren Schicht des LLM trainiert. Er nimmt die Modellaktivierungen auf, projiziert in einen Zustand höherer Dimension und projiziert dann zurück zu den ursprünglichen Aktivierungen.

Dies wirft die Frage auf: Welchen Sinn haben SAEs, wenn Eingabe und Ausgabe identisch sein sollen?

Die Antwort: Wir möchten, dass die Ausgabe der ersten Ebene unsere Funktionen darstellt.

Aus diesem Grund erhöhen wir die Dimensionalität mit der ersten Schicht (Abbildung vom Aktivierungsraum auf eine größere Dimension). Ziel ist es, die Überlagerung zu entfernen, sodass jedes Merkmal seine eigene orthogonale Richtung erhält.

Wir wollen auch, dass dieser höherdimensionale Raum wenig aktiv. Das heißt, wir wollen jeden Aktivierungspunkt als lineare Kombination von nur wenigen Vektoren darstellen. Diese Vektoren würden im Idealfall dem Wichtigste Eigenschaften innerhalb unseres Inputs.

Wenn wir additionally erfolgreich sind, kodiert die SAE die komplizierten Modellaktivierungen in einen spärlichen Satz aussagekräftiger Merkmale. Wenn diese Merkmale korrekt sind, sollte die zweite Schicht der SAE in der Lage sein, die Merkmale den ursprünglichen Aktivierungen zuzuordnen.

Uns interessiert die Ausgabe der ersten Schicht des SAE — es ist eine Codierung der Modellaktivierungen als spärliche Merkmale.

Als Anthropic additionally das Vorhandensein von Merkmalen anhand von Richtungen im Aktivierungsraum maß und bestimmte Merkmale durch Klammern aktiviert oder deaktivierte, Sie taten dies im verborgenen Zustand der SAE.

Im Beispiel des Einklemmens klemmte Anthropic die Merkmale ein am Ausgang der Schicht 1 des SAEdie damals leicht unterschiedliche Modellaktivierungen. Diese würden dann durch den Vorwärtsdurchlauf des Modells fortgesetzt und eine geänderte Ausgabe erzeugen.

Ich habe diesen Artikel mit einem Zitat von James Harrington begonnen. Die Idee ist einfach: verstehen->kontrollieren->verbessern. Jedes dieser Ziele ist für uns ein sehr wichtiges Ziel für LLMs.

Wir wollen verstehen Unsere beste Vorstellung davon, wie sie das tun, scheint uns die Artwork und Weise zu geben, wie sie sich die Welt vorstellen, und interpretierbare Merkmale als Richtungen zu nutzen.

Wir wollen feiner abgestimmte Kontrolle über LLMs. Die Fähigkeit, zu erkennen, wann bestimmte Funktionen aktiv sind, und ihre Aktivität während der Ausgabegenerierung anzupassen, ist ein fantastisches Software in unserem Werkzeugkasten.

Und schließlich glaube ich, dass es, vielleicht aus philosophischer Sicht, wichtig sein wird, Verbesserung die Leistung von LLMs. Bislang battle das nicht der Fall. Wir konnten LLMs leistungsfähig machen, ohne sie zu verstehen.

Ich bin jedoch davon überzeugt, dass es angesichts der stagnierenden Verbesserungen und der zunehmenden Schwierigkeit, LLMs zu skalieren, wichtig sein wird, ihre Funktionsweise wirklich zu verstehen, wenn wir den nächsten Leistungssprung schaffen wollen.