Untersuchungen haben gezeigt, dass große Sprachmodelle (LLMs) dazu neigen, Informationen zu Beginn und am Ende eines Dokuments oder Gesprächs zu überschätzen und gleichzeitig die Mitte zu vernachlässigen.
Diese „Positionsbias“ bedeutet, dass, wenn ein Anwalt einen LLM-betriebenen virtuellen Assistenten verwendet, um eine bestimmte Phrase in einer 30-seitigen eidesstattlichen Erklärung abzurufen, bei der LLM eher den richtigen Textual content findet, wenn er sich auf den ersten oder endgültigen Seiten befindet.
MIT -Forscher haben den Mechanismus hinter diesem Phänomen entdeckt.
Sie haben einen theoretischen Rahmen erstellt, um zu untersuchen, wie Informationen durch die maschinelle Lernarchitektur fließen, die das Rückgrat von LLMs bildet. Sie fanden heraus, dass bestimmte Designoptionen, die steuern, wie das Modell Eingabedaten verarbeitet, eine Positionsverzerrung verursachen kann.
Ihre Experimente zeigten, dass Modellarchitekturen, insbesondere diejenigen, die sich auf die Verbreitung von Informationen über Eingabedaten innerhalb des Modells auswirken, die Positionsverzerrung aufnehmen oder intensivieren können, und dass Trainingsdaten auch zum Drawback beitragen.
Zusätzlich zum Einstellen der Ursprünge der Positionsbias kann ihr Rahmen verwendet werden, um sie in zukünftigen Modelldesigns zu diagnostizieren und zu korrigieren.
Dies könnte zu zuverlässigeren Chatbots führen, die während langer Gespräche, medizinische KI -Systeme, die bei der Behandlung einer Fülle von Patientendaten fairer vermitteln, und Code -Assistenten, die alle Teile eines Programms enger achten, fairer auf das Thema bleiben.
„Diese Modelle sind schwarze Boxen. Als LLM-Nutzer wissen Sie wahrscheinlich nicht, dass die Positionsbias Ihr Modell inkonsistent ist. Sie füttern sie nur Ihre Dokumente in jeder Reihenfolge, die Sie wollen, und erwarten, dass es funktioniert. Aber durch das Verständnis des zugrunde liegenden Mechanismus dieser Black-Field-Modelle. (Deckel) und Erstautor von a Papier zu dieser Forschung.
Zu ihren Co-Autoren gehören Yifei Wang, ein MIT-Postdoc; und Senior -Autoren Stefanie Jegelka, Affiliate Professor für Elektrotechnik und Informatik (EECS) und Mitglied von IDSS und Labor für Informatik und künstliche Intelligenz (CSAIL); und Ali Jadbabaie, Professorin und Leiterin des Abteilung für Zivil- und Umwelttechnik, ein Kernfakultätsmitglied von IDSS und Hauptdetektivin in Lids. Die Forschung wird auf der Internationalen Konferenz über maschinelles Lernen vorgestellt.
Aufmerksamkeit analysieren
LLMs wie Claude, LLAMA und GPT-4 werden von einer Artwork neuronaler Netzwerkarchitektur angetrieben, die als Transformator bekannt ist. Transformatoren sind so konzipiert, dass sie sequentielle Daten verarbeiten, einen Satz in Stücke kodieren, das als Token bezeichnet wird, und dann die Beziehungen zwischen Token zu lernen, um vorherzusagen, welche Wörter als nächstes kommen.
Diese Modelle haben dies aufgrund des Aufmerksamkeitsmechanismus, der miteinander verbundenen Schichten von Datenverarbeitungsknoten verwendet, sehr intestine geworden, um den Kontext zu verstehen, indem es Token ermöglicht, sich selektiv auf verwandte Token zu konzentrieren oder sich darum zu kümmern.
Aber wenn sich jedes Token in einem 30-seitigen Dokument um jedes andere Token kümmern kann, wird dies schnell rechnerisch unlösbar. Wenn additionally Ingenieure Transformer -Modelle bauen, verwenden sie häufig Aufmerksamkeitstechniken, die die Wörter einschränken, die ein Token betreuen kann.
Zum Beispiel erlaubt eine Kausalmaske nur Wörter, sich um diejenigen zu kümmern, die davor kamen.
Ingenieure verwenden auch Positionscodierungen, um dem Modell die Place jedes Wortes in einem Satz zu verstehen und die Leistung zu verbessern.
Die MIT-Forscher bauten einen theoretischen Rahmen für grafische basierte theoretische Rahmen, um zu untersuchen, wie diese Modellierungsauswahl, Aufmerksamkeitsmasken und Positionscodierungen die Positionsverzerrung beeinflussen können.
„Alles ist im Aufmerksamkeitsmechanismus gekoppelt und verheddert, daher ist es sehr schwer zu untersuchen. Diagramme sind eine versatile Sprache, um die abhängige Beziehung zwischen Wörtern im Aufmerksamkeitsmechanismus zu beschreiben und sie über mehrere Schichten hinweg zu verfolgen“, sagt Wu.
Ihre theoretische Analyse deutete darauf hin, dass die kausale Maskierung dem Modell eine inhärente Verzerrung zum Beginn einer Eingabe ergibt, selbst wenn diese Verzerrung in den Daten nicht vorhanden ist.
Wenn die früheren Wörter für die Bedeutung eines Satzes relativ unwichtig sind, kann die kausale Maskierung den Transformator trotzdem mehr Aufmerksamkeit schenken.
„Obwohl es oft wahr ist, dass frühere Wörter und spätere Wörter in einem Satz wichtiger sind, wenn ein LLM für eine Aufgabe verwendet wird, die keine natürliche Sprachgenerierung ist, wie das Rating oder das Abrufen von Informationen, können diese Vorurteile äußerst schädlich sein“, sagt Wu.
Wenn ein Modell wächst, wird diese Verzerrung mit zusätzlichen Schichten von Aufmerksamkeitsmechanismus verstärkt, da frühere Teile der Eingabe im Argumentationsprozess des Modells häufiger verwendet werden.
Sie stellten auch fest, dass die Verwendung von Positionscodierungen zum Verknüpfen von Wörtern stärker mit Wörtern in der Nähe die Positionsverzerrung mildern kann. Die Technik resultiert die Aufmerksamkeit des Modells am richtigen Ort, aber ihr Effekt kann in Modellen mit mehr Aufmerksamkeitsschichten verdünnt werden.
Und diese Designoptionen sind nur eine Ursache für die Positionsverzerrung – einige können aus Trainingsdaten stammen, mit denen das Modell in einer Sequenz priorisiert werden.
„Wenn Sie wissen, dass Ihre Daten auf eine bestimmte Weise voreingenommen sind, sollten Sie Ihr Modell auch über die Anpassung Ihrer Modellierungsauswahl einstellen“, sagt Wu.
In der Mitte verloren
Nachdem sie einen theoretischen Rahmen eingerichtet hatten, führten die Forscher Experimente durch, in denen sie die Place der richtigen Antwort in Textsequenzen systematisch für eine Aufgabe des Informationsabrufs variierten.
Die Experimente zeigten ein Phänomen „verloren in der Mitte“, bei dem die Abrufgenauigkeit einem U-förmigen Muster folgte. Die Modelle wurden am besten durchgeführt, wenn sich die richtige Antwort am Anfang der Sequenz befand. Die Leistung ging zurück, je näher sie in die Mitte kam, bevor die richtige Antwort gegen Ende des Jahres zurückprallte.
Letztendlich deutet ihre Arbeit darauf hin, dass die Verwendung einer anderen Maskierungstechnik, das Entfernen zusätzlicher Schichten aus dem Aufmerksamkeitsmechanismus oder die strategische Verwendung von Positionscodierungen die Positionsverzerrung verringern und die Genauigkeit eines Modells verbessern können.
„Durch eine Kombination aus Theorie und Experimenten konnten wir die Konsequenzen von Modelldesignauswahl ansehen, die zu diesem Zeitpunkt nicht klar waren. Wenn Sie ein Modell in Anwendungen mit hohen Einsätzen verwenden möchten, müssen Sie wissen, wann es funktioniert, wann und warum nicht“, sagt Jadbabaie.
In Zukunft möchten die Forscher die Auswirkungen von Positionscodierungen weiter untersuchen und untersuchen, wie in bestimmten Anwendungen strategisch genutzt werden können.
„Diese Forscher bieten eine seltene theoretische Linse in den Aufmerksamkeitsmechanismus im Herzen des Transformatormodells an. Sie bieten eine überzeugende Analyse, die langjährige Macken im Transformatorverhalten verdeutlicht, dass Aufmerksamkeitsmechanismen, insbesondere mit kausalen Masken, von Natur aus von Natur aus voreingenommener Voreingenommenheit Modelle zu Beginn der Sequenzen. Saberi, Professor und Direktor des Stanford College Heart for Computational Market Design, der nicht an dieser Arbeit beteiligt conflict.
Diese Forschung wird teilweise vom US -Büro für Marineforschung, der Nationwide Science Basis und einer Professur von Alexander von Humboldt unterstützt.