Aktie

Submit


Aktie

In diesem Artikel erfahren Sie, wie Logits, Temperatur und High-P-Sampling zusammenarbeiten, um die Vorhersage des nächsten Tokens in großen Sprachmodellen zu steuern.

Zu den Themen, die wir behandeln werden, gehören:

• Was Logits sind und wie sie von der letzten linearen Schicht eines Transformators erzeugt werden.
• Wie Temperatur und High-P (Kernprobenahme) die Wahrscheinlichkeitsverteilung beeinflussen, die für die Token-Auswahl verwendet wird.
• Wie diese drei Komponenten in eine sequentielle Pipeline passen, die die LLM-Ausgabegenerierung steuert.

Einführung

Wenn große Sprachmodelle, kurz LLMs, Ergebnisse produzieren, stehen mehrere Kriterien auf dem Spiel, darunter nicht nur die allgemeine Antwortrelevanz, sondern auch Kohärenz und Kreativität. Da die Modelle tief im Inneren arbeiten, indem sie ihre Antwort Wort für Wort – oder genauer gesagt Token für Token – aufbauen, ist die Erfassung dieser wünschenswerten Eigenschaften eine Frage der mathematischen Anpassung der Ausgabewahrscheinlichkeitsverteilungen, die den Vorhersageprozess für den nächsten Token steuern.

In diesem Artikel werden die Mechanismen hinter LLM-Dekodierungsstrategien aus statistischer Sicht vorgestellt. Insbesondere werden wir untersuchen, wie das Rohmodell punktet, bekannt als Protokollemit zwei anderen Modelleinstellungen interagieren – Temperatur Und top-p – das sind drei Schlüsselparameter, die zur Steuerung des Token-Auswahlprozesses verwendet werden.

Während wir uns darauf konzentrieren werden, zu untersuchen, was in den allerletzten Phasen der zugrunde liegenden Architektur der LLMs, auch bekannt als Transformator, passiert, können Sie dies überprüfen dieser Artikel wenn Sie einen prägnanten Überblick über den gesamten Prozess und die Reise der Token von Anfang bis Ende benötigen.

Was sind Logits?

In neuronalen Netzen werden die rohen, nicht normalisierten Ergebnisse, die (normalerweise in den letzten linearen Schichten) erzeugt werden, bevor sie in Wahrscheinlichkeiten möglicher Ergebnisse (z. B. Klassen) umgewandelt werden, als Logits bezeichnet. Während Logits seit der Ära klassischer Klassifizierungsmodelle für maschinelles Lernen wie der Softmax-Regression verwendet werden, gilt das gleiche Prinzip immer noch für die letzte lineare Schicht von Transformatormodellen. Diese letzte Schicht verarbeitet verborgene Zustände – die nach und nach angesammeltes linguistisches Wissen über den im gesamten Transformator gesammelten Eingabetext enthalten – und gibt einen Vektor von Logits aus. Wie viele? So viele wie die Vokabulargröße des Modells, dh die Anzahl möglicher Token, die das Modell generieren kann.

Sehen Sie sich zum Beispiel das Diagramm oben an. Wenn ein LLM, der für die Übersetzung vom Englischen ins Spanische geschult ist, das nächste Wort nach der generierten Sequenz „me gusta mucho“ (die Übersetzung von „Ich magazine es wirklich“) vorhersagt, könnte er einen rohen Logit-Wert von 12,5 für „viajar“ (Reisen), 8,2 für „jugar“ (Spielen) und -3,1 für „dormir“ (Schlaf) ausgeben. Diese Rohwerte sind unbegrenzt und daher schwer direkt zu interpretieren; Daher wird eine Softmax-Funktion auf die endgültige lineare Ebene angewendet, um diese Logits in eine standardmäßige, interpretierbare Wahrscheinlichkeitsverteilung über Vokabular-Tokens umzuwandeln, sodass alle Werte 1 ergeben.

Was sind Temperatur und High-p?

Sobald wir eine Wahrscheinlichkeitsverteilung über das Zielvokabular haben, wählen LLMs dann einfach den Token mit der höchsten Wahrscheinlichkeit als nächsten zu generieren aus? Nicht ganz, aber der wahre Prozess ähnelt stark diesem Szenario. Der nächste Token wird aus der Verteilung abgetastet, und wie diese Abtastung funktioniert, hängt von mehreren Decodierungsparametern ab, zwei der wichtigsten sind Temperatur und High-P.

• Temperatur ist ein Skalierungsfaktor, der vor dem Softmax-Schritt auf die Logits angewendet wird. Eine hohe Temperatur (z. B. über 1) flacht die resultierenden Wahrscheinlichkeiten ab und macht sie gleichmäßiger. Dadurch nehmen Unsicherheit und Unvorhersehbarkeit zu und das Modell verhält sich kreativer. Eine niedrige Temperatur (z. B. deutlich unter 1) verschärft die Unterschiede zwischen Token mit hoher und niedriger Wahrscheinlichkeit, erhöht die Sicherheit und begünstigt stark die wahrscheinlichsten Token in der ursprünglichen Verteilung. Mehr zum Thema Temperatur finden Sie hier verwandter Artikel.
• High-pauch genannt Kernprobenahmeist ein weiterer Ansatz zur Steuerung der Zufälligkeit der Auswahl des nächsten Tokens. Anstatt die Wahrscheinlichkeiten zu skalieren, begrenzt es den Pool der Kandidaten, aus denen die Stichprobe ausgewählt werden kann. Während ähnliche Strategien wie top-k nur die okay Token mit der höchsten Wahrscheinlichkeit berücksichtigen, identifiziert top-p den kleinsten Satz von Token, deren kumulative Wahrscheinlichkeit einen Schwellenwert p erreicht oder überschreitet, was sie anpassungsfähiger und flexibler macht. Mit anderen Worten: Wenn wir p=0,9 setzen, sortiert top-p die Token nach Wahrscheinlichkeit und fügt sie so lange einem Kandidatenpool hinzu, bis ihre kumulative Wahrscheinlichkeit 0,9 erreicht.

Die vollständige Komplettlösung: Wie hängen diese Konzepte zusammen?

Logit-zu-Wahrscheinlichkeitsberechnung, Temperatur und High-P können in einer sequentiellen mehrstufigen Pipeline kombiniert werden, um LLM-Ausgaben, d. h. Subsequent-Token-Vorhersagen, zu erzeugen.

Zunächst generiert das Modell Rohlogits für alle möglichen Token, wie oben beschrieben. Durch die Skalierung dieser Rohlogits kommt dann die Temperatur ins Spiel – beachten Sie, dass dies geschieht vor Die Softmax-Funktion wandelt sie in Wahrscheinlichkeiten um. Je nach Temperaturwert sieht die resultierende Verteilung gleichmäßiger (hohe Temperatur, mehr Unsicherheit) oder schärfer (niedrige Temperatur, höhere Sicherheit) aus.

Sobald die skalierten Logits in Wahrscheinlichkeiten umgewandelt wurden, wird High-P angewendet, um die resultierende Verteilung zu filtern und kumulative Wahrscheinlichkeiten zu berechnen, um nur einen Kern-„Kernpool“ der wahrscheinlichsten Token beizubehalten (siehe Schritt 3 im Bild oben). Schließlich führt das Modell zufällige Stichproben aus diesem Pool durch, um den nächsten Token auszuwählen.

Schlussbemerkungen

Nachdem wir nun den statistischen Prozess hinter der Token-Auswahl in LLMs entmystifiziert haben, ist es nützlich zu überlegen, wie Werte für Temperatur und High-P in der Praxis ausgewählt werden. Als Entwickler möchten Sie für Ihren Anwendungsfall die richtige Steadiness zwischen Vorhersehbarkeit und Kreativität definieren. Für sachliche, hochriskante Szenarien wie Codierung oder rechtliche Analysen sind eine niedrige Temperatur und ein strengeres High-P ratsam – z t=0.1 Und p=0.5 – was zu hoch deterministischen Modellantworten führt. Für kreative Bereiche wie die Generierung von Gedichten oder Brainstorming ermöglichen eine höhere Temperatur und High-p, wie z. B. t=0,8 und p=0,95, eine größere Auswahl an Kandidaten-Tokens im Auswahlpool.

Aktie

Submit


Aktie

Bild vom Autor | Midjourney & Canva

Die Schwesterseite von KDnuggets, Statologiebietet eine große Auswahl an verfügbaren, von Experten verfassten Statistikinhalten, die sich über ein paar Jahre angesammelt haben. Wir haben uns entschieden, unsere Leser auf diese großartige Ressource für Statistik-, Mathematik-, Datenwissenschafts- und Programmierinhalte aufmerksam zu machen, indem wir einige der fantastischen Tutorials organisieren und mit der KDnuggets-Neighborhood teilen.

Statistik zu lernen kann schwierig sein. Es kann frustrierend sein. Und vor allem kann es verwirrend sein. Deshalb Statologie ist hier, um zu helfen.

Diese erste Sammlung dieser Artwork beschäftigt sich mit Einführungen in die Statistik. Wenn Sie sich die folgenden Tutorials der Reihe nach ansehen, werden Sie am Ende ein solides Verständnis haben, auf dem Sie aufbauen können, und in der Lage sein, einen Großteil des restlichen Inhalts von Statology zu verstehen und zu nutzen.

Warum sind Statistiken wichtig?

Die Statistik ist das Gebiet, das uns helfen kann zu verstehen, wie wir diese Daten für folgende Dinge nutzen können:

• Gewinnen Sie ein besseres Verständnis der Welt um uns herum.
• Treffen Sie Entscheidungen auf der Grundlage von Daten.
• Treffen Sie anhand von Daten Vorhersagen über die Zukunft.

In diesem Artikel nennen wir 10 Gründe, warum das Gebiet der Statistik im modernen Leben so wichtig ist.

Deskriptive vs. Inferenzstatistik: Was ist der Unterschied?

Im Bereich der Statistik gibt es zwei Hauptzweige:

• Beschreibende Statistik
• Inferenzstatistik

In diesem Tutorial wird der Unterschied zwischen den beiden Zweigen erläutert und warum jeder von ihnen in bestimmten Situationen nützlich ist.

Inhabitants vs. Stichprobe: Was ist der Unterschied?

In der Statistik sind wir oft daran interessiert, Daten zu sammeln, um Forschungsfragen beantworten zu können.

Beispielsweise möchten wir möglicherweise die folgenden Fragen beantworten:

1. Wie hoch ist das mittlere Haushaltseinkommen in Miami, Florida?
2. Was ist das Durchschnittsgewicht einer bestimmten Schildkrötenpopulation?
3. Wie viel Prozent der Einwohner eines bestimmten Landkreises unterstützen ein bestimmtes Gesetz?

In jedem Szenario möchten wir eine Frage zu einer Inhabitants beantworten, die jedes mögliche individuelle Component darstellt, das wir messen möchten.

Statistik vs. Parameter: Was ist der Unterschied?

Es gibt im Bereich der Inferenzstatistik zwei wichtige Begriffe, deren Unterschied Sie kennen sollten: Statistik und Parameter.

In diesem Artikel finden Sie die Definition der einzelnen Begriffe sowie ein Beispiel aus der Praxis und mehrere Übungsaufgaben, die Ihnen helfen sollen, den Unterschied zwischen den beiden Begriffen besser zu verstehen.

Qualitative vs. quantitative Variablen: Was ist der Unterschied?

In der Statistik gibt es zwei Arten von Variablen:

1. Quantitative Variablen: Manchmal auch als „numerische“ Variablen bezeichnet, sind dies Variablen, die eine messbare Menge darstellen.
2. Qualitative Variablen: Manchmal auch als „kategorische“ Variablen bezeichnet. Dabei handelt es sich um Variablen, die Namen oder Bezeichnungen annehmen und in Kategorien passen.

Jede einzelne Variable, die Sie jemals in der Statistik antreffen, kann als quantitativ oder qualitativ klassifiziert werden.

Messniveaus: Nominal, Ordinal, Intervall und Verhältnis

In der Statistik verwenden wir Daten, um interessante Fragen zu beantworten. Aber nicht alle Daten sind gleich. Es gibt tatsächlich vier verschiedene Datenmessskalen, die verwendet werden, um verschiedene Arten von Daten zu kategorisieren:

1. Nominal
2. Ordinal
3. Intervall
4. Verhältnis

In diesem Beitrag definieren wir jede Messskala und geben Beispiele für Variablen, die mit jeder Skala verwendet werden können.

Weitere Inhalte dieser Artwork finden Sie weiterhin bei Statology. Abonnieren Sie den wöchentlichen Publication, um nichts zu verpassen.

Matthias Mayo (@mattmayo13) hat einen Grasp-Abschluss in Informatik und ein Diplom in Knowledge Mining. Als leitender Redakteur von Abonnieren und Statologieund beitragender Redakteur bei Beherrschung des maschinellen LernensMatthew möchte komplexe Konzepte der Datenwissenschaft zugänglich machen. Seine beruflichen Interessen umfassen die Verarbeitung natürlicher Sprache, Sprachmodelle, Algorithmen für maschinelles Lernen und die Erforschung neuer KI. Sein Ziel ist es, das Wissen in der Datenwissenschaftsgemeinschaft zu demokratisieren. Matthew programmiert, seit er sechs Jahre alt ist.