RLM – chatgpz.de – KI-Tools & Praxiswissen

Was sind rekursive Sprachmodelle (RLM)?

admin — Tue, 20 Jan 2026 11:22:58 +0000

[ad_1]

Große Sprachmodelle sind großartig. Dem können wir alle zustimmen. Sie sind ein Eckpfeiler der modernen Industrie und wirken sich zunehmend auf immer mehr Bereiche aus.

Angesichts der ständigen Aktualisierungen und Verbesserungen der Architektur und Fähigkeiten von Sprachmodellen könnte man denken: „Das ist es!“ Leider … Eine aktuelle Entwicklung unter dem Namen RLM oder rekursive Sprachmodelle steht jetzt im Mittelpunkt.

Was ist das? Wie hängt es mit LLMs zusammen? Und wie verschiebt es die Grenzen der KI? Wir werden es in diesem Artikel herausfinden, der diese neueste Technologie auf verständliche Weise analysiert. Beginnen wir damit, die Probleme durchzugehen, die aktuelle LLMs plagen.

Ein grundsätzliches Downside

LLMs haben eine architektonische Grenze. Es heißt Token-Fenster. Dies ist die maximale Anzahl an Token, die das Modell in einem Vorwärtsdurchlauf physisch lesen kann, bestimmt durch die Positionseinbettungen + den Speicher des Transformators. Wenn die Eingabe länger als diese Grenze ist, kann das Modell sie nicht verarbeiten. Es ist, als würde man versuchen, eine 5-GB-Datei in ein 500-MB-RAM-Programm zu laden. Es führt zu einem Überlauf! Hier sind die Token-Fenster einiger beliebter Modelle:

Modell	Max-Token-Fenster
Google Gemini (neueste Model)	1.000.000
OpenAI GPT-5 (neueste Model)	400.000
Anthropic Claude (neueste)	200.000

Normalerweise gilt: Je größer die Zahl, desto besser das Modell … Oder doch?

Kontextfäule: Der versteckte Fehler vor dem Restrict

Hier ist der Haken. Selbst wenn eine Eingabeaufforderung in das Token-Fenster passt, nimmt die Modellqualität mit zunehmender Länge der Eingabe stillschweigend ab. Die Aufmerksamkeit wird diffus, frühere Informationen verlieren an Einfluss und das Modell beginnt, Verbindungen über entfernte Textteile hinweg zu übersehen. Dieses Phänomen ist bekannt als Kontextfäule.

Obwohl ein Modell technisch gesehen 1 Million Token akzeptieren kann, ist dies oft nicht möglich Grund zuverlässig in allen Bereichen. In der Praxis bricht die Leistung lange vor Erreichen des Token-Fensters ein.

Kontextfenster

Beispiel eines Kontextfensters

Kontextfenster ist wie viele Informationen das Modell tatsächlich nutzen kann, lange bevor die Leistung einbricht. Diese Zahl ändert sich je nach Komplexität der Eingabeaufforderung und der Artwork der verarbeiteten Daten. Der wirksam Das Kontextfenster eines LLM ist viel kleiner als das Tokenfenster. Und im Gegensatz zum Token-Fenster, das mehr oder weniger eindeutig ist, ändert sich das Kontextfenster mit der Komplexität der Eingabeaufforderung. Dies zeigt sich an der schlechten Leistung von LLMs mit großen Tokenfenstern bei Argumentationsaufgaben, da quick alle gleichzeitig zugeführten Informationen beibehalten werden müssen.

Das ist ein Downside. Lange Kontextfenster und folglich Token-Fenster sind wünschenswert, aber ein Kontextverlust (aufgrund ihrer Länge) ist unvermeidbar … oder zumindest so Conflict.

Rekursive Sprachmodelle: Zur Rettung

Trotz des Namens handelt es sich bei RLMs nicht um eine neue Modellklasse wie LLM. VLMSLM usw. Stattdessen ist es ein Inferenzstrategie. Eine Lösung für das Downside der Kontextfäule in langen Eingabeaufforderungen. RLMs behandeln lange Eingabeaufforderungen als Teil einer externen Umgebung und ermöglichen dies LLM um sich über Ausschnitte der Eingabeaufforderung programmgesteuert zu untersuchen, zu zerlegen und rekursiv aufzurufen.

Dadurch wird das Kontextfenster effektiv um ein Vielfaches größer als üblich. Dies geschieht auf ähnliche Weise:

Ein rekursives Sprachmodell (RLM) behandelt Eingabeaufforderungen als Teil der Umgebung | Quelle: arXiv

Konzeptionell bietet RLM einen externen LLM-Speicher und eine Möglichkeit, damit zu arbeiten. So funktioniert es:

Die Eingabeaufforderung wird in eine Variable geladen.
Diese Variable wird abhängig vom Speicher oder einer fest codierten Zahl gespleißt.
Diese Daten werden an das LLM gesendet und ihre Ausgabe wird als Referenz gespeichert.
Ebenso werden alle Teile der Eingabeaufforderung einzeln verarbeitet und ihre Ausgaben aufgezeichnet.
Diese Liste von Ausgaben wird verwendet, um die endgültige Antwort des Modells zu erzeugen.

Ein Untermodell wie o3-mini oder ein anderes praktisches Modell könnte verwendet werden, um das Modell bei der Zusammenfassung oder Begründung lokal in einer Untereingabeaufforderung zu unterstützen.

Ist das nicht… Chunking?

Auf den ersten Blick magazine das wie verherrlichtes Chunking aussehen. Aber es ist grundlegend anders. Beim herkömmlichen Chunking wird das Modell dazu gezwungen, frühere Teile zu vergessen, während es sich vorwärts bewegt. RLM hält alles außerhalb des Modells am Leben und ermöglicht es dem LLM, jedes Teil bei Bedarf selektiv erneut aufzurufen. Es geht nicht darum, die Erinnerung zusammenzufassen, sondern darin zu navigieren.

Welche Probleme RLM endlich löst

RLM macht Dinge frei, an denen normale LLMs regelmäßig scheitern:

Argumentation zu massiven Daten: Anstatt frühere Teile zu vergessen, kann das Modell jeden Abschnitt großer Eingaben erneut aufrufen.
Synthese mehrerer Dokumente: Es zieht Beweise aus verstreuten Quellen, ohne an Kontextgrenzen zu stoßen.
Informationsreiche Aufgaben: Funktioniert auch dann, wenn die Antworten von quick jeder Zeile der Eingabe abhängen.
Lange strukturierte Ausgaben: Erstellt Ergebnisse außerhalb des Token-Fensters und fügt sie sauber zusammen.

Kurz gesagt: Mit RLM können LLMs Skalierung, Dichte und Struktur verwalten, die herkömmliche Eingabeaufforderungen übertreffen.

Die Kompromisse

Bei allem, was RLM löst, gibt es auch ein paar Nachteile:

Einschränkung	Auswirkungen
Sofortige Nichtübereinstimmung zwischen den Modellen	Die gleiche RLM-Eingabeaufforderung führt zu instabilem Verhalten und übermäßigen rekursiven Aufrufen
Erfordert starke Programmierfähigkeiten	Schwächere Modelle können den Kontext in der REPL nicht zuverlässig manipulieren
Erschöpfung des Ausgabetokens	Lange Argumentationsketten überschreiten die Ausgabegrenzen und verkürzen die Trajektorien
Keine asynchronen Unteraufrufe	Sequentielle Rekursion erhöht die Latenz erheblich

Kurz gesagt: RLM tauscht pure Geschwindigkeit und Stabilität gegen Skalierbarkeit und Tiefe.

Abschluss

Skalierende LLMs bedeuteten früher mehr Parameter und größere Token-Fenster. RLM führt eine dritte Achse ein: die Inferenzstruktur. Anstatt größere Gehirne aufzubauen, bringen wir Modellen bei, wie sie das Gedächtnis außerhalb ihres Gehirns nutzen können – genau wie Menschen.

Es ist eine ganzheitliche Sichtweise. Es ist nicht mehr das, was vorher battle, wie üblich. Eher eine Neuinterpretation der herkömmlichen Ansätze des Modellbetriebs.

Häufig gestellte Fragen

Q1. Welches Downside lösen rekursive Sprachmodelle?

A. Sie überwinden Token-Fensterbeschränkungen und Kontextfäule und ermöglichen es LLMs, über extrem lange und informationsdichte Eingabeaufforderungen hinweg zuverlässig zu argumentieren.

Q2. Sind RLMs eine neue Artwork von Sprachmodell?

A. Nein. RLMs sind eine Inferenzstrategie, die es LLMs ermöglicht, extern mit langen Eingabeaufforderungen zu interagieren und kleinere Teile rekursiv abzufragen.

Q3. Wie unterscheiden sich RLMs vom einfachen Chunking?

A. Beim traditionellen Chunking werden frühere Teile vergessen. RLM behält die vollständige Eingabeaufforderung außerhalb des Modells und greift bei Bedarf auf jeden Abschnitt erneut zu.

Ich bin auf die Überprüfung und Verfeinerung von KI-gestützter Forschung, technischer Dokumentation und Inhalten im Zusammenhang mit neuen KI-Technologien spezialisiert. Meine Erfahrung umfasst KI-Modelltraining, Datenanalyse und Informationsabruf und ermöglicht es mir, Inhalte zu erstellen, die sowohl technisch korrekt als auch zugänglich sind.

Melden Sie sich an, um weiterzulesen und von Experten kuratierte Inhalte zu genießen.

[ad_2]

Kann ein kleines Sprachmodell Kernel -Latenz, Gedächtnis und Modellgenauigkeit aus dem Code vorhersagen? Ein neues Regressionssprachmodell (RLM) sagt Ja

admin — Sat, 04 Oct 2025 14:10:30 +0000

[ad_1]

Forscher von Cornell und Google stellen ein einheitliches Regressionssprachmodell (RLM) ein, das numerische Ergebnisse direkt aus Code-Saiten-Bekämpfung der GPU-Kernellatenz, der Nutzung des Programms und sogar der Genauigkeit des neuronalen Netzwerks-ohne handgefertigte Merkmale vorhersagt. Ein 300 m-Parameter-Encoder-Decoder, der aus T5-Gemma initialisiert wurde, erreicht starke Rangkorrelationen über heterogene Aufgaben und Sprachen hinweg unter Verwendung eines einzelnen Decoders von Textual content zu Quantity, der Ziffern mit eingeschränkter Decodierung emittiert.

Was genau ist neu?

Einheitliche Regression von Code-zu-Metrie: Ein RLM prognostiziert (i) Peak-Speicher aus dem Code auf hohem Niveau (Python/C/C ++ und mehr), (ii) Latenz für Triton-GPU-Kernel und (iii) Genauigkeit und {Hardware}-spezifische Latenz aus ONNX-Graphmen-durch das Lesen von Rohtextdarstellungen und dekodierenden numerischen Ausgaben. Es sind keine Function Engineering, Graph-Encoder oder Null-Kosten-Proxys erforderlich.
Konkrete Ergebnisse: Berichtete Korrelationen umfassen Spearman ρ ≈ 0,93 In Apps Leetcode -Speicher, ρ ≈ 0,52 Für Triton Kernel Latenz, ρ> 0,5 Durchschnittsüberschreitend 17 CodenetsprachenUnd Kendall τ ≈ 0,46 In fünf klassischen NAS-Räumen-wettbewerbsfähig mit und in einigen Fällen, die grafische Prädiktoren übertreffen.
Multi-Objektivdekodierung: Weil der Decoder autoregressiv ist, die Modellbedingungen spätere Metriken früherer (z. B. Latenzen von Genauigkeit → professional Gerät), wobei realistische Kompromisse entlang von Pareto-Fronten erfasst werden.

https://arxiv.org/abs/2509.26476

Warum ist das wichtig?

Efficiency Prediction Pipelines in Compilern, GPU -Kernelauswahl und NAS beruhen typischerweise auf maßgeschneiderten Merkmale, Syntaxbäume oder GNN -Encoder, die für neue OPs/Sprachen spröde sind. Regression behandeln als Nächste Vorhersage über Zahlen Standardisiert den Stapel: Tokenize-Eingänge als einfacher Textual content (Quellcode, Triton IR, ONNX) und dann kalibrierte numerische Zeichenfolgen digital mit eingeschränkter Probenahme entschlüsseln. Dies senkt die Wartungskosten und verbessert die Übertragung auf neue Aufgaben durch Feinabstimmung.

Daten und Benchmarks

Code-Regressionsdatensatz (HF): Kuratiert zur Unterstützung Code-zu-Metrik Aufgaben über Apps/Leetcode-Ausführungen, Triton-Kernel-Latenzen (Kernelbook-abgeleitet) und Codenet-Speicher-Fußabdrücke.
Nas/Onnx Suite: Architekturen von Nasbench-101/201, FBNET, einmal für All (MB/PN/RN), Twopath, Hiaml, Inception und ND Onnx -Textual content Genauigkeit und Gerätespezifische Latenz vorherzusagen.

Wie funktioniert es?

Rückgrat: Encoder -Decoder mit a T5-Gemma Encoder -Initialisierung (~ 300m Parames). Eingänge sind rohe Zeichenfolgen (Code oder ONNX). Ausgänge sind Zahlen als emittiert als Zeichen/Exponent/Mantissa -Ziffern -Token; Die eingeschränkte Dekodierung erzwingt gültige Ziffern und unterstützt die Unsicherheit durch Stichproben.
Ablationen: (i) Sprachvorbereitung beschleunigt die Konvergenz und verbessert die Vorhersage der Triton -Latenz; (ii) numerische Emission nur Decoder übertrifft MSE-Regressionsköpfe auch bei Y-Normalisierung; (iii) Gelehrte Tokenisierer, die auf ONNX -Operatoren spezialisiert sind, erhöhen den effektiven Kontext; (iv) längere Kontexte helfen; (v) Skalierung zu einem größeren Gemma -Encoder verbessert die Korrelation mit angemessener Stimmung weiter.
Trainingscode. Der Regress-lm Die Bibliothek bietet Textual content-to-Textual content-Regressions-Dienstprogramme, eingeschränkte Dekodierung und Multi-Job-Rezepte/Feinabstimmungsrezepte.

Statistiken, die zählen

Apps (Python) Speicher: Spearman ρ> 0,9.
Codenet (17 Sprachen) Speicher: Durchschnitt ρ> 0,5; Die stärksten Sprachen umfassen C/C ++ (~ 0,74–0,75).
Triton -Kerne (A6000) Latenz: ρ ≈ 0,52.
Nas -Rating: Durchschnitt Kendall τ ≈ 0,46 über Nasnet, Amöben, PNAs, Enas, Darts; wettbewerbsfähig mit Flan- und GNN -Baselines.

Key Takeaways

Unified Code-to-Metric-Regression funktioniert. Ein einzelnes ~ 300 m-Parameter T5Gemma-initialisiertes Modell („RLM“) sagt: (a) Speicher aus Code mit hoher Ebene, (b) Triton-GPU-Kernellatenz und (c) Modellgenauigkeit + Gerätelatenz von ONNX-Regisseur aus Textual content, ohne Hand-Eingefertigte Merkmale.
Die Forschung zeigt, dass Spearman ρ> 0,9 im Apps-Speicher, ≈0,52 auf Tritonlatenz,> 0,5 durchschnittlich über 17 Codenetsprachen und Kendall-τ ≈ 0,46 auf fünf NAS-Leerzeichen.
Zahlen werden als Textual content mit Einschränkungen dekodiert. Anstelle eines Regressionskopfes emittiert RLM numerische Token mit eingeschränkter Decodierung und ermöglicht multi-metrische, autoregressive Ausgänge (z. B. Genauigkeit, gefolgt von Latenzen mit mehreren Geräten) und Unsicherheit durch Probenahme.
Der Code-Regression DataSet vereint Apps/Leetcode -Speicher, Triton -Kernel -Latenz und Codenet -Speicher; Die Regress-lm Die Bibliothek bietet den Trainings-/Dekodierungsstapel.

Es ist sehr interessant, wie diese Arbeit die Leistungsvorhersage als Textual content-zu-Zahlen-Erzeugung neu bearbeitet: Ein kompaktes T5Gemma-initialisierter RLM liest Quelle (Python/C ++), Triton-Kerne oder ONNX-Diagramme und emittiert kalibrierte Numeriken über eingeschränktes Dekodieren. Die gemeldeten Korrelationen-Anpassung des Gedächtnisses (ρ> 0,9), Triton-Latenz auf RTX A6000 (~ 0,52) und Nas Kendall-τ ≈0,46-sind stark genug, um für Compiler-Heuristiken, Kernel-Beschneidungen und Multi-Objektiv-Triage ohne kochende Merkmale oder GNNs oder Multi-Objektiv-NAS-Triage eine Rolle zu spielen. Der offene Datensatz und die Bibliothek machen die Replikation einfach und senken die Barriere für die Feinabstimmung neuer {Hardware} oder Sprachen ab.

(empfohlene Lesen) VIPE (Video Pose Engine): Ein leistungsstarkes und vielseitiges 3D -Videoannotationsinstrument für die räumliche KI

Schauen Sie sich das an PapierAnwesend Github -Seite Und Datensatzkarte. Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser Publication. Warten! Bist du im Telegramm? Jetzt können Sie sich uns auch im Telegramm anschließen.

Asif Razzaq ist der CEO von Marktechpost Media Inc. Sein jüngstes Bestreben ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch die ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die von einem breiten Publikum technisch intestine und leicht verständlich sind. Die Plattform verfügt über über 2 Millionen monatliche Ansichten und veranschaulicht ihre Beliebtheit des Publikums.

Folgen Sie MarkTechPost: Fügen Sie uns als bevorzugte Quelle bei Google hinzu.

[ad_2]