Große Sprachmodelle benötigen riesige menschliche Datensätze. Was passiert additionally, wenn das Modell seinen gesamten Lehrplan selbst erstellen und sich selbst den Umgang mit Werkzeugen beibringen muss? Ein Forscherteam von UNC-Chapel Hill, Salesforce Analysis und der Stanford College stellt „Agent0“ vor, ein vollständig autonomes Framework, das leistungsstarke Agenten ohne externe Daten durch mehrstufige Co-Evolution und nahtlose Instrument-Integration entwickelt

Agent0 zielt auf mathematisches und allgemeines Denken ab. Es zeigt, dass eine sorgfältige Aufgabengenerierung und werkzeugintegrierte Rollouts ein Basismodell über seine ursprünglichen Fähigkeiten hinaus in zehn Benchmarks bringen können.

Zwei Agenten aus einem Basismodell

Agent0 beginnt beispielsweise mit einer Basisrichtlinie π_base Qwen3 4B Foundation oder Qwen3 8B Foundation. Es klont diese Richtlinie in:

• A Lehrplanagent πθ, das Aufgaben generiert,
• ein Testamentsvollstrecker πϕ, das diese Aufgaben mit einem Python-Instrument löst.

Das Coaching erfolgt in Iterationen mit zwei Phasen professional Iteration:

1. Lehrplanentwicklung: Der Lehrplanagent generiert einen Stapel von Aufgaben. Für jede Aufgabe prüft der Ausführende mehrere Antworten. Eine zusammengesetzte Belohnung misst, wie unsicher der Ausführende ist, wie oft er das Instrument nutzt und wie vielfältig die Cost ist. πθ wird mit aktualisiert Gruppenrelative Richtlinienoptimierung (GRPO) diese Belohnung nutzen.
2. Weiterentwicklung des Testamentsvollstreckers: Der geschulte Curriculum-Agent ist eingefroren. Es generiert einen großen Pool an Aufgaben. Agent0 filtert diesen Pool, um nur Aufgaben in der Nähe der Fähigkeitsgrenze des Ausführenden zu behalten, und schult den Ausführenden dann für diese Aufgaben mithilfe eines mehrdeutigkeitsbewussten RL-Ziels namens Ambiguity Dynamic Coverage Optimization (ADPO).

Diese Schleife erzeugt einen Suggestions-Zyklus. Da der Ausführende durch die Verwendung des Code-Interpreters stärker wird, muss der Lehrplan komplexere, werkzeugabhängige Probleme generieren, um seinen Nutzen hoch zu halten.

Wie der Lehrplanagent Aufgaben bewertet?

Die Lehrplanbelohnung kombiniert drei Signale:

Unsicherheitsbelohnung: Für jede generierte Aufgabe x prüft der Ausführende ok Antworten und stimmt mehrheitlich für eine Pseudoantwort ab. Die Selbstkonsistenz p̂(x) ist der Anteil der Antworten, die dieser Mehrheit zustimmen. Die Belohnung ist maximal, wenn p̂ nahe bei 0,5 liegt, und niedrig, wenn die Aufgaben zu einfach oder zu schwer sind. Dies fördert Aufgaben, die für den aktuellen Ausführenden herausfordernd, aber dennoch lösbar sind.

Belohnung für Werkzeugnutzung: Der Executor kann mithilfe von einen Sandbox-Code-Interpreter auslösen python markiert und erhält Ergebnisse, die als markiert sind output. Agent0 zählt die Anzahl der Werkzeugaufrufe in einer Flugbahn und gibt eine skalierte, begrenzte Belohnung aus, wobei die Obergrenze C in Experimenten auf 4 festgelegt ist. Dies begünstigt Aufgaben, die tatsächlich Instrument-Aufrufe erfordern, statt reines Kopfrechnen.

Wiederholungsstrafe: Innerhalb jedes Lehrplanstapels misst Agent0 die paarweise Ähnlichkeit zwischen Aufgaben mithilfe einer BLEU-basierten Distanz. Aufgaben werden geclustert und ein Strafzeitraum erhöht sich mit der Clustergröße. Dadurch wird verhindert, dass der Lehrplan viele Beinahe-Duplikate erzeugt.

Eine zusammengesetzte Belohnung multipliziert eine Formatprüfung mit einer gewichteten Summe aus Unsicherheit und Instrument-Belohnungen abzüglich der Wiederholungsstrafe. Dieser zusammengesetzte Wert wird in GRPO eingespeist, um πθ zu aktualisieren.

Wie der Testamentsvollstrecker aus lauten Selbstbezeichnungen lernt?

Der Testamentsvollstrecker wird ebenfalls mit GRPO geschult, jedoch mit Multiturn-, werkzeugintegrierten Trajektorien und Pseudo-Labels anstelle von Floor-Reality-Antworten.

Aufbau von Grenzdatensätzen: Nach der Lehrplanschulung in einer Iteration generiert der eingefrorene Lehrplan einen großen Kandidatenpool. Für jede Aufgabe berechnet Agent0 die Selbstkonsistenz p̂(x) mit dem aktuellen Ausführenden und behält nur Aufgaben bei, bei denen p̂ in einem informativen Bereich liegt, beispielsweise zwischen 0,3 und 0,8. Dies definiert einen herausfordernden Grenzdatensatz, der triviale oder unmögliche Probleme vermeidet.

Integrierte Rollouts mit mehreren Drehwerkzeugen: Für jede Grenzaufgabe generiert der Ausführende eine Flugbahn, die Folgendes verschachteln kann:

• Token für natürliches Denken,
• python Codesegmente,
• output Werkzeug-Suggestions.

Die Generierung pausiert, wenn ein Instrument-Aufruf erscheint, und führt den Code in einem darauf aufbauenden Sandbox-Interpreter aus VeRL-Instrumentund wird dann je nach Ergebnis fortgesetzt. Die Flugbahn endet, wenn das Modell im Inneren eine endgültige Antwort liefert {boxed ...} Tags.

Eine Mehrheitsentscheidung über die erfassten Trajektorien hinweg definiert ein Pseudo-Label und eine Endbelohnung für jede Trajektorie.

ADPO, mehrdeutigkeitsbewusster RL: Normal-GRPO behandelt alle Proben gleich, was instabil ist, wenn Bezeichnungen aus Mehrheitsabstimmungen über mehrdeutige Aufgaben stammen. ADPO modifiziert GRPO auf zwei Arten unter Verwendung von p̂ als Mehrdeutigkeitssignal.

• Es skaliert den normalisierten Vorteil mit einem Faktor, der mit der Selbstkonsistenz zunimmt, sodass Trajektorien aus Aufgaben mit geringem Vertrauen weniger beitragen.
• Es legt eine dynamische Obergrenze für das Wichtigkeitsverhältnis fest, die von der Selbstkonsistenz abhängt. Die empirische Analyse zeigt, dass das feste obere Clipping hauptsächlich Token mit geringer Wahrscheinlichkeit betrifft. ADPO lockert diese Grenze adaptiv, was die Erkundung unsicherer Aufgaben verbessert, wie durch das visualisiert heraufgestufte Token-Wahrscheinlichkeit Statistiken.

Ergebnisse zum mathematischen und allgemeinen Denken

Darüber hinaus wird Agent0 implementiert VeRL und ausgewertet Qwen3 4B Foundation Und Qwen3 8B Foundation. Es verwendet einen Sandbox-Python-Interpreter als einziges externes Instrument.

Das Forschungsteam bewertet anhand von zehn Benchmarks:

• Mathematische Argumentation: AMC, Minerva, MATH, GSM8K, Olympiad Bench, AIME24, AIME25.
• Allgemeine Begründung: SuperGPQA, MMLU Professional, BBEH.

Sie melden „go@1“ für die meisten Datensätze und „imply@32“ für AMC- und AIME-Aufgaben.

Für Qwen3 8B FoundationAgent0 erreicht:

• Mathe-Durchschnitt 58,2 gegenüber 49,2 für das Basismodell,
• allgemeiner Gesamtdurchschnitt 42,1 gegenüber 34,5 beim Basismodell.

Agent0 verbessert sich auch gegenüber starken datenfreien Baselines wie z R Null, Absoluter Nullpunkt, SPIRAL Und Sokratischer Nullpunktsowohl mit als auch ohne Werkzeug. Beim Qwen3 8B übertrifft er R Zero um 6,4 Prozentpunkte und Absolute Zero um 10,6 Punkte im Gesamtdurchschnitt. Es übertrifft auch Socratic Zero, das auf externen OpenAI-APIs basiert.

Über drei Co-Evolution-Iterationen hinweg steigt die durchschnittliche Mathematikleistung auf Qwen3 8B von 55,1 auf 58,2 und auch das allgemeine Denken verbessert sich professional Iteration. Dies bestätigt eher eine stabile Selbstverbesserung als einen Zusammenbruch.

Qualitative Beispiele zeigen, dass sich Lehrplanaufgaben von grundlegenden Geometriefragen zu komplexen Problemen der Erfüllung von Randbedingungen entwickeln, während die Trajektorien des Ausführenden Begründungstext mit Python-Aufrufen mischen, um zu korrekten Antworten zu gelangen.

Wichtige Erkenntnisse

1. Völlig datenfreie Co-Evolution: Agent0 eliminiert externe Datensätze und menschliche Anmerkungen. Zwei Agenten, ein Curriculum-Agent und ein Executor-Agent, werden von demselben Foundation-LLM initialisiert und entwickeln sich nur über Reinforcement Studying und ein Python-Instrument gemeinsam weiter.
2. Grenzlehrplan aus Selbstunsicherheit: Der Lehrplanagent nutzt die Selbstkonsistenz und die Werkzeugnutzung des Ausführenden, um Aufgaben zu bewerten. Es lernt, Grenzaufgaben zu generieren, die weder trivial noch unmöglich sind und die explizit werkzeugintegriertes Denken erfordern.
3. ADPO stabilisiert RL mit Pseudoetiketten: Der Ausführende ist mit Ambiguity Dynamic Coverage Optimization geschult. ADPO verringert die Gewichtung sehr mehrdeutiger Aufgaben und passt den Clipping-Bereich basierend auf der Selbstkonsistenz an, wodurch Aktualisierungen im GRPO-Stil stabil bleiben, wenn Belohnungen von Pseudo-Labels mit Mehrheitsabstimmung kommen.
4. Kontinuierliche Fortschritte in Mathematik und allgemeinem Denken: Auf Qwen3 8B Base verbessert Agent0 die mathematischen Benchmarks von durchschnittlich 49,2 auf 58,2 und das allgemeine Denken von 34,5 auf 42,1, was relativen Zuwächsen von etwa 18 Prozent bzw. 24 Prozent entspricht.
5. Übertrifft frühere Zero-Knowledge-Frameworks: In zehn Benchmarks übertrifft Agent0 frühere sich selbst entwickelnde Methoden wie R Zero, Absolute Zero, SPIRAL und Socratic Zero, einschließlich derjenigen, die bereits Instruments oder externe APIs verwenden. Dies zeigt, dass das Design der Co-Evolution plus Werkzeugintegration einen sinnvollen Schritt über frühere Einzelrunden-Selbstspielansätze hinaus darstellt.

Redaktionelle Anmerkungen

Agent0 ist ein wichtiger Schritt in Richtung praktisches, datenfreies Verstärkungslernen für werkzeugintegriertes Denken. Es zeigt, dass ein Foundation-LLM sowohl als Curriculum-Agent als auch als Executor-Agent fungieren kann und dass GRPO mit ADPO und dem VeRL-Instrument eine stabile Verbesserung gegenüber Pseudo-Labels mit Mehrheitsabstimmung bewirken kann. Die Methode zeigt auch, dass die werkzeugintegrierte Co-Evolution frühere Zero-Knowledge-Frameworks wie R Zero und Absolute Zero auf starken Qwen3-Basislinien übertreffen kann. Agent0 ist ein starkes Argument dafür, dass sich selbst entwickelnde, in Instruments integrierte LLM-Agenten zu einem realistischen Trainingsparadigma werden.

---

Schauen Sie sich das an PAPIER Und Repo. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Wie wandeln Sie echte Agentenverfolgungen in Reinforcement Studying RL-Übergänge um, um Richtlinien-LLMs zu verbessern, ohne Ihren bestehenden Agentenstapel zu ändern? Veröffentlichungen des Microsoft AI-Groups Agent Lightning zur Optimierung von Multiagentensystemen. Agent Lightning ist ein Open-Supply-Framework, das Reinforcement Studying für jeden KI-Agenten ohne Umschreibungen ermöglicht. Es trennt Coaching und Ausführung, definiert ein einheitliches Hint-Format und führt LightningRL ein, eine hierarchische Methode, die komplexe Agentenläufe in Übergänge umwandelt, die standardmäßige Single-Flip-RL-Coach optimieren können.

Was Agent Lightning macht?

Das Framework modelliert einen Agenten als Entscheidungsprozess. Es formalisiert den Agenten als einen teilweise beobachtbaren Markov-Entscheidungsprozess, bei dem die Beobachtung die aktuelle Eingabe in das Richtlinien-LLM ist, die Aktion der Modellaufruf ist und die Belohnung terminaler oder intermediärer Natur sein kann. Aus jedem Lauf werden nur die vom Richtlinienmodell getätigten Aufrufe sowie Eingaben, Ausgaben und Belohnungen extrahiert. Dadurch werden andere Rahmengeräusche entfernt und saubere Übergänge für das Coaching erzielt.

LightningRL führt die Kreditzuweisung über mehrstufige Episoden hinweg durch und optimiert dann die Richtlinie mit einem einzigen RL-Ziel. Das Forschungsteam beschreibt die Kompatibilität mit Single-Flip-RL-Methoden. In der Praxis nutzen Groups häufig Coach, die PPO oder GRPO implementieren, wie z. B. VeRL, das zu dieser Schnittstelle passt.

Systemarchitektur

Agent Lightning verwendet Coaching Agent Disaggregation. Ein Blitz Server führt Coaching und Bereitstellung durch und stellt eine OpenAI-ähnliche API für das aktualisierte Modell bereit. Ein Lightning-Consumer führt die Agentenlaufzeit dort aus, wo sie sich bereits befindet, erfasst Spuren von Eingabeaufforderungen, Toolaufrufen und Belohnungen und streamt sie zurück an den Server. Dadurch bleiben Instruments, Browser, Shells und andere Abhängigkeiten nah an der Produktion, während das GPU-Coaching auf der Serverebene verbleibt.

Die Laufzeit unterstützt zwei Ablaufverfolgungspfade. Ein Standardpfad verwendet OpenTelemetry-Spans, sodass Sie Agententelemetrie über Standardkollektoren weiterleiten können. Es gibt auch einen leichtgewichtigen eingebetteten Tracer für Groups, die OpenTelemetry nicht einsetzen möchten. Beide Wege enden zum Coaching im selben Laden.

Einheitliche Datenschnittstelle

Agent Lightning zeichnet jeden Modellaufruf und jeden Toolaufruf als Spanne mit Eingaben, Ausgaben und Metadaten auf. Die Algorithmusschicht passt Spannen in geordnete Tripletts aus Aufforderung, Antwort und Belohnung an. Durch diese selektive Extraktion können Sie einen Agenten in einem Multi-Agenten-Workflow oder mehrere Agenten gleichzeitig optimieren, ohne den Orchestrierungscode zu berühren. Dieselben Spuren können auch eine automatische Immediate-Optimierung oder eine überwachte Feinabstimmung vorantreiben.

Experimente und Datensätze

Das Forschungsteam meldet drei Aufgaben. Für Textual content-to-SQL verwendet das Group den Spider-Benchmark. Spider enthält mehr als 10.000 Fragen in 200 Datenbanken, die 138 Bereiche umfassen. Das Richtlinienmodell ist Llama 3.2 3B Instruct. Die Implementierung verwendet LangChain mit einem Author-Agenten, einem Rewriter-Agenten und einem Checker. Der Author und der Rewriter werden optimiert und der Checker bleibt unverändert. Die Belohnungen verbessern sich während des Trainings und zur Prüfungszeit stetig.

Für die Retrieval-Augmented-Generierung verwendet das Setup den MuSiQue-Benchmark und einen Wikipedia-Skalenindex mit etwa 21 Millionen Dokumenten. Der Retriever verwendet BGE-Einbettungen mit Kosinusähnlichkeit. Der Agent wird mit dem OpenAI Brokers SDK erstellt. Die Belohnung ist eine gewichtete Summe aus einem Format-Rating und einem F1-Korrektheits-Rating. Belohnungskurven zeigen stabile Zuwächse während des Trainings und der Bewertung mit demselben Basismodell.

Für die Beantwortung mathematischer Fragen mithilfe eines Instruments wird der Agent mit AutoGen implementiert und ruft ein Taschenrechnertool auf. Der Datensatz ist Calc X. Das Basismodell ist wiederum Llama 3.2 3B Instruct. Das Coaching verbessert die Fähigkeit, Instruments korrekt aufzurufen und Ergebnisse in endgültige Antworten zu integrieren.

Wichtige Erkenntnisse

1. Agent Lightning nutzt Coaching Agent Disaggregation und eine einheitliche Hint-Schnittstelle, sodass bestehende Agenten in LangChain, OpenAI Brokers SDK, AutoGen oder CrewAI nahezu ohne Codeänderungen verbunden werden können.
2. LightningRL wandelt Flugbahnen in Übergänge um. Es wendet die Kreditzuweisung auf mehrstufige Läufe an und optimiert dann die Richtlinie mit Single-Flip-RL-Methoden wie PPO oder GRPO in Standardtrainern.
3. Automated Intermediate Rewarding, AIR, liefert dichtes Suggestions. AIR wandelt Systemsignale wie den Standing der Werkzeugrückgabe in Zwischenbelohnungen um, um Probleme mit spärlichen Belohnungen in langen Arbeitsabläufen zu reduzieren.
4. Die Forschung wertet Textual content nach SQL auf Spider, RAG auf MuSiQue mit einem Wikipedia-Skalenindex unter Verwendung von BGE-Einbettungen und Kosinusähnlichkeit sowie die Verwendung von Mathematiktools auf Calc X aus, alles mit Llama 3.2 3B Instruct als Basismodell.
5. Die Laufzeit zeichnet Traces über OpenTelemetry auf, streamt sie an den Trainingsserver und stellt einen OpenAI-kompatiblen Endpunkt für aktualisierte Modelle bereit, wodurch skalierbare Rollouts ohne das Verschieben von Instruments ermöglicht werden.

Agent Lightning ist eine praktische Brücke zwischen der Agentenausführung und dem verstärkenden Lernen und nicht eine weitere Neufassung des Frameworks. Es formalisiert Agentenläufe als Markov-Entscheidungsprozess (MDP), führt LightningRL für die Kreditzuweisung ein und extrahiert Übergänge, die in Single-Flip-RL-Coach eingefügt werden. Das Coaching Agent Disaggregation-Design trennt einen Consumer, der den Agent ausführt, von einem Server, der einen OpenAI-kompatiblen Endpunkt trainiert und bedient, sodass Groups vorhandene Stacks behalten. Die automatische Zwischenbelohnung wandelt Laufzeitsignale in dichtes Suggestions um und reduziert so spärliche Belohnungen in langen Arbeitsabläufen. Insgesamt ist Agent Lightning ein sauberer Weg mit minimaler Integration, der es Agenten ermöglicht, aus ihren eigenen Spuren zu lernen.

---

Schauen Sie sich das an Papier Und Repo. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Können wir lange Texte als Bilder rendern und einen VLM verwenden, um eine 3–4-fache Token-Komprimierung zu erreichen und dabei die Genauigkeit beizubehalten und gleichzeitig einen 128-KB-Kontext für 1-M-Token-Workloads zu skalieren? Ein Forscherteam aus Zhipu AI-Veröffentlichung Glypheein KI-Framework zur Skalierung der Kontextlänge durch visuelle Textkomprimierung. Es rendert lange Textsequenzen in Bilder und verarbeitet sie mithilfe von Imaginative and prescient-Sprachmodellen. Das System rendert ultralangen Textual content in Seitenbilder, dann verarbeitet ein Imaginative and prescient-Language-Modell, VLM, diese Seiten durchgängig. Jedes visuelle Token kodiert viele Zeichen, sodass die effektive Token-Sequenz kürzer wird, während die Semantik erhalten bleibt. Glyph kann eine 3- bis 4-fache Token-Komprimierung bei langen Textsequenzen ohne Leistungseinbußen erreichen, was erhebliche Verbesserungen bei der Speichereffizienz, dem Trainingsdurchsatz und der Inferenzgeschwindigkeit ermöglicht.

Warum Glyphe?

Herkömmliche Methoden erweitern Positionskodierungen oder modifizieren Aufmerksamkeit, Rechenleistung und Speicher skalieren weiterhin mit der Tokenanzahl. Beim Abrufen werden Eingaben gekürzt, es besteht jedoch das Risiko, dass Beweise fehlen, und die Latenz erhöht sich. Glyph ändert die Darstellung, wandelt Textual content in Bilder um und verlagert die Final auf einen VLM, der bereits OCR, Format und Argumentation lernt. Dadurch wird die Informationsdichte professional Token erhöht, sodass ein festes Token-Finances mehr ursprünglichen Kontext abdeckt. Unter extremer Komprimierung zeigt das Forschungsteam, dass ein 128-KByte-Kontext-VLM Aufgaben bewältigen kann, die aus Textual content auf 1-Millionen-Token-Ebene stammen.

Systemdesign und Schulung

Die Methode besteht aus drei Phasen: kontinuierlichem Vortraining, LLM-gesteuerter Rendering-Suche und Nachtraining. Durch kontinuierliche Vorschulung wird der VLM mit großen Korpora gerenderter Langtexte mit unterschiedlichen Typografien und Stilen vertraut gemacht. Das Ziel bringt visuelle und textliche Darstellungen in Einklang und überträgt umfassende Kontextfähigkeiten von Textual content-Tokens auf visuelle Tokens. Die Rendering-Suche ist eine genetische Schleife, die von einem LLM gesteuert wird. Es verändert Seitengröße, DPI, Schriftfamilie, Schriftgröße, Zeilenhöhe, Ausrichtung, Einzug und Abstand. Es bewertet Kandidaten anhand eines Validierungssatzes, um Genauigkeit und Komprimierung gemeinsam zu optimieren. Nach dem Coaching werden überwachte Feinabstimmung und verstärkendes Lernen mit Group Relative Coverage Optimization sowie eine zusätzliche OCR-Ausrichtungsaufgabe verwendet. Der OCR-Verlust verbessert die Zeichentreue, wenn die Schriftarten klein und die Abstände eng sind.

Ergebnisse, Leistung und Effizienz…

LongBench und MRCR sorgen für Genauigkeit und Komprimierung bei langen Dialogverläufen und Dokumentenaufgaben. Das Modell erreicht ein durchschnittliches effektives Komprimierungsverhältnis von etwa 3,3 bei LongBench, bei einigen Aufgaben nahe 5, und etwa 3,0 bei MRCR. Diese Gewinne skalieren mit längeren Eingaben, da jedes visuelle Token mehr Zeichen trägt. Die gemeldeten Geschwindigkeitssteigerungen im Vergleich zum Textual content-Spine bei 128K-Eingaben betragen etwa das 4,8-fache für die Vorfüllung, etwa das 4,4-fache für die Dekodierung und etwa das Zweifache für den überwachten Feinabstimmungsdurchsatz. Der Ruler-Benchmark bestätigt, dass eine höhere Auflösung bei der Inferenzzeit die Ergebnisse verbessert, da schärfere Glyphen die OCR- und Format-Analyse unterstützen. Das Forschungsteam meldet dpi 72 mit einer durchschnittlichen Komprimierung von 4,0 und maximal 7,7 für bestimmte Unteraufgaben, dpi 96 mit einer durchschnittlichen Komprimierung von 2,2 und maximal 4,4 und dpi 120 mit einer durchschnittlichen Komprimierung von 1,2 und maximal 2,8. Das Most von 7,7 gehört Ruler, nicht MRCR.

Na und? Anwendungen

Glyph fördert das Verständnis multimodaler Dokumente. Das Coaching auf gerenderten Seiten verbessert die Leistung von MMLongBench Doc im Vergleich zu einem visuellen Basismodell. Dies weist darauf hin, dass das Rendering-Ziel ein nützlicher Vorwand für echte Dokumentaufgaben ist, die Abbildungen und Format umfassen. Die Hauptfehlerursache ist die Empfindlichkeit gegenüber aggressiver Typografie. Sehr kleine Schriftarten und enge Abstände beeinträchtigen die Zeichengenauigkeit, insbesondere bei seltenen alphanumerischen Zeichenfolgen. Das Forschungsteam schließt die UUID-Unteraufgabe auf Ruler aus. Der Ansatz geht davon aus Server Seitenrendering und ein VLM mit starker OCR und Format-Priors.

Wichtige Erkenntnisse

• Glyph rendert langen Textual content in Bilder, dann verarbeitet ein Imaginative and prescient-Sprachmodell diese Seiten. Dadurch wird die Modellierung mit langem Kontext als multimodales Downside neu definiert und die Semantik bleibt erhalten, während gleichzeitig Token reduziert werden.
• Das Forschungsteam berichtet, dass die Token-Komprimierung drei- bis viermal so hoch ist, mit einer Genauigkeit, die mit starken 8B-Textbasislinien bei Langkontext-Benchmarks vergleichbar ist.
• Die Vorfüllgeschwindigkeit beträgt etwa das 4,8-fache, die Dekodierungsgeschwindigkeit beträgt etwa das 4,4-fache und der Durchsatz für die überwachte Feinabstimmung beträgt etwa das Zweifache, gemessen bei 128K-Eingängen.
• Das System verwendet kontinuierliches Vortraining auf gerenderten Seiten, eine LLM-gesteuerte genetische Suche über Rendering-Parameter, anschließend überwachte Feinabstimmung und verstärkendes Lernen mit GRPO sowie ein OCR-Ausrichtungsziel.
• Die Auswertungen umfassen LongBench, MRCR und Ruler, wobei ein Extremfall einen 128K-Kontext-VLM zeigt, der 1M-Token-Stage-Aufgaben bearbeitet. Code und Modellkarte sind auf GitHub und Hugging Face öffentlich.

Glyph behandelt die Skalierung langer Kontexte als visuelle Textkomprimierung, rendert lange Sequenzen in Bilder und lässt sie von einem VLM verarbeiten, wodurch Token reduziert und gleichzeitig die Semantik erhalten bleibt. Das Forschungsteam behauptet eine drei- bis vierfache Token-Komprimierung mit einer Genauigkeit, die mit den Qwen3 8B-Basislinien vergleichbar ist, etwa viermal schnelleres Vorfüllen und Dekodieren und etwa zweimal schnelleren SFT-Durchsatz. Die Pipeline ist diszipliniert, kontinuierliches Vortraining auf gerenderten Seiten, eine LLM-genetische Rendering-Suche über Typografie und dann Nachschulung. Der Ansatz ist für Millionen-Token-Workloads unter extremer Komprimierung pragmatisch, hängt jedoch von OCR- und Typografie-Optionen ab, die nach wie vor Stellschrauben sind. Insgesamt bietet die visuelle Textkomprimierung einen konkreten Weg zur Skalierung langer Kontexte bei gleichzeitiger Steuerung von Rechenleistung und Speicher.

---

Schauen Sie sich das an Papier, Gewichte Und Repo. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.