Am Pool hat veröffentlicht Laguna S 2.1ein 118B-Parameter-Open-Weight-Modell, das für die Agentencodierung entwickelt wurde. Es handelt sich um ein Combination-of-Specialists (MoE)-Modell mit 8B aktivierten Parametern professional Token. Es unterstützt ein Kontextfenster von bis zu 1 Million Token sowohl im Denk- als auch im Nicht-Denkmodus. Die Gewichte sind dran Umarmendes Gesicht unter einer OpenMDW-1.1-Lizenz, und das Modell ist klein genug, um auf einer einzigen zu laufen NVIDIA DGX Spark.

Bei Langhorizont-Codierungs-Benchmarks kann sich Laguna S 2.1 gegen Modelle behaupten, die um ein Vielfaches größer sind, darunter DeepSeek-V4-Professional-Max, NVIDIAs Nemotron 3 Extremely und Pondering Machines‘ Inkling. Laguna S 2.1 ist ein Scale-Up der Laguna XS-Familie, das auf denselben Vortrainingsdaten wie XS 2.1 trainiert wurde.

Was ist Laguna S 2.1?

Das Modell aktiviert etwa 6,8 % seiner Parameter auf jedem beliebigen Token. Alle 118B Parameter bleiben im Speicher, aber professional Schritt werden nur etwa 8B durch das Netzwerk geleitet. Aufgrund dieser geringen Ausstattung kann sich ein mittelgroßes Modell wie ein größeres Modell verhalten, ist aber dennoch günstig im Betrieb.

Das Poolside-Staff veröffentlicht Gewichtungen in BF16, FP8, INT4 und NVFP4 sowie offizielle GGUF- und MLX-Konvertierungen und DFlash-Entwurfsmodelle. Vom Beginn der Schulung bis zur Einführung vergingen weniger als neun Wochen. Das Vortraining begann am 22. Mai 2026 auf 4.096 NVIDIA H200-GPUs. Es ist das erste Poolside-Modell, bei dem Reinforcement Studying mit FP8-Präzision durchgeführt wurde.

Leistung

Laguna S 2.1 erreicht 70,2 % Terminal-Bench 2.1 mit aktiviertem Denken. Damit steht es auf der zusammengestellten Bestenliste von Poolside an erster Stelle unter den offenen Modellen mit offener Größe, nur hinter größeren oder geschlossenen Systemen. Im SWE-Bench Multilingual erreicht es einen Wert von 78,5 % und steht damit an der Spitze der veröffentlichten Tabelle. Der vollständige von Poolside veröffentlichte Vergleich ist unten aufgeführt.

Das klarste Sign ist DeepSWE v1.1, das immer noch über echten Headroom verfügt. Dort erreicht Laguna S 2.1 40,4 % gegenüber 9,0 % von DeepSeek-V4-Professional-Max, bei etwa einem Sechstel der aktiven Parameter. Closed-Frontier-Modelle wie Claude Fable 5 und Kimi K3 führen in mehreren Benchmarks immer noch. Bei der Behauptung von Poolside geht es um die Gewichtsklasse, nicht um die absolute Spitze. Trajektorien aus dem endgültigen Bewertungssatz werden unter veröffentlicht trajectories.poolside.ai.

Zwei Denkweisen und woher die Punktzahl kommt

Laguna S 2.1 hat zwei Modi: Aus und maxwobei „max“ standardmäßig aktiviert ist. Im Max-Modus legt das Modell sein eigenes Testzeit-Rechenbudget fest. Poolside wird vorerst ohne vom Benutzer konfigurierbare Steuerung für niedrigen/mittleren/hohen Aufwand ausgeliefert.

Max Pondering erhöht Terminal-Bench 2.1 von 60,4 % auf 70,2 %. Es erhöht DeepSWE von 16,5 % auf 40,4 %. Diese Gewinne kosten Token: DeepSWE-Trajektorien führen im Denkmodus etwa 249.000 Abschluss-Tokens aus, im Vergleich zu 99.000 ohne. Das Poolside-Staff berichtet über kohärente, produktive Überlegungen, die über Stunden und Hunderttausende von Token laufen.

Drei veröffentlichte Läufe

Das Poolside-Staff teilte drei unbearbeitete Flugbahnen, um Verhalten und nicht Punkte zu zeigen. In einem Fall erstellte das Modell eine funktionierende HTML/CSS-Browser-Engine aus einem leeren Ordner. Dieser Lauf erforderte in einer 50-minütigen Sitzung 181 Schritte ohne menschliches Eingreifen und validierte seine eigene Ausgabe im Vergleich zu Headless Chromium.

In einer Sekunde optimierte das Modell Poolsides eigenes Agentensystem. Dadurch wurde der Kabelbaum um 5,2 % schneller und die Speicherzuweisung um etwa 71 % geringer, da die O(n²)-Stringverkettung durch Puffer ersetzt wurde. In einem dritten Fall wurde es erneut abgeleitet Erdős Downside Nr. 397 Offline in Perl über 68 Minuten, da die Sandbox kein Python hatte. Dieses Ergebnis ist eine unabhängige Wiederentdeckung; GPT-5.2 Professional löste das gleiche Downside im Januar 2026, und Lagunas Wissensschluss ist November 2025.

Können Sie es tatsächlich bereitstellen?

Bei der Größenbestimmung werden die vollständigen 118B-Parameter verwendet, nicht die aktive 8B-Anzahl, da jeder Experte im Speicher bleibt. Bei 4-Bit (NVFP4 oder INT4) benötigen die Gewichte etwa 59 GB, was bequem auf den 128 GB einheitlichen Speicher eines einzelnen DGX Spark passt. Bei FP8 benötigen sie etwa 118 GB, immer noch innerhalb eines einzelnen Spark oder eines einzelnen H200. Bei BF16 benötigen sie etwa 236 GB, was zwei verbundene Sparks oder einen Multi-GPU-Rechenzentrumsknoten erfordert.

Poolside arbeitete mit NVIDIA zusammen, um die Inferenz von der TRT-LLM-Bereitstellung über NVFP4 auf Blackwell bis hin zu einem einzigen DGX Spark zu optimieren. Es wurde Assist vom ersten Tag an geliefert vLLM, SGLangUnd Ollama. Der gehostete Zugriff läuft durch OpenRouterkostenlos bei 256 KB Kontext und kostenpflichtig bei vollem 1 Mio. Kontext für 0,10 $ / 0,20 $ / 0,01 $ professional 1 Mio. Eingabe-/Ausgabe-/Cache-Lese-Tokens. Das Modell ist auch dabei Baseten, Kilo, Höchster Intellekt Prime Lab und ZML.

Wichtige Erkenntnisse

• Laguna S 2.1 ist ein 118B-Gesamt-/8B-aktives MoE-Codierungsmodell mit einem 1M-Token-Kontext, offen unter OpenMDW-1.1.
• Es erreicht 70,2 % bei Terminal-Bench 2.1 und 78,5 % bei SWE-Bench. Mehrsprachige, führende offene Modelle mit offengelegter Größe.
• Bei 4-Bit läuft es auf einem einzelnen NVIDIA DGX Spark; FP8 passt auf einen Spark oder H200, BF16 benötigt zwei.
• Standardmäßiges „maximales Denken“ bestimmt den größten Teil der Punktzahl, zu einem echten Token-Preis (DeepSWE: 16,5 % → 40,4 %).
• Es wurde in weniger als neun Wochen auf 4.096 H200-GPUs trainiert und ist das dritte Modell von Poolside in weniger als drei Monaten.

Quellen: Technik am Pool – Einführung von Laguna S 2.1, Robert McHardy über X, Poolseite auf X Und Hugging Face-Modellkarte.

Asif Razzaq ist CEO von Marktechpost Media Inc.. Als visionärer Unternehmer und Ingenieur setzt sich Asif dafür ein, das Potenzial der künstlichen Intelligenz für das soziale Wohl zu nutzen. Sein jüngstes Unterfangen ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch eine ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die sowohl technisch fundiert als auch für ein breites Publikum leicht verständlich ist. Die Plattform verfügt über mehr als 2 Millionen monatliche Aufrufe, was ihre Beliebtheit beim Publikum verdeutlicht.

Die meisten Suchagenten versuchen, zu viele Aufträge auf einmal abzuwickeln. Sie generieren neue Suchanfragen, merken sich, was sie bereits erforscht haben, sammeln Beweise und entscheiden, was related ist, während die Suche immer weiter zunimmt. Das kann den gesamten Prozess chaotisch, teuer und schwer kontrollierbar machen.

Harness-1 verfolgt einen einfacheren Ansatz. Es wurde gemeinsam mit Forschern von UIUC, UC Berkeley und Chroma entwickelt und trennt die Arbeit, Suchbegriffe zu finden, von der Arbeit, den Suchfortschritt zu verfolgen. Das Ergebnis ist ein kompakter Retrieval-Agent, über den man leichter nachdenken kann und dessen Leistung weit über dem liegt, was seine Größe vermuten lässt.

In diesem Artikel werfen wir einen genaueren Blick darauf Geschirr-1 und warum sein Ansatz gegenüber Retrieval-Agenten wichtig ist.

Warum das bestehende Search Brokers Plateau?

Die meisten Retrieval-Agenten sind ausgebildet Ende bis Ende. Das Modell erzeugt Abfragen, liest Blöcke, entscheidet, worauf es ankommt, und speichert den gesamten Kontext in einem wachsenden Transkript. Die Richtlinie lernt alles, Suchstrategie, Beweisverfolgung, Deduplizierung und auch die Stoppbedingungen.

Das Drawback besteht darin, dass Reinforcement Studying versucht, all dies auf einmal zu verbessern. Semantische Suchentscheidungen, etwa ob ich nach „Fusionsdatum“ oder „Akquisitionsjahr“ suchen soll, geraten in Konflikt mit der Buchführung auf niedrigerer Ebene. Habe ich diesen Brocken schon einmal gesehen? RL optimiert am Ende beide, und ehrlich gesagt teilen sie nicht die gleiche Lerndynamik. Es wird additionally etwas chaotisch.

Die Forscher nennen dies Kernfehler im Design. Ihre Lösung ist sauber: Verschieben Sie die Zustandsverwaltung aus dem Modell in einen Kabelbaum.

Was macht das Geschirr eigentlich?

Der wichtigste Durchbruch ist der Stateful Harness. Der Kabelbaum betreibt das Modell als Zustandsmaschine. Diese vier dauerhaften Strukturen bleiben in jeder Episode erhalten:

• Ein Kandidatenpool besteht aus allen komprimierten, deduplizierten Dokumenten aller Kandidatensuchen.
• Ein kuratierter Satz ist die endgültige Ausgabe mit bis zu 30 Dokumenten, die mit Wichtigkeitsmarkierungen gekennzeichnet sind (very_high, excessive, truthful, low).
• Ein Volltextspeicher enthält alle abgerufenen Daten und wird außerhalb der Maschineneingabeaufforderung gespeichert.
• Ein Beweisdiagramm ist eine Sammlung automatisch extrahierter Entitäten, ihrer Brückendokumente und Singleton-Leads.

Der Proof-Graph-Teil dieser Struktur ist ziemlich intelligent. Der Regex-Extraktor durchsucht jedes abgerufene Datenelement nach Eigennamen, Jahren und Datumsangaben. Bridge-Dokumente, die zwei oder mehr Entitäten enthalten, die häufig zusammen vorkommen, werden als sehr hohe Priorität gekennzeichnet. Singletons kennzeichnen potenzielle Folgesuchen. Bei jeder Spielrunde präsentiert das Geschirr diese Informationen auf effiziente und kompakte Weise.

Die Acht-Werkzeug-Schnittstelle

Das Acht-Werkzeug basiert auf der Modellfunktion bei jeder Drehung. In jeder Runde gibt das Modell genau eine Aktion aus.

Auf die Ausgabe aus der Suchphase des Abrufs wird eine zweiphasige Komprimierung angewendet. Die erste Part der Komprimierung verwendet Satz-BM25 um alle Sätze in eine Rangfolge zu bringen und aus jedem Block die ersten 4 auszuwählen. Die zweite Part der Komprimierung wird durch eine zweistufige Deduplizierung erreicht: Die erste Stufe ist die Deduplizierung nach Chunk-ID, die zweite Stufe ist die Deduplizierung nach Inhaltsfingerabdruck. Die Richtlinie sieht die Rohabrufausgabe nie vor Abschluss der zweistufigen Deduplizierung.

Das Design hat sich ausgezahlt, da das Modell seinen Kontext sauber gehalten hat. Das Modell hat nur Signale verarbeitet und alle Token sind kein Rauschen.

Das Kaltstartproblem (und seine Lösung)

Das erste Drawback beim Abruftraining besteht darin, zu bestimmen, wie eine Richtlinie lernt, einen kuratierten Datensatz aus dem Nichts zu erstellen, was in den ersten RL-Episoden der Richtlinie zu Zufälligkeiten führt. Da der Anfangszustand der Richtlinie keinen Vorhergehenden zur Verfeinerung hat, weiß sie nicht, wie sie kuratiert werden soll. Daher wirft die Richtlinie entweder alles in den kuratierten Datensatz oder kuratiert überhaupt keinen.

Harness-1 behebt dieses Drawback durch Warmstart-Seeding. Nachdem das Harness zum ersten Mal erfolgreich eine Suche durchgeführt hat, generiert es automatisch einen kuratierten Datensatz unter Verwendung der acht neu eingestuften Ergebnisse, die mit einer Fairnessbewertung versehen wurden. Somit hat die Richtlinie eine Abhilfefunktion (Verfeinerung, Steigerung des Werts von Qualitätsdokumenten und Verringerung der Qualität von schwachen Dokumenten) statt einer primären Funktion (Entfernung aller Dokumente und Erstellung von Grund auf).

Diese kleine Änderung sorgt für ein erhebliches Maß an Stabilität im Coaching und zeigt, dass Kuration leichter durch Verfeinerung als durch Kreation erlernt werden kann.

Wie Coaching funktioniert: SFT, dann RL

Es gibt zwei Phasen in der Schulungspipeline, die unterschiedliche Arten von Arbeit erledigen:

Stufe 1: Überwachte Feinabstimmung

Ein Lehrermodell (GPT-5.4) läuft im kompletten Harness im Reside-Zustand und wird zu diesem Zeitpunkt mit einer großen Menge unterschiedlicher Abfragen trainiert. Nachdem wir alle Trajektorien mit schlechter Leistung herausgefiltert hatten, blieben insgesamt 899 Episoden übrig, in denen die korrekte Verwendung der Schnittstelle behandelt wurde, um dem Modell beizubringen, wie es Werkzeuge aufruft, Aktionen strukturiert und den kuratierten Satz aktualisiert.

# LoRA configuration for SFT
lora_config = {
    "rank": 32,
    "target_modules": ("q_proj", "v_proj"),
    "base_model": "gpt-oss-20b",
    "epochs": 3,
    "checkpoint_for_rl": 550,  # step-550 initializes RL coaching
}

Stufe 2: Reinforcement Studying

In der zweiten Part von Verstärkungslernenrichtlinienkonformes CISPO wird mit einer Belohnungsfunktion verwendet, die nur auf Terminalprämien basiert, und hat eine Obergrenze von 40 Runden. Die Trainingsdaten bestanden aus SEC-Abfragen (Finanzdokumente), aber die durch das Coaching in dieser Part erlernten Richtlinien waren auf alle acht Benchmark-Domänen verallgemeinerbar. Die Belohnungsfunktion hat zwei große Vorteile:

• Der erste Vorteil ist die Trennung von Entdeckung und Auswahl. Die beiden Elemente werden als unabhängige Belohnungen bereitgestellt, wenn eine Entdeckung gefunden und kuratiert wird (d. h. ein relevantes Dokument wird gefunden und dann kuratiert).
• Der zweite Vorteil ist die Hinzufügung eines Diversitätsbonus für die verwendeten Instruments. Dieser Bonus ist wichtiger als Sie vielleicht denken.

Ohne den Variety-Bonus bleibt der Agent in einer Schleife stecken. Der Agent gibt wiederholt dieselbe Suchanfrage in leicht unterschiedlicher Kind aus, füllt den kuratierten Satz mit vielen ähnlichen Elementen und erlebt einen Stillstand (0,53 kuratierter Rückruf). Der Agent lernt zu nutzen grep_corpus, confirmUnd read_document zusätzlich zu search_corpus wenn ein Diversitätsbonus hinzugefügt wird und sich dadurch der Rückrufwert des Agenten ab dieser einen Änderung auf 0,60 erhöht.

# Simplified reward construction
def compute_reward(episode):
    discovery_score = count_newly_found_relevant_docs(episode)
    selection_score = curated_recall(episode.final_curated_set)
    diversity_bonus = tool_diversity_score(episode.action_sequence)

    # Terminal reward solely - no intermediate shaping
    return selection_score + 0.3 * discovery_score + 0.2 * diversity_bonus

Praktisch: Harness-1 vor Ort ausführen

Probieren wir es aus.

1. Im Second wird dieses Repo verwendet uv für das Abhängigkeitsmanagement und vLLM für die Bereitstellung. Sie benötigen genügend GPU-VRAM, um ein 20-B-Modell auszuführen. Beispielsweise reicht ein einzelner A100 (80 GB) intestine aus. Alternativ funktionieren zwei A100 (40 GB) mit Tensorparallelität sehr intestine, wenn Sie welche haben.
2. Klonen Sie das Repository und installieren Sie es

git clone https://github.com/pat-jj/harness-1.git
cd harness-1

# If you have not put in uv, do it now
pip set up uv

# Pull all dependencies together with vLLM
uv sync --extra vllm

Beachten Sie, dass das Einziehen von vLLM und seinen CUDA-Abhängigkeiten mit erfolgt --extra vllm-Flag und kann beim ersten Abrufen des Pakets einige Zeit dauern. Wenn Sie diesen Schritt nicht ausführen, wird das Inferenzskript aufgrund seiner Abhängigkeit vom vLLM-Server nicht ausgeführt.

3. Wenn Sie zum ersten Mal eine Anwendung ausführen, auf der dieses Modell installiert ist, dauert der Obtain ungefähr 40 GB Gewichte von HuggingFace und richten Sie mit uvicorn einen lokalen OpenAI-kompatiblen Server ein. Nachdem uvicorn gestartet ist, können Sie den Server unter öffnen http://0.0.0.0:8000sollten Sie Ihr Modell ausführen können.

uv run python inference/vllm_local_inference.py serve 
  --model pat-jj/harness-1 
  --served-model-name harness-1

Wenn Sie über zwei GPUs verfügen, können Sie diese hinzufügen --tensor-parallel-size 2 um eine Aufteilung zwischen beiden GPUs zu erstellen. Ohne diese Choice kommt es bei einer 40-GB-GPU zu Problemen mit dem Arbeitsspeicher.

4. Die Ausführung von Schritt 3 bedeutet, dass Sie nun eine Suchanfrage direkt an den Harness-1-Server stellen können. Sie müssen Ihre Suchanfrage als strukturierte Abfrage formatieren, die an ein Chroma-Korpus gerichtet ist. So würde ein minimaler Take a look at mit dem aussehen BrowseComp+-Benchmark Format:

from openai import OpenAI

shopper = OpenAI(base_url="http://localhost:8000/v1", api_key="none")

response = shopper.chat.completions.create(
    mannequin="harness-1",
    messages=(
        {
            "function": "consumer",
            "content material": "Seek for paperwork concerning the 2024 EU AI Act enforcement timeline.",
        }
    ),
    max_tokens=512,
    temperature=0.0,  # deterministic for eval runs
)

# The mannequin emits a structured software motion - parse it
motion = response.selections(0).message.content material
print(motion)

Als Antwort auf Ihre Anfrage erhalten Sie eine Ausgabe, die keinen narrativen Charakter hat. Die Ausgabe erfolgt in Kind einer strukturierten Aktion; z.B fan_out_search(queries=("EU AI Act enforcement 2024", "AI Act timeline implementation")). Dies ist zu erwarten, da es sich bei Harness-1 um einen Abruf-Subagenten und nicht um ein Chat-Modell handelt. Die Ausgabe von Harness-1 wird dann an den Harness gesendet, der die Aktion gegen Ihren Korpus verarbeitet.

5. Nachdem eine vollständige Suchepisode abgeschlossen ist, können Sie die wichtigen Metriken in der Protokolldatei sehen.

Benchmark-Ergebnisse: Wo es steht

Harness-1 wurde anhand von acht verschiedenen Benchmarks getestet, darunter Websuche, SEC-Finanzanmeldungen, Patente und Multi-Hop-Fragenbeantwortung (QA).

Der kuratierte Rückruf ist die zentrale Kennzahl zur Messung der Leistung von Harness-1, d. h. wie viel Prozent aller relevanten Dokumente, die von Harness-1 bei der endgültigen Ausgabe von insgesamt 30 Dokumenten erstellt wurden, es in die Ausgabe geschafft haben.

Was Harness-1 nicht kann?

Es handelt sich um einen Abruf-Subagenten, der einen geordneten Dokumentensatz zurückgibt und keine Argumentation, Zusammenfassung oder Synthese einer Antwort aus diesem Dokumentensatz durchführt. Daher wird das Downstream-Antwortmodell im Umfang nicht berücksichtigt.

Die RL-Schulung wurde nur für SEC-Anfragen durchgeführt, es ist jedoch vielversprechend, die Übertragungsleistung auf webbasierte, Patent- und Multi-Hop-QA-Anfragen zu sehen. Allerdings haben wir die Domänengeneralisierung nicht als Teil des Trainingsaufbaus berücksichtigt. Die Struktur von Finanzdokumenten unterscheidet sich grundlegend von den Multi-Hop-Ketten der Wikipedia.

Darüber hinaus stellen 899 SFT-Trajektorien einen relativ kleinen Datensatz dar. Außerdem struggle der Lehrer GPT-5.4, was teuer ist. Daher bleibt die Frage offen, wie der Prozess der Flugbahnerfassung skaliert werden kann.

Abschluss

Harness-1 zeigt gewissermaßen, dass modulare KI-Systeme am Ende besser abschneiden als monolithische Systeme. Beispielsweise schneidet ein 20B-Modell, das auf eine enge Aufgabe trainiert wurde und über einen intestine gestalteten Gurt verfügt, am Ende besser ab als Frontier-Modelle, die dies getan haben 5-fache Parameter. Es ist auch nicht nur ein architektonischer Sieg, es fühlt sich eher wie ein Rezept an.

Die Gewichte und der Harness-Code sind öffentlich. Wenn Sie additionally etwas mit Retrieval erstellen, wie RAG-Pipelines, Forschungsagenten, Dokument-Q/A usw., ist dieses Setup einen sorgfältigen Blick wert.

Es gibt auch einen Grund, warum die Rangliste der offenen Gewichte im letzten Jahr weitgehend von Frontier-Modellen angeführt wurde. Harness-1 ist bisher der direkteste Kontrapunkt.

Häufig gestellte Fragen

Information Science Trainee bei Analytics Vidhya
Derzeit arbeite ich als Information Science Trainee bei Analytics Vidhya, wo ich mich auf die Entwicklung datengesteuerter Lösungen und die Anwendung von KI/ML-Techniken zur Lösung realer Geschäftsprobleme konzentriere. Meine Arbeit ermöglicht es mir, fortschrittliche Analysen, maschinelles Lernen und KI-Anwendungen zu erforschen, die es Unternehmen ermöglichen, intelligentere, evidenzbasierte Entscheidungen zu treffen.
Mit einem starken Fundament in den Bereichen Informatik, Softwareentwicklung und Datenanalyse ist es mir eine Leidenschaft, KI zu nutzen, um wirkungsvolle, skalierbare Lösungen zu schaffen, die die Lücke zwischen Technologie und Geschäft schließen.
Du kannst mich auch erreichen unter (e mail protected)

Das AI Frontiers-Labor von Microsoft Analysis hat Fara1.5 veröffentlicht. Es handelt sich um eine Familie von Laptop-Use-Agent-Modellen (CUA) für den Browser. Die Veröffentlichung umfasst drei Größen: Fara1,5-4B, Fara1,5-9B und Fara1,5-27B. Die Modelle sind in MagenticLite integriert, der Sandbox-Browserschnittstelle von Microsoft für diese Agenten.

Laptop-Use-Brokers sind Pixel-to-Motion-Modelle, die einen echten Browser steuern. Sie lesen Screenshots und geben Maus- und Tastaturaktionen aus, um Aufgaben zu erledigen. Aktuelle Agentenprodukte wie Operator von OpenAI und Gemini 2.5 Laptop Use von Google fallen in diese Kategorie.

Fara1.5-27B erzielt auf On-line-Mind2Web einen Aufgabenerfolg von 72 %. Dieser Benchmark umfasst 300 Aufgaben auf 136 beliebten Web sites. Bei der gleichen Bewertung erreicht OpenAIs Operator 58,3 % und Gemini 2.5 Laptop Use 57,3 %. Yutoris Navigator n1 erreicht 64,7 % und Fara1.5-9B erreicht 63,4 %. Das ist quick das Doppelte des Vorgängers Fara-7B, der im gleichen Benchmark 34,1 % erreichte.

Architektur und Agentenschleife

Die Modelle verwenden Qwen3.5-Basisprüfpunkte in ihren Varianten 4B, 9B und 27B. Sie funktionieren durch eine Beobachten-Denken-Handeln-Schleife. Bei jedem Schritt erfasst das Modell den vorherigen Gesprächsverlauf und die drei neuesten Browser-Screenshots. Es sendet dann Gedanken und eine einzelne nächste Aktion aus.

Der Aktionsbereich umfasst Commonplace-Maus- und Tastatureingaben sowie webspezifische Aktionen wie die Websuche. Außerdem werden Metaaktionen für die Kontextverwaltung verfügbar gemacht. Dazu gehören das Auswendiglernen von Fakten zur späteren Verwendung und das Stellen von Klärungsfragen an den Benutzer. Diese Metaaktionen ermöglichen es dem Agenten, über längere Zeiträume hinweg zu agieren und mit Benutzern zusammenzuarbeiten.

Trainingsmix

Beim Coaching wird eine überwachte Feinabstimmung an etwa zwei Millionen Proben durchgeführt. Die Mischung besteht zu 60 % aus Internet-Trajektorien und zu 12,8 % aus synthetischen Umgebungen. Das Ausfüllen von Formularen und Benutzerinteraktionen machen 12,5 % aus. Die Erdung trägt 8,8 % und die VQA 4,9 % bei. Kleinere Abschnitte befassen sich mit dem Ziehen der Benutzeroberfläche, der Befolgung von Anweisungen und der Sicherheit. Der Verlust wird nur auf die drei letzten Kurven in jeder Flugbahn angewendet.

FaraGen1.5: die synthetische Datenpipeline

FaraGen1.5 ist die synthetische Pipeline, die die Trainingstrajektorien erstellt hat. Es besteht aus drei modularen Komponenten: Umgebungen, Lösern und Prüfern.

Umgebungen werden in zwei Typen unterteilt. Open-Web-Aufgaben werden auf Dwell-Web sites ausgeführt, für die keine Anmeldung erforderlich ist. Gated-Area-Aufgaben erfordern authentifizierte Sitzungen oder führen irreversible Aktionen aus, wie z. B. das Senden einer E-Mail.

Für geschlossene Domänen erstellte das Staff sechs synthetische Klone namens FaraEnvs. Sie umfassen Mail, Kalender, Stream, ML, Keep und Scheduler. Jeder Klon verfügt über ein realistisches Frontend, eine voll funktionsfähige API und eine Datenbank mit personabasierten Seed-Daten.

Diese Umgebungen wurden mit GitHub Copilot CLI und iterativer menschlicher Verfeinerung erstellt. Da das Staff den gesamten Stack kontrolliert, weiß es für jede Aufgabe das richtige Ergebnis. Bei Aufgaben, die das Backend verändern, vergleicht ein LLM-Richter Datenbank-Snapshots vor und nach der Ausführung. Aufgaben, deren Standing sich nicht ändert, werden anhand vorberechneter Referenzantworten bewertet.

Der Solver-Agent verwendet GPT-5.4 von OpenAI mit benutzerdefinierten Instruments, die den Aktionsraum von Fara1.5 widerspiegeln. Der Löser erzielt bei On-line-Mind2Web mithilfe des automatisierten WebJudge eine Punktzahl von 83 %. Der vorherige Fara-7B-Löser erreichte bei derselben Bewertung 67 %. Ein Benutzersimulator wird aufgerufen, wenn der Löser eine ausgibt ask_user Anruf oder wenn eine Aufgabe erledigt ist.

Drei Prüfer prüfen, welche Trajektorien in das Coaching einfließen. Correctness verwendet LLM-generierte Rubriken für Open-Web-Aufgaben und die Beurteilung privilegierter Datenbanken für synthetische Rubriken. Effizienz bestraft überflüssige oder unnötige Maßnahmen. Die Überprüfung der Benutzerinteraktion prüft, ob der Agent an kritischen Punkten pausiert hat.

Kritische Punkte und Sicherheit

Fara1.5 ist darauf trainiert, in drei Situationen anzuhalten und den Benutzer zu fragen. Erstens: Für die Aufgabe sind persönliche Informationen erforderlich, die der Benutzer nicht angegeben hat. Zweitens: Die Aufgabenbeschreibung ist mehrdeutig oder es fehlen Particulars, die zum Handeln erforderlich sind. Drittens: Eine unumkehrbare Handlung wird ohne vorherige Genehmigung durchgeführt.

Bei der Sicherheitsschulung werden öffentliche Sicherheitsdatensätze und interne Aufgaben verwendet, die an der Accountable AI Coverage von Microsoft ausgerichtet sind. In MagenticLite werden alle Agentenaktionen protokolliert und sind überprüfbar. Der Sandbox-Browser fungiert auch als Sicherheitsgrenze zwischen dem Agenten und dem Laptop des Benutzers.

Andere Benchmarks

Auf WebVoyager erreicht Fara1.5-27B 88,6 %, der 9B erreicht 86,6 % und der 4B erreicht 80,8 %. Der 9B übertrifft auch vergleichbare Konkurrenten wie MolmoWeb 8B, GUI-Owl-1.5 8B und Holo2 8B. Alle Fara1.5-Evaluierungsläufe nutzen Browserbase, um Sitzungen zu stabilisieren und Blockierungen auf Sitzungsebene zu reduzieren. Die Zahlen werden über drei unabhängige Läufe gemittelt.

Auf WebTailBench v1.5, das auf Lengthy-Tail-Webaufgaben abzielt, erzielt Fara1.5-9B einen Prozesserfolg von 64,5 % und einen Ergebniserfolg von 32,3 %. GPT-5.4 erreicht beim gleichen Benchmark einen Prozesswert von 79,6 % und einen Ergebniswert von 57,4 %.

Wichtige Erkenntnisse

Hier sind 5 wichtige Erkenntnisse aus einer Zeile:

• Microsoft Analysis hat Fara1.5 veröffentlicht, eine Familie von Browser-Agenten für die Computernutzung in den Größen 4B, 9B und 27B, die auf Qwen3.5 basieren.
• Fara1.5-27B erreicht 72 % bei On-line-Mind2Web und schlägt damit OpenAI Operator (58,3 %), Gemini 2.5 CU (57,3 %) und Yutori Navigator n1 (64,7 %).
• Die synthetische Datenpipeline FaraGen1.5 ermöglicht das Coaching auf geschlossenen Domänen über sechs funktionale App-Klone (FaraEnvs), die mit der GitHub Copilot CLI erstellt wurden.
• Fara1.5 hält inne, um den Benutzer an kritischen Punkten zu befragen: fehlende Informationen, unklare Aufgaben oder irreversible Aktionen ohne Genehmigung.

Schauen Sie sich das an Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Wenn Sie möchten, dass ein LLM-Agent Anfang 2026 mit einem System kommuniziert, müssen Sie dafür einen MCP-Server installieren.

GitHub. Jira. Locker. Linear. Postgres. Neo4j. Jeder wird mit einem Server geliefert, der ein übersichtliches Menü an Instruments bereitstellt. create_issue, list_pull_requests, merge_pull_request, get_repository, search_codeusw., und Sie weisen Ihren Agenten darauf hin.

Es ist ein großartiges Onboarding-Erlebnis. Für überraschend viele reale Arbeitslasten ist es auch die falsche Kind.

Die These ist kurz: Das MCP-Design verpackt normalerweise jeden Dienst als einen Stapel dedizierter Instruments. Eine CLI gibt dem Agenten ein wirklich flexibles Software an die Hand. Bei den heutigen Modellen gewinnt das versatile Werkzeug.

Die beiden Formen fordern das Modell auf, unterschiedliche Arbeiten auszuführen. Mit einem Haufen dedizierter Instruments muss der Agent es einfach tun Wählen Sie das Richtige aus einem Menü aus. Bei einem flexiblen Werkzeug muss es so sein Finden Sie heraus, wie Sie die Teile selbst zusammensetzen. Der zweite Teil conflict früher der schwierigste. Modelle halluzinierten Flaggen, verloren bei langen Pipelines den Faden und lasen Hilfetexte falsch, daher conflict es eine vernünftige Verteidigung, jede Operation in ein vorgefertigtes Software zu packen. Das stimmt einfach nicht mehr. Heutige Modelle lesen a --help Seite bzw SKILL.md Wenn nötig, kennen Sie die kanonischen CLIs aus dem Coaching, reihen Sie Bash ohne Aufsicht aneinander und versuchen Sie es erneut, wenn ein Flag falsch ist. Der schwierige Teil wurde einfach, der einfache Teil conflict immer einfach, und all diese ordentlich verpackten Instruments blähen den Kontext des Modells jetzt größtenteils umsonst auf.

Natürlich gibt es nicht nur Rosen und Sonnenschein. Durch die Übergabe eines Terminals erhält der Agent auch einen viel größeren Explosionsradius. Die gleiche Flexibilität, die es beim Komponieren ermöglicht gh | jq | xargs in etwas Nützliches zu verwandeln, lässt sich durch eine schnelle Injektion auch zu etwas viel Schlimmerem als einer feindlichen Cypher-Anfrage machen. Additionally ja, es gibt einen Kompromiss, und Sie müssen tatsächlich darüber nachdenken (Sandbox, Zulassungsliste, separater Betriebssystembenutzer, schreibgeschützte Rolle in der Datenbank, das Übliche).

Wenn Sie dem Agenten jedoch auf einigermaßen sichere Weise ein Terminal zur Verfügung stellen können, hat die versatile Seite immer noch die Nase vorn.

Wo CLI glänzt

Das gleiche Muster „Verpacken Sie einen Dienst als einen Stapel dedizierter Instruments“ zeigt sich überall dort, wo MCP dies tut. Postgres MCPs vs. psql. Kubernetes MCPs vs. kubectl. Dateisystem-MCPs vs. cat, ls, mv, grep mit Rohren verklebt. Jedes Mal derselbe Instinkt, jedes Mal das gleiche CLI-Gegenstück. Und auch die gleichen drei Fehlermodi, denn es geht nicht wirklich um ein einzelnes Produkt.

Nichts in der MCP-Spezifikation erfordert tatsächlich diesen Ansatz der Anhäufung dedizierter Instruments. Das Protokoll verlangt nach eingegebenen Werkzeugen, mehr nicht; Es sagt nichts darüber aus, wie schmal jedes Werkzeug sein muss. Aus historischen Gründen tendieren Implementierungen einfach zu vielen kleinen, schmalen Instruments. Sie können versatile Instruments erstellen, die eine einzige ausdrucksstarke Eingabe erfordern, die der Agent so formt, wie er möchte, und in den meisten Fällen sollten Sie das wahrscheinlich auch tun.

Um es konkret zu machen, schauen wir uns ein Beispiel einer Lochfraßbildung an Neo4j MCP-Server gegen Neo4j-CLI.

Haftungsausschluss vorab: Ich arbeite bei Neo4j. Die Wahl dient nur der Bequemlichkeit, aber die Erkenntnisse gelten auch für die meisten anderen CLIs.

Der Neo4j MCP-Server ist der offizielle Server, der Neo4j Agenten über MCP zugänglich macht und eine Handvoll dedizierter Instruments wie Leseabfrage, Schreibabfrage und Schemaabruf bereitstellt. neo4j.sh ist die offizielle Befehlszeilenschnittstelle für Neo4j, eine einzelne Binärdatei, die Sie in einem Terminal mit Anmeldeinformationsprofilen für jede Datenbank ausführen, mit der Sie kommunizieren. Um den Vergleich ehrlich zu halten, betrachten wir nur das Leseabfrage- und Schemapaar auf der MCP-Seite im Vergleich zum Äquivalent question Anrufung in neo4j.sh. Dieselben Vorgänge, dieselbe Datenbank, derselbe Cypher, der über das Kabel geht. Das Einzige, was sich ändert, ist, ob der Agent sie über ein typisiertes Toolschema oder über eine an eine Shell übergebene Zeichenfolge erreicht.

Umgebungsübergreifende Abfragen

Wir haben bereits gesehen, wie ein Haufen dedizierter Instruments das Kontextfenster mit Beschreibungen verschlingt und dass einige Server jetzt verzögerte Instruments ausliefern, um diese Kosten zu verschieben, bis der Agent tatsächlich nach ihnen greift. Aber es gibt noch einen zweiten Multiplikator, über den niemand spricht: Was passiert, wenn Sie mit mehr als einer Instanz desselben Dienstes kommunizieren möchten? Mit MCP wächst die Anzahl der Instruments nicht nur mit den Funktionen, sondern auch mit den Umgebungen.

Der Agent möchte eine Knotenanzahl von Dev, Staging und Prod. Durch MCP stehen Sie auf neo4j-mcp-server professional Umgebung, wobei jedes seine vier Werkzeugschemata bei jeder Runde in den Kontext des Agenten überträgt. Drei Datenbanken sind zwölf Schemata im Modellfenster, dieselben vier Schemata dreimal, bevor der Agent etwas getan hat.

Über die CLI ist es ein for Schleife:

$ for c in dev staging prod-ro; do
    neo4j-cli question -c $c --format toon 
      "MATCH (n) RETURN rely(n) AS nodes"
  completed

Eine Binärdatei, drei Anmeldeinformationsprofile, keine Kontextkosten professional Runde. Das Hinzufügen einer vierten Umgebung ist eine weitere credential dbms addnicht ein weiterer MCP-Serverprozess. Die gleiche Kind lässt sich auf jeden Arbeitsablauf übertragen, bei dem es darum geht, „N ähnliche Dinge zu erreichen“: Snapshot-Erstellung eines Produkts vor einer riskanten Bereitstellung, Differenzierung des Schemas zwischen Staging und Produkt, Durchführung einer Zustandsprüfung für jede Datenbank, die dem Agenten bekannt ist.

Verketten von Abfragen

Angenommen, der Agent untersucht ein bekanntes Betrugskonto: Suchen Sie anhand eines einzelnen Seeds jedes Konto, mit dem Transaktionen getätigt wurden, und finden Sie dann heraus, welches andere Konten, mit denen diese Gegenparteien am häufigsten Geschäfte tätigen. Zwei Abfragen für dieselbe Datenbank, wobei die Parameter der zweiten die Ausgabe der ersten sind.

Durch MCP muss das Modell das Rohr sein. Es ruft read-cypherkommt das Ergebnis als Liste von beispielsweise 80 Gegenpartei-IDs zurück. Diese 80 IDs befinden sich jetzt im Kontext des Modells, das Modell formatiert sie in den Parameter für die Sekunde read-cypher Rufen Sie an, und erst dann können zwei Abfragen ausgeführt werden. Die Zwischenliste begleitet die Konversation wörtlich, und jede zusätzliche ID ist eine weitere Kontextzeile, für die der Agent bezahlt, unabhängig davon, ob er sie jemals wieder liest oder nicht.

Durch die CLI ist die Pipe ein Literal |:

$ neo4j-cli question -c prod-ro --format json 
    --param "seed=acct_19f3" 
    "MATCH (:Account {id: $seed})-(:TRANSACTED)-(c:Account)
     WHERE c.id <> $seed
     RETURN acquire(DISTINCT c.id) AS counterparties" 
  | neo4j-cli question -c prod-ro --params-from-stdin 
      "MATCH (a:Account)-(:TRANSACTED)-(b:Account)
       WHERE a.id IN $counterparties
         AND NOT b.id IN $counterparties + ('acct_19f3')
       RETURN b.id, rely(DISTINCT a) AS edges_into_cluster
       ORDER BY edges_into_cluster DESC LIMIT 20"

--params-from-stdin liest das JSON-Ergebnis der vorherigen Abfrage und bindet es als Parameter für die nächste. Die Liste der Gegenparteien geht nie in den Kontext des Modells ein, die Token-Kosten des Agenten sind die gleichen, unabhängig davon, ob der Cluster 5 oder 500 Gegenparteien hat.

Ab diesem Zeitpunkt fühlt sich die Schale wie eine ganz andere Werkzeugkategorie an. Der Agent wählt nicht mehr aus einem Menü von Vorgängen aus, sondern erstellt Pipelines, und die Zwischendaten müssen nie mehr an die Oberfläche gelangen. Eine zweistufige Abfrage wird zu einer |. Aus einem Fan-Out wird ein for Schleife. Ein Be a part of zwischen zwei Datenbanken wird zu einer einzigen question in ein anderes mit geleitet --params-from-stdin. Jeder davon wäre drei oder vier MCP-Roundtrips, wobei jedes Zwischenergebnis durch das Kontextfenster angezeigt wird, und an diesem Punkt hat der Agent mehr Token für das Mischen von Zeilen aufgewendet, als darüber nachzudenken.

Über viele CLIs hinweg weiterleiten

Gleiches Drawback, größerer Maßstab. Angenommen, der Agent möchte die neuesten GitHub-Probleme eines Projekts in Neo4j umwandeln: an :Situation Knoten professional Ticket, a :Consumer Knoten professional Autor, a :TAGGED Beziehung professional Etikett. Die Daten befinden sich in einer CLI (gh), will umgestalten (jq tut das) und landet in einer anderen CLI (neo4j-cli). Drei verschiedene Werkzeuge in einer Linie. Über MCP greifen Sie auf den MCP-Server von GitHub zu, um die Problemliste abzurufen. Jeder Problemtext landet im Kontext des Modells, das Modell extrahiert die gewünschten Felder usw write-cypher Wird einmal professional Ausgabe ausgelöst. Hunderte von Rundgängen durch das Modell, wobei jedes Themengremium unterwegs an der Diskussion beteiligt ist.

Über die CLI drei Programme in einer Pipe:

$ gh situation record --repo neo4j/neo4j --limit 100 
    --json quantity,title,creator,labels 
  | jq -c '.()' 
  | whereas learn situation; do
      neo4j-cli question --rw -c prod 
        --param "knowledge=$situation" 
        "WITH apoc.convert.fromJsonMap($knowledge) AS i
         MERGE (n:Situation {quantity: i.quantity}) SET n.title = i.title
         MERGE (u:Consumer {login: i.creator.login})
         MERGE (u)-(:OPENED)->(n)
         FOREACH (label IN i.labels |
           MERGE (l:Label {title: label.title})
           MERGE (n)-(:TAGGED)->(l))"
    completed

gh zieht die Themen, jq formt jede einzelne in eine einzelne JSON-Zeile um, die whereas Schleife übergibt jede Zeile an neo4j-cli als Cypher-Parameter. Das Modell schreibt dieses Skript einmal und geht dann davon; Die Daten fließen über die Bash, nicht über den Agenten. Hundert oder zehntausend Ausgaben, die Token-Kosten des Agenten sind gleich.

Die Kind lässt sich weit über GitHub hinaus verallgemeinern. Tauschen gh für jede andere CLI, die JSON ausgibt (jira situation record, linear, curl gegen einen Webhook, Ihren eigenen internen dump Befehl), tauschen Sie das Cypher-Muster für die Datenbank aus, die Sie erstellen, und die Pipeline trägt es. Zwei MCP-Instruments können nicht miteinander kommunizieren. Zwei CLIs können das und zehn auch.

Die Terminalsteuerung ist leistungsstark, und das ist der Haken

Das Terminal ist keine feste Oberfläche, sondern das flexibelste Werkzeug, das Sie einem Agenten geben können, da es mit allem anderen auf der Field zusammenarbeitet.

Diese Kraft ist auch der Haken. Ein falsch eingesetztes flexibles Werkzeug verursacht flexiblen Schaden. Mit einem großartigen Terminalzugriff geht die offensichtliche Verantwortung einher: Sandboxen Sie die Shell, setzen Sie die tatsächlich gewünschten Verben auf die Zulassungsliste, führen Sie den Agenten als separater Betriebssystembenutzer aus, binden Sie Anmeldeinformationen an Rollen, die physisch nicht in der Lage sind, die destruktive Aufgabe zu erfüllen. Nichts davon ist neu, es handelt sich lediglich um die Systemadministratorhygiene, die auf ein LLM angewendet wird, das schnell tippt. Und wenn Sie das alles nicht können, ist ein MCP-Server mit kleiner fester Oberfläche immer noch die richtige Antwort; Die Garantie auf Protokollebene, dass der Agent dies nicht kann cat ~/.ssh/id_rsa ist eine echte Sache.

Der allgemeinere Punkt gilt auch dann, wenn Sie vollständig innerhalb von MCP bleiben. Der Grund, warum das Terminal gewinnt, ist nicht, dass Bash etwas Besonderes ist, sondern dass Bash ein Software mit sehr flexibler Eingabe ist. Pipes, Variablen, Substitution, Schleifen. Das ist die Kind, die es wert ist, kopiert zu werden. Betrachten Sie das Terminal als MCPs Grenzfall und entwerfen Sie es entsprechend: weniger Instruments, jedes einzelne akzeptiert ausdrucksstarke Eingaben, der Agent übernimmt die Erstellung, anstatt dass Sie jede Kombination im Voraus antizipieren. Bei den meisten MCP-Servern handelt es sich um eine lange Liste schmaler Endpunkte, weil die zugrunde liegende API bereits so gestaltet wurde, und nicht, weil der Agent auf diese Weise besser funktioniert. Die Server, die intestine altern, werden diejenigen sein, die sich bewusst für eine kleinere, ausdrucksstärkere Oberfläche entschieden haben.

Alle Bilder in diesem Blogbeitrag wurden vom Autor erstellt.

(3)eine On-line-Vektorquantisierungsmethode, erregte auf der ICLR 2026 große öffentliche Aufmerksamkeit. Für mich kam es sehr bekannt vor: Es überschneidet sich stark mit EDENeine Quantisierungsmethode, die erstmals als 1-Bit-Methode eingeführt wurde FAHREN bei NeurIPS 2021 (1) und auf der ICML 2022 auf beliebige Bitbreiten verallgemeinert (2). Von mir gemeinsam mit Ran Ben-Basat, Yaniv Ben-Itzhak, Gal Mendelson, Michael Mitzenmacher und Shay Vargaftik verfasst.

Das TurboQuant-Papier stellt zwei Varianten vor: TurboQuant-mse Und TurboQuant-prod. Im ausführlichen neuen Vergleich (5) Wir zeigen, dass TurboQuant-mse ein degenerierter Fall von EDEN ist und dass die EDEN-Varianten ihre Gegenstücke durchweg übertreffen.

Wie EDEN einen Vektor quantisiert

Angenommen, Sie müssen a komprimieren $D$-dimensionaler Vektor $X$ (eine Gradientenaktualisierung, eine Einbettung, ein KV-Cache-Eintrag) bis auf wenige Bits professional Koordinate. EDEN geht in vier Schritten vor:

1. Zufällige Rotation — Mit einer zufälligen orthogonalen Matrix multiplizieren $Pi$. Nach der Drehung sind die Koordinaten identisch verteilt und für große $D$ungefähr Gaußsch.
2. Skalare Quantisierung — Runden Sie jede gedrehte Koordinate auf eine von $2^b$ Ebenen aus einem Lloyd-Max-Codebuch, das auf dem trainiert wurde bekannt gedrehte Koordinatenverteilung ($B$ ist die Zielanzahl der Bits professional Koordinate).
3. Skala — Mit einem Skalierungsfaktor multiplizieren $S$.
4. Inverse Rotation – Anwenden $Pi^prime$ um eine Annäherung wiederherzustellen $hat{x}$ des ursprünglichen Vektors.

Während frühere Arbeiten (z. B. Suresh et al. (2017) (6)) nutzte die Drehung hauptsächlich, um die Koordinaten zu verkleinern. Dynamikbereich (die Lücke zwischen dem größten und kleinsten Koordinatenwert), EDEN (1) struggle unseres Wissens nach das erste Quantisierungsschema, das eine stärkere Tatsache der zufälligen Rotation ausnutzte: Die Koordinaten nach der Rotation folgen einer bekannten Verteilung, die uns die Verwendung von a ermöglicht deterministisch Quantisierer gepaart mit einer geschlossenen Skala, die je nach Anwendung entweder MSE minimiert oder die Schätzung unverzerrt macht. Beide Skalen werden analytisch abgeleitet und die Konstruktion ergibt eine asymptotische MSE-Reduktion gegenüber dem vorherigen Ansatz.

Konkret unterscheiden sich die beiden Varianten von EDEN nur in der Wahl $S$:

• EDEN-voreingenommen – Sätze $S$ auf den geschlossenen Wert, der die Rekonstruktions-MSE minimiert.
• EDEN-unvoreingenommen – wählt $S$ Daher ist die dekomprimierte Ausgabe im Durchschnitt korrekt ($mathbb{E}(hat{x}) = x$), was besonders wichtig ist, wenn Sie viele quantisierte Vektoren mitteln (z. B. verteiltes Coaching, Aufmerksamkeit).

Im Vergleich zu EDEN stimmt TurboQuant-mse bei jedem Schritt überein, mit einer Ausnahme: wo EDEN die Skala ableitet $S$ Analytisch gesehen überspringt TurboQuant-mse die optimierte Skalierung, obwohl es auf die MSE-Minimierung abzielt.

Der folgende Pseudocode zeigt die drei nebeneinander.

Warum sich der optimale Maßstab lohnt

Der Wert der richtigen Skalierung $S$ wächst mit der Bitbreite. Bei $b = 1$ Etwas, der Abstand ist marginal. Bei $d = 128$ Und $b = 4$ Bits reduziert EDEN-biased MSE um 2,25 % gegenüber TurboQuant-mse, und dies sind die Bitbreiten, die Praktiker tatsächlich für Einbettungen und KV-Caches verwenden.

In den Dimensionen 16 bis 4096 und allen getesteten Bitbreiten $b in {1,2,3,4}$EDEN-voreingenommenes vNMSE (vektornormalisiertes MSE, $mathbb{E}(|x – hat{x}|^2) / |x|^2$) liegt in jedem Fall unter TurboQuant-mse (Abbildung 2). Da die Dimension sehr groß wird, wird sie optimum $S$ Ansatz 1 und die beiden Algorithmen konvergieren, aber bei praktischen Dimensionen (128–1024) bleibt die Lücke bestehen.

Unvoreingenommene Komprimierung: Einsparung von mehr als einem ganzen Bit

Die obigen Ergebnisse betreffen die voreingenommenen (MSE-minimierenden) Varianten. Betrachten Sie nun den unvoreingenommenen Fall, in dem Anwendungen wie verteiltes Coaching, ungefähre Aufmerksamkeit oder das Abrufen innerer Produkte erforderlich sind $mathbb{E}(hat{x}) = x$ weil sie viele quantisierte Vektoren mitteln.

EDEN-unbiased verwendet denselben Single-Go-Algorithmus wie EDEN-biased, nur mit $S$ zur Bias-Korrektur ausgewählt. Die unvoreingenommene Variante von TurboQuant, TurboQuant-prod, geht einen anderen Weg: Sie gibt aus $(b-1)$ Bits auf dem voreingenommenen TurboQuant-mse-Schritt und reserviert 1 Bit für einen QJL (quantisierter Johnson-Lindenstrauss) (4) Korrektur des Residuums (QJL ähnelt EDEN bei $b=1$aber mit höherer Varianz).

EDEN-unbiased übertrifft TurboQuant-prod in jeder getesteten Konfiguration, und zwar deutlich. Die Lücke ist auf drei strukturelle Vorteile des Single-Go-Designs von EDEN zurückzuführen:

1. EDEN optimiert den Maßstab. TurboQuant-prod erbt TurboQuant-mse $s=1$ Die erste Stufe ist daher mit der gleichen MSE-Strafe verbunden.
2. Die 1-Bit-Konstruktion von EDEN weist eine geringere Varianz auf als QJL. In großen Dimensionen konvergiert EDENs 1-Bit-vNMSE $pi/2 – 1 ca. 0,57$ (1)während QJLs gegen konvergieren $pi/2 ca. 1,57$ (4)ungefähr 2,75× höher.
3. EDEN gibt das gesamte Bit-Price range für einen einzigen unverzerrten Quantisierer aus. TurboQuant-prod teilt das Price range auf $(b-1)$ voreingenommene Bits plus 1 Restbit, was empirisch schlechter abschneidet als alle Ausgaben $B$ Bits auf einem einzigen unvoreingenommenen Quantisierer (5).

Diese Effekte verstärken sich. Das Ergebnis: 1-Bit-, 2-Bit- und 3-Bit-EDEN-Unbiased sind jeweils genauer als 2-Bit-, 3-Bit- bzw. 4-Bit-TurboQuant-Prod (Abbildung 3). Durch den Austausch in EDEN können Sie ein Bit professional Koordinate reduzieren und trotzdem die Genauigkeit von TurboQuant-prod erreichen.

Auf TurboQuants eigenen Benchmarks

Das gleiche Bild ergibt sich bei den standardmäßigen ANN-Benchmarks, die TurboQuant auswertet, nämlich denen von Stanford GloVe vorab trainierte Wortvektoren (Open Knowledge Commons Public Area-Widmung und -Lizenz v1.0) und Qdrants dbpedia-entities-openai3-text-embedding-3-large Einbettungen (Apache 2.0) unter Verwendung des veröffentlichten Evaluierungscodes von TurboQuant:

EDEN-biased erreicht einen niedrigeren MSE als TurboQuant-mse, EDEN-unbiased erreicht einen deutlich geringeren inneren Produktfehler als TurboQuant-prod, und die Rückruffunktion für den nächsten Nachbarn begünstigt bei beiden Datensätzen EDEN (Abbildung 4).

Fazit: Verwenden Sie EDEN; Auf die optimale Skalierung kommt es an

Die EDEN-Skala verbindet die bekannte Postrotationsverteilung mit einem analytisch optimalen Quantisierer. TurboQuant-mse behält die Rotation von EDEN und das Codebuch bei, aber Pins $S=1$was es zu einem streng schwächeren Spezialfall macht. TurboQuant-prod fügt darüber hinaus eine 1-Bit-QJL-Stufe hinzu, in der EDEN-unbiased die gleiche Eigenschaft mit höherer Genauigkeit erhält, indem einfach eine Skala zur Bias-Korrektur ausgewählt wird.

• Für MSE-gerichtete Komprimierung (Modellgewichtungsquantisierung, Suche nach nächsten Nachbarn, KV-Cache): EDEN-biased berechnet den optimalen Maßstab $S$ und schlägt durchweg TurboQuant-mse (das Ist EDEN mit $S=1$ behoben).
• Für eine unvoreingenommene Schätzung (verteilte Mittelwertschätzung, ungefähre Aufmerksamkeit, Abruf innerer Produkte): EDEN-unbiased übertrifft die Bit-Splitting-Strategie von TurboQuant-prod erheblich, und zwar um Margen, die mehr als ein ganzes Bit professional Koordinate wert sind.

EDEN wurde ursprünglich für die verteilte Mittelwertschätzung im föderierten und verteilten Coaching entwickelt. In späteren Arbeiten wurde es beispielsweise auf die Einbettung von Komprimierung für die Neuordnung von Dokumenten angewendet (SDR2022 (8)), angepasst für das NVFP4-LLM-Coaching (MS-EDEN In Quartett II2026 (10)), verallgemeinerte es auf Vektorquantisierung für datenfreie LLM-Gewichtskomprimierung (HIGGS2025 (9)), das dann für die KV-Cache-Komprimierung verwendet wurde (AQUA-KV2025 (11)).

EDEN-Implementierungen sind verfügbar: in PyTorch und TensorFlowIn Intels OpenFL (7)und seine 1-Bit-Variante bei Google FedJax, TensorFlow FederatedUnd TensorFlow-Modelloptimierung.

Die vollständige technische Vergleichsanalyse mit TurboQuant (alle Zahlen, detaillierte experimentelle Methodik) finden Sie in unserem Hinweis (5).

Die ursprünglichen Ableitungen, Beweise und weiteren Erweiterungen finden Sie in unseren Originalarbeiten (1) (2).

Referenzen

1. S. Vargaftik, R. Ben-Basat, A. Portnoy, G. Mendelson, Y. Ben-Itzhak, M. Mitzenmacher, ANTRIEB: Ein-Bit-Schätzung des verteilten Mittelwerts (2021), NeurIPS 2021.
2. S. Vargaftik, R. Ben-Basat, A. Portnoy, G. Mendelson, Y. Ben-Itzhak, M. Mitzenmacher, EDEN: Kommunikationseffiziente und robuste verteilte Mittelwertschätzung für föderiertes Lernen (2022), ICML 2022.
3. A. Zandieh, M. Daliri, A. Hadian, V. Mirrokni, TurboQuant: On-line-Vektorquantisierung mit nahezu optimaler Verzerrungsrate (2026), ICLR 2026.
4. A. Zandieh, M. Daliri, I. Han, QJL: 1-Bit-quantisierte JL-Transformation für KV-Cache-Quantisierung ohne Overhead (2024), arXiv:2406.03482.
5. R. Ben-Basat, Y. Ben-Itzhak, G. Mendelson, M. Mitzenmacher, A. Portnoy, S. Vargaftik, Eine Anmerkung zu TurboQuant und der früheren DRIVE/EDEN-Arbeitslinie (2026), arXiv:2604.18555.
6. AT Suresh, FX Yu, S. Kumar, HB McMahan, Verteilte Mittelwertschätzung mit eingeschränkter Kommunikation (2017), ICML 2017.
7. VMware Open Supply-Weblog, EDEN der VMware Analysis Group wird Teil von OpenFL (November 2022).
8. N. Cohen, A. Portnoy, B. Fetahu, A. Ingber, SDR: Effizientes neuronales Re-Rating mithilfe prägnanter Dokumentdarstellung (2022), ACL 2022.
9. V. Malinovskii, A. Panferov, I. Ilin, H. Guo, P. Richtárik, D. Alistarh, HIGGS: Die Grenzen der Quantisierung großer Sprachmodelle mithilfe des Linearitätssatzes erweitern (2025), NAACL 2025.
10. A. Panferov, E. Schultheis, S. Tabesh, D. Alistarh, Quartett II: Genaues LLM-Vortraining in NVFP4 durch verbesserte unvoreingenommene Gradientenschätzung (2026), arXiv:2601.22813.
11. A. Shutova, V. Malinovskii, V. Egiazarian, D. Kuznedelev, D. Mazur, N. Surkov, I. Ermakov, D. Alistarh, Cachen Sie mich, wenn Sie müssen: Adaptive Schlüsselwertquantisierung für große Sprachmodelle (2025), ICML 2025.