Wir sind in die Zeit der künstlichen Intelligenz mit mehreren Agenten eingetreten. Es gibt jedoch eine sehr wichtige Frage: Wie können entfernte KI-Agenten reichhaltige und interaktive Erlebnisse erzeugen, ohne das System Sicherheitsrisiken auszusetzen? Das Google A2UI-Protokoll (Agent-to-UI) beantwortet diese Frage auf sehr intelligente Weise und ermöglicht es Agenten, Benutzeroberflächen zu erstellen, die vollständig in die gesamte Plattform integriert sind.

Was ist Google A2UI?

A2UI ist ein öffentliches Protokoll, das es KI-Agenten ermöglicht, explizit Benutzeroberflächen zu erstellen JSON-basierte Kommunikation. Anstatt die Kommunikation nur auf Textual content zu beschränken oder die unsichere HTML/JavaScript-Ausführungsmethode zu verwenden, können die Agenten erweiterte Benutzeroberflächen entwickeln, indem sie die bereits genehmigten Komponentenkataloge kombinieren und abgleichen.

Schlüsselinnovation: Agenten kommunizieren ihre UI-Anforderungen; Anwendungen nutzen ihre nativen Frameworks zum Rendern (React, Flutter, Angular, SwiftUI usw.)

Downside, das A2UI löst

In der Welt des Multi-Agent-Mesh arbeiten Agenten verschiedener Unternehmen distant zusammen. Die traditionellen Lösungen sind:

• Nur-Textual content-Schnittstellen – Langsam und ineffizient
• Sandbox-HTML/Iframes – Schwere, optisch unzusammenhängende Sicherheitsrisiken
• Direkte UI-Manipulation – Nicht möglich, wenn die Agenten auf Distant-Servern ausgeführt werden

A2UI eröffnet eine neue Möglichkeit, die Benutzeroberfläche zu senden, die sicher wie Daten, aber ausdrucksstark wie Code ist.

Hauptvorteile von Google A2UI

Hier sind einige der wichtigsten Vorteile von A2UI:

1. Safety-First-Architektur

• Verwendet ein deklaratives Datenformat anstelle von ausführbarem Code
• Agenten dürfen Komponenten aus vertrauenswürdigen und bereits freigegebenen Katalogen übernehmen
• Kein Risiko der Code-Injection, die volle Kontrolle verbleibt beim Kunden

2. LLM-freundliches Design

• Flache Bauteilstruktur mit ID-Referenzen
• Für große Sprachmodelle ist es unmöglich, etwas anderes als inkrementell zu generieren
• Ermöglicht progressives Rendering und Echtzeit-Updates
• Agenten können Schnittstellen Ingredient für Ingredient streamen

3. Framework-unabhängige Portabilität

• Eine JSON-Nutzlast ist für Internet, Mobilgeräte und Desktop gültig
• Funktioniert mit jedem UI-Framework
• Durch die lokale Darstellung wird sichergestellt, dass das Markenerlebnis des Kunden gleich bleibt
• Kein Code Es ist eine plattformspezifische Angabe erforderlich

4. Nahtlose Protokollintegration

• Kompatibel mit dem A2A-Protokoll (Agent-zu-Agent-Kommunikation)
• Funktioniert mit AG-UI für Agent-Benutzer-Interaktionen
• Bereit zur Verbindung mit der vorhandenen Agenten-Infrastruktur

So funktioniert A2UI

Die Funktionsweise von A2UI umfasst vier Phasen:

1. Part 1: Generierung

• Der Agent (Gemini oder ein anderer LLM) ist für die Erstellung einer JSON-Nutzlast verantwortlich.
• Es beschreibt die UI-Elemente und ihre entsprechenden Attribute.
• Es kann entweder UI-Elemente von Grund auf erstellen oder die Vorlagen ausfüllen.

2. Part 2: Transport

• Die JSON-Nachricht wird über das A2A-Protokoll, AG-UI oder REST-APIs versendet.
• Die Kommunikationsmethode ist nicht von einem bestimmten Protokoll abhängig und kann mit jedem Kommunikationskanal verwendet werden.

3. Part 3: Lösung

• Der A2UI-Renderer des Shoppers interpretiert den JSON.
• Es überprüft die Struktur und die Berechtigungen der Komponenten.
• Es stellt sicher, dass alle Komponenten zum vertrauenswürdigen Katalog gehören.

4. Part 4: Rendern

• Es konvertiert die abstrakten Komponenten in ihre jeweiligen nativen Implementierungen.
• Beispielsweise wird das Textfeld zu einer Materials Design-Eingabe, einem Chakra-UI-Feld usw.
• Für das Rendering wird das bereits vorhandene UI-Framework des Shoppers verwendet.

Sicherheitsvorteil: Der Kunde sieht und betreibt nur Komponenten, die vorab genehmigt wurden. Es wird keine unsichere Codeausführung geben.

Beginnen Sie mit A2UI

Es gibt zwei Möglichkeiten, auf A2UI zuzugreifen:

1. Über die direkte Weboberfläche

Sie können sich über anmelden https://a2ui-composer.ag-ui.com/ und nach der Anmeldung müssen Sie den Agenten nur noch auffordern, die Ausgabe zu erhalten.

2. Über das Repository

Sie können auf A2UI zugreifen, indem Sie das Repository klonen https://github.com/google/A2UI und dann die Schnellstart-Demo ausführen. Sie werden sehen, wie von Gemini unterstützte Agenten die Schnittstellen generieren, und Sie können die Komponenten einfach an Ihren Anwendungsfall anpassen.

Praktische Aufgabe 1: Good Price range Tracker

Der alte Weg (textbasiert):

Benutzer: „Was habe ich diesen Monat ausgegeben?“

Agent: „Sie haben 1.234 US-Greenback für Essen ausgegeben, 567 US-Greenback für das Essen auswärts …“

Benutzer: „Welche Kategorie überschreitet das Price range?“

Agent: „Auswärts essen kostet 67 $ mehr als Ihr Price range von 500 $“

Benutzer: „Geben Sie mir einen detaillierten Bericht“

Mit A2UI:

Immediate:

„Ich stelle unten meine Transaktionsdaten bereit. Verwenden Sie diese, um ein Good Price range Tracker-Dashboard zu erstellen. Die Daten:

1. Dezember: 200 $ (Essen)

1. Dezember: 300 $ (Kleidung)

2. Dezember: 500 $ (Reise)

Budgetgrenzen: Legen Sie die Standardgrenzen für jede Kategorie auf 400 $ fest.“

Ausgabe:

Der Agent erstellt sofort ein vollständiges Dashboard mit den folgenden Komponenten:

• Ein interaktiver Schieberegler, der die Verteilung der Ausgaben professional Kategorie anzeigt.
• Die bearbeitbaren Grenzen des Benutzers mit zugehörigen Inline-Textfeldern.
• Mit der Datumsbereichsauswahl können Sie verschiedene Zeiträume vergleichen.
• Die Kategoriefilter mit Kippschaltern.
• Die Trendanalyse zeigt die Ausgabenmuster im Zeitverlauf.
• Die Benutzer interagieren direkt mit den visuellen Komponenten; Daher ist keine Eingabe erforderlich.

Benutzer können Budgets mit Schiebereglern anpassen, Kategorien mit Kontrollkästchen herausfiltern und mit einem einzigen Tastendruck zu Einzelheiten gelangen.

Praktische Aufgabe 2: Taxibuchungssystem

Der alte Weg (textbasiert):

Benutzer: „Buchen Sie ein Taxi“

Agent: „Wo befinden Sie sich?“

Benutzer: „Ich bin in der 123 Essential Road.“

Agent: „Wohin möchten Sie gehen?“

Benutzer: „Ich möchte zur 456 Oak Avenue gehen.“

Agent: „Wann brauchen Sie das Taxi?“

Benutzer: „Ich möchte es so schnell wie möglich.“

Agent: „Welche Artwork von Fahrzeug würden Sie bevorzugen?“

Mit A2UI:

Immediate:

„Generieren Sie eine hochauflösende Taxibuchungsoberfläche mit nur einem Bildschirm basierend auf den folgenden Anforderungen:

### 1. VORBUCHUNGSPHASE (Planungsmodus)

– INTERAKTIVE KARTE: Rendern Sie eine Karte mit einem ziehbaren „Abhol“-Pin (am aktuellen Standort) und einem „Ziel“-Pin. Zeigen Sie die berechnete Route an.

– ADRESSEINGABEN: Zwei Textfelder (Abholung/Ziel) mit automatischer Vervollständigung. Standardziel ist „456 Oak Avenue“.

– FAHRZEUGAUSWAHL: Eine horizontale Liste von Optionen (Economic system, Premium, XL) mit:

– Preise in Echtzeit

– ETA (z. B. „3 Minuten entfernt“)

– Hochwertige Fahrzeugsymbole

– EINSTELLUNGEN:

• Ein Schalter für die Route „Kürzeste vs. Schnellste“.
• Eine Liste „Gespeicherter Orte“ (Zuhause, Arbeit, Fitnessstudio) zur Auswahl mit einem Fingertipp.
• Eine Zeitauswahl, die standardmäßig auf „Jetzt“ eingestellt ist.
• KOSTENSCHÄTZUNG: Eine dynamische Zusammenfassung mit Grundpreis + Steuern.

### 2. ÜBERGANGSLOGIK (Die Aktion „Buchen“)

Wenn der Benutzer auf „Buchung bestätigen“ tippt, wird der Bildschirm nicht gelöscht. Überführen Sie die vorhandene Benutzeroberfläche in den „Reside-Monitoring-Modus“.

### 3. LIVE-TRACKING-PHASE (Aktivmodus)

• KARTEN-UPDATE: Zeigt ein fahrendes Autosymbol an, das den aktuellen Standort des Fahrers darstellt.
• ANKUNFTSKARTE: Ersetzen Sie den Fahrzeugwähler durch eine „Fahrerinformationskarte“, einschließlich:
• Title des Fahrers, Bewertung und Kennzeichen des Fahrzeugs.
• Ein Reside-Countdown-Timer (z. B. „Ankunft in 2 Minuten und 14 Sekunden“).
• KOMMUNIKATION: Fügen Sie zwei One-Faucet-Schaltflächen hinzu: (Fahrer anrufen) und (Fahrernachricht).
• NOTFALL: Fügen Sie eine intestine sichtbare „SOS“-Style hinzu.

### 4. DESIGNSTIL

• Sauberes, kartenzentriertes Structure (wie Uber/Lyft).
• Verwenden Sie schwebende Aktionsblätter für Eingaben, um die Sichtbarkeit der Karte zu maximieren.“

Ausgabe:

Der Agent bereitet eine Buchungsoberfläche mit einem Bildschirm vor mit:

• Eine interaktive Karte mit den Zielen und Abholpunkten
• Adressfelder mit automatischer Vervollständigung und Geolokalisierungsunterstützung
• Zeitauswahl, die standardmäßig auf sofortige Buchung eingestellt ist
• Fahrzeugoptionen, die Reside-Preise und voraussichtliche Ankunftszeiten anzeigen
• Orte, die für häufige Ziele gespeichert sind
• Umschalten der Routenpräferenz (kürzeste vs. schnellste)
• Ein Kostenschätzer-Schieberegler, der sich an Parameter anpasst

Nach der Bestätigung wird dieselbe Schnittstelle aktualisiert mit:

• Reside-Standortverfolgung des Fahrers
• Countdown der voraussichtlichen Ankunft
• Fahrer- und Fahrzeuginformationen
• Schaltflächen für die Kommunikation mit einem Fingertipp

Abschluss

Google A2UI weist auf einen großen Wandel hinsichtlich der Interaktionen der KI-Agenten hin. Die Fähigkeit der Agenten, sichere, umfangreiche und native Benutzeroberflächen zu erstellen, wird die Barrieren beseitigen, die die breite Akzeptanz der Agenten bisher verhindert haben. Agenten werden nun in der Lage sein, Anwendungen wie Budgetierungstools, Buchungssysteme, Projekt-Dashboards oder sogar neue Anwendungskategorien zu erstellen, bei denen A2UI den Einsatz der Technologie verbessern wird.

Mistral AI hat Devstral 2 eingeführt, eine Codierungsmodellfamilie der nächsten Technology für Software program-Engineering-Agenten, zusammen mit Mistral Vibe CLI, einem Open-Supply-Befehlszeilen-Codierungsassistenten, der im Terminal oder in IDEs ausgeführt wird, die das Agent Communication Protocol unterstützen.

Devstral 2 und Devstral Small 2, Modellgrößen, Kontext und Benchmarks

Devstral 2 ist ein 123B Parameter-dichter Transformator mit einem 256K Token-Kontextfenster. Im SWE-Bench Verified erreicht es 72,2 Prozent und zählt damit zu den stärksten Open-Weight-Modellen für Software program-Engineering-Aufgaben. Das Modell wird als offene Gewichte unter einer modifizierten MIT-Lizenz veröffentlicht und kann derzeit kostenlos über die Mistral-API verwendet werden.

Devstral Small 2 ist ein 24B-Parametermodell mit demselben 256K-Kontextfenster. Im SWE-Bench-Verified erreicht es 68,0 Prozent und liegt in der Reihe der Modelle, deren Parameteranzahl bis zu fünfmal größer ist. Es wird unter der Apache 2.0-Lizenz veröffentlicht, einer Standardlizenz für den produktiven Einsatz.

Beide Modelle werden als Open Supply beschrieben und freizügig lizenziert und gelten als hochmoderne Codierungsmodelle für Agenten-Workloads. Mistral berichtet, dass Devstral 2 bei realen Codierungsaufgaben bei ähnlicher Qualität bis zu siebenmal kosteneffizienter ist als Claude Sonnet, was für kontinuierliche Agentenauslastungen wichtig ist.

In Bezug auf die Modellgröße im Vergleich zu Grenzsystemen sind Devstral 2 und Devstral Small 2 5-mal bzw. 28-mal kleiner als DeepSeek V3.2 und 8-mal bzw. 41-mal kleiner als Kimi K2.

Entwickelt für Codierungsworkflows in Produktionsqualität

Devstral 2 wurde für Software program-Engineering-Agenten entwickelt, die Repositorys erkunden, Abhängigkeiten verfolgen und Änderungen an vielen Dateien orchestrieren müssen, während sie gleichzeitig den Kontext auf Architekturebene beibehalten müssen. Das Modell kann Fehler erkennen, es mit Korrekturen erneut versuchen und Aufgaben wie Fehlerbehebung oder Modernisierung von Altsystemen auf Repository-Ebene unterstützen.

Mistral gibt an, dass Devstral 2 fein abgestimmt werden kann, um bestimmte Programmiersprachen zu bevorzugen oder für sehr große Unternehmenscodebasen zu optimieren. Devstral Small 2 bringt die gleichen Designziele auf eine kleinere Stellfläche, die für die lokale Bereitstellung, enge Feedbackschleifen und vollständig non-public Laufzeiten geeignet ist. Es unterstützt auch Bildeingaben und kann multimodale Agenten steuern, die sowohl über Code als auch über visuelle Artefakte wie Diagramme oder Screenshots nachdenken müssen.

Menschliche Bewertungen gegen DeepSeek V3.2 und Claude Sonnet 4.5

Um das Codierungsverhalten in der Praxis zu testen, evaluierte Mistral Devstral 2 im Vergleich zu DeepSeek V3.2 und Claude Sonnet 4.5 mithilfe von Aufgaben, die über das Cline-Agententool erstellt wurden. In diesen menschlichen Bewertungen zeigt Devstral 2 einen klaren Vorteil gegenüber DeepSeek V3.2 mit einer Gewinnrate von 42,8 Prozent gegenüber einer Verlustrate von 28,6 Prozent.

Mistral Vibe CLI, ein terminal-nativer Codierungsagent

Mistral Vibe CLI ist ein Open-Supply-Befehlszeilen-Codierungsassistent, der in Python geschrieben ist und auf Devstral-Modellen basiert. Es untersucht, modifiziert und führt Änderungen in einer Codebasis mithilfe natürlicher Sprache im Terminal oder in IDEs aus, die das Agent Communication Protocol wie Zed unterstützen, wo es als Erweiterung verfügbar ist. Das Projekt wird unter veröffentlicht Apache 2.0-Lizenz auf GitHub.

Vibe CLI bietet zusätzlich zu mehreren wichtigen Instruments eine Schnittstelle im Chat-Stil:

• Es scannt den projektbezogenen Kontext und scannt die Dateistruktur und den Git-Standing, um eine Arbeitsansicht des Repositorys zu erstellen.
• Intelligente Referenzen werden unterstützt @ Autovervollständigung für Dateien, ! für Shell-Befehle und Slash-Befehle für Konfigurationsänderungen.
• Bei der Orchestrierung mehrerer Dateien wird die gesamte Codebasis und nicht nur der aktive Puffer berücksichtigt, um Änderungen auf Architekturebene zu koordinieren und die Zykluszeit für Pull-Anfragen zu verkürzen.
• Persistenter Verlauf, automatische Vervollständigung und für den täglichen Gebrauch im Terminal optimierte Themen.

Entwickler konfigurieren Vibe CLI auf einfache Weise config.toml Datei, in der sie über die Mistral-API auf Devstral 2 oder auf andere lokale oder Distant-Modelle verweisen können. Das Software unterstützt programmgesteuerte Ausführungen, automatische Genehmigungsumschaltungen für die Toolausführung und granulare Berechtigungen, sodass riskante Vorgänge in sensiblen Repositorys eine Bestätigung erfordern.

Wichtige Erkenntnisse

1. Devstral 2 ist ein 123B Parameter dichtes Codierungsmodell mit 256K Kontext, es erreicht 72,2 Prozent bei SWE Bench Verified und wird als offene Gewichte unter einer modifizierten MIT-Lizenz veröffentlicht.
2. Devstral Small 2 hat 24B Parameter mit dem gleichen 256K-Kontext, erreicht beim SWE-Bench-Verified 68,0 Prozent und nutzt eine Apache 2.0-Lizenz für eine einfachere Produktionseinführung.
3. Beide Devstral-Modelle sind für Agenten-Codierungs-Workloads optimiert. Sie sind darauf ausgelegt, vollständige Repositorys zu erkunden, Abhängigkeiten zu verfolgen und mehrere Dateibearbeitungen mit Fehlererkennung und Wiederholungsversuchen durchzuführen.
4. Mistral Vibe CLI ist ein Open-Supply-Python-basierter nativer Terminal-Coding-Agent, der eine Verbindung zu Devstral herstellt. Er bietet projektbezogenen Kontext, intelligente Referenzen und Orchestrierung mehrerer Dateien über eine Chat-Schnittstelle im Terminal oder IDEs, die das Agent Communication Protocol unterstützen.

---

Schauen Sie sich das an Ausführliche technische Particulars hier. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Wie halten Sie synthetische Daten für moderne KI-Modelle aktuell und vielfältig, ohne dass eine einzige Orchestrierungspipeline zum Engpass wird? Meta-KI-Forscher stellen vor Matrixein dezentrales Framework, in dem sowohl Kontrolle als auch Datenfluss in Nachrichten serialisiert werden, die sich durch verteilte Warteschlangen bewegen. Da das LLM-Coaching zunehmend auf synthetischen Gesprächen, Instrument-Traces und Argumentationsketten basiert, sind die meisten bestehenden Systeme immer noch auf einen zentralen Controller oder domänenspezifische Setups angewiesen, was GPU-Kapazität verschwendet, den Koordinationsaufwand erhöht und die Datenvielfalt einschränkt. Matrix nutzt stattdessen Peer-to-Peer-Agentenplanung auf einem Ray-Cluster und liefert einen 2- bis 15-mal höheren Token-Durchsatz bei realen Arbeitslasten bei gleichbleibender Qualität.

Von zentralisierten Controllern bis hin zu Peer-to-Peer-Agenten

Herkömmliche Agenten-Frameworks behalten den Workflow-Standing und die Kontrolllogik in einem zentralen Orchestrator. Jeder Agentenaufruf, Toolaufruf und jeder Wiederholungsversuch läuft über diesen Controller. Über dieses Modell lässt sich leicht nachdenken, es lässt sich jedoch nicht intestine skalieren, wenn Sie Zehntausende gleichzeitiger synthetischer Dialoge oder Werkzeugtrajektorien benötigen.

Matrix verfolgt einen anderen Ansatz. Es serialisiert sowohl den Kontrollfluss als auch den Datenfluss in ein Nachrichtenobjekt, das als Orchestrator bezeichnet wird. Der Orchestrator speichert den Aufgabenstatus, einschließlich Konversationsverlauf, Zwischenergebnisse und Routing-Logik. Zustandslose Agenten, die als Ray-Akteure implementiert sind, ziehen einen Orchestrator aus einer verteilten Warteschlange, wenden ihre rollenspezifische Logik an, aktualisieren den Standing und senden ihn dann direkt an den nächsten vom Orchestrator ausgewählten Agenten. Es gibt keinen zentralen Scheduler in der inneren Schleife. Jede Aufgabe schreitet unabhängig auf Zeilenebene voran, anstatt wie in Spark oder Ray Knowledge auf Barrieren auf Batch-Ebene zu warten.

Dieses Design reduziert die Leerlaufzeit, wenn verschiedene Flugbahnen sehr unterschiedliche Längen haben. Dadurch wird die Fehlerbehandlung auch lokal für eine Aufgabe ermöglicht. Wenn ein Orchestrator ausfällt, wird ein Batch nicht angehalten.

Systemstapel und Dienste

Matrix läuft auf einem Ray-Cluster, der normalerweise auf SLURM gestartet wird. Ray stellt verteilte Akteure und Warteschlangen bereit. Ray Serve stellt LLM-Endpunkte hinter vLLM und SGLang bereit und kann auch über Proxyserver an externe APIs wie Azure OpenAI oder Gemini weiterleiten.

Toolaufrufe und andere komplexe Dienste werden in Apptainer-Containern ausgeführt. Dadurch wird die Agentenlaufzeit von Sandboxes zur Codeausführung, HTTP-Instruments oder benutzerdefinierten Evaluatoren isoliert. Hydra verwaltet die Konfiguration für Agentenrollen, Orchestratortypen, Ressourcenzuweisungen und I- oder O-Schemata. Grafana lässt sich in Ray-Metriken integrieren, um die Warteschlangenlänge, ausstehende Aufgaben, den Token-Durchsatz und die GPU-Auslastung in Echtzeit zu verfolgen.

Matrix führt auch das Offloading von Nachrichten ein. Wenn der Konversationsverlauf einen Größenschwellenwert überschreitet, werden große Nutzlasten im Objektspeicher von Ray gespeichert und im Orchestrator werden nur Objektkennungen gespeichert. Dadurch wird die Clusterbandbreite reduziert, während die Agenten dennoch bei Bedarf Eingabeaufforderungen rekonstruieren können.

Fallstudie 1: Kollaborativer Denker

Collaborative Reasoner, auch bekannt als Coral, wertet den Multi-Agenten-Dialog aus, bei dem zwei LLM-Agenten eine Frage diskutieren, bei Bedarf anderer Meinung sind und eine endgültige Antwort finden. In der ursprünglichen Implementierung verwaltet ein zentraler Controller Tausende von Trajektorien für die Selbstkollaboration. Matrix implementiert dasselbe Protokoll mithilfe von Peer-to-Peer-Orchestratoren und zustandslosen Agenten erneut.

Auf 31 A100-Knoten konfiguriert Matrix mit LLaMA 3.1 8B Instruct die Parallelität als 248 GPUs mit 50 Abfragen professional GPU, additionally 12.400 gleichzeitige Gespräche. Die Coral-Basislinie wird mit der optimalen Parallelität von 5.000 ausgeführt. Unter identischer {Hardware} generiert Matrix etwa 2 Milliarden Token in etwa 4 Stunden, während Coral etwa 0,62 Milliarden Token in etwa 9 Stunden produziert. Das ist eine 6,8-fache Steigerung des Token-Durchsatzes bei nahezu identischer Übereinstimmungskorrektheit um 0,47.

Fallstudie 2: NaturalReasoning Internet-Datenkuration

NaturalReasoning erstellt einen Argumentationsdatensatz aus großen Webkorpora. Matrix modelliert die Pipeline mit drei Agenten. Ein Filteragent verwendet ein kleineres Klassifikationsmodell, um englische Passagen auszuwählen, die wahrscheinlich Begründungen enthalten. Ein Rating-Agent verwendet ein größeres, auf Anweisungen abgestimmtes Modell, um Qualitätsbewertungen zuzuweisen. Ein Frageagent extrahiert Fragen, Antworten und Argumentationsketten.

Von 25 Millionen DCLM-Webdokumenten überleben nur etwa 5,45 Prozent alle Filter, was etwa 1,19 Millionen Frage-Antwort-Paare mit zugehörigen Argumentationsschritten ergibt. Matrix vergleicht dann verschiedene Parallelitätsstrategien für eine Teilmenge von 500.000 Dokumenten. Die beste Konfiguration kombiniert Datenparallelität und Aufgabenparallelität mit 20 Datenpartitionen und 700 gleichzeitigen Aufgaben professional Partition. Dadurch wird ein etwa 1,61-mal höherer Durchsatz erreicht als mit einer Einstellung, die nur die Aufgabengleichzeitigkeit skaliert.

Über den gesamten Lauf von 25 Millionen Dokumenten erreicht Matrix 5.853 Token professional Sekunde, verglichen mit 2.778 Token professional Sekunde bei einer Ray Knowledge-Batch-Basislinie mit 14.000 gleichzeitigen Aufgaben. Das entspricht einem 2,1-fachen Durchsatzgewinn, der ausschließlich auf der Peer-to-Peer-Zeilenebenenplanung und nicht auf verschiedenen Modellen beruht.

Fallstudie 3, Verwendungsverläufe des Tau2-Bench-Werkzeugs

Tau2-Bench bewertet Konversationsagenten, die in einer Kundensupportumgebung Instruments und eine Datenbank verwenden müssen. Matrix repräsentiert diese Umgebung mit vier Agenten, einem Benutzersimulator, einem Assistenten, einem Instrument-Executor und einem Belohnungsrechner sowie einer Senke, die Metriken sammelt. Instrument-APIs und Belohnungslogik werden aus der Tau2-Referenzimplementierung wiederverwendet und in Container verpackt.

Auf einem Cluster mit 13 H100-Knoten und Dutzenden LLM-Replikaten generiert Matrix 22.800 Trajektorien in etwa 1,25 Stunden. Das entspricht etwa 41.000 Token professional Sekunde. Die grundlegende Tau2-Agent-Implementierung auf einem einzelnen Knoten, konfiguriert mit 500 gleichzeitigen Threads, erreicht etwa 2.654 Token professional Sekunde und 1.519 Trajektorien. Die durchschnittliche Belohnung bleibt in beiden Systemen nahezu unverändert, was bestätigt, dass die Beschleunigung nicht auf Abstriche in der Umgebung zurückzuführen ist. Insgesamt liefert Matrix bei diesem Benchmark einen etwa 15,4-mal höheren Token-Durchsatz.

Wichtige Erkenntnisse

• Matrix ersetzt zentralisierte Orchestratoren durch eine nachrichtengesteuerte Peer-to-Peer-Agentenarchitektur, die jede Aufgabe als unabhängige Zustandsmaschine behandelt, die sich über zustandslose Agenten bewegt.
• Das Framework basiert vollständig auf einem Open-Supply-Stack, SLURM, Ray, vLLM, SGLang und Apptainer, und lässt sich auf Zehntausende gleichzeitiger Multi-Agent-Workflows für die Generierung synthetischer Daten, Benchmarking und Datenverarbeitung skalieren.
• In drei Fallstudien, Collaborative Reasoner, NaturalReasoning und Tau2-Bench, liefert Matrix einen etwa 2- bis 15,4-mal höheren Token-Durchsatz als spezialisierte Baselines unter identischer {Hardware} und behält dabei vergleichbare Ausgabequalität und Belohnungen bei.
• Matrix verlagert große Konversationsverläufe in den Objektspeicher von Ray und speichert nur leichte Referenzen in Nachrichten, was die Spitzennetzwerkbandbreite reduziert und die LLM-Bereitstellung mit hohem Durchsatz mit gRPC-basierten Modell-Backends unterstützt.

Redaktionelle Anmerkungen

Matrix ist ein pragmatischer Systembeitrag, der die Generierung synthetischer Daten mit mehreren Agenten von maßgeschneiderten Skripten zu einer betriebsbereiten Laufzeit führt. Durch die Codierung des Kontrollflusses und des Datenflusses in Orchestratoren und die anschließende Übertragung der Ausführung an zustandslose P2P-Agenten auf Ray werden Planung, LLM-Inferenz und Instruments sauber getrennt. Die Fallstudien zu Collaborative Reasoner, NaturalReasoning und Tau2-Bench zeigen, dass sorgfältiges Systemdesign und nicht neue Modellarchitekturen heute der Haupthebel für die Skalierung synthetischer Datenpipelines sind.

---

Schauen Sie sich das an Papier Und Repo. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Was wäre, wenn eine Anwendung den Kunden personalisierte Informationen liefern könnte, ohne jemals deren Daten zu sehen?

Für Produktentwickler ist die Fähigkeit, in einer Welt steigender Datenschutzanforderungen zu agieren, heutzutage ein Muss. Da Unternehmen von der traditionellen Analyse auf eingebettete Intelligenz umsteigen, ist der Bedarf an hochsicheren und skalierbaren Anwendungen geschäftskritisch geworden.

Schneeflocke Native Apps Framework ist nicht nur ein weiteres Produkt; Es markiert einen Paradigmenwechsel in der Artwork und Weise, wie wir Datenprodukte entwickeln und vertreiben. Es stellt den Standing Quo in Frage, dass jede Software program die Daten kontrollieren muss, mit denen sie interagiert. Stattdessen wird das Modell umgedreht. Ihre App läuft nicht nur neben den Daten, sondern auch in der Umgebung des Kunden, um Transparenz zu gewährleisten.

So sieht die Zukunft sicherer, skalierbarer und produktiver Datenanwendungen aus.

Das neue Produktparadigma: Anwendungslogik trifft auf Datengrenzen

Traditionell mussten Produktteams Kompromisse zwischen Sicherheit, Benutzerfreundlichkeit und Skalierbarkeit eingehen. Entweder verschieben Sie die Daten in Ihre App (mit allen damit verbundenen Governance-Problemen) oder Sie akzeptieren eine eingeschränkte Flexibilität innerhalb der Kundenumgebung.

Snowflake Native Apps durchbrechen diesen Kompromiss. Durch die Trennung der Anwendungslogik von der Kundendatenschicht ermöglicht das Framework den Anbietern die Bereitstellung umfassender, interaktiver Funktionen, während die Kunden die volle Kontrolle über ihre Umgebung behalten.

Es handelt sich um ein Anbieter-Verbraucher-Modell:

• Anbieter liefern die Logik, Konfiguration und Erfahrung.
• Verbraucher installieren die App in ihrem Snowflake-Konto für vollständige Datenautonomie.

Für Produktentwickler ändert sich dadurch alles. Du schaffst es nicht mehr Bereitstellungen; Sie erstellen modulare, installierbare Dienste, die sich wie SaaS anfühlen, sich wie native Apps verhalten und eine Governance auf Unternehmensniveau respektieren.

Sicherer Datenaustausch: Nutzen Sie das Potenzial proprietärer und kundenbezogener Informationen

Natürlich geht es bei der Entwicklung eines großartigen Produkts nicht um Logik. Um einen Mehrwert zu schaffen, müssen Anwendungen zunehmend proprietäre Asset-Modelle, Benchmarks und angereicherte Datensätze mit echten Kundendaten kombinieren.

Hier kommen Snowflake Safe Knowledge Sharing und Direct Share ins Spiel. Anstatt Daten zu verschieben, teilen Sie den Zugriff. Eng begrenzt, mit Berechtigungen, in Echtzeit.

Stellen Sie sich vor, Sie entwickeln eine App, die Preisempfehlungen im Versicherungsbereich liefert

• Die historischen Daten Ihres Kunden befinden sich in seinem Snowflake-Konto.
• Ihr proprietäres Marktmodell befindet sich in der Umgebung des Anbieters.

Die App führt das aus Datenstrategie innerhalb seiner Umgebung und kombiniert beides, ohne dass eine der Parteien Daten bewegt. Das ist nicht nur technische Eleganz; Es ist ein neues Vertrauensmodell. Eines, das Zusammenarbeit, Monetarisierung und Innovation ermöglicht, ohne die üblichen Infrastrukturschulden oder Compliance-Risiken.

Skalierung der Produktion: Von Einzelimplementierungen bis zur Marktverteilung

Wie skalieren Sie die Verteilung, nachdem Ihre App kampferprobt ist?

Betreten Sie Snowflake Listings und betrachten Sie sie als produktive, auffindbare Daten plus Logikbündel die privat innerhalb unserer Organisation oder öffentlich auf dem Snowflake Market geteilt werden können.

In Kombination mit Native Apps wurden Listings zu einem leistungsstarken kommerziellen Kanal:

• Sie können Ihre Datenstrategie mit verschiedenen Mandanten nutzen.
• Es findet keine Datenverschiebung statt und Ihre Daten sind sicher.
• Aus Ihrer Bewerbung wird vom Projekt ein fertiges Produkt.

Darüber hinaus wird dadurch ein klarer Weg für Groups geschaffen, die ihr proprietäres IP monetarisieren möchten: Path+ Checklist+ Scale, alles innerhalb des Snowflake-Ökosystems.

Über das Backend hinaus: Mit Streamlit echte Erlebnisse bieten

Die reibungslose Workflow-Integration der Snowflake Native App in das Benutzererlebnis ist eine ihrer verlockendsten Funktionen.

Streamlit ermöglicht Snowflake die native Ausführung einer Python-Native-Benutzeroberflächenschicht. Mit Dashboards, Diagrammen, Umschaltern und Formularen, die alle direkt mit den von Ihnen bereits erstellten Daten und Logik verknüpft sind, können Sie Ihrer Anwendung visuelle Interaktivität hinzufügen.

Kein eingebettetes Analysetool, keine externen Server. Nur ein benutzerfreundliches, sicheres Frontend, das in der Umgebung des Kunden betrieben wird und eine strikte Kontrolle über alles behält.

Verpacken der App: Erstellen eines Produkts statt nur Code

Eine vollständige Snowflake Native App ist ein installierbares, eigenständiges Produkt, das mehr als nur ein paar Zeilen Code umfasst.

Folgendes ist im Paket enthalten:

• Skripte einrichten: Erstellen Sie mithilfe von Setup-Skripts Rollen, Prozeduren, Tabellen und Objekte im Snowflake-Konto des Kunden.
• Manifestdatei: Gibt die Reihenfolge an, in der Setup-Skripts ausgeführt werden.
• Streamlit-App-Verzeichnis: Ihre interaktive Entrance-Finish-Logik.
• Umgebungsdatei: Alle Abhängigkeiten von Drittanbietern, die Ihre App benötigt.

Bündeln Sie dies in einer benannten Section. Führen Sie die Anwendungspaketierungsanforderung aus, und Sie erhalten eine verteilbare Einheit. Testbar, versioniert und upgradebereit.

Darüber hinaus bietet Snowflake Versionskontrolle und starke Debug-Modi, um Mehrbenutzer-Workflows zu unterstützen, Fehler aufzuspüren und Verbesserungen fehlerfrei einzuführen.

Bereit für den Marktplatz: Operative Exzellenz, Compliance und Vertrauen

Das Hinzufügen Ihrer App zum Snowflake Market ist nicht nur ein Schritt in Richtung Verbreitung, sondern auch ein Meilenstein für den Vertrauensaufbau. Bevor Ihre App die Benutzer erreicht, prüft der Native Apps Anti-Abuse Pipeline Service (NAAPS) von Snowflake auf Bedrohungen, um die Betriebsintegrität sicherzustellen. Das Befolgen dieser Regeln als Entwickler unterscheidet unternehmenstaugliche Produkte von experimentellen Instruments.

Dies kann nicht verhandelt werden, da dies als Eckpfeiler für die Entwicklung von Apps dient, die zuverlässig skalieren, Kunden weltweit bedienen und in regulierten Umgebungen funktionieren.

Abschluss

Snowflake Native Apps bieten neben einem technischen Framework auch eine modern Denkweise. Sie nähen nicht mehr zusammen SQL-LogikPipelines und Frontends. Stattdessen erstellen Sie modulare, verwaltete und sichere Anwendungen, die wie Software program skalieren, aber nativ in Kundenumgebungen integriert sind.

Sie versenden:

• Anwendungsrahmen
• Proprietäre Intelligenz
• Streamlit-Schnittstellen
• Und Selbstvertrauen

All dies ist in einer einzigen Logik gekapselt, die durch einen einzigen Befehl aktiviert wird. In einer Welt, in der sich Werte schnell ändern, Daten jedoch statisch bleiben, sind Snowflake Native Apps die Architektur, nach der sich Produktteams gesehnt haben.

Wir haben erwähnt, dass viele Unternehmen von der KI -Technologie beeinflusst werden. Die Kryptowährungsmarketingbranche ist unter ihnen.

Die Krypto -Währungsbranche verändert sich erheblich und die Artwork und Weise, wie neue Krypto -Startups ihre Geschäfte vermarkten, ändert sich quick genauso schnell. Diese Änderungen bedeuten, dass die Strategien, die vor einem Jahr gearbeitet haben, nicht mehr die gleichen Ergebnisse liefern, sodass KI erforderlich ist, um zu helfen.

Wir haben zugehört Beste Krypto -MarketingagenturEine Bewertungsplattform, die sich mit Dienstanbietern in der Krypto -Advertising -Nische befasst, die uns mitteilte, dass einheimische Anzeigen die Zukunft des Krypto -Marketings stören und KI an der Spitze dieser Änderungen steht.

„Wir haben in den letzten Monaten im Krypto -Marketingbereich mehr Veränderungen als jederzeit im letzten Jahrzehnt gesehen. AI schafft neue Möglichkeiten für einheimische Werbetreibende, die versuchen, sich in einem gesättigteren Markt abzuheben“, sagen sie.

Viele Vermarkter nutzen native Werbung, da dies eine nicht intrusive Möglichkeit ist, neue Kunden zu erreichen. AI hilft Kryptounternehmen, ihre Dienstleistungen noch effektiver zu vermarkten. KI hat sich bereits als sehr effektiv erwiesen, Unternehmen bei ihren Marketingstrategien zu helfen, weshalb die Marktgröße von KI im Advertising wird in diesem Jahr voraussichtlich 26,9 Milliarden US -Greenback wert.

Eine Reihe von Agenturen ist auf Advertising -Kryptowährungsunternehmen spezialisiert. Sie verwenden künstliche Intelligenz, um jeden Teil ihrer Strategie zu verbessern.

Hier finden Sie einige Möglichkeiten, wie AI ihnen helfen kann, den ROI für ihre Kunden zu steigern.

1. Erstellen Sie relevante Inhalte auf skalierbare Weise

Native Adverts -Unternehmen erkennen die Notwendigkeit, qualitativ hochwertige Inhalte zu erstellen. Leider kann es schwierig sein, Inhalte so schnell und erschwinglich wie möglich zu erstellen. Dies gilt insbesondere beim Versuch, eine zu erstellen Krypto -Pressemitteilung Das ist auf zeitnahe Probleme ausgerichtet.

AI hat es Marken viel einfacher gemacht, sich durch die Erstellung von Inhalten auszuzeichnen. Dies hilft ihnen, viele Inhalte für ihre native ADS -Strategie zu haben, wenn sie versuchen, einen Vorteil auf dem Markt zu erhalten.

2. Präzisionsziel im Maßstab

Vermarkter, die versuchen, Menschen zu erreichen, die in Kryptowährungen investieren wollen, verstehen, dass das Zeigen von Anzeigen für das falsche Publikum nicht nur eine Verschwendung ist. Es kommt auch mit einem großen Risiko. AI-gesteuerte Focusing on bietet Advertising-Groups die Instruments, um dies zu vermeiden. Anstatt ein breites Netz zu besetzen, schließt AI das Verhalten des Publikums auf Plattformen auf, um Anzeigen an Personen zu liefern, die sich tatsächlich für Themen wie Blockchain -Apps, NFTs oder Defi -Token interessieren.

Dieser gezielte Ansatz funktioniert. Eine Studie von McKinsey im Jahr 2021 ergab, dass Unternehmen, die KI für Advertising und Umsatz verwenden, im Vergleich zu denjenigen, die traditionelle Methoden anwenden, eine durchschnittliche Steigerung der Conversion -Raten um 25% verzeichnete. Diese Artwork der Leistung kann bestimmen, ob ein neues Krypto -Produkt an Traktion gewinnt oder verschwindet.

AI lernt aus jeder Interaktion, Aktualisierung und Verengung von Publikumsegmenten im Laufe der Zeit. Es kann erkennen, wann sich wahrscheinlich jemand anhand von Verhaltensweisen über ähnliche Kampagnen hinweg beteiligt wird. Bei Hunderten von Mikropuster, die in den Algorithmus einspeisen, geht es weit über die demografische grundlegende Filterung hinaus.

3.. Verbesserte Inhaltspersonalisierung

Relevanz ist alles in der einheimischen Werbung. Krypto -Publikum sind besonders selektiv – sie reagieren am besten auf Anzeigen, die direkt mit ihren Interessen sprechen, ohne wie herkömmliche Anzeigen auszusehen. Hier KI-basierte Personalisierungstools stechen hervor.

Mit KI können Vermarkter Anzeigenüberschriften, Miniaturansichten und Artikelvoransichten erstellen, die sich an verschiedene Benutzergruppen anpassen. Diese Instruments passen nicht nur die Sprache an. Sie erkennen an, welche Blockchain -Themen sich im richtigen Zeitpunkt Angebote, Airdrops oder Whitepaper -Downloads empfehlen können.

Verbraucher wollen diese Artwork von Relevanz. Der Forbes -Autor Blake Morgan zitiert einen Bericht 91% der Menschen Es ist wahrscheinlicher, dass sie sich mit Marken beschäftigen, die ihnen personalisierte Angebote und Empfehlungen zeigen. Für Krypto -Marketingagenturen bietet dies eine große Probability.

„Von Spotify bis Netflix und Amazon sind wir jeden Tag von extremen Personalisierungen umgeben. Verbraucher erwarten von Unternehmen aller Größen.

Personalisierung wird auch zu einer langfristigen Strategie. Quick 89% der Entscheidungsträger der Advertising sagen, dass Personalisierung in den nächsten drei Jahren für ihren Geschäftserfolg von wesentlicher Bedeutung ist. Dies gilt noch mehr in einem Krypto -Bereich, in dem sich das Publikum je nach den Token -Präferenzen, dem Risikoappetit und ihren Plattformloyalität dramatisch unterscheiden kann.

4. Betrugserkennung und Budgetschutz

Betrug bleibt ein ständiges Drawback in der On-line -Werbung. Während native Anzeigen ein besseres Engagement als Commonplace -Anzeigenwerbung bieten – insbesondere auf Mobilgeräten -, ist die Gefahr von betrügerischen Klicks groß. Einige Studien berichten über eine Betrugsrate von 14% bis 15,6% in allen Anzeigenansichten, einschließlich der nativen Formate.

AI bringt hier dringend benötigten Schutz. Durch die Verfolgung der Muster im Verkehr und das Identifizieren von unregelmäßigem Verhalten können KI -Systeme bekannte Betrugsquellen und fragwürdige Klickaktivitäten in Echtzeit blockieren. Dies hilft Marketingteams, die Budgets ihrer Kunden zu schützen und sicherzustellen, dass die tatsächlichen Menschen – keine Bots – die Anzeigen sehen.

Nach jüngsten Branchendaten verwenden etwa 73% der Organisationen bereits KI zur Betrugserkennung. Für Krypto-Marken, die häufig in schnell bewegenden Umgebungen arbeiten und sich auf globale Zielgruppen zielen, wirken sich diese Instruments wie ein zweite Satz von Augen, die jeden Klick beobachten.

4. Vorhersageanalyse für Markttrends

Kryptomärkte werden vom Timing angetrieben. Egal, ob es sich um eine Vorverkaufsstart oder die plötzliche Beliebtheit eines Tokens handelt, wenn Sie im richtigen Second Anzeigen herausholen, kann den Erfolg einer Kampagne definieren. AI-betriebene prädiktive Analysen helfen Agenturen, einen Schritt voraus zu bleiben.

Diese Instruments setzen Tausende von Datenpunkten durch, um Traits zu erkennen, bevor sie offensichtlich sind. Sie können vorschlagen, wenn bestimmte Münzen oder Technologien auf der Grundlage von Suchvolumen, sozialem Geschwätz oder Brieftaschenaktivität an Traktion gewinnen.

Der Markt für prädiktive Analysen ist rasant gewachsen und wurde im Jahr 2024 weltweit mit 18,02 Milliarden US -Greenback bewertet. Im Krypto -Advertising wenden mehr Agenturen Vorhersagemodelle an, um zu leiten, wann und wo native Anzeigen laufen sollten. Wenn KI beispielsweise ein steigendes Interesse an einem bestimmten Protokoll der Schicht 2 erkennt, kann eine Agentur die Anzeigenplatzierungen präventiv auf das Publikum verlagern, die am wahrscheinlichsten engagiert werden.

Diese Artwork von Voraussicht verschafft Marketern einen klaren Vorteil. Sie können die Budgets frühzeitig bewegen, bevor der Werbeflächen überfüllt oder überteuert wird.