Xai eingeführt GROK-4-FASTein kostenoptimierter Nachfolger von GROK-4, der Verhaltensweisen „Argumentation“ und „Nicht-Begrenzung“ in einen einzigen Satz von Gewichten, die über Systemaufforderungen kontrollierbar sind, verschmelzen. Das Modell zielt auf Hochdurchsatz-Suche, Codierung und Fragen und Antworten mit a 2M-TOOKE-Kontextfenster und native Software-Use-RL, die entscheidet, wann Sie im Net durchsuchen, Code ausführen oder Instruments aufrufen sollen.

Architekturnote

Frühere GROK-Veröffentlichungen haben langkettige „Argumentation“ und kurze „Nicht-Bewertung“ -Tonantionen über separate Modelle teilgenommen. GROK-4-FAST Einheitlicher Gewichtsraum Reduziert Finish-to-Finish-Latenz und Token durch Lenkverhalten über Systemaufforderungen, was für Echtzeit-Anwendungen (Suche, Hilfsmittel und interaktive Codierung) related ist, wobei die Schaltmodelle sowohl Latenz als auch Kosten bestraft.

Such- und Agentenverwendung

GROK-4-FAST wurde Finish-to-Finish mit trainiert Werkzeugnutzungsverstärkungslernen und zeigt Zuwächse bei suchzentrierten Agenten-Benchmarks an: Browssecomp 44,9%Anwesend SimpleQa 95,0%Anwesend Reka Analysis 66,0%plus höhere Punktzahlen für chinesische Varianten (z. B., z. BrowseComp-Zh 51,2%). XAI zitiert auch personal Schlachtprüfung auf Larena, wo grok-4-fast-search (Codename „Menlo“) Rang 1 in der Sucharena mit 1163 Elo.und die Textvariante (Codename „Tahoe“) sitzt bei #8 in der Textarenaungefähr gleich mit grok-4-0709.

Leistungs- und Effizienzdeltas

Auf internen und öffentlichen Benchmarks, GROK-4-FAST-Pfosten Grenzklasse-Ergebnisse Während des Schneidens von Token -Nutzung. XAI -Berichte passieren@1 Ergebnisse von 92,0% (Aime 2025, keine Werkzeuge)Anwesend 93,3% (HMMT 2025, keine Werkzeuge)Anwesend 85,7% (GPQA Diamond)Und 80,0% (LivecodeBench Jan – Mai)Annäherung oder Matching GROK-4, aber verwenden ~ 40% weniger „Denken“ -Token durchschnittlich. Das Unternehmen rahmt dies als „Intelligenzdichte“ und beansprucht a ~ 98% Preissenkung, um die gleiche Benchmark-Leistung wie GROK-4 zu erreichen Wenn der untere Token-Zähler und die neue Preisgestaltung professional TOOKE kombiniert werden.

Einsatz und Preis

Das Modell ist im Allgemeinen für alle Benutzer zur Verfügung in grok’s Schnell Und Auto Modi über Net und Cell; Auto wählt GROK-4-Quick für schwierige Abfragen zur Verbesserung der Latenz, ohne Qualität zu verlieren, und-zum ersten Mal-zum ersten Mal-Kostenlose Benutzer Zugriff auf XAIs neueste Modellstufe. Für Entwickler exponiert XAI Zwei Skus–grok-4-fast-reasoning Und grok-4-fast-non-reasoning– sowohl mit 2m Kontext. Preisgestaltung (XAI -API) ist $ 0,20 / 1M Eingangs -Token (<128K)Anwesend $ 0,40 / 1m Eingangs -Token (≥ 128K)Anwesend $ 0,50 / 1 Mio. Ausgangstoken (<128K)Anwesend $ 1,00 / 1m Output -Token (≥ 128K)Und $ 0.05 / 1 Mio. Zwischeneingangs -Token.

5 Technische Imbissbuden:

• Einheitlicher Modell + 2m Kontext. GROK-4-FAST verwendet einen einzelnen Gewichtsraum für „Argumentation“ und „Nicht-Begrenzung“, ein prompt-stetter, mit einem 2.000.000-köpfigen Fenster über beide SKUs.
• Preisgestaltung für Skala. Die API -Preisgestaltung beginnt bei $ 0,20/m EingabeAnwesend $ 0,50/m Ausgabemit zwischengespeicherter Eingabe bei $ 0,05/m und höhere Raten nur über 128.000 Kontext.
• Effizienzansprüche. XAI berichtet ~40% weniger „denkende“ Token bei vergleichbarer Genauigkeit gegen GROK-4, die a ergibt ~ 98% niedrigerer Preis für die GROK-4-Leistung auf Grenz -Benchmarks.
• Benchmark -Profil. Gemeldet Cross@1: Aime-2025 92,0%Anwesend HMMT-2025 93,3%Anwesend GPQA-Diamond 85,7%Anwesend LivecodeBench (Jan. -Mai) 80,0%.
• Verwendung von Agenten/Suche. Nach dem Coaching mit Werkzeugnutzungs-RL; Positioniert zum Surfen/Such-Workflows mit dokumentierten Such-Agent-Metriken und Dwell-Such-Abrechnung in DOCS.

Zusammenfassung

GROK-4-schnelle Pakete GROK-4-Degree-Fähigkeit in ein einzelnes, prompt-vorgeschriebenes Modell mit einem 2-m-gepflegten Fenster, einem Werkzeugnutzungs-RL und einer Preisgestaltung, die für Such- und Agent-Workloads mit hohem Durchsatz abgestimmt ist. Frühe öffentliche Signale (LMARena #1 in der Suche, Wettbewerbstextplatzierung) entsprechen der Behauptung von XAI, ähnliche Genauigkeit unter Verwendung von ~ 40% weniger „Denken“ -Token, was zu niedrigeren Latenz- und Einheitskosten in der Produktion führt.

---

Schauen Sie sich das an Technische Particulars. Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser Publication.

Bild vom Autor

Aufgrund der Popularität von 7 Finish-to-Finish-MLOps-Plattformen, die Sie 2024 ausprobieren müssen Weblog schreibe ich eine weitere Liste von Finish-to-Finish-MLOP-Instruments, die Open Supply sind.

Die Open-Supply-Instruments bieten Privatsphäre und mehr Kontrolle über Ihre Daten und Modelle. Andererseits müssen Sie diese Instruments selbst verwalten, bereitstellen und dann weitere Mitarbeiter für deren Wartung einstellen. Außerdem sind Sie für die Sicherheit und etwaige Dienstausfälle verantwortlich.

Kurz gesagt: Sowohl kostenpflichtige MLOps-Plattformen als auch Open-Supply-Instruments haben Vor- und Nachteile; Sie müssen einfach auswählen, was für Sie funktioniert.

In diesem Weblog erfahren wir mehr über 5 durchgängige Open-Supply-MLOps-Instruments zum Trainieren, Verfolgen, Bereitstellen und Überwachen von Modellen in der Produktion.

1. Kubeflow

Der kubeflow/kubeflow macht alle Machine-Studying-Vorgänge auf Kubernetes einfach, portierbar und skalierbar. Es ist ein Cloud-natives Framework, mit dem Sie Machine-Studying-Pipelines erstellen und das Modell in der Produktion trainieren und bereitstellen können.

Bild von Kubeflow

Kubeflow ist mit Cloud-Diensten (AWS, GCP, Azure) und selbstgehosteten Diensten kompatibel. Es ermöglicht Ingenieuren für maschinelles Lernen, alle Arten von KI-Frameworks zum Trainieren, Feinabstimmen, Planen und Bereitstellen der Modelle zu integrieren. Darüber hinaus bietet es ein zentrales Dashboard zum Überwachen und Verwalten der Pipelines, zum Bearbeiten des Codes mit Jupyter Pocket book, zum Verfolgen von Experimenten, zum Modellregister und zur Artefaktspeicherung.

2. MLflow

Der mlflow/mlflow wird im Allgemeinen zur Experimentverfolgung und -protokollierung verwendet. Mit der Zeit hat es sich jedoch zu einem Finish-to-Finish-MLOps-Instrument für alle Arten von maschinellen Lernmodellen entwickelt, einschließlich LLMs (Massive Language Fashions).

Bild von MLflow

MLFlow besteht aus 6 Kernkomponenten:

1. Verfolgung: Versionieren und Speichern von Parametern, Code, Metriken und Ausgabedateien. Es enthält außerdem interaktive metrische und parametrische Visualisierungen.
2. Projekte: Verpacken des Knowledge-Science-Quellcodes für Wiederverwendbarkeit und Reproduzierbarkeit.
3. Modelle: Speichern Sie Machine-Studying-Modelle und Metadaten in einem Standardformat, das später von den nachgelagerten Instruments verwendet werden kann. Es bietet auch Optionen für die Modellbereitstellung und -implementierung.
4. Modellregistrierung: ein zentraler Modellspeicher zur Verwaltung des Lebenszyklus von MLflow-Modellen. Er bietet Versionierung, Modellherkunft, Modellaliasing, Modellmarkierung und Anmerkungen.
5. Rezepte (Pipelines): Pipelines für maschinelles Lernen, mit denen Sie hochwertige Modelle schnell trainieren und in der Produktion bereitstellen können.
6. LL.M.-Studiengänge: Unterstützung bei der Bewertung, schnellen Entwicklung, Nachverfolgung und Bereitstellung von LLMs.

Sie können das gesamte Ökosystem des maschinellen Lernens mithilfe von CLI, Python, R, Java und REST API verwalten.

3. Metaflow

Der Netflix/Metaflow ermöglicht Datenwissenschaftlern und Ingenieuren für maschinelles Lernen, Projekte für maschinelles Lernen/KI schnell zu erstellen und zu verwalten.

Metaflow wurde ursprünglich bei Netflix entwickelt, um die Produktivität von Datenwissenschaftlern zu steigern. Jetzt ist es Open Supply, sodass jeder davon profitieren kann.

Bild von Metaflow-Dokumente

Metaflow bietet eine einheitliche API für Datenverwaltung, Versionierung, Orchestrierung, Modustraining und -bereitstellung sowie Computing. Es ist mit den wichtigsten Cloud-Anbietern und Frameworks für maschinelles Lernen kompatibel.

4. Seldon Core V2

Der SeldonIO/seldon-core ist ein weiteres beliebtes Finish-to-Finish-MLOps-Instrument, mit dem Sie Tausende von Machine-Studying-Modellen in der Produktion verpacken, trainieren, bereitstellen und überwachen können.

Bild von Seldon-Kern

Hauptmerkmale von Seldon Core:

1. Stellen Sie Modelle lokal mit Docker oder in einem Kubernetes-Cluster bereit.
2. Verfolgung von Modell- und Systemmetriken.
3. Setzen Sie Drift- und Ausreißerdetektoren neben Modellen ein.
4. Unterstützt die meisten Frameworks für maschinelles Lernen wie TensorFlow, PyTorch, Scikit-Be taught, ONNX.
5. Datenzentrierter MLOPs-Ansatz.
6. CLI wird zum Verwalten von Workflows, Inferenzen und Debuggen verwendet.
7. Sparen Sie Kosten durch die transparente Bereitstellung mehrerer Modelle.

Seldon Core konvertiert Ihre Machine-Studying-Modelle in REST/GRPC-Mikroservices. Ich kann Tausende von Machine-Studying-Modellen problemlos skalieren und verwalten und zusätzliche Funktionen für Metrikverfolgung, Anforderungsprotokollierung, Erläuterungen, Ausreißerdetektoren, A/B-Assessments, Canaries und mehr bereitstellen.

5. MLRun

Der mlrun/mlrun Framework ermöglicht die einfache Erstellung und Verwaltung von Machine-Studying-Anwendungen in der Produktion. Es optimiert die Aufnahme von Produktionsdaten, Machine-Studying-Pipelines und On-line-Anwendungen und reduziert so den Entwicklungsaufwand, die Produktionszeit und die Rechenressourcen erheblich.

Bild von MLRun

Die Kernkomponenten von MLRun:

1. Projektmanagement: ein zentraler Hub, der verschiedene Projektressourcen wie Daten, Funktionen, Jobs, Workflows, Geheimnisse und mehr verwaltet.
2. Daten und Artefakte: Verbinden Sie verschiedene Datenquellen, verwalten Sie Metadaten, katalogisieren und versionieren Sie die Artefakte.
3. Characteristic-Retailer: Speichern, Vorbereiten, Katalogisieren und Bereitstellen von Modellfunktionen für Coaching und Bereitstellung.
4. Batchläufe und Workflows: führt eine oder mehrere Funktionen aus und sammelt, verfolgt und vergleicht alle ihre Ergebnisse und Artefakte.
5. Echtzeit-Serving-Pipeline: schnelle Bereitstellung skalierbarer Daten- und Machine-Studying-Pipelines.
6. Echtzeitüberwachung: überwacht Daten, Modelle, Ressourcen und Produktionskomponenten.

Abschluss

Anstatt für jeden Schritt in der MLOps-Pipeline ein Instrument zu verwenden, können Sie für alle Schritte nur eines verwenden. Mit nur einem Finish-to-Finish-MLOPs-Instrument können Sie Machine-Studying-Modelle trainieren, verfolgen, speichern, versionieren, bereitstellen und überwachen. Sie müssen sie lediglich lokal mit Docker oder in der Cloud bereitstellen.

Die Verwendung von Open-Supply-Instruments bietet mehr Kontrolle und Privatsphäre, bringt aber auch Herausforderungen bei der Verwaltung und Aktualisierung der Instruments sowie beim Umgang mit Sicherheitsproblemen und Ausfallzeiten mit sich. Wenn Sie als MLOps-Ingenieur anfangen, empfehle ich Ihnen, sich auf Open-Supply-Instruments zu konzentrieren und dann zu verwalteten Diensten wie Databricks, AWS, Iguazio usw. zu wechseln.

Ich hoffe, Ihnen gefallen meine Inhalte zu MLOps. Wenn Sie mehr davon lesen möchten, erwähnen Sie es bitte in einem Kommentar oder kontaktieren Sie mich über LinkedIn.

Abid Ali Awan (@1abidaliawan) ist ein zertifizierter Datenwissenschaftler, der gerne Modelle für maschinelles Lernen erstellt. Derzeit konzentriert er sich auf die Erstellung von Inhalten und das Schreiben technischer Blogs zu Technologien für maschinelles Lernen und Datenwissenschaft. Abid hat einen Grasp-Abschluss in Technologiemanagement und einen Bachelor-Abschluss in Telekommunikationstechnik. Seine Imaginative and prescient ist es, mithilfe eines Graph-Neural-Networks ein KI-Produkt für Studenten zu entwickeln, die mit psychischen Erkrankungen zu kämpfen haben.