NVIDIA hat gerade veröffentlicht Dynamo v0.9.0. Dies ist das bislang bedeutendste Infrastruktur-Improve für das verteilte Inferenz-Framework. Dieses Replace vereinfacht die Bereitstellung und Verwaltung großer Modelle. Der Schwerpunkt der Veröffentlichung liegt auf der Beseitigung starker Abhängigkeiten und der Verbesserung der Artwork und Weise, wie GPUs mit multimodalen Daten umgehen.

Die große Vereinfachung: NATS und etcd entfernen

Die größte Änderung in v0.9.0 ist die Entfernung von NATS Und ETCD. In früheren Versionen übernahmen diese Instruments die Diensterkennung und das Messaging. Allerdings führten sie eine „Betriebssteuer“ ein, indem sie von den Entwicklern verlangten, zusätzliche Cluster zu verwalten.

NVIDIA hat diese durch ein neues ersetzt Occasion-Flugzeug und a Entdeckungsflugzeug. Das System verwendet jetzt ZMQ (ZeroMQ) für Hochleistungstransporte und MessagePack zur Datenserialisierung. Für Groups, die Kubernetes verwenden, unterstützt Dynamo jetzt Kubernetes-native Serviceerkennung. Durch diese Änderung wird die Infrastruktur schlanker und in Produktionsumgebungen einfacher zu warten.

Multimodale Unterstützung und der E/P/D-Cut up

Dynamo v0.9.0 erweitert die multimodale Unterstützung auf drei Haupt-Backends: vLLM, SGLangUnd TensorRT-LLM. Dadurch können Modelle Texte, Bilder und Movies effizienter verarbeiten.

Eine Schlüsselfunktion in diesem Replace ist die E/P/D-Aufteilung (Kodieren/Vorfüllen/Dekodieren).. In Commonplace-Setups übernimmt häufig eine einzelne GPU alle drei Phasen. Dies kann bei intensiver Video- oder Bildverarbeitung zu Engpässen führen. v0.9.0 führt ein Encoder-Disaggregation. Sie können jetzt das ausführen Encoder auf einem separaten Satz von GPUs Vorfüllen Und Dekodieren Arbeiter. Dadurch können Sie Ihre {Hardware} entsprechend den spezifischen Anforderungen Ihres Modells skalieren.

Vorschau: FlashIndexer

Diese Model enthält eine Vorschau auf FlashIndexer. Diese Komponente wurde entwickelt, um Latenzprobleme in verteilten Umgebungen zu lösen KV-Cache Administration.

Bei der Arbeit mit großen Kontextfenstern ist das Verschieben von Schlüsselwertdaten (KV) zwischen GPUs ein langsamer Prozess. FlashIndexer verbessert die Artwork und Weise, wie das System diese zwischengespeicherten Token indiziert und abruft. Dadurch ergibt sich eine geringere Zeit bis zum ersten Token (TTFT). Obwohl es sich noch um eine Vorschau handelt, stellt es einen großen Schritt dar, damit sich verteilte Inferenz genauso schnell anfühlt wie lokale Inferenz.

Intelligentes Routing und Lastschätzung

Die Verwaltung des Datenverkehrs über Hunderte von GPUs hinweg ist schwierig. Dynamo v0.9.0 führt eine intelligentere Model ein Planer das nutzt Vorausschauende Lastschätzung.

Das System verwendet a Kalman-Filter um die zukünftige Auslastung einer Anfrage basierend auf der bisherigen Leistung vorherzusagen. Es unterstützt auch Routing-Hinweise aus dem Kubernetes Gateway API Inference Extension (GAIE). Dadurch kann die Netzwerkschicht direkt mit der Inferenz-Engine kommunizieren. Wenn eine bestimmte GPU-Gruppe überlastet ist, kann das System neue Anforderungen mit höherer Präzision an inaktive Mitarbeiter weiterleiten.

Der technische Stack auf einen Blick

Die Model v0.9.0 aktualisiert mehrere Kernkomponenten auf ihre neuesten stabilen Versionen. Hier ist die Aufschlüsselung der unterstützten Backends und Bibliotheken:

Komponente	Model
vLLM	v0.14.1
SGLang	v0.5.8
TensorRT-LLM	v1.3.0rc1
NIXL	v0.9.0
Rostkern	Kiste mit Dynamo-Tokens

Die Einbeziehung der Dynamo-Tokens Kiste, geschrieben Roststellt sicher, dass die Token-Verarbeitung mit hoher Geschwindigkeit erfolgt. Für die Datenübertragung zwischen GPUs nutzt Dynamo weiterhin die Vorteile NIXL (NVIDIA Inference Switch Library) für RDMA-basiert Kommunikation.

Wichtige Erkenntnisse

1. Entkopplung der Infrastruktur (Auf Wiedersehen NATS und ETCD): Das Launch schließt die Modernisierung der Kommunikationsarchitektur ab. Durch Ersetzen von NATS und ETCD durch ein neues Occasion-Flugzeug (mit ZMQ Und MessagePack) Und Kubernetes-native Serviceerkennungentfernt das System die „Betriebssteuer“ für die Verwaltung externer Cluster.
2. Vollständige multimodale Disaggregation (E/P/D-Cut up): Dynamo unterstützt jetzt eine vollständige Kodieren/Vorfüllen/Dekodieren (E/P/D) Aufteilung auf alle drei Backends (vLLM, SGLang und TRT-LLM). Dadurch können Sie Imaginative and prescient- oder Video-Encoder auf separaten GPUs ausführen und so verhindern, dass rechenintensive Codierungsaufgaben den Textgenerierungsprozess behindern.
3. FlashIndexer-Vorschau für geringere Latenz :Die ‚Sneak Preview‘ von FlashIndexer führt eine spezielle Komponente zur Optimierung ein Verteilter KV-Cache Administration. Es wurde entwickelt, um die Indizierung und den Abruf des Gesprächsspeichers erheblich zu beschleunigen und so die Zeit bis zum ersten Token (TTFT) weiter zu verkürzen.
4. Intelligentere Planung mit Kalman-Filtern: Das System verwendet jetzt Vorausschauende Lastschätzung angetrieben von Kalman-Filter. Dadurch kann der Planner die GPU-Auslastung genauer vorhersagen und Verkehrsspitzen proaktiv bewältigen, unterstützt von Routing-Hinweise aus der Kubernetes Gateway API Inference Extension (GAIE).

---

Schauen Sie sich das an GitHub-Launch hier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Dell Applied sciences angekündigt softwaregesteuerte, disaggregierte Infrastrukturinnovationen auf der Dell Applied sciences World in Las Vegas am 20. Mai 2025, um Kunden die Gestaltung moderner Rechenzentren zu ermöglichen, die gemeinsam genutzte Rechen-, Netzwerk- und Speicherressourcenpools durch Automatisierung, Sicherheit und Partnerintegrationen angesichts der sich entwickelnden IT-Anforderungen verwalten.

Unternehmen stehen unter dem Druck, moderne und traditionelle Arbeitslasten in lokalen Rechenzentren, Cloud-Umgebungen und Edge-Standorten zu bewältigen. Die IT-Anforderungen ändern sich ständig und erfordern, dass sich Rechenzentren an unterschiedliche Anforderungen anpassen. Die disaggregierte Infrastruktur von Dell begegnet diesen Herausforderungen durch die Zentralisierung der Verwaltung von Rechen-, Netzwerk- und Speicherpools. Dieses Setup umfasst Softwareautomatisierung für den Betrieb, integrierte Sicherheitsmaßnahmen und Kompatibilität mit Partnertechnologien zur Unterstützung flexibler Bereitstellungen.

Dell führte Fortschritte in den Bereichen Speicher und Cyber-Ausfallsicherheit ein, um die Leistung und den Schutz zu bieten, die für moderne Rechenzentren erforderlich sind. Die Dell PowerProtect Information Area All-Flash-Home equipment verbessern die Cyber-Resilienz durch spezifische Leistungssteigerungen. Diese Home equipment erreichen im Vergleich zu früheren Systemen eine bis zu viermal schnellere Datenwiederherstellung. Die Replikationsleistung verdoppelt sich und beschleunigt die Datenbewegung zwischen Standorten. Zu den Effizienzverbesserungen gehört die 40 Prozent geringere Rackfläche, wodurch die Stellfläche des Rechenzentrums optimiert wird. Der Stromverbrauch sinkt im Vergleich zu HDD-basierten Systemen um bis zu 80 Prozent, wodurch sich die Betriebskosten und die Umweltbelastung verringern.

Die Dell PowerScale-Software program erhielt Updates, die die Objektspeicherunterstützung und Cyber-Resilienz stärken. Die PowerScale Cybersecurity Suite bietet Instruments zum Schutz von Daten, zur Sicherstellung des Zugriffs und zur Wiederherstellung kritischer Vermögenswerte. Die Anwendungsleistung wird durch die Cloud-Burst-Funktionen von Amazon EC2 gesteigert und ermöglicht so eine nahtlose Skalierung auf Cloud-Ressourcen bei Spitzenlasten. Die Sicherungsoptionen erstrecken sich auf Dell ObjectScale, Amazon S3 oder Wasabi und bieten kostengünstige Langzeitspeicheralternativen, die die Kosten senken und gleichzeitig die Datenverfügbarkeit aufrechterhalten.

PowerStore Superior Ransomware Detection stellt eine neue Funktion dar, die fortschrittliche KI-Analysen zur Validierung der Datenintegrität nutzt. Diese Funktion minimiert Ausfallzeiten bei Ransomware-Vorfällen, indem sie Anomalien erkennt und die Legitimität der Datei bestätigt. Die Ankündigung steht im Einklang mit dem fünfjährigen Bestehen von PowerStore. Dell berichtet, dass derzeit über 17.000 Kunden weltweit PowerStore-Systeme nutzen, was die breite Akzeptanz in allen Unternehmen widerspiegelt.

Dell-Software program automatisiert jetzt die Bereitstellung und Verwaltung disaggregierter privater Cloud- und Edge-Lösungen. Diese Lösungen nutzen die Infrastruktur von Dell zusammen mit Partnertechnologien. Dell Personal Cloud bietet Unternehmen eine Methode zur Bereitstellung, Verwaltung und Skalierung privater Clouds mithilfe von Cloud-Software program von Anbietern wie Broadcom, Nutanix und Purple Hat auf der disaggregierten Infrastruktur von Dell. Investitionsschutz entsteht durch wiederverwendbare Hardwarekomponenten. Der Betrieb wird durch ein umfassendes Lebenszyklusmanagement vereinfacht, das von der Bereitstellung bis zur Stilllegung reicht. Ein Katalog validierter Blaupausen unterstützt Kundenpräferenzen für Konfigurationen.

Durch die Automatisierung in der Dell Personal Cloud werden die Bereitstellungsschritte im Vergleich zu manuellen Methoden um 90 Prozent reduziert. Ein vollständiger Cluster wird in zweieinhalb Stunden ohne manuelle Eingriffe bereitgestellt. Die Bereitstellung erfolgt über die Dell Automation Platform, die disaggregierte Lösungsabläufe rationalisiert. Diese Plattform umfasst sicheres Zero-Contact-Onboarding und zentralisierte Verwaltungsschnittstellen. Keith Bradley, Vizepräsident für IT und Sicherheit bei Nature Contemporary Farms, erklärte: „Dell Personal Cloud hat sich als die richtige Lösung erwiesen, um uns beim Erreichen unserer Geschäftsprioritäten zu unterstützen. Die Flexibilität beim Übergang zwischen Cloud-Ökosystemen und die Möglichkeit, {Hardware} wiederzuverwenden, ist für uns von entscheidender Bedeutung, da sie Investitionsschutz bietet und es uns ermöglicht, schnell auf sich ändernde Geschäftsanforderungen zu reagieren.“

Neue Funktionen machen Dell NativeEdge zu einer fortschrittlichen und kostengünstigen Plattform für virtualisierte Workloads an Edge-Standorten und Distant-Zweigstellen. Der richtlinienbasierte Lastausgleich verteilt den Datenverkehr dynamisch, um die Leistung zu optimieren. VM-Snapshots erfassen Systemzustände für eine schnelle Wiederherstellung. Backup- und Migrationsfunktionen sichern und verlagern virtuelle Maschinen effizient. Der Help erstreckt sich auf Nicht-Dell-{Hardware} und Legacy-Infrastrukturen und ermöglicht eine konsistente Verwaltung in heterogenen Umgebungen.

Arthur Lewis, Präsident der Infrastructure Options Group bei Dell Applied sciences, sagte: „Bei Dell Applied sciences definieren wir die zukünftige Architektur des intelligenten Unternehmens. Unser disaggregierter Infrastrukturansatz hilft Kunden beim Aufbau sicherer, effizienter moderner Rechenzentren, die Daten in Intelligenz und Komplexität in Klarheit umwandeln.“

Für diese Neuerungen gelten bestimmte Verfügbarkeitstermine:

• Erweiterte Ransomware-Erkennung von Dell PowerStore: 2H 2025
• Dell PowerProtect All-Flash-Equipment: August 2025
• Dell PowerScale Cyber- und Catastrophe Restoration: Q3 2025
• Dell PowerScale Datei-zu-Objekt-Cloud-Mobilität: jetzt (zusätzliche Verbesserungen Q3 2025)
• Dell Personal Cloud: heute (mit optionalem VMware vSphere, zusätzlicher Ökosystemunterstützung, Ländern und SaaS-Bereitstellung im 2. Halbjahr 2025)
• Dell NativeEdge-Fortschritte: Juli 2025

---

Hervorgehobener Bildnachweis

Das explosive Wachstum der künstlichen Intelligenz, insbesondere der Großsprachmodelle (LLMs), hat die Artwork und Weise, wie Unternehmen arbeiten, von der Automatisierung des Kundendienstes bis zur Verbesserung der Datenanalyse revolutioniert. Wenn Unternehmen KI in Kernworkflows integrieren, entsteht jedoch eine anhaltende Herausforderung: Wie diese Modelle diese Modelle sicher und effizient mit realen Datenquellen ohne benutzerdefinierte, fragmentierte Integrationen verbinden können. Das von Anthropic im November 2024 eingeführte Modellkontextprotokoll (MCP) entsteht als potenzielle Lösung – ein offener Normal, der als universelle Brücke zwischen AI -Agenten und externen Systemen fungiert. Oft vergleichet MCP im Vergleich zu USB-C für sein Plug-and-Play-Potenzial und verspricht, Verbindungen zu standardisieren und Modelle zu ermöglichen, auf frische, relevante Daten auf Bedarf zugreifen zu können. Aber ist es wirklich der fehlende Normal, der die AI -Infrastruktur neu umformen könnte? In diesem ausführlichen Artikel werden die Ursprünge von MCP, die technischen Funktionen, die Vorteile, die Einschränkungen, die realen Anwendungen und die zukünftige Flugbahn untersucht, die auf Erkenntnisse von Branchenführern und frühen Implementierungen bis Mitte 2025 zurückgelegt werden.

Ursprünge und Evolution von MCP

Die Entwicklung von MCP ergibt sich aus einer grundlegenden Einschränkung in KI-Systemen: deren Isolation aus dynamischen Daten von Unternehmensgraden. Traditionelle LLMs beruhen auf vorgebildetem Wissen oder Abrufgeneration (RAG), bei dem Daten häufig in Vektordatenbanken eingebettet werden-ein Prozess, der rechnerisch intensiv und anfällig für Pattheit ist. Anthropic erkannte diese Lücke und startete MCP als Open-Supply-Protokoll, um ein kollaboratives Ökosystem zu fördern. Anfang 2025 beschleunigte die Adoption, als Rivalen wie OpenAI es integrierten und einen breiten Konsens der Industrie signalisierten.

Das Protokoll baut auf einem Consumer-Server-Modell mit Open-Supply-SDKs in Sprachen wie Python, Typscript, Java und C# auf, um eine schnelle Entwicklung zu ermöglichen. Vorgefertigte Server für Instruments wie Google Drive, Slack, GitHub und PostgreSQL ermöglichen es Entwicklern, Datensätze schnell zu verbinden, während Unternehmen wie Block und Apollo es für proprietäre Systeme angepasst haben. Diese Evolution positioniert MCP nicht als proprietäres Software, sondern als grundlegende Schicht, ähnlich wie HTTP -standardisierte Webkommunikation und potenziell ermöglichtes Agenten -AI -System, die autonom auf Daten reagieren, anstatt sie nur zu verarbeiten.

Detaillierte Mechanik: Wie MCP funktioniert

Im Kern arbeitet MCP über eine strukturierte bidirektionale Architektur, die den sicheren Datenaustausch zwischen KI-Modellen und externen Quellen gewährleistet. Es umfasst drei Schlüsselkomponenten: den MCP -Consumer (in der Regel eine AI -Anwendung oder ein Agent), den MCP -Host (der Anforderungen stellt) und MCP -Server (die mit Instruments oder Datenbanken verkaufen).

Schritt-für-Schritt-Prozess

1. Werkzeugentdeckung und Beschreibung: Der MCP -Consumer sendet eine Beschreibung der verfügbaren Instruments an das Modell, einschließlich Parametern und Schemata. Dies ermöglicht dem LLM, zu verstehen, welche Aktionen möglich sind, z. B. das Abfragen eines CRM oder die Ausführung eines Codesausschnitts.
2. Routing anfordern: Wenn das Modell über eine Aktion entscheidet – zeichnet, übersetzt das Abrufen von Kundendaten von einer Salesforce -Instanz -, der Host übersetzt dies in einen standardisierten MCP -Anruf. Es verwendet Protokolle wie JWT oder OIDC zur Authentifizierung, um nur autorisierten Zugriff zu gewährleisten.
3. Datenabnahme und Validierung: Der Server holt die Daten ab, wendet benutzerdefinierte Logik (z. B. Fehlerbehandlung oder Filterung) an und gibt strukturierte Ergebnisse zurück. MCP unterstützt Echtzeit-Interaktionen ohne Vorindexierung und reduziert die Latenz im Vergleich zu herkömmlichen Lappen.
4. Kontextintegration und Reaktion: Die abgerufenen Daten werden zum Modell zurückgeführt, das eine Antwort generiert. Merkmale wie die Kontextvalidierung verhindern Halluzinationen durch Erde von Ausgaben in verifizierten Informationen.

Dieser Workflow behält den Zustand über die Interaktionen hinweg und ermöglicht komplexe Aufgaben wie das Erstellen eines Github -Repo, die Aktualisierung einer Datenbank und die Benachrichtigung über Slack nacheinander. Im Gegensatz zu starren APIs bietet MCP die probabilistische Natur von LLMs durch Bereitstellung flexibler Schemas und minimiert fehlgeschlagene Anrufe aufgrund von Parameterfehlanpassungen.

Vorteile: Warum MCP der fehlende Normal sein könnte

Das Design von MCP befasst sich mit mehreren Schmerzpunkten in der KI -Infrastruktur und bietet greifbare Vorteile für Skalierbarkeit und Effizienz.

• Nahtlose Interoperabilität: Durch die Standardisierung von Integrationen eliminiert MCP die Notwendigkeit von maßgeschneiderten Anschlüssen. Unternehmen können verschiedene Systeme – von ERPs bis zu Wissensbasis – als MCP -Server aufdecken, die in Bezug auf Modelle und Abteilungen wiederverwendbar sind. Diese Wiederverwendbarkeit beschleunigt die Bereitstellung, und frühe Berichte zeigen bis zu 50% schnellere Integrationszeiten in Pilotprojekten.
• Verbesserte Genauigkeit und reduzierte Halluzinationen: LLMs fördern häufig Antworten, wenn der Kontext fehlt; MCP spielt dies mit präzisen Echtzeitdaten. Beispielsweise sinken die Halluzinationsraten in rechtlichen Anfragen von 69-88% in nicht geerdeten Modellen auf nahe Null mit validierten Kontexten. Komponenten wie die Kontextvalidierung stellen sicher, dass die Ausgänge mit Unternehmenswahrheiten übereinstimmen und das Vertrauen in Sektoren wie Finanzen und Gesundheitswesen stärken.
• Robuste Sicherheit und Konformität: Eingebaute Durchsetzer bieten detaillierte Steuerelemente wie rollenbasierte Zugriffs- und Datenreduktion, die Leckagen verhindern-eine Sorge für 57% der Verbraucher. In regulierten Industrien hält MCP AIDS AIDS AIDS AUF DER GDPR, HIPAA und CCPA, indem Daten innerhalb von Unternehmensgrenzen gehalten werden.
• Skalierbarkeit für Agenten KI: MCP ermöglicht die Entwicklung von No-Code- oder Low-Code-Agenten, die KI für nicht-technische Benutzer demokratisieren. Umfragen geben an, dass 60% der Einführung von Unternehmensplänen innerhalb eines Jahres eine Einführung von Unternehmen planen, wobei MCP mehrstufige Workflows wie automatisierte Berichterstattung oder Kundenrouting erleichtert.

Zu den quantitativen Gewinnen gehören niedrigere Rechenkosten – Einbettung von Vektoren – und verbesserte ROI durch weniger Integrationsfehler.

Reale Anwendungen und Fallstudien

MCP beweist bereits seinen Wert in Branchen. In Finanzdienstleistungen begründet IT LLMs in proprietären Daten zur genauen Erkennung von Betrug und verringert Fehler durch konforme Echtzeitkontexte. Gesundheitsdienstleister nutzen es, um Patientenakten ohne PII aufzudecken, um die Einhaltung der HIPAA zu gewährleisten und gleichzeitig personalisierte Erkenntnisse zu ermöglichen. Fertigungsunternehmen nutzen MCP für die Fehlerbehebung und ziehen aus technischen Dokumenten, um Ausfallzeiten zu minimieren.

Early Adopters wie Replit und SourceGraph integrieren es für die kontextbewusste Codierung, bei der Agenten auf Reside-Codebasen zugreifen, um funktionale Ausgänge mit weniger Iterationen zu generieren. Block setzt MCP für Agentensysteme ein, die kreative Aufgaben automatisieren und das Open-Supply-Ethos betonen. In diesen Fällen wird die Rolle von MCP beim Übergang von experimenteller KI zu Produktionsbereitstellungen hervorgehoben, wobei über 300 Unternehmen bis Mitte 2025 ähnliche Rahmenbedingungen einnehmen.

Zukünftige Implikationen: Auf dem Weg zu einem standardisierten AI -Ökosystem

Als KI -Infrastruktur spiegelt Multicloud -Komplexitäten wider, könnte MCP zum Dreh- und Angelpunkt für hybride Umgebungen werden und die Zusammenarbeit mit Cloud -Requirements fördern. Mit Tausenden von Open-Supply-Servern und Integrationen von Google und anderen ist es für Allgegenwart. Der Erfolg hängt jedoch davon ab, Risiken zu mildern und die Governance zu verbessern-potenziell durch gemeinschaftsgetriebene Verfeinerungen.

Zusammenfassend stellt MCP einen kritischen Fortschritt dar, der die Isolation von AI aus realen Daten überbrückt. Das Potenzial zur Standardisierung von Verbindungen macht es jedoch zu einem starken Kandidaten für den fehlenden Normal in der AI -Infrastruktur und ermöglicht es zuverlässiger, skalierbarer und sicherer Anwendungen. Wenn das Ökosystem reift, können Unternehmen, die es früh übernehmen, in einer zunehmend agierenden Welt einen Wettbewerbsvorteil erreichen.