Bild vom Herausgeber
# Der Wert von Docker
Beim Aufbau autonomer KI-Systeme geht es nicht mehr nur darum, ein großes Sprachmodell zu entwickeln. Moderne Agenten koordinieren mehrere Modelle, rufen externe Instruments auf, verwalten den Speicher und skalieren über heterogene Rechenumgebungen hinweg. Entscheidend für den Erfolg ist nicht nur die Modellqualität, sondern auch das Infrastrukturdesign.
Agent Docker stellt einen Wandel in der Artwork und Weise dar, wie wir über diese Infrastruktur denken. Anstatt Container als nachträglichen Verpackungsgegenstand zu behandeln, wird Docker zum zusammensetzbaren Rückgrat von Agentensystemen. Modelle, Toolserver, GPU-Ressourcen und Anwendungslogik können alle deklarativ definiert, versioniert und als einheitlicher Stack bereitgestellt werden. Das Ergebnis sind tragbare, reproduzierbare KI-Systeme, die sich von der lokalen Entwicklung bis zur Cloud-Produktion konsistent verhalten.
In diesem Artikel werden fünf Infrastrukturmuster untersucht, die Docker zu einer leistungsstarken Grundlage für die Erstellung robuster, autonomer KI-Anwendungen machen.
# 1. Docker Mannequin Runner: Ihr lokales Gateway
Der Docker Mannequin Runner (DMR) ist best für Experimente. Anstatt separate Inferenzserver für jedes Modell zu konfigurieren, bietet DMR eine einheitliche, OpenAI-kompatible Anwendungsprogrammierschnittstelle (API), um Modelle auszuführen, die direkt vom Docker Hub abgerufen werden. Sie können einen Agenten mit einem leistungsstarken 20B-Parametermodell lokal prototypisieren und dann für die Produktion auf ein leichteres, schnelleres Modell umsteigen – und das alles, indem Sie nur den Modellnamen in Ihrem Code ändern. Es verwandelt große Sprachmodelle (LLMs) in standardisierte, tragbare Komponenten.
Grundlegende Verwendung:
# Pull a mannequin from Docker Hub
docker mannequin pull ai/smollm2
# Run a one-shot question
docker mannequin run ai/smollm2 "Clarify agentic workflows to me."
# Use it through the OpenAI Python SDK
from openai import OpenAI
shopper = OpenAI(
base_url="http://model-runner.docker.inner/engines/llama.cpp/v1",
api_key="not-needed"
)# 2. Definieren von KI-Modellen in Docker Compose
Moderne Agenten verwenden manchmal mehrere Modelle, beispielsweise eines für die Argumentation und ein anderes für die Einbettung. Docker Compose Jetzt können Sie diese Modelle als Prime-Stage-Providers in Ihrem Unternehmen definieren compose.yml Datei, wodurch Ihr gesamter Agentenstapel – Geschäftslogik, APIs und KI-Modelle – zu einer einzigen bereitstellbaren Einheit wird.
Dies hilft Ihnen, Infrastructure-as-Code-Prinzipien in die KI zu integrieren. Sie können Ihre gesamte Agent-Architektur einer Versionskontrolle unterziehen und sie überall mit einem einzigen ausführen docker compose up Befehl.
# 3. Docker Offload: Cloud Energy, lokale Erfahrung
Das Trainieren oder Ausführen großer Modelle kann Ihre lokale {Hardware} zum Schmelzen bringen. Docker Offload löst dieses Downside, indem es bestimmte Container clear auf Cloud-Grafikprozessoren (GPUs) direkt aus Ihrer lokalen Docker-Umgebung ausführt.
Dies hilft Ihnen, Agenten mit umfangreichen Modellen mithilfe eines Cloud-gestützten Containers zu entwickeln und zu testen, ohne eine neue Cloud-API zu erlernen oder Distant-Server zu verwalten. Ihr Workflow bleibt vollständig lokal, aber die Ausführung ist leistungsstark und skalierbar.
# 4. Modellkontextprotokollserver: Agententools
Ein Agent ist nur so intestine wie die Werkzeuge, die er nutzen kann. Der Modellkontextprotokoll (MCP) ist ein neuer Customary für die Bereitstellung von Instruments (z. B. Suche, Datenbanken oder interne APIs) für LLMs. Das Ökosystem von Docker umfasst einen Katalog vorgefertigter MCP-Server, die Sie als Container integrieren können.
Anstatt benutzerdefinierte Integrationen für jedes Device zu schreiben, können Sie dafür einen vorgefertigten MCP-Server verwenden PostgreSQL, Lockeroder Google-Suche. Dadurch können Sie sich auf die Argumentationslogik des Agenten konzentrieren und müssen sich nicht mit den komplizierten Installationen befassen.
# 5. GPU-optimierte Basisbilder für individuelle Arbeit
Wenn Sie ein Modell verfeinern oder benutzerdefinierte Inferenzlogik ausführen müssen, ist es wichtig, von einem intestine konfigurierten Foundation-Picture auszugehen. Offizielle Bilder wie PyTorch oder TensorFlow Komm mit CUDAcuDNN und andere wichtige Funktionen sind für die GPU-Beschleunigung vorinstalliert. Diese Bilder bieten eine stabile, leistungsfähige und reproduzierbare Grundlage. Sie können sie mit Ihrem eigenen Code und Ihren eigenen Abhängigkeiten erweitern und so sicherstellen, dass Ihre benutzerdefinierte Trainings- oder Inferenzpipeline in Entwicklung und Produktion identisch läuft.
# Alles zusammenfügen
Die wahre Kraft liegt in der Komposition dieser Elemente. Nachfolgend finden Sie eine grundlegende Übersicht docker-compose.yml Datei, die eine Agentenanwendung mit einem lokalen LLM, einem Toolserver und der Möglichkeit zur Auslagerung schwerer Verarbeitungsvorgänge definiert.
companies:
# our customized agent software
agent-app:
construct: ./app
depends_on:
- model-server
- tools-server
atmosphere:
LLM_ENDPOINT: http://model-server:8080
TOOLS_ENDPOINT: http://tools-server:8081
# An area LLM service powered by Docker Mannequin Runner
model-server:
picture: ai/smollm2:newest # Makes use of a DMR-compatible picture
platform: linux/amd64
# Deploy configuration may instruct Docker to dump this service
deploy:
sources:
reservations:
units:
- driver: nvidia
rely: all
capabilities: (gpu)
# An MCP server offering instruments (e.g. internet search, calculator)
tools-server:
picture: mcp/server-search:newest
atmosphere:
SEARCH_API_KEY: ${SEARCH_API_KEY}
# Outline the LLM mannequin as a top-level useful resource (requires Docker Compose v2.38+)
fashions:
smollm2:
mannequin: ai/smollm2
context_size: 4096Dieses Beispiel veranschaulicht, wie Dienste verknüpft sind.
Notiz: Die genaue Syntax für Offload- und Modelldefinitionen wird weiterentwickelt. Überprüfen Sie immer die neuesten Informationen Docker AI-Dokumentation für Einzelheiten zur Implementierung.
Agentensysteme erfordern mehr als nur clevere Eingabeaufforderungen. Sie erfordern reproduzierbare Umgebungen, modulare Device-Integration, skalierbare Rechenleistung und eine saubere Trennung zwischen Komponenten. Docker bietet eine zusammenhängende Möglichkeit, jeden Teil eines Agentensystems – vom großen Sprachmodell bis zum Device-Server – als tragbare, zusammensetzbare Einheit zu behandeln.
Indem Sie lokal mit Docker Mannequin Runner experimentieren, vollständige Stacks mit Docker Compose definieren, große Arbeitslasten auf Cloud-GPUs verlagern und Instruments über standardisierte Server integrieren, erstellen Sie ein wiederholbares Infrastrukturmuster für autonome KI.
Ob Sie mit bauen LangChain oder CrewAIbleibt die zugrunde liegende Containerstrategie konsistent. Wenn die Infrastruktur deklarativ und portierbar wird, können Sie sich weniger auf die Reibung in der Umgebung konzentrieren und sich mehr auf die Entwicklung intelligenten Verhaltens konzentrieren.
Shittu Olumide ist ein Software program-Ingenieur und technischer Autor, der sich leidenschaftlich dafür einsetzt, modernste Technologien zu nutzen, um fesselnde Erzählungen zu erschaffen, mit einem scharfen Blick fürs Element und einem Gespür für die Vereinfachung komplexer Konzepte. Sie können Shittu auch auf finden Twitter.