# Einführung
In den letzten zwei Jahren galt bei der Agenten-KI die einfache Annahme: Je größer das Modell, desto besser der Agent. Größere Kontextfenster, mehr Parameter, schärfere Argumentation. Was kann man nicht mögen? NVIDIAs eigenes Forschungsteam hat das Jahr 2025 damit verbracht, im Stillen Argumente gegen diese Annahme zu entwickeln, und das daraus resultierende Argument hat die Artwork und Weise verändert, wie viele Produktionsagenten im Jahr 2026 tatsächlich gebaut werden. Das meiste, was ein Agent Tag für Tag tut, ist nicht umfassend, kreativ oder neuartig. Es handelt sich um eine kleine Anzahl spezialisierter Aufgaben, die wiederholt und mit wenig Variation ausgeführt werden, und ein zum Generalisten ausgebildetes Modell ist für Arbeit, die grundsätzlich eng ist, übertrieben. Das ist der Beginn für kleine Sprachmodelle (SLMs), und sie haben sich von einer Fußnote zu einer echten Architekturentscheidung im Agentendesign entwickelt.
Dieser Artikel befasst sich mit fünf konkreten Möglichkeiten, wie SLMs derzeit in Agenten der nächsten Era auftauchen, von den Forschungsergebnissen, die sie belegen, bis hin zu den Instruments und Zahlen, die es wert sind, kennengelernt zu werden, wenn Sie entscheiden, ob Ihr nächster Agent überhaupt ein Frontier-Modell benötigt.
# 1. Umgang mit repetitiver Arbeit Grenzmodelle wurden nie entwickelt
Die grundlegenden Argumente für SLMs in Agenten stammen aus einem einzigen, viel diskutierten Artikel von NVIDIA Analysis: Kleine Sprachmodelle sind die Zukunft der Agenten-KI. Die Autoren argumentieren, dass große Sprachmodelle für allgemeine Konversationen geschätzt werden, Agentensysteme jedoch meist auf Sprachmodelle zurückgreifen, um eine kleine Anzahl spezialisierter Aufgaben wiederholt auszuführen, wie etwa das Parsen eines Befehls, die Auswahl eines Instruments oder die Rückgabe eines Ergebnisses in einer festen JSON-Type. Das ist eine ganz andere Aufgabe, als ein offenes Gespräch zu führen, und es ist kein Modell erforderlich, das für alles ausgebildet ist.
Die zentrale Behauptung des Papiers ist direkt: SLMs sind für viele Aufrufe in Agentensystemen ausreichend leistungsfähig, von Natur aus geeigneter und notwendigerweise wirtschaftlicher und stellen daher die Zukunft der Agenten-KI dar. Was dies zu mehr als einem Meinungsartikel macht, ist die Begründung dahinter. Agenten legen mehr Wert auf Zuverlässigkeit als auf Kreativität, und ein kleines Modell, das darauf abgestimmt ist, immer einem festen Ausgabeformat und einer festen Feldreihenfolge zu folgen, ist für diesen einen Auftrag oft zuverlässiger als ein großes Allzweckmodell, das spontan dasselbe erledigen soll. Große Modelle verdienen immer noch ihren Platz für wirklich neuartige oder offene Überlegungen. Sie sind einfach nicht mehr die Standardeinstellung für alles dazwischen.
# 2. Direkte Ausführung auf dem Gerät, kein Cloud-Roundtrip erforderlich
Eine der praktischsten Änderungen, die SLMs ermöglicht haben, besteht darin, das Modell selbst von einem Distant-Server auf die {Hardware} zu verlagern, auf der der Agent bereits ausgeführt wird, beispielsweise ein Telefon, einen Laptop computer oder ein Industriegerät. Das Senden einer Anfrage an ein Rechenzentrum dauert Hunderte von Millisekunden, während die Edge-Inferenz mehrere zehn Millisekunden dauert, und für einen Agenten, der sich augenblicklich reaktionsfähig fühlen soll, ist diese Lücke der Unterschied zwischen etwas, das sich augenblicklich anfühlt, und etwas, bei dem es sich anfühlt, als würde er zu angestrengt nachdenken.
Die {Hardware} hat schneller aufgeholt, als die meisten Leute erwartet hatten. Die neuronalen Beschleuniger des Apple A19 Professional geben dem iPhone 17 Professional genug kombinierten KI-Durchsatz, um Modelle mit 8 Milliarden Parametern mit über 20 Token professional Sekunde auszuführen – schnell genug für Echtzeitgespräche – und Apples M5 Max kann Modelle mit bis zu 30 Milliarden Parametern mit akzeptabler Latenz verarbeiten. Die Quantisierung ist ein wesentlicher Grund dafür, dass dies auf Client-{Hardware} überhaupt funktioniert. Ein auf 4-Bit-Präzision komprimiertes Phi-4-Mini-Modell belegt bei voller Präzision etwa 1,2 GB Speicher statt 7,6 GB und bleibt dabei erhalten 95 % seiner Benchmark-Leistung – klein genug, um bequem auf ein Telefon mit 8 GB RAM zu passen.
Werkzeuge wie Ollama für lokales Servieren und Microsofts Phi-Modellfamilie sind zu gängigen Ausgangspunkten für Entwickler geworden, die ein solches Agentenverhalten auf dem Gerät entwickeln, insbesondere für Anwendungsfälle, in denen der Agent auch dann weiterarbeiten muss, wenn eine Netzwerkverbindung nicht garantiert ist.
# 3. Sich zu Werkzeug-Calling-Spezialisten weiterbilden
Ein generisches kleines Modell, direkt aus der Field, ist wirklich schlecht im Instrument-Calling. Es halluziniert Funktionsnamen, gibt falsche Parameter an und unterbricht das erwartete Ausgabeformat häufiger als Ihnen lieb ist. Bei der Lösung handelt es sich nicht um ein größeres Modell, sondern um ein fokussierteres. Die Feinabstimmung eines kleinen Modells anhand eines bestimmten Toolschemas führt zu einer Genauigkeit von über 90 % bei praktisch null Kosten professional Abfrage, da das Modell nicht mehr versucht, ein Generalist zu sein, sondern bei genau einer engen Aufgabe sehr intestine ist.
Die Forschungsergebnisse, die dies belegen, sind bemerkenswert. Ein fein abgestimmtes SLM erreichte eine Erfolgsquote von 77,55 % bei der ToolBench-Bewertung und lag damit deutlich über den Basisansätzen, die viel größere Modelle verwendeten, die auf einer Gedankenkette basieren. Um dorthin zu gelangen, ist auch kein großer Trainingslauf erforderlich. In der Praxis reichen in der Regel 1.000 bis 5.000 hochwertige Beispiele professional Instrument aus, um bei einem klar definierten Schema eine Genauigkeit von über 95 % zu erreichen, was eine realistische Datenmenge darstellt, die ein kleines Crew intern erstellen kann.
Wenn Sie einen genaueren Blick darauf werfen möchten, welche konkreten Modelle hier derzeit führend sind, KDnuggets hat kürzlich fünf kleine, offene Modelle zusammengestellt, die speziell für den Agenten-Instrument-Aufruf entwickelt wurden, jeweils ein paar Milliarden Parameter umfassen und für den Betrieb ohne dahinterliegendes Rechenzentrum konzipiert sind.
# 4. Betrieb heterogener Systeme, bei denen große und kleine Modelle die Arbeit aufteilen
Der architektonisch interessanteste Einsatz von SLMs besteht nicht darin, große Modelle vollständig zu ersetzen; es geht darum, sie zu paaren. Das Muster, das im Jahr 2026 zum Normal geworden ist, überträgt einem Grenzmodell mit hoher Argumentation die Rolle des Planers, der Handhabungsstrategie und der Auflösung von Mehrdeutigkeiten, während domänenspezifische kleine Modelle als Arbeiter fungieren, die jeweils auf eine atomare Aufgabe wie Parsing, Klassifizierung oder Zusammenfassung abgestimmt sind. Manche nennen dies die Government-Employee-Architektur; andere nennen es heterogenes Modellrouting. In jedem Fall besteht die Idee darin, die teuren Argumente dort einzusetzen, wo sie tatsächlich benötigt werden, und billigere Modelle mit der Lautstärke zu betrauen.
Der dadurch entstehende Kostenunterschied ist schwer zu ignorieren. Ein Grenzmodell zum Preis von ca $15 professional Million Token, die 30 % der Aufgaben erledigengepaart mit einem kleinen Modell herum $0,15 professional Million Token, die die restlichen 70 % verwaltenkostet etwa zehnmal weniger, als wenn alles nur über das Frontier-Modell geleitet würde. Das Muster bleibt auch in der kontrollierten Forschung bestehen. Eine Studie, in der ein homogener Aufbau aller verglichen wurde 7B-Parameter Agenten gegen ein heterogenes Setup, wo kleiner 3B-Modelle erledigte Arbeiten auf niedrigerer Ebene, während a 7B-Modell Als Prüfer blieb er dabei und stellte fest, dass die Leistung des heterogenen Methods nahezu identisch mit der reinen 7B-Basislinie blieb und gleichzeitig die Latenz um ein Vielfaches reduziert wurde 31,6 % und Gesamt-API-Kosten von 41,8 %. NVIDIA hat Instruments für den Einbau dieser Artwork von System zusammengestellt NeMorichtet sich an Groups, die fein abgestimmte SLMs für Routinearbeiten mit gelegentlichen Aufrufen eines größeren Modells für wirklich schwierige Fälle kombinieren möchten.
# 5. Smart Daten auf dem Gerät behalten, anstatt sie irgendwohin zu senden
Bei der letzten Verschiebung geht es weniger um Geschwindigkeit oder Kosten als vielmehr darum, wohin die Daten überhaupt gehen dürfen. Ein Agent, der vollständig auf lokaler {Hardware} ausgeführt wird, muss niemals die Konversation, Dokumente oder das Verhalten eines Benutzers an eine API eines Drittanbieters senden, um eine Antwort zu erhalten. Dies ist von großer Bedeutung, wenn Sie mit Gesundheitsakten, Finanzinformationen oder anderen Dingen arbeiten, die strengen Compliance-Regeln unterliegen.
Insbesondere bei Anwendungsfällen im Gesundheitswesen oder in der industriellen Sicherheit können Daten das lokale Netzwerk oft überhaupt nicht verlassen, was Cloud-gehostete Frontier-Modelle als Choice ausschließt, egal wie intestine sie sind. Kleine Modelle umgehen diese Einschränkung vollständig, indem sie dort ausgeführt werden, wo die Daten bereits gespeichert sind. Die Edge-Bereitstellung auf etwas wie Apple Silicon oder einem Qualcomm-Chip kostet nur die Gerätehardware selbst, wobei das Internet hosting für ein privates kleines Modell bereitgestellt wird 10.000 Tägliche Abfragen werden normalerweise ausgeführt $500 Zu $2.000 ein Monat, im Vergleich zu $5.000 Zu 50.000 $ einen Monat für das entsprechende Volumen über eine große Modell-API.
Dies ist auch die einzig realistische Choice für Umgebungen mit vollständiger Air-Hole-Umgebung – Orte, an denen konstruktionsbedingt überhaupt keine Internetverbindung besteht –, in denen ein Cloud-abhängiger Agent unabhängig vom Finances einfach nicht funktionieren kann. Für Agenten, die für regulierte Branchen oder Offline-First-Produkte entwickelt wurden, ist dies kein nettes Further. Dies ist der einzige Grund, warum der Agent in dieser Umgebung überhaupt existieren kann.
# Zusammenfassung
Das alles bedeutet jedoch nicht, dass die Grenzmodelle auf dem Rückzug sind. Wirklich neuartige Überlegungen, lange offene Kontexte und Aufgaben, die noch niemand zuvor gesehen hat, gehören immer noch zu den großen Vorbildern, und daran wird sich so schnell auch nichts ändern. Was sich geändert hat, ist die Annahme, dass jeder einzelne Anruf eines Agenten diese Leistung erfordert. Der Großteil der eigentlichen Arbeit eines Agenten – das Parsen, das Routing, die Formatierung, die Instrument-Aufrufe – erweist sich als so eng, dass ein kleines, fein abgestimmtes Modell sie genauso intestine erledigen kann, oft schneller und zu einem Bruchteil der Kosten.
Die Agenten, die im Jahr 2026 intestine skalieren, sind nicht diejenigen, die auf dem größten verfügbaren Einzelmodell basieren. Sie sind diejenigen, die mit dem Modell der richtigen Größe für jeden Teil der Aufgabe gebaut wurden – Grenzintelligenz, wo sie verdient wird, und kleine, spezialisierte Modelle überall sonst.
Shittu Olumide ist ein Software program-Ingenieur und technischer Autor, der sich leidenschaftlich dafür einsetzt, modernste Technologien zu nutzen, um fesselnde Erzählungen zu erschaffen, mit einem scharfen Blick fürs Element und einem Gespür für die Vereinfachung komplexer Konzepte. Sie können Shittu auch auf finden Twitter.