Stanford-Forscher haben vorgestellt Öffnen Sie Jarvisein Open-Supply-Framework zum Erstellen Persönliche KI-Agenten, die vollständig auf dem Gerät ausgeführt werden. Das Projekt stammt vom Scaling Intelligence Lab in Stanford und wird sowohl als Forschungsplattform als auch als einsatzbereite Infrastruktur für Native-First-KI-Systeme präsentiert. Der Schwerpunkt liegt nicht nur auf der Modellausführung, sondern auch auf dem breiteren Software program-Stack, der erforderlich ist, um Agenten auf dem Gerät im Laufe der Zeit nutzbar, messbar und anpassbar zu machen.
Warum OpenJarvis?
Laut dem Stanford-Forschungsteam halten die meisten aktuellen persönlichen KI-Projekte die lokale Komponente immer noch relativ dünn, während die Kernbegründung über externe Cloud-APIs geleitet wird. Dieses Design führt zu Problemen mit der Latenz, wiederkehrenden Kosten und der Offenlegung von Daten, insbesondere für Assistenten/Agenten, die persönliche Dateien, Nachrichten und dauerhaften Benutzerkontext bearbeiten. OpenJarvis soll dieses Gleichgewicht verschieben, indem es die lokale Ausführung zum Normal und die Cloud-Nutzung elective macht.
Das Forschungsteam verknüpft diese Veröffentlichung mit ihrer früheren Model Intelligenz professional Watt Forschung. In dieser Arbeit berichten sie, dass lokale Sprachmodelle und lokale Beschleuniger genau dienen können 88,7 % der Single-Flip-Chat- und Reasoning-Anfragen mit interaktiven Latenzenwährend Die Geheimdiensteffizienz verbesserte sich von 2023 bis 2025 um das 5,3-fache. OpenJarvis wird als Softwareschicht positioniert, die sich aus diesem Ergebnis ergibt: Wenn Modelle und Verbraucherhardware für mehr lokale Workloads praktisch werden, benötigen Entwickler einen Normal-Stack zum Erstellen und Evaluieren dieser Systeme.
Die Fünf-Primitive-Architektur
Auf architektonischer Ebene ist OpenJarvis rundherum organisiert fünf Primitive: Intelligenz, Engine, Agenten, Instruments & Speicher und Lernen. Das Forschungsteam beschreibt diese als zusammensetzbare Abstraktionen, die unabhängig voneinander verglichen, ersetzt und optimiert oder zusammen als integriertes System verwendet werden können. Dies ist wichtig, da lokale KI-Projekte häufig Inferenz, Orchestrierung, Instruments, Abruf- und Anpassungslogik in einer einzigen, schwer zu reproduzierenden Anwendung kombinieren. OpenJarvis versucht stattdessen, jeder Ebene eine explizitere Rolle zuzuweisen.
Intelligenz: Die Modellebene
Der Intelligenz primitiv ist die Modellebene. Es befindet sich über einem sich ändernden Satz lokaler Modellfamilien und bietet einen einheitlichen Modellkatalog, sodass Entwickler nicht für jede Model manuell Parameteranzahl, {Hardware}-Passform oder Speicherkompromisse nachverfolgen müssen. Das Ziel besteht darin, die Modellauswahl getrennt von anderen Teilen des Techniques, beispielsweise dem Inferenz-Backend oder der Agentenlogik, einfacher untersuchen zu können.
Engine: Die Inferenzlaufzeit
Der Motor primitiv ist die Inferenzlaufzeit. Es handelt sich um eine gemeinsame Schnittstelle über Backends wie z Ollama, vLLM, SGLang, llama.cpp und Cloud-APIs. Die Engine-Ebene wird im weiteren Sinne als hardwarebewusste Ausführung verstanden, bei der Befehle wie z jarvis init Erkennen Sie verfügbare {Hardware} und empfehlen Sie eine geeignete Motor- und Modellkonfiguration jarvis physician hilft dabei, dieses Setup aufrechtzuerhalten. Für Entwickler ist dies einer der praktischeren Teile des Designs: Das Framework geht nicht von einer einzelnen Laufzeit aus, sondern behandelt Inferenz als steckbare Ebene.
Agenten: Die Verhaltensschicht
Der Agenten primitiv ist die Verhaltensschicht. Stanford beschreibt es als den Teil, der die Modellfähigkeit unter realen Geräteeinschränkungen wie begrenzten Kontextfenstern, begrenztem Arbeitsspeicher und Effizienzgrenzen in strukturierte Aktionen umwandelt. Anstatt sich auf einen Allzweckagenten zu verlassen, unterstützt OpenJarvis zusammensetzbare Rollen. Der Stanford-Artikel erwähnt ausdrücklich Rollen wie die Orchestratordas komplexe Aufgaben in Teilaufgaben aufteilt, und die Operativder als leichter Executor für wiederkehrende persönliche Arbeitsabläufe gedacht ist. In den Dokumenten wird außerdem beschrieben, wie der Agent die Systemeingabeaufforderung, Instruments, den Kontext, die Wiederholungslogik und die Exit-Logik verarbeitet.
Instruments & Speicher: Den Agenten erden
Der Werkzeuge und Speicher primitiv ist die Erdungsschicht. Dieses Grundelement umfasst Unterstützung für MCP (Mannequin Context Protocol) für den standardisierten Werkzeugeinsatz, Google A2A für die Agent-zu-Agent-Kommunikation und semantische Indizierung zum lokalen Auffinden von Notizen, Dokumenten und Papieren. Es unterstützt auch Messaging-Plattformen, Webchat und Webhooks. Es deckt auch eine engere Werkzeugansicht ab, die Websuche, Taschenrechnerzugriff, Datei-E/A, Codeinterpretation, Abruf und externe MCP-Server umfasst. OpenJarvis ist nicht nur eine lokale Chat-Schnittstelle; Ziel ist es, lokale Modelle mit Instruments und dauerhaftem persönlichem Kontext zu verbinden und gleichzeitig die Speicherung und Kontrolle standardmäßig lokal beizubehalten.
Lernen: Verbesserung im geschlossenen Regelkreis
Das fünfte Grundelement, LernenDies gibt dem Framework einen geschlossenen Verbesserungspfad. Stanford-Forscher beschreiben es als eine Schicht, die lokale Interaktionsspuren nutzt, um Trainingsdaten zu synthetisieren, das Agentenverhalten zu verfeinern und die Modellauswahl im Laufe der Zeit zu verbessern. OpenJarvis unterstützt die Optimierung übergreifend vier Schichten des Stapels: Modellgewichte, LM-Eingabeaufforderungen, Agentenlogikund die Inferenzmaschine. Zu den vom Forschungsteam aufgeführten Beispielen gehören: SFT, GRPO, DPOschnelle Optimierung mit DSPyAgentenoptimierung mit GEPAund Optimierung auf Engine-Ebene wie Quantisierungsauswahl und Stapelplanung.
Effizienz als erstklassige Messgröße
Ein wichtiger technischer Punkt in OpenJarvis ist seine Betonung effizienzbewusste Bewertung. Der Rahmen behandelt Energie, FLOPs, Latenz und Dollarkosten als erstklassige Randbedingungen neben der Aufgabenqualität. Der Schwerpunkt liegt auch auf einem hardwareunabhängigen Telemetriesystem zur Profilierung der Energie NVIDIA-GPUs über NVML, AMD-GPUsUnd Apple Silicon über powermetricsmit 50 ms Abtastintervalle. Der jarvis bench Der Befehl soll das Benchmarking für Latenz, Durchsatz und Energie professional Abfrage standardisieren. Dies ist wichtig, da es bei der lokalen Bereitstellung nicht nur darum geht, ob ein Modell eine Frage beantworten kann, sondern auch darum, ob es dies innerhalb der realen Grenzen von Leistung, Speicher und Antwortzeit tun kann.
Entwicklerschnittstellen und Bereitstellungsoptionen
Aus Entwicklersicht bietet OpenJarvis mehrere Einstiegspunkte. Der offizielle Dokumente zeige a Browser-AppA Desktop-AppA Python-SDKund a CLI. Die browserbasierte Oberfläche kann mit gestartet werden ./scripts/quickstart.shdas Abhängigkeiten installiert, wird gestartet Ollama und ein lokales Modell, startet das Backend und Frontend und öffnet die lokale Benutzeroberfläche. Die Desktop-App ist verfügbar für macOS, Home windows und Linuxwobei das Backend noch auf dem Laptop des Benutzers läuft. Das Python SDK stellt a bereit Jarvis() Objekt und Methoden wie ask() Und ask_full()während die CLI Befehle wie enthält jarvis ask, jarvis serve, jarvis reminiscence indexUnd jarvis reminiscence search.
Das steht auch in den Unterlagen Alle Kernfunktionen funktionieren ohne Netzwerkverbindungwährend Cloud-APIs elective sind. Für Entwicklerteams, die lokale Anwendungen erstellen, gibt es eine weitere praktische Funktion jarvis servewas a beginnt FastAPI-Server mit SSE-Streaming und wird als a beschrieben Drop-in-Ersatz für OpenAI-Purchasers. Dies senkt die Migrationskosten für Entwickler, die Prototypen für eine API-förmige Schnittstelle erstellen und gleichzeitig die Inferenz lokal beibehalten möchten.
Kasse Repo, Dokumente Und Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.