Stanford-Forscher haben vorgestellt Öffnen Sie Jarvisein Open-Supply-Framework zum Erstellen Persönliche KI-Agenten, die vollständig auf dem Gerät ausgeführt werden. Das Projekt stammt vom Scaling Intelligence Lab in Stanford und wird sowohl als Forschungsplattform als auch als einsatzbereite Infrastruktur für Native-First-KI-Systeme präsentiert. Der Schwerpunkt liegt nicht nur auf der Modellausführung, sondern auch auf dem breiteren Software program-Stack, der erforderlich ist, um Agenten auf dem Gerät im Laufe der Zeit nutzbar, messbar und anpassbar zu machen.

Warum OpenJarvis?

Laut dem Stanford-Forschungsteam halten die meisten aktuellen persönlichen KI-Projekte die lokale Komponente immer noch relativ dünn, während die Kernbegründung über externe Cloud-APIs geleitet wird. Dieses Design führt zu Problemen mit der Latenz, wiederkehrenden Kosten und der Offenlegung von Daten, insbesondere für Assistenten/Agenten, die persönliche Dateien, Nachrichten und dauerhaften Benutzerkontext bearbeiten. OpenJarvis soll dieses Gleichgewicht verschieben, indem es die lokale Ausführung zum Normal und die Cloud-Nutzung elective macht.

Das Forschungsteam verknüpft diese Veröffentlichung mit ihrer früheren Model Intelligenz professional Watt Forschung. In dieser Arbeit berichten sie, dass lokale Sprachmodelle und lokale Beschleuniger genau dienen können 88,7 % der Single-Flip-Chat- und Reasoning-Anfragen mit interaktiven Latenzenwährend Die Geheimdiensteffizienz verbesserte sich von 2023 bis 2025 um das 5,3-fache. OpenJarvis wird als Softwareschicht positioniert, die sich aus diesem Ergebnis ergibt: Wenn Modelle und Verbraucherhardware für mehr lokale Workloads praktisch werden, benötigen Entwickler einen Normal-Stack zum Erstellen und Evaluieren dieser Systeme.

Die Fünf-Primitive-Architektur

Auf architektonischer Ebene ist OpenJarvis rundherum organisiert fünf Primitive: Intelligenz, Engine, Agenten, Instruments & Speicher und Lernen. Das Forschungsteam beschreibt diese als zusammensetzbare Abstraktionen, die unabhängig voneinander verglichen, ersetzt und optimiert oder zusammen als integriertes System verwendet werden können. Dies ist wichtig, da lokale KI-Projekte häufig Inferenz, Orchestrierung, Instruments, Abruf- und Anpassungslogik in einer einzigen, schwer zu reproduzierenden Anwendung kombinieren. OpenJarvis versucht stattdessen, jeder Ebene eine explizitere Rolle zuzuweisen.

Intelligenz: Die Modellebene

Der Intelligenz primitiv ist die Modellebene. Es befindet sich über einem sich ändernden Satz lokaler Modellfamilien und bietet einen einheitlichen Modellkatalog, sodass Entwickler nicht für jede Model manuell Parameteranzahl, {Hardware}-Passform oder Speicherkompromisse nachverfolgen müssen. Das Ziel besteht darin, die Modellauswahl getrennt von anderen Teilen des Techniques, beispielsweise dem Inferenz-Backend oder der Agentenlogik, einfacher untersuchen zu können.

Engine: Die Inferenzlaufzeit

Der Motor primitiv ist die Inferenzlaufzeit. Es handelt sich um eine gemeinsame Schnittstelle über Backends wie z Ollama, vLLM, SGLang, llama.cpp und Cloud-APIs. Die Engine-Ebene wird im weiteren Sinne als hardwarebewusste Ausführung verstanden, bei der Befehle wie z jarvis init Erkennen Sie verfügbare {Hardware} und empfehlen Sie eine geeignete Motor- und Modellkonfiguration jarvis physician hilft dabei, dieses Setup aufrechtzuerhalten. Für Entwickler ist dies einer der praktischeren Teile des Designs: Das Framework geht nicht von einer einzelnen Laufzeit aus, sondern behandelt Inferenz als steckbare Ebene.

Agenten: Die Verhaltensschicht

Der Agenten primitiv ist die Verhaltensschicht. Stanford beschreibt es als den Teil, der die Modellfähigkeit unter realen Geräteeinschränkungen wie begrenzten Kontextfenstern, begrenztem Arbeitsspeicher und Effizienzgrenzen in strukturierte Aktionen umwandelt. Anstatt sich auf einen Allzweckagenten zu verlassen, unterstützt OpenJarvis zusammensetzbare Rollen. Der Stanford-Artikel erwähnt ausdrücklich Rollen wie die Orchestratordas komplexe Aufgaben in Teilaufgaben aufteilt, und die Operativder als leichter Executor für wiederkehrende persönliche Arbeitsabläufe gedacht ist. In den Dokumenten wird außerdem beschrieben, wie der Agent die Systemeingabeaufforderung, Instruments, den Kontext, die Wiederholungslogik und die Exit-Logik verarbeitet.

Instruments & Speicher: Den Agenten erden

Der Werkzeuge und Speicher primitiv ist die Erdungsschicht. Dieses Grundelement umfasst Unterstützung für MCP (Mannequin Context Protocol) für den standardisierten Werkzeugeinsatz, Google A2A für die Agent-zu-Agent-Kommunikation und semantische Indizierung zum lokalen Auffinden von Notizen, Dokumenten und Papieren. Es unterstützt auch Messaging-Plattformen, Webchat und Webhooks. Es deckt auch eine engere Werkzeugansicht ab, die Websuche, Taschenrechnerzugriff, Datei-E/A, Codeinterpretation, Abruf und externe MCP-Server umfasst. OpenJarvis ist nicht nur eine lokale Chat-Schnittstelle; Ziel ist es, lokale Modelle mit Instruments und dauerhaftem persönlichem Kontext zu verbinden und gleichzeitig die Speicherung und Kontrolle standardmäßig lokal beizubehalten.

Lernen: Verbesserung im geschlossenen Regelkreis

Das fünfte Grundelement, LernenDies gibt dem Framework einen geschlossenen Verbesserungspfad. Stanford-Forscher beschreiben es als eine Schicht, die lokale Interaktionsspuren nutzt, um Trainingsdaten zu synthetisieren, das Agentenverhalten zu verfeinern und die Modellauswahl im Laufe der Zeit zu verbessern. OpenJarvis unterstützt die Optimierung übergreifend vier Schichten des Stapels: Modellgewichte, LM-Eingabeaufforderungen, Agentenlogikund die Inferenzmaschine. Zu den vom Forschungsteam aufgeführten Beispielen gehören: SFT, GRPO, DPOschnelle Optimierung mit DSPyAgentenoptimierung mit GEPAund Optimierung auf Engine-Ebene wie Quantisierungsauswahl und Stapelplanung.

Effizienz als erstklassige Messgröße

Ein wichtiger technischer Punkt in OpenJarvis ist seine Betonung effizienzbewusste Bewertung. Der Rahmen behandelt Energie, FLOPs, Latenz und Dollarkosten als erstklassige Randbedingungen neben der Aufgabenqualität. Der Schwerpunkt liegt auch auf einem hardwareunabhängigen Telemetriesystem zur Profilierung der Energie NVIDIA-GPUs über NVML, AMD-GPUsUnd Apple Silicon über powermetricsmit 50 ms Abtastintervalle. Der jarvis bench Der Befehl soll das Benchmarking für Latenz, Durchsatz und Energie professional Abfrage standardisieren. Dies ist wichtig, da es bei der lokalen Bereitstellung nicht nur darum geht, ob ein Modell eine Frage beantworten kann, sondern auch darum, ob es dies innerhalb der realen Grenzen von Leistung, Speicher und Antwortzeit tun kann.

Entwicklerschnittstellen und Bereitstellungsoptionen

Aus Entwicklersicht bietet OpenJarvis mehrere Einstiegspunkte. Der offizielle Dokumente zeige a Browser-AppA Desktop-AppA Python-SDKund a CLI. Die browserbasierte Oberfläche kann mit gestartet werden ./scripts/quickstart.shdas Abhängigkeiten installiert, wird gestartet Ollama und ein lokales Modell, startet das Backend und Frontend und öffnet die lokale Benutzeroberfläche. Die Desktop-App ist verfügbar für macOS, Home windows und Linuxwobei das Backend noch auf dem Laptop des Benutzers läuft. Das Python SDK stellt a bereit Jarvis() Objekt und Methoden wie ask() Und ask_full()während die CLI Befehle wie enthält jarvis ask, jarvis serve, jarvis reminiscence indexUnd jarvis reminiscence search.

Das steht auch in den Unterlagen Alle Kernfunktionen funktionieren ohne Netzwerkverbindungwährend Cloud-APIs elective sind. Für Entwicklerteams, die lokale Anwendungen erstellen, gibt es eine weitere praktische Funktion jarvis servewas a beginnt FastAPI-Server mit SSE-Streaming und wird als a beschrieben Drop-in-Ersatz für OpenAI-Purchasers. Dies senkt die Migrationskosten für Entwickler, die Prototypen für eine API-förmige Schnittstelle erstellen und gleichzeitig die Inferenz lokal beibehalten möchten.

---

Kasse Repo, Dokumente Und Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Ein Staff von Forschern der Stanford College hat veröffentlicht MedagentbenchEine neue Benchmark -Suite zur Bewertung von Wirkstoffen (Langwary Mannequin) in Gesundheitskontexten. Im Gegensatz zu früheren Fragen-Reply-Datensätzen bietet Medagentbench a EHR -Umgebung (Digital Digital Well being File) wobei KI-Systeme mehrstufige klinische Aufgaben interagieren, planen und ausführen müssen. Dies markiert eine signifikante Verschiebung von der Prüfung der statischen Begründung zur Beurteilung der Agentenfunktionen in Dwell-medizinische Workflows mit Toolbasis.

Warum brauchen wir im Gesundheitswesen Agenten -Benchmarks?

Die jüngsten LLMs haben sich über statische Chat-basierte Interaktionen hinweg bewegt Agentenverhalten-Interpretieren von Anweisungen auf hoher Ebene, Aufruf von APIs, Integration von Patientendaten und Automatisierung komplexer Prozesse. In der Medizin könnte diese Entwicklung helfen, sich anzusprechen Personalmangel, Dokumentationsbelastung und administrative Ineffizienzen.

Während allgemeine Benchmarks (z. B. Agentbench, Agentboard, Tau-Bench) vorhanden ist, gibt es. In der Gesundheitsversorgung fehlte ein standardisierter Benchmark Dies erfasst die Komplexität von medizinischen Daten, FHIR -Interoperabilität und Längsschnittpatientenaufzeichnungen. Medagentbench erfüllt diese Lücke, indem er einen reproduzierbaren, klinisch relevanten Bewertungsrahmen anbietet.

Was enthält Medagentbench?

Wie sind die Aufgaben strukturiert?

Medagentbench besteht aus 300 Aufgaben in 10 Kategoriengeschrieben von lizenzierten Ärzten. Zu diesen Aufgaben gehören das Abrufen von Patienteninformationen, das Laborergebnis, die Dokumentation, die Testordnung, die Überweisungen und das Medikamentenmanagement. Aufgaben durchschnittlich 2–3 Schritte und Spiegel -Workflows, die in stationärer und ambulanter Pflege auftreten.

Welche Patientendaten stützen den Benchmark?

Der Benchmark nutzt 100 realistische Patientenprofile Extrahiert aus Stanfords Starr -Datenrepository, das übertrifft 700.000 Aufzeichnungen einschließlich Labors, Vitalen, Diagnosen, Verfahren und Medikamentenaufträgen. Die Daten wurden für die Privatsphäre nicht identifiziert und gleichermaßen geschmückt, während die klinische Gültigkeit beibehalten wurde.

Wie wird die Umgebung gebaut?

Die Umwelt ist Fhir-konformUnterstützung sowohl Abruf (GET) als auch Änderung (Publish) von EHR -Daten. KI -Systeme können realistische klinische Wechselwirkungen simulieren, z. B. das Dokumentieren von Vitalen oder das Festlegen von Medikamentenaufträgen. Dieses Design macht den Benchmark direkt in lebende EHR -Systeme übersetzbar.

Wie werden Modelle bewertet?

• Metrisch: Aufgabenerfolgsrate (SR), gemessen mit strikter Cross@1 reale Sicherheitsanforderungen widerspiegeln.
• Modelle getestet: 12 führende LLMs einschließlich GPT-4O, Claude 3.5 Sonnet, Gemini 2.0, Deepseek-V3, Qwen2.5 und Lama 3.3.
• Agent Orchestrator: Eine Foundation -Orchestrierungs -Setup mit neun FHIR -Funktionen, beschränkt auf Acht Interaktionsrunden professional Aufgabe.

Welche Modelle haben am besten durchgeführt?

• Claude 3.5 Sonett V2: Am besten insgesamt mit 69,67% Erfolgbesonders stark in Abrufaufgaben (85,33%).
• Gpt-4o: 64,0% Erfolg und zeigt ausgewogene Abruf- und Aktionsleistung.
• Deepseek-V3: 62,67% Erfolg, führt zu Open-Gewicht-Modellen.
• Beobachtung: Die meisten Modelle haben sich hervorgetan bei Abfrageaufgaben aber kämpfte mit Aktionsbasierte Aufgaben Erfordernde eine sichere Ausführung von mehrstufigen.

Welche Fehler haben Modelle gemacht?

Es entstanden zwei dominante Versagensmuster:

1. Anweisungseinhaltung Fehler – Ungültige API -Aufrufe oder falsche JSON -Formatierung.
2. Ausgangsfehlanpassung – Bereitstellung vollständiger Sätze, wenn strukturierte numerische Werte erforderlich waren.

Diese Fehler unterstreichen Lücken in Präzision und Zuverlässigkeitbeide kritisch im klinischen Einsatz.

Zusammenfassung

Medagentbench stellt den ersten groß angelegten Benchmark für die Bewertung von LLM-Wirkstoffen in realistischen EHR-Umgebungen ein und kombiniert 300 auf klinischherbautete Aufgaben mit einer FHIR-konformen Umgebung und 100 Patientenprofilen. Die Ergebnisse zeigen eine starke potenzielle, aber begrenzte Zuverlässigkeit – Claude 3,5 Sonnet V2 führt bei 69,67% – die Lücke zwischen Abfrageerfolg und sicherer Aktionsausführung. Medagentbench ist zwar durch Einzelinstitutsdaten und EHR-fokussierte Umfang eingeschränkt und bietet einen offenen, reproduzierbaren Rahmen, um die nächste Technology verlässlicher AI-Agenten der Gesundheitsversorgung voranzutreiben

---

Schauen Sie sich das an PAPIER Und Technischer Weblog. Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser Publication.