Forscher der Stanford College haben veröffentlicht Öffnen Sie Jarvisein Open-Supply-Framework zum Erstellen persönlicher Agenten für künstliche Intelligenz, die vollständig auf dem Gerät ausgeführt werden.

Das Framework zielt darauf ab, Latenz, wiederkehrende Kosten und Bedenken hinsichtlich der Datenexposition im Zusammenhang mit Cloud-basierten KI-Lösungen zu reduzieren, indem die lokale Ausführung priorisiert wird. Dieser Ansatz positioniert lokale KI als Customary, wobei die Cloud-Nutzung zu einer optionalen Komponente wird.

OpenJarvis stammt aus dem Scaling Intelligence Lab von Stanford. Es fungiert sowohl als Forschungsplattform als auch als Bereitstellungsinfrastruktur für lokale KI-Systeme.

Das Projekt legt den Schwerpunkt auf den gesamten Software program-Stack, der für On-Gadget-Agenten erforderlich ist, einschließlich Benutzerfreundlichkeit, Messung und langfristige Anpassungsfähigkeit. Die Studie zitiert die frühere Arbeit „Intelligence Per Watt“, die ergab, dass lokale Sprachmodelle 88,7 % der Chat- und Argumentationsanfragen mit interaktiven Latenzen verarbeiten können. Nach Angaben des Groups hat sich die Effizienz zwischen 2023 und 2025 um das 5,3-fache verbessert.

OpenJarvis verwendet eine „5-Primitives“-Architektur: Intelligenz, Engine, Agenten, Instruments & Speicher und Lernen. Diese Grundelemente fungieren als zusammensetzbare Abstraktionen für unabhängiges Benchmarking und Optimierung.

Das Intelligence-Grundelement fungiert als Modellebene und stellt einen einheitlichen Katalog für verschiedene lokale Modellfamilien bereit. Diese Abstraktion ermöglicht es Entwicklern, Modelle auszuwählen, ohne die Parameteranzahl oder die {Hardware}-Passform manuell zu verfolgen.

Das Engine-Primitiv dient als Inferenzlaufzeit und bietet eine gemeinsame Schnittstelle für Backends wie Ollama, vLLM, SGLang, llama.cpp und Cloud-APIs. Es enthält Befehle wie „jarvis init“ zum Erkennen von {Hardware} und Empfehlen von Konfigurationen sowie „jarvis physician“ für die Wartung.

Das Agenten-Grundelement bildet die Verhaltensschicht und übersetzt Modellfunktionen in strukturierte Aktionen unter Geräteeinschränkungen. Es unterstützt zusammensetzbare Rollen, einschließlich eines Orchestrators für die Aufgabenaufteilung und eines Agenten für persönliche Arbeitsabläufe.

Das Grundelement „Instruments & Speicher“ bildet die Erdungsschicht. Dazu gehört die Unterstützung von MCP (Mannequin Context Protocol) für die Instrument-Nutzung, Google A2A für die Agent-zu-Agent-Kommunikation und semantische Indexierung für den lokalen Abruf. Es verbindet auch lokale Modelle mit Instruments und einem dauerhaften persönlichen Kontext.

Das Lernprimitiv bietet einen Verbesserungsmechanismus mit geschlossenem Regelkreis. Es nutzt lokale Interaktionsspuren, um Trainingsdaten zu generieren, das Agentenverhalten zu verfeinern und die Modellauswahl zu verbessern. Die Optimierung erfolgt über Modellgewichtungen, LM-Eingabeaufforderungen, Agentenlogik und die Inferenz-Engine.

OpenJarvis priorisiert Effizienz und behandelt neben der Aufgabenqualität auch Energie, FLOPs, Latenz und Kosten als Haupteinschränkungen. Es beinhaltet ein hardwareunabhängiges Telemetriesystem zur Profilierung der Energie auf NVIDIA-GPUs, AMD-GPUs und Apple Silicon mit Abtastintervallen von 50 ms. Der Befehl „jarvis bench“ standardisiert das Benchmarking für Latenz, Durchsatz und Energie professional Abfrage.

Zu den Entwicklerschnittstellen für OpenJarvis gehören eine Browseranwendung, eine Desktopanwendung für macOS, Home windows und Linux, ein Python SDK und eine Befehlszeilenschnittstelle (CLI). Alle Kernfunktionen funktionieren ohne Netzwerkverbindung.

Der Befehl „jarvis servo“ startet einen FastAPI-Server mit SSE-Streaming, der nach Angaben der Entwickler als Drop-In-Ersatz für OpenAI-Purchasers dienen kann. Diese Funktion soll die Migrationskosten für Entwickler senken, die Prototypen mit einer API-förmigen Schnittstelle erstellen und gleichzeitig die lokale Inferenz beibehalten.

---

Hervorgehobener Bildnachweis

Stanford-Forscher haben vorgestellt Öffnen Sie Jarvisein Open-Supply-Framework zum Erstellen Persönliche KI-Agenten, die vollständig auf dem Gerät ausgeführt werden. Das Projekt stammt vom Scaling Intelligence Lab in Stanford und wird sowohl als Forschungsplattform als auch als einsatzbereite Infrastruktur für Native-First-KI-Systeme präsentiert. Der Schwerpunkt liegt nicht nur auf der Modellausführung, sondern auch auf dem breiteren Software program-Stack, der erforderlich ist, um Agenten auf dem Gerät im Laufe der Zeit nutzbar, messbar und anpassbar zu machen.

Warum OpenJarvis?

Laut dem Stanford-Forschungsteam halten die meisten aktuellen persönlichen KI-Projekte die lokale Komponente immer noch relativ dünn, während die Kernbegründung über externe Cloud-APIs geleitet wird. Dieses Design führt zu Problemen mit der Latenz, wiederkehrenden Kosten und der Offenlegung von Daten, insbesondere für Assistenten/Agenten, die persönliche Dateien, Nachrichten und dauerhaften Benutzerkontext bearbeiten. OpenJarvis soll dieses Gleichgewicht verschieben, indem es die lokale Ausführung zum Normal und die Cloud-Nutzung elective macht.

Das Forschungsteam verknüpft diese Veröffentlichung mit ihrer früheren Model Intelligenz professional Watt Forschung. In dieser Arbeit berichten sie, dass lokale Sprachmodelle und lokale Beschleuniger genau dienen können 88,7 % der Single-Flip-Chat- und Reasoning-Anfragen mit interaktiven Latenzenwährend Die Geheimdiensteffizienz verbesserte sich von 2023 bis 2025 um das 5,3-fache. OpenJarvis wird als Softwareschicht positioniert, die sich aus diesem Ergebnis ergibt: Wenn Modelle und Verbraucherhardware für mehr lokale Workloads praktisch werden, benötigen Entwickler einen Normal-Stack zum Erstellen und Evaluieren dieser Systeme.

Die Fünf-Primitive-Architektur

Auf architektonischer Ebene ist OpenJarvis rundherum organisiert fünf Primitive: Intelligenz, Engine, Agenten, Instruments & Speicher und Lernen. Das Forschungsteam beschreibt diese als zusammensetzbare Abstraktionen, die unabhängig voneinander verglichen, ersetzt und optimiert oder zusammen als integriertes System verwendet werden können. Dies ist wichtig, da lokale KI-Projekte häufig Inferenz, Orchestrierung, Instruments, Abruf- und Anpassungslogik in einer einzigen, schwer zu reproduzierenden Anwendung kombinieren. OpenJarvis versucht stattdessen, jeder Ebene eine explizitere Rolle zuzuweisen.

Intelligenz: Die Modellebene

Der Intelligenz primitiv ist die Modellebene. Es befindet sich über einem sich ändernden Satz lokaler Modellfamilien und bietet einen einheitlichen Modellkatalog, sodass Entwickler nicht für jede Model manuell Parameteranzahl, {Hardware}-Passform oder Speicherkompromisse nachverfolgen müssen. Das Ziel besteht darin, die Modellauswahl getrennt von anderen Teilen des Techniques, beispielsweise dem Inferenz-Backend oder der Agentenlogik, einfacher untersuchen zu können.

Engine: Die Inferenzlaufzeit

Der Motor primitiv ist die Inferenzlaufzeit. Es handelt sich um eine gemeinsame Schnittstelle über Backends wie z Ollama, vLLM, SGLang, llama.cpp und Cloud-APIs. Die Engine-Ebene wird im weiteren Sinne als hardwarebewusste Ausführung verstanden, bei der Befehle wie z jarvis init Erkennen Sie verfügbare {Hardware} und empfehlen Sie eine geeignete Motor- und Modellkonfiguration jarvis physician hilft dabei, dieses Setup aufrechtzuerhalten. Für Entwickler ist dies einer der praktischeren Teile des Designs: Das Framework geht nicht von einer einzelnen Laufzeit aus, sondern behandelt Inferenz als steckbare Ebene.

Agenten: Die Verhaltensschicht

Der Agenten primitiv ist die Verhaltensschicht. Stanford beschreibt es als den Teil, der die Modellfähigkeit unter realen Geräteeinschränkungen wie begrenzten Kontextfenstern, begrenztem Arbeitsspeicher und Effizienzgrenzen in strukturierte Aktionen umwandelt. Anstatt sich auf einen Allzweckagenten zu verlassen, unterstützt OpenJarvis zusammensetzbare Rollen. Der Stanford-Artikel erwähnt ausdrücklich Rollen wie die Orchestratordas komplexe Aufgaben in Teilaufgaben aufteilt, und die Operativder als leichter Executor für wiederkehrende persönliche Arbeitsabläufe gedacht ist. In den Dokumenten wird außerdem beschrieben, wie der Agent die Systemeingabeaufforderung, Instruments, den Kontext, die Wiederholungslogik und die Exit-Logik verarbeitet.

Instruments & Speicher: Den Agenten erden

Der Werkzeuge und Speicher primitiv ist die Erdungsschicht. Dieses Grundelement umfasst Unterstützung für MCP (Mannequin Context Protocol) für den standardisierten Werkzeugeinsatz, Google A2A für die Agent-zu-Agent-Kommunikation und semantische Indizierung zum lokalen Auffinden von Notizen, Dokumenten und Papieren. Es unterstützt auch Messaging-Plattformen, Webchat und Webhooks. Es deckt auch eine engere Werkzeugansicht ab, die Websuche, Taschenrechnerzugriff, Datei-E/A, Codeinterpretation, Abruf und externe MCP-Server umfasst. OpenJarvis ist nicht nur eine lokale Chat-Schnittstelle; Ziel ist es, lokale Modelle mit Instruments und dauerhaftem persönlichem Kontext zu verbinden und gleichzeitig die Speicherung und Kontrolle standardmäßig lokal beizubehalten.

Lernen: Verbesserung im geschlossenen Regelkreis

Das fünfte Grundelement, LernenDies gibt dem Framework einen geschlossenen Verbesserungspfad. Stanford-Forscher beschreiben es als eine Schicht, die lokale Interaktionsspuren nutzt, um Trainingsdaten zu synthetisieren, das Agentenverhalten zu verfeinern und die Modellauswahl im Laufe der Zeit zu verbessern. OpenJarvis unterstützt die Optimierung übergreifend vier Schichten des Stapels: Modellgewichte, LM-Eingabeaufforderungen, Agentenlogikund die Inferenzmaschine. Zu den vom Forschungsteam aufgeführten Beispielen gehören: SFT, GRPO, DPOschnelle Optimierung mit DSPyAgentenoptimierung mit GEPAund Optimierung auf Engine-Ebene wie Quantisierungsauswahl und Stapelplanung.

Effizienz als erstklassige Messgröße

Ein wichtiger technischer Punkt in OpenJarvis ist seine Betonung effizienzbewusste Bewertung. Der Rahmen behandelt Energie, FLOPs, Latenz und Dollarkosten als erstklassige Randbedingungen neben der Aufgabenqualität. Der Schwerpunkt liegt auch auf einem hardwareunabhängigen Telemetriesystem zur Profilierung der Energie NVIDIA-GPUs über NVML, AMD-GPUsUnd Apple Silicon über powermetricsmit 50 ms Abtastintervalle. Der jarvis bench Der Befehl soll das Benchmarking für Latenz, Durchsatz und Energie professional Abfrage standardisieren. Dies ist wichtig, da es bei der lokalen Bereitstellung nicht nur darum geht, ob ein Modell eine Frage beantworten kann, sondern auch darum, ob es dies innerhalb der realen Grenzen von Leistung, Speicher und Antwortzeit tun kann.

Entwicklerschnittstellen und Bereitstellungsoptionen

Aus Entwicklersicht bietet OpenJarvis mehrere Einstiegspunkte. Der offizielle Dokumente zeige a Browser-AppA Desktop-AppA Python-SDKund a CLI. Die browserbasierte Oberfläche kann mit gestartet werden ./scripts/quickstart.shdas Abhängigkeiten installiert, wird gestartet Ollama und ein lokales Modell, startet das Backend und Frontend und öffnet die lokale Benutzeroberfläche. Die Desktop-App ist verfügbar für macOS, Home windows und Linuxwobei das Backend noch auf dem Laptop des Benutzers läuft. Das Python SDK stellt a bereit Jarvis() Objekt und Methoden wie ask() Und ask_full()während die CLI Befehle wie enthält jarvis ask, jarvis serve, jarvis reminiscence indexUnd jarvis reminiscence search.

Das steht auch in den Unterlagen Alle Kernfunktionen funktionieren ohne Netzwerkverbindungwährend Cloud-APIs elective sind. Für Entwicklerteams, die lokale Anwendungen erstellen, gibt es eine weitere praktische Funktion jarvis servewas a beginnt FastAPI-Server mit SSE-Streaming und wird als a beschrieben Drop-in-Ersatz für OpenAI-Purchasers. Dies senkt die Migrationskosten für Entwickler, die Prototypen für eine API-förmige Schnittstelle erstellen und gleichzeitig die Inferenz lokal beibehalten möchten.

---

Kasse Repo, Dokumente Und Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Es wird oft gesagt, dass Supercomputer von vor ein paar Jahrzehnten weniger Leistung hatten als heutige Smartwatches. Jetzt haben wir ein Unternehmen, Tiiny AI Inc., das behauptet, den weltweit kleinsten persönlichen KI-Supercomputer gebaut zu haben, der ein großes Sprachmodell mit 120 Milliarden Parametern auf dem Gerät ausführen kann – ohne Cloud-Konnektivität, Server oder GPUs.

Das Unternehmen sagte, dass das Arm-basierte Produkt auf zwei technologischen Fortschritten basiert, die LLMs mit großen Parametern auf einem kompakten Gerät realisierbar machen.

• TurboSparse, eine spärliche Aktivierungstechnik auf Neuronenebene, verbessert die Inferenzeffizienz und behält gleichzeitig die vollständige Modellintelligenz bei.
• PowerInfer, eine heterogene Open-Supply-Inferenz-Engine mit mehr als 8.000 GitHub-Sternen, beschleunigt schwere LLM-Arbeitslasten durch die dynamische Verteilung der Berechnungen auf CPU und NPU und ermöglicht so eine erstklassige Leistung bei einem Bruchteil des herkömmlichen Stromverbrauchs.

Tiiny AI Pocket Lab wurde für energieeffiziente persönliche Intelligenz entwickelt, läuft in einem Leistungsbereich von 65 W und ermöglicht die Leistung großer Modelle zu einem Bruchteil des Energie- und CO2-Fußabdrucks herkömmlicher GPU-basierter Systeme, sagte Tiiny.

Das Unternehmen sagte, der Engpass im heutigen KI-Ökosystem sei nicht die Rechenleistung, sondern die Abhängigkeit von der Cloud.

„Cloud AI hat bemerkenswerte Fortschritte gebracht, aber auch Abhängigkeiten, Verwundbarkeit und Nachhaltigkeitsherausforderungen geschaffen“, sagte Samar Bhoj, GTM-Direktorin von Kleine KI. „Mit Tiiny AI Pocket Lab glauben wir, dass Intelligenz nicht den Rechenzentren, sondern den Menschen gehören sollte. Dies ist der erste Schritt, um fortschrittliche KI wirklich zugänglich, privat und persönlich zu machen, indem die Leistung großer Modelle aus der Cloud auf jedes einzelne Gerät übertragen wird.“

„Das Gerät stellt einen großen Wandel in der Entwicklung der KI-Branche dar“, sagte das Unternehmen. „Da cloudbasierte KI zunehmend mit Nachhaltigkeitsbedenken, steigenden Energiekosten, weltweiten Ausfällen, den unerschwinglichen Kosten der Verarbeitung langer Kontexte und wachsenden Datenschutzrisiken zu kämpfen hat, führt Tiiny AI ein options Modell ein, das sich auf persönliche, tragbare und vollständig non-public Intelligenz konzentriert.“

Nach Angaben des Unternehmens wurde das Gerät von Guinness World Data in der Kategorie „Der kleinste MiniPC (100 Milliarden LLM lokal)“ verifiziert.

Das Unternehmen bezeichnet sich selbst als „in den USA ansässiges Deep-Tech-KI-Startup“, während die Ankündigung in Hongkong erfolgt. Das Unternehmen wurde 2024 gegründet und vereint Ingenieure von MIT, Stanford, HKUST, SJTU, Intel und Meta, KI-Inferenz und {Hardware}-Software program-Co-Design. Ihre Forschung wurde auf akademischen Konferenzen wie SOSP, OSDI, ASPLOS und EuroSys veröffentlicht. Nach Angaben des Unternehmens sicherte sich Tiiny AI im Jahr 2025 eine Seed-Runde in Höhe von mehreren Millionen Greenback von führenden globalen Investoren.

Tiiny AI Pocket Lab ist darauf ausgelegt, wichtige persönliche KI-Anwendungsfälle zu unterstützen und dient Entwicklern, Forschern, Schöpfern, Fachleuten und Studenten. Es ermöglicht mehrstufiges Denken, tiefes Kontextverständnis, Agenten-Workflows, Inhaltsgenerierung und sichere Verarbeitung sensibler Informationen – auch ohne Internetzugang. Das Gerät bietet außerdem ein echtes persönliches Langzeitgedächtnis, indem es Benutzerdaten, Präferenzen und Dokumente lokal mit Verschlüsselung auf Bankebene speichert und so ein Maß an Privatsphäre und Beständigkeit bietet, das cloudbasierte KI-Systeme nicht bieten können.

Das Tiiny AI Pocket Lab arbeitet im „goldenen Bereich“ der persönlichen KI (Parameter 10B–100B), die nach Angaben des Unternehmens mehr als 80 Prozent der realen Bedürfnisse befriedigt. Es unterstützt Modelle mit einer Skalierung von bis zu 120 Milliarden LLM und liefert Intelligenzniveaus, die mit GPT-4o vergleichbar sind. Dies ermöglicht Argumentation auf PhD-Niveau, mehrstufige Analysen und ein tiefes Kontextverständnis – aber mit der Sicherheit einer vollständigen Offline-Verarbeitung auf dem Gerät.

Das Unternehmen sagte, das Gerät unterstütze die Ein-Klick-Set up beliebter Open-Supply-Modelle, darunter OpenAI GPT-OSS, Llama, Qwen, DeepSeek, Mistral und Phi, und ermögliche die Bereitstellung von Open-Supply-KI-AgentenTs wie OpenManus, ComfyUI, Flowise, Presenton, Libra, Bella und SillyTavern. Benutzer erhalten kontinuierliche Updates, einschließlich offizieller OTA-{Hardware}-Upgrades. Die oben genannten Funktionen werden auf der CES im Januar 2026 veröffentlicht.

Wie viel Kapazität kann ein spärlicher 8.3B-Parameter MoE mit einem ~1,5B aktiver Pfad auf Ihrem Telefon liefern, ohne Latenz oder Speicher zu verschwenden? Liquid AI wurde veröffentlicht LFM2-8B-A1B, ein kleines Combination-of-Specialists-Modell (MoE), das für die Ausführung auf dem Gerät unter engen Speicher-, Latenz- und Energiebudgets entwickelt wurde. Im Gegensatz zu den meisten MoE-Arbeiten, die für die Cloud-Batch-Bereitstellung optimiert sind, zielt LFM2-8B-A1B auf Telefone, Laptops und eingebettete Systeme ab. Es zeigt 8,3B Gesamtparameter aber nur aktiviert ~1,5B Parameter professional Tokenwobei Sparse-Professional-Routing verwendet wird, um einen kleinen Rechenpfad beizubehalten und gleichzeitig die Darstellungskapazität zu erhöhen. Das Modell ist unter der veröffentlicht LFM Open License v1.0 (lfm1.0)

Die Architektur verstehen

LFM2-8B-A1B behält das „schnelle Spine“ von LFM2 bei und fügt spärliche MoE-Feed-Ahead-Blöcke ein, um die Kapazität zu erhöhen, ohne die aktive Rechenleistung wesentlich zu erhöhen. Das Rückgrat nutzt 18 geschlossene Kurzfaltungsblöcke Und 6 Grouped-Question Consideration (GQA)-Blöcke. Alle Schichten außer den ersten beiden einen MoE-Block einschließen; Die ersten beiden bleiben aus Stabilitätsgründen dicht. Jeder MoE-Block definiert 32 Experten; Der Router wählt Prime-4-Experten professional Token mit einem normalisiertes Sigmoid-Gate Und Adaptive Routing-Voreingenommenheit um die Belastung auszugleichen und das Coaching zu stabilisieren. Die Kontextlänge beträgt 32.768 Token; Wortschatzgröße 65.536; gemeldetes Vorschulungsbudget ~12T-Token.

Dieser Ansatz hält die FLOPs professional Token und das Cache-Wachstum durch den aktiven Pfad (Aufmerksamkeit + vier Experten-MLPs) begrenzt, während die Gesamtkapazität eine Spezialisierung über Domänen wie mehrsprachiges Wissen, Mathematik und Code hinweg ermöglicht – Anwendungsfälle, die sich oft auf sehr kleine dichte Modelle zurückführen lassen.

Leistungssignale

Liquid AI meldet, dass LFM2-8B-A1B läuft deutlich schneller als Qwen3-1.7B unter CPU-Checks mit einem internen XNNPACK-basierten Stack und einem benutzerdefinierten CPU-MoE-Kernel. Die öffentlichen Grundstücke umfassen int4-Quantisierung mit dynamischen int8-Aktivierungen An AMD Ryzen AI 9 HX370 Und Samsung Galaxy S24 Extremely. Das Liquid AI-Workforce positioniert Qualität als vergleichbar mit 3–4B dichte Modellewährend die aktive Rechenleistung in der Nähe bleibt 1,5B. Es werden keine herstellerübergreifenden „×-schneller“-Headline-Multiplikatoren veröffentlicht; Die Behauptungen sind als Vergleiche professional Gerät mit ähnlich aktiven Modellen formuliert.

In Bezug auf die Genauigkeit listet die Modellkarte Ergebnisse für 16 Benchmarks auf, darunter MMLU/MMLU-Professional/GPQA (Wissen), IFEval/IFBench/Multi-IF (Anweisungen befolgen), GSM8K/GSMPlus/MATH500/MATH-Lvl-5 (Mathematik) und MGSM/MMMLU (mehrsprachig). Die Zahlen deuten auf eine konkurrenzfähige Unterrichtsbefolgung und Mathematikleistung innerhalb des kleinen Modellbereichs sowie eine verbesserte Wissenskapazität im Vergleich zu LFM2-2.6B hin, was mit dem größeren Gesamtparameterbudget übereinstimmt.

Bereitstellung und Instruments

LFM2-8B-A1B wird mit Transformers/vLLM für GPU-Inferenz und GGUF-Builds für llama.cpp ausgeliefert; Das offizielle GGUF-Repo listet gängige Quants auf Q4_0 ≈4,7 GB bis zu F16 ≈16,7 GB für lokale Läufe, während lama.cpp erfordert einen aktuellen Construct mit lfm2moe Unterstützung (b6709+), um „unbekannte Modellarchitektur“-Fehler zu vermeiden. Die CPU-Validierung von Liquid verwendet Q4_0 mit int8 dynamische Aktivierungen An AMD Ryzen AI 9 HX370 Und Samsung Galaxy S24 Extremelywobei LFM2-8B-A1B einen höheren Dekodierungsdurchsatz aufweist als Qwen3-1.7B bei einer ähnlichen Aktivparameterklasse; ExecuTorch wird für die cell/eingebettete CPU-Bereitstellung referenziert.

Wichtige Erkenntnisse

• Architektur & Routing: LFM2-8B-A1B paart ein schnelles LFM2-Spine (18 Gated-Brief-Conv-Blöcke + 6 GQA-Blöcke) mit Sparse-MoE-FFNs professional Schicht (alle Schichten außer den ersten beiden) unter Verwendung von 32 Experten mit Prime-4-Routing über normalisiertes Sigmoid-Gating und adaptive Bias; 8,3 Milliarden Parameter insgesamt, ~1,5 Milliarden aktiv professional Token.
• Ziel auf dem Gerät: Entwickelt für Telefone, Laptops und eingebettete CPUs/GPUs; Quantisierte Varianten „passen bequem“ auf Excessive-Finish-Shopper-{Hardware} für den privaten Gebrauch mit geringer Latenz.
• Leistungspositionierung. Flüssigkeitsberichte sind LFM2-8B-A1B deutlich schneller als Qwen3-1.7B in CPU-Checks und -Zielen 3–4B-Qualität der dichten Klasse unter Beibehaltung eines aktiven Pfads von ca. 1,5 B.

LFM2-8B-A1B zeigt, dass spärliches MoE unterhalb des Üblichen praktisch sein kann Server-Skalenregime. Das Modell kombiniert ein LFM2-Conv-Consideration-Spine mit Experten-MLPs professional Schicht (mit Ausnahme der ersten beiden Schichten), um die Token-Rechenleistung nahe bei 1,5 B zu halten und gleichzeitig die Qualität in Richtung 3–4 B dichter Klassen zu steigern. Mit Normal- und GGUF-Gewichten, llama.cpp/ExecuTorch/vLLM-Pfaden und einer freizügigen Haltung auf dem Gerät ist LFM2-8B-A1B eine konkrete Possibility für den Aufbau privater Assistenten mit geringer Latenz und in Anwendungen eingebetteter Copiloten auf Verbraucher- und Edge-{Hardware}.

---

Schauen Sie sich das an Modell auf umarmendem Gesicht Und Technische Particulars. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Sony Music verfügt über ein Sortiment von etwa 700 KI-Geräten und Musik-Streaming-Geräten, die es ihnen ermöglichen, innerhalb ihres eigenen KI-Techniques zu arbeiten. Wenn Sie die „Decide-out“-Funktion von Sony Music nutzen, müssen Sie unbedingt darauf achten, dass das Gerät nicht mehr verwendet wird, und Sie können dies nicht tun. Wir betonen, dass es sich bei den Anträgen nicht um die Nutzung des KI-Techniques der Ära handelt, sondern um Sony Music.

Vor Kurzem hat Sony Music eine offene Erklärung abgeben müssen, bevor der Benutzer sich vor der Inbetriebnahme seiner neuen KI-Lösungen entschieden hat. Die klaren Erklärungen zu allen früheren Texten und Datamining-, Webbrowser- oder ähnlichen Reproduktionsprojekten sind auf die Gesamtheit der Spezifikationen und die Einhaltung der Garantiebedingungen von Sony Music Leisure (SME) oder Sony Music Publishing (SMP) ausgerichtet. Dazu gehören Musik, Textual content, Musik, audiovisuelle Checks, Musik, Bilder, Daten und vieles mehr, einschließlich Coaching, Nutzung und Vermarktung durch das KI-System.

Sony Music ist seit Kurzem in der EU mit einer neuen KI-Verzögerung beschäftigt, da die KI-Geräte offenkundig über die Notwendigkeit verfügen, KI-Modelle zu entwickeln. Dies ist eine wichtige Aufgabe, die Sie in den letzten Jahren in den KI-Sektoren aufgegriffen haben, was zu Problemen bei der Verwaltung und dem Skydd-Datenbanken über die gesamte Zentrale führt.

Gepostet von Zheng Xu, Forschungswissenschaftler, und Yanxiang Zhang, Softwareentwickler, Google

Sprachmodelle (LMs), die darauf trainiert werden, das nächste Wort aus einem eingegebenen Textual content vorherzusagen, sind die Schlüsseltechnologie für viele Anwendungen (1, 2). In GboardLMs werden verwendet, um das Tipperlebnis der Benutzer zu verbessern, indem sie Funktionen wie unterstützen Vorhersage des nächsten Wortes (NWP), Intelligentes Verfassen, smarter Abschluss Und Anregung, Zum Tippen schieben, Und Korrekturlesen. Die Bereitstellung von Modellen auf den Geräten der Benutzer statt auf Unternehmensservern bietet Vorteile wie eine geringere Latenz und einen besseren Datenschutz für die Modellnutzung. Während das Coaching von Modellen auf dem Gerät direkt aus Benutzerdaten die Dienstprogrammleistung für Anwendungen wie NWP und effektiv verbessert Intelligente TextauswahlDer Schutz der Privatsphäre der Benutzerdaten für das Modelltraining ist wichtig.

Gboard-Funktionen, die auf geräteinternen Sprachmodellen basieren.

In diesem Weblog diskutieren wir, wie jahrelange Forschungsfortschritte seit der Proof-of-Idea-Entwicklung von das personal Coaching von Gboard-LMs vorantreiben föderiertes Lernen (FL) im Jahr 2017 und formell unterschiedliche Privatsphäre (DP) Garantien im Jahr 2022. FL ermöglicht Mobiltelefonen das gemeinsame Erlernen eines Modells und behält dabei alle Trainingsdaten auf dem Gerät DP Bietet ein quantifizierbares Maß für die Datenanonymisierung. Formal wird DP oft charakterisiert durch (ε, δ), wobei kleinere Werte stärkere Garantien darstellen. Es wird davon ausgegangen, dass Modelle für maschinelles Lernen (ML) vorhanden sind angemessene DP-Garantien für ε=10 und starke DP-Garantien für ε=1 Wann δ ist klein.

Ab heute werden alle NWP-LMs für neuronale Netzwerke in Gboard mit FL mit formalen DP-Garantien trainiert, und alle zukünftigen Markteinführungen von Gboard-LMs, die auf Benutzerdaten trainiert werden, erfordern DP. Diese über 30 On-System-LMs von Gboard werden in über 7 Sprachen und über 15 Ländern eingeführt und erfüllen (ɛ, δ)-DP-Garantien für kleine δ von 10^-10 und ɛ zwischen 0,994 und 13,69. Nach unserem besten Wissen ist dies der größte bekannte Einsatz von DP auf Benutzerebene in der Produktion bei Google oder anderswo und das erste Mal, dass eine starke DP-Garantie besteht ɛ < 1 wird für Modelle angekündigt, die direkt auf Benutzerdaten trainiert werden.

Datenschutzgrundsätze und -praktiken in Gboard

In „Privates föderiertes Lernen in Gboard“, wir diskutierten, wie unterschiedlich Datenschutzgrundsätze spiegeln sich derzeit in Serienmodellen wider, darunter:

• Transparenz und Benutzerkontrolle: Wir legen offen, welche Daten verwendet werden, zu welchem ​​Zweck sie verwendet werden, wie sie in verschiedenen Kanälen verarbeitet werden und wie Gboard-Benutzer dies problemlos tun können konfigurieren die Datennutzung in Lernmodellen.
• Datenminimierung: FL aggregiert sofort nur gezielte Updates, die ein bestimmtes Modell verbessern. Sichere Aggregation (SecAgg) ist eine Verschlüsselungsmethode, die zusätzlich gewährleistet, dass nur auf aggregierte Ergebnisse der kurzlebigen Aktualisierungen zugegriffen werden kann.
• Datenanonymisierung: DP wird vom Server angewendet, um zu verhindern, dass Modelle die eindeutigen Informationen in den Trainingsdaten einzelner Benutzer speichern.
• Überprüfbarkeit und Überprüfbarkeit: Wir haben die wichtigsten algorithmischen Ansätze und die Datenschutzbuchhaltung in Open-Supply-Code veröffentlicht (TFF-Aggregator, TFP DPQuery, DP-BuchhaltungUnd FL-System).

Eine kurze Geschichte

In den letzten Jahren hat sich FL zur Standardtrainingsmethode entwickelt Gboard-LMs auf dem Gerät aus Benutzerdaten. Im Jahr 2020 wird ein DP-Mechanismus eingeführt Clips und fügt Rauschen hinzu an Modellaktualisierungen gewöhnt struggle verhindern das Auswendiglernen für die Ausbildung des spanischen LM in Spanien, das endliche DP-Garantien erfüllt (Stufe 3 beschrieben in „Wie man ML DP-fy“ Führung). Im Jahr 2022 mit Hilfe der DP-Observe-The-Regularized-Chief (DP-FTRL)-Algorithmusdas spanische LM wurde das erste produktive neuronale Netzwerk, das direkt auf Benutzerdaten trainiert wurde, mit angekündigt eine formale DP-Garantie von (ε=8,9, δ=10^-10)-DP (entspricht dem gemeldeten ρ=0,81 Null-konzentrierte-differenzielle Privatsphäre) und erfüllt daher angemessene Datenschutzgarantien (Rang 2).

Standardmäßig differenzierter Datenschutz beim föderierten Lernen

In „Föderiertes Lernen von Gboard-Sprachmodellen mit differenzieller Privatsphäre„Wir haben angekündigt, dass alle NWP-LMs für neuronale Netzwerke in Gboard über DP-Garantien verfügen und dass alle zukünftigen Markteinführungen von Gboard-LMs, die auf Benutzerdaten trainiert werden, DP-Garantien erfordern. DP wird in FL durch die Anwendung der folgenden Vorgehensweisen aktiviert:

• Trainieren Sie das Modell vorab mit dem mehrsprachig C4 Datensatz.
• Finden Sie mithilfe von Simulationsexperimenten an öffentlichen Datensätzen ein großes DP-Rausch-Sign-Verhältnis, das einen hohen Nutzen ermöglicht. Durch Erhöhen der Anzahl der Shoppers, die zu einer Modellaktualisierungsrunde beitragen, wird der Datenschutz verbessert und gleichzeitig das Rauschverhältnis für einen guten Nutzen konstant gehalten, bis das DP-Ziel erreicht ist oder das vom System und der Bevölkerungsgröße zulässige Most erreicht ist.
• Konfigurieren Sie den Parameter, um die Häufigkeit, mit der jeder Kunde beitragen kann (z. B. alle paar Tage), basierend auf dem Berechnungsbudget und der geschätzten Bevölkerung einzuschränken das FL-System.
• Laufen DP-FTRL Coaching mit Einschränkungen hinsichtlich des Umfangs der Aktualisierungen professional Gerät, die entweder über ausgewählt werden adaptives Clippingoder auf Erfahrungsbasis festgelegt.

SecAgg kann zusätzlich angewendet werden, indem das übernommen wird Fortschritte bei der Verbesserung der Berechnung und Kommunikation für Skalen und Empfindlichkeit.

Föderiertes Lernen mit differenzieller Privatsphäre und (SecAgg).

Meldung von DP-Garantien

Die DP-Garantien der eingeführten Gboard NWP LMs werden im Balkendiagramm unten visualisiert. Der X-Achse zeigt LMs, die nach Sprachgebietsschema gekennzeichnet und auf entsprechende Populationen trainiert sind; Die j-Achse zeigt die ε Wert wann δ ist auf einen kleinen Wert von 10 festgelegt^-10 für (ε, δ)-DP (weniger ist besser). Der Nutzen dieser Modelle ist entweder deutlich besser als bei früheren nicht-neuronalen Modellen in der Produktion oder vergleichbar mit früheren LMs ohne DP, gemessen anhand von Benutzerinteraktionsmetriken während A/B-Assessments. Durch die Anwendung der Finest Practices wird beispielsweise die DP-Garantie des spanischen Modells in Spanien verbessert ε=8,9 Zu ε=5,37. SecAgg wird außerdem zum Coaching des spanischen Modells in Spanien und des englischen Modells in den USA verwendet. Weitere Einzelheiten zu den DP-Garantien finden Sie in der Anhang im Anschluss an die Richtlinien dargelegt In „Wie man ML DP-fy macht“.

Auf dem Weg zu stärkeren DP-Garantien

Der ε~10 DP-Garantien vieler eingeführter LMs werden bereits berücksichtigt vernünftig für ML-Modelle in der Praxis, während die Reise von DP FL in Gboard weitergeht, um das Tipperlebnis des Benutzers zu verbessern und gleichzeitig den Datenschutz zu schützen. Wir freuen uns, bekannt geben zu können, dass zum ersten Mal Produktions-LMs für Portugiesisch in Brasilien und Spanisch in Lateinamerika trainiert und mit einer DP-Garantie von gestartet werden ε ≤ 1, was erfüllt Starke Datenschutzgarantien der Stufe 1. Insbesondere die (ε=0,994, δ=10^-10)-DP-Garantie wird durch Ausführen der erweiterten Funktion erreicht Matrixfaktorisierung DP-FTRL (MF-DP-FTRL)-Algorithmus, wobei mehr als 12.000 Geräte an jeder Trainingsrunde der Servermodellaktualisierung teilnehmen, die größer ist als der Gemeinsame Einstellung von über 6500 Gerätenund eine sorgfältig konfigurierte Richtlinie, die jeden Kunden darauf beschränkt, höchstens zweimal an den insgesamt 2000 Trainingsrunden in 14 Tagen in der großen portugiesischen Benutzergruppe Brasiliens teilzunehmen. Unter Verwendung einer ähnlichen Einstellung wurde der es-US-spanische LM in einer großen Inhabitants aus mehreren Ländern Lateinamerikas trainiert, um Folgendes zu erreichen:ε=0,994, δ=10^-10)-DP. Der ε Das ≤ 1 es-US-Modell verbesserte den Nutzen in vielen Ländern erheblich und wurde in Kolumbien, Ecuador, Guatemala, Mexiko und Venezuela eingeführt. Für die kleinere Bevölkerung in Spanien wird die DP-Garantie von es-ES LM verbessert ε=5,37 Zu ε=3,42 durch nur Ersetzen DP-FTRL mit MF-DP-FTRL ohne die Anzahl der teilnehmenden Geräte in jeder Runde zu erhöhen. Weitere technische Particulars finden Sie im Colab für die Datenschutzbuchhaltung.

DP-Garantien für Gboard NWP LMs (der violette Balken stellt den ersten es-ES-Begin von ε=8,9 dar; cyanfarbene Balken stellen Datenschutzverbesserungen für Modelle dar, mit denen trainiert wurde MF-DP-FTRL; Ebenen stammen aus „Wie man ML DP-fy macht“ Führung; en-US* und es-ES* werden zusätzlich mit SecAgg trainiert).

Diskussion und nächste Schritte

Unsere Erfahrung legt nahe, dass DP in der Praxis durch die Mitgestaltung von Systemalgorithmen unter Berücksichtigung der Kundenbeteiligung erreicht werden kann und dass bei großen Bevölkerungsgruppen sowohl der Datenschutz als auch der Nutzen stark sein können Und Die Beiträge einer großen Anzahl von Geräten werden aggregiert. Kompromisse zwischen Datenschutz, Nutzen und Berechnung können verbessert werden durch Verwendung öffentlicher DatenDie neuer MF-DP-FTRL-Algorithmus, und Verschärfung der Buchhaltung. Mit diesen Techniken ist eine starke DP-Garantie möglich ε ≤ 1 ist möglich, aber immer noch eine Herausforderung. Aktive Forschung zur empirischen Datenschutzprüfung (1, 2) deutet darauf hin, dass DP-Modelle möglicherweise privater sind, als die DP-Garantien im schlimmsten Fall vermuten lassen. Während wir die Grenzen der Algorithmen immer weiter ausdehnen, stellt sich die Frage, welcher Dimension der Datenschutz-Nützlichkeits-Berechnung Priorität eingeräumt werden sollte?

Wir arbeiten aktiv an allen Datenschutzaspekten von ML, einschließlich der Erweiterung von DP-FTRL auf verteiltes DP und sich verbessern Überprüfbarkeit und Überprüfbarkeit. Vertrauenswürdige Ausführungsumgebung eröffnet die Möglichkeit, die Modellgröße bei nachweisbarer Privatsphäre deutlich zu vergrößern. Das Kürzliche Durchbruch bei großen LMs (LLMs) motiviert uns dazu überdenken die Verwendung von öffentlich Informationen in privaten Schulungen und weitere zukünftige Interaktionen zwischen LLMs, On-System-LMs und Gboard-Produktion.

Danksagungen

Die Autoren danken Peter Kairouz, Brendan McMahan und Daniel Ramage für ihr frühes Suggestions zum Blogbeitrag selbst, Shaofeng Li und Tom Small für ihre Hilfe bei den animierten Figuren und den Groups bei Google, die beim Algorithmusdesign und der Infrastrukturimplementierung geholfen haben und Produktionswartung. Die folgenden Mitarbeiter tragen direkt zu den präsentierten Ergebnissen bei:

Forschung und Algorithmenentwicklung: Galen Andrew, Stanislav Chiknavaryan, Christopher A. Choquette-Choo, Arun Ganesh, Peter Kairouz, Ryan McKenna, H. Brendan McMahan, Jesse Rosenstock, Timon Van Overveldt, Keith Rush, Shuang Track, Thomas Steinke, Abhradeep Guha Thakurta, Om Thakkar und Yuanbo Zhang.

Infrastruktur, Produktion und Führungsunterstützung: Mingqing Chen, Stefan Dierauf, Billy Dou, Hubert Eichner, Zachary Garrett, Jeremy Gillula, Jianpeng Hou, Hui Li, Xu Liu, Wenzhi Mao, Brett McLarnon, Mengchen Pei, Daniel Ramage, Swaroop Ramaswamy, Haicheng Solar, Andreas Terzis, Yun Wang, Shanshan Wu, Yu Xiao und Shumin Zhai.