Stanford-Forscher haben vorgestellt Öffnen Sie Jarvisein Open-Supply-Framework zum Erstellen Persönliche KI-Agenten, die vollständig auf dem Gerät ausgeführt werden. Das Projekt stammt vom Scaling Intelligence Lab in Stanford und wird sowohl als Forschungsplattform als auch als einsatzbereite Infrastruktur für Native-First-KI-Systeme präsentiert. Der Schwerpunkt liegt nicht nur auf der Modellausführung, sondern auch auf dem breiteren Software program-Stack, der erforderlich ist, um Agenten auf dem Gerät im Laufe der Zeit nutzbar, messbar und anpassbar zu machen.

Warum OpenJarvis?

Laut dem Stanford-Forschungsteam halten die meisten aktuellen persönlichen KI-Projekte die lokale Komponente immer noch relativ dünn, während die Kernbegründung über externe Cloud-APIs geleitet wird. Dieses Design führt zu Problemen mit der Latenz, wiederkehrenden Kosten und der Offenlegung von Daten, insbesondere für Assistenten/Agenten, die persönliche Dateien, Nachrichten und dauerhaften Benutzerkontext bearbeiten. OpenJarvis soll dieses Gleichgewicht verschieben, indem es die lokale Ausführung zum Normal und die Cloud-Nutzung elective macht.

Das Forschungsteam verknüpft diese Veröffentlichung mit ihrer früheren Model Intelligenz professional Watt Forschung. In dieser Arbeit berichten sie, dass lokale Sprachmodelle und lokale Beschleuniger genau dienen können 88,7 % der Single-Flip-Chat- und Reasoning-Anfragen mit interaktiven Latenzenwährend Die Geheimdiensteffizienz verbesserte sich von 2023 bis 2025 um das 5,3-fache. OpenJarvis wird als Softwareschicht positioniert, die sich aus diesem Ergebnis ergibt: Wenn Modelle und Verbraucherhardware für mehr lokale Workloads praktisch werden, benötigen Entwickler einen Normal-Stack zum Erstellen und Evaluieren dieser Systeme.

Die Fünf-Primitive-Architektur

Auf architektonischer Ebene ist OpenJarvis rundherum organisiert fünf Primitive: Intelligenz, Engine, Agenten, Instruments & Speicher und Lernen. Das Forschungsteam beschreibt diese als zusammensetzbare Abstraktionen, die unabhängig voneinander verglichen, ersetzt und optimiert oder zusammen als integriertes System verwendet werden können. Dies ist wichtig, da lokale KI-Projekte häufig Inferenz, Orchestrierung, Instruments, Abruf- und Anpassungslogik in einer einzigen, schwer zu reproduzierenden Anwendung kombinieren. OpenJarvis versucht stattdessen, jeder Ebene eine explizitere Rolle zuzuweisen.

Intelligenz: Die Modellebene

Der Intelligenz primitiv ist die Modellebene. Es befindet sich über einem sich ändernden Satz lokaler Modellfamilien und bietet einen einheitlichen Modellkatalog, sodass Entwickler nicht für jede Model manuell Parameteranzahl, {Hardware}-Passform oder Speicherkompromisse nachverfolgen müssen. Das Ziel besteht darin, die Modellauswahl getrennt von anderen Teilen des Techniques, beispielsweise dem Inferenz-Backend oder der Agentenlogik, einfacher untersuchen zu können.

Engine: Die Inferenzlaufzeit

Der Motor primitiv ist die Inferenzlaufzeit. Es handelt sich um eine gemeinsame Schnittstelle über Backends wie z Ollama, vLLM, SGLang, llama.cpp und Cloud-APIs. Die Engine-Ebene wird im weiteren Sinne als hardwarebewusste Ausführung verstanden, bei der Befehle wie z jarvis init Erkennen Sie verfügbare {Hardware} und empfehlen Sie eine geeignete Motor- und Modellkonfiguration jarvis physician hilft dabei, dieses Setup aufrechtzuerhalten. Für Entwickler ist dies einer der praktischeren Teile des Designs: Das Framework geht nicht von einer einzelnen Laufzeit aus, sondern behandelt Inferenz als steckbare Ebene.

Agenten: Die Verhaltensschicht

Der Agenten primitiv ist die Verhaltensschicht. Stanford beschreibt es als den Teil, der die Modellfähigkeit unter realen Geräteeinschränkungen wie begrenzten Kontextfenstern, begrenztem Arbeitsspeicher und Effizienzgrenzen in strukturierte Aktionen umwandelt. Anstatt sich auf einen Allzweckagenten zu verlassen, unterstützt OpenJarvis zusammensetzbare Rollen. Der Stanford-Artikel erwähnt ausdrücklich Rollen wie die Orchestratordas komplexe Aufgaben in Teilaufgaben aufteilt, und die Operativder als leichter Executor für wiederkehrende persönliche Arbeitsabläufe gedacht ist. In den Dokumenten wird außerdem beschrieben, wie der Agent die Systemeingabeaufforderung, Instruments, den Kontext, die Wiederholungslogik und die Exit-Logik verarbeitet.

Instruments & Speicher: Den Agenten erden

Der Werkzeuge und Speicher primitiv ist die Erdungsschicht. Dieses Grundelement umfasst Unterstützung für MCP (Mannequin Context Protocol) für den standardisierten Werkzeugeinsatz, Google A2A für die Agent-zu-Agent-Kommunikation und semantische Indizierung zum lokalen Auffinden von Notizen, Dokumenten und Papieren. Es unterstützt auch Messaging-Plattformen, Webchat und Webhooks. Es deckt auch eine engere Werkzeugansicht ab, die Websuche, Taschenrechnerzugriff, Datei-E/A, Codeinterpretation, Abruf und externe MCP-Server umfasst. OpenJarvis ist nicht nur eine lokale Chat-Schnittstelle; Ziel ist es, lokale Modelle mit Instruments und dauerhaftem persönlichem Kontext zu verbinden und gleichzeitig die Speicherung und Kontrolle standardmäßig lokal beizubehalten.

Lernen: Verbesserung im geschlossenen Regelkreis

Das fünfte Grundelement, LernenDies gibt dem Framework einen geschlossenen Verbesserungspfad. Stanford-Forscher beschreiben es als eine Schicht, die lokale Interaktionsspuren nutzt, um Trainingsdaten zu synthetisieren, das Agentenverhalten zu verfeinern und die Modellauswahl im Laufe der Zeit zu verbessern. OpenJarvis unterstützt die Optimierung übergreifend vier Schichten des Stapels: Modellgewichte, LM-Eingabeaufforderungen, Agentenlogikund die Inferenzmaschine. Zu den vom Forschungsteam aufgeführten Beispielen gehören: SFT, GRPO, DPOschnelle Optimierung mit DSPyAgentenoptimierung mit GEPAund Optimierung auf Engine-Ebene wie Quantisierungsauswahl und Stapelplanung.

Effizienz als erstklassige Messgröße

Ein wichtiger technischer Punkt in OpenJarvis ist seine Betonung effizienzbewusste Bewertung. Der Rahmen behandelt Energie, FLOPs, Latenz und Dollarkosten als erstklassige Randbedingungen neben der Aufgabenqualität. Der Schwerpunkt liegt auch auf einem hardwareunabhängigen Telemetriesystem zur Profilierung der Energie NVIDIA-GPUs über NVML, AMD-GPUsUnd Apple Silicon über powermetricsmit 50 ms Abtastintervalle. Der jarvis bench Der Befehl soll das Benchmarking für Latenz, Durchsatz und Energie professional Abfrage standardisieren. Dies ist wichtig, da es bei der lokalen Bereitstellung nicht nur darum geht, ob ein Modell eine Frage beantworten kann, sondern auch darum, ob es dies innerhalb der realen Grenzen von Leistung, Speicher und Antwortzeit tun kann.

Entwicklerschnittstellen und Bereitstellungsoptionen

Aus Entwicklersicht bietet OpenJarvis mehrere Einstiegspunkte. Der offizielle Dokumente zeige a Browser-AppA Desktop-AppA Python-SDKund a CLI. Die browserbasierte Oberfläche kann mit gestartet werden ./scripts/quickstart.shdas Abhängigkeiten installiert, wird gestartet Ollama und ein lokales Modell, startet das Backend und Frontend und öffnet die lokale Benutzeroberfläche. Die Desktop-App ist verfügbar für macOS, Home windows und Linuxwobei das Backend noch auf dem Laptop des Benutzers läuft. Das Python SDK stellt a bereit Jarvis() Objekt und Methoden wie ask() Und ask_full()während die CLI Befehle wie enthält jarvis ask, jarvis serve, jarvis reminiscence indexUnd jarvis reminiscence search.

Das steht auch in den Unterlagen Alle Kernfunktionen funktionieren ohne Netzwerkverbindungwährend Cloud-APIs elective sind. Für Entwicklerteams, die lokale Anwendungen erstellen, gibt es eine weitere praktische Funktion jarvis servewas a beginnt FastAPI-Server mit SSE-Streaming und wird als a beschrieben Drop-in-Ersatz für OpenAI-Purchasers. Dies senkt die Migrationskosten für Entwickler, die Prototypen für eine API-förmige Schnittstelle erstellen und gleichzeitig die Inferenz lokal beibehalten möchten.

---

Kasse Repo, Dokumente Und Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Modelle der generativen künstlichen Intelligenz haben einen so unauslöschlichen Einfluss auf die Erstellung digitaler Inhalte hinterlassen, dass es immer schwieriger wird, sich daran zu erinnern, wie das Web vorher aussah. Sie können diese KI-Instruments für clevere Projekte wie Movies und Fotos nutzen – aber ihr Gespür für das Kreative hat sich noch nicht ganz auf die physische Welt ausgeweitet.

Warum haben wir additionally noch keine generativen KI-gestützten personalisierten Objekte wie Handyhüllen und Töpfe in Häusern, Büros und Geschäften gesehen? Laut Forschern des MIT Laptop Science and Synthetic Intelligence Laboratory (CSAIL) ist die mechanische Integrität des 3D-Modells ein zentrales Thema.

Während KI dabei helfen kann, personalisierte 3D-Modelle zu erstellen, die Sie herstellen können, berücksichtigen diese Systeme oft nicht die physikalischen Eigenschaften des 3D-Modells. Der Doktorand der MIT-Abteilung für Elektrotechnik und Informatik (EECS) und CSAIL-Ingenieur Faraz Faruqi hat diesen Kompromiss untersucht und generative KI-basierte Systeme entwickelt, die gleichzeitig ästhetische Änderungen an Designs vornehmen können Erhaltung der Funktionalität, und eine andere, die Strukturen mit den gewünschten modifiziert taktile Eigenschaften Benutzer wollen fühlen.

Es actual machen

Gemeinsam mit Forschern von Google, Stability AI und der Northeastern College hat Faruqi nun einen Weg gefunden, mit KI reale Objekte herzustellen und so Gegenstände zu schaffen, die sowohl langlebig sind als auch das vom Benutzer beabsichtigte Aussehen und die beabsichtigte Textur aufweisen. Mit der KI-gestützten „MechStyleBeim „System“ laden Benutzer einfach ein 3D-Modell hoch oder wählen ein voreingestelltes Asset aus Dingen wie Vasen und Haken aus und veranlassen das Software mithilfe von Bildern oder Textual content, eine personalisierte Model zu erstellen. Ein generatives KI-Modell ändert dann die 3D-Geometrie, während MechStyle simuliert, wie sich diese Änderungen auf bestimmte Teile auswirken, um sicherzustellen, dass gefährdete Bereiche strukturell intakt bleiben. Wenn Sie mit diesem KI-erweiterten Entwurf zufrieden sind, können Sie ihn in 3D drucken und in der realen Welt verwenden.

Sie können beispielsweise ein Modell eines Wandhakens und das Materials auswählen, mit dem Sie ihn bedrucken möchten (z. B. Kunststoffe wie Polymilchsäure). Anschließend können Sie das System auffordern, eine personalisierte Model mit Anweisungen wie „Generieren Sie einen kaktusähnlichen Haken“ zu erstellen. Das KI-Modell arbeitet mit dem Simulationsmodul zusammen und generiert ein 3D-Modell, das einem Kaktus ähnelt und gleichzeitig die strukturellen Eigenschaften eines Hakens aufweist. Dieses grüne, geriffelte Accessoire kann dann zum Aufhängen von Tassen, Mänteln und Rucksäcken verwendet werden. Solche Kreationen sind teilweise dank eines Stilisierungsprozesses möglich, bei dem das System die Geometrie eines Modells basierend auf seinem Verständnis der Textaufforderung und der Arbeit mit dem vom Simulationsmodul erhaltenen Suggestions ändert.

Laut CSAIL-Forschern hatte die 3D-Stilisierung früher unbeabsichtigte Folgen. Ihre prägende Studie ergab, dass nur etwa 26 Prozent der 3D-Modelle nach ihrer Änderung strukturell funktionsfähig blieben, was bedeutete, dass das KI-System die Physik der Modelle, die es änderte, nicht verstand.

„Wir wollen KI verwenden, um Modelle zu erstellen, die man tatsächlich herstellen und in der realen Welt verwenden kann“, sagt Faruqi, der Hauptautor eines Buches ist Papier das Projekt vorstellen. „MechStyle simuliert additionally tatsächlich, wie sich GenAI-basierte Änderungen auf eine Struktur auswirken. Unser System ermöglicht es Ihnen, das taktile Erlebnis für Ihren Gegenstand zu personalisieren, indem Sie Ihren persönlichen Stil darin integrieren und gleichzeitig sicherstellen, dass der Gegenstand dem täglichen Gebrauch standhält.“

Diese rechnerische Gründlichkeit könnte Benutzern schließlich dabei helfen, ihre Habseligkeiten zu personalisieren und beispielsweise eine einzigartige Brille mit gesprenkelten blauen und beigen Punkten zu erstellen, die an Fischschuppen erinnern. Es entstand auch eine Pillendose mit einer felsigen Textur, die mit rosa und aquamarinfarbenen Flecken kariert ist. Das Potenzial des Methods erstreckt sich auf die Herstellung einzigartiger Wohn- und Bürodekorationen, beispielsweise eines Lampenschirms, der an rotes Magma erinnert. Es kann sogar unterstützende Technologien entwerfen, die an die Spezifikationen der Benutzer angepasst sind, wie z. B. Fingerschienen zur Unterstützung bei Verletzungen der Fingerfertigkeit und Utensiliengriffe zur Unterstützung bei motorischen Beeinträchtigungen.

In Zukunft könnte MechStyle auch bei der Erstellung von Prototypen für Zubehör und andere Handheld-Produkte nützlich sein, die Sie möglicherweise in einem Spielzeugladen, Baumarkt oder einer Kunsthandwerksboutique verkaufen. Laut CSAIL-Forschern besteht das Ziel darin, dass sowohl erfahrene als auch unerfahrene Designer mehr Zeit mit Brainstorming und dem Testen verschiedener 3D-Designs verbringen können, anstatt Elemente von Hand zusammenzubauen und anzupassen.

Stark bleiben

Um sicherzustellen, dass die Kreationen von MechStyle dem täglichen Gebrauch standhalten, erweiterten die Forscher ihre generative KI-Technologie um eine Artwork physikalische Simulation, die als Finite-Elemente-Analyse (FEA) bezeichnet wird. Sie können sich ein 3D-Modell eines Gegenstands, beispielsweise einer Brille, mit einer Artwork Wärmekarte vorstellen, die angibt, welche Bereiche unter einem realistischen Gewicht strukturell realisierbar sind und welche nicht. Während die KI dieses Modell verfeinert, zeigen die physikalischen Simulationen, welche Teile des Modells schwächer werden, und verhindern weitere Änderungen.

Faruqi fügt hinzu, dass die Ausführung dieser Simulationen bei jeder Änderung den KI-Prozess drastisch verlangsamt, sodass MechStyle weiß, wann und wo zusätzliche Strukturanalysen durchgeführt werden müssen. „Die adaptive Planungsstrategie von MechStyle verfolgt, welche Änderungen an bestimmten Punkten im Modell stattfinden. Wenn das genAI-System Änderungen vornimmt, die bestimmte Regionen des Modells gefährden, simuliert unser Ansatz die Physik des Designs erneut. MechStyle nimmt nachfolgende Änderungen vor, um sicherzustellen, dass das Modell nach der Herstellung nicht kaputt geht.“

Durch die Kombination des FEA-Prozesses mit adaptiver Planung konnte MechStyle Objekte generieren, die zu 100 Prozent strukturell realisierbar waren. Beim Testen von 30 verschiedenen 3D-Modellen mit Stilen, die an Dinge wie Ziegel, Steine ​​und Kakteen erinnern, stellte das Workforce fest, dass der effizienteste Weg, strukturell tragfähige Objekte zu erstellen, darin besteht, Schwachstellen dynamisch zu identifizieren und den generativen KI-Prozess zu optimieren, um seine Auswirkungen abzuschwächen. In diesen Szenarien stellten die Forscher fest, dass sie die Stilisierung entweder vollständig stoppen konnten, wenn eine bestimmte Belastungsschwelle erreicht battle, oder schrittweise kleinere Verbesserungen vornehmen konnten, um zu verhindern, dass sich gefährdete Bereiche dieser Marke nähern.

Das System bietet außerdem zwei verschiedene Modi: eine Freestyle-Funktion, mit der die KI schnell verschiedene Stile auf Ihrem 3D-Modell visualisieren kann, und eine MechStyle-Funktion, die die strukturellen Auswirkungen Ihrer Optimierungen sorgfältig analysiert. Sie können verschiedene Ideen ausprobieren und dann den MechStyle-Modus ausprobieren, um zu sehen, wie sich diese künstlerischen Verzierungen auf die Haltbarkeit bestimmter Regionen des Modells auswirken.

CSAIL-Forscher fügen hinzu, dass ihr Modell zwar sicherstellen kann, dass Ihr Modell vor dem 3D-Druck strukturell stabil bleibt, es jedoch noch nicht in der Lage ist, 3D-Modelle zu verbessern, die von Anfang an nicht realisierbar waren. Wenn Sie eine solche Datei auf MechStyle hochladen, erhalten Sie eine Fehlermeldung, aber Faruqi und seine Kollegen beabsichtigen, die Haltbarkeit dieser fehlerhaften Modelle in Zukunft zu verbessern.

Darüber hinaus hofft das Workforce, mithilfe generativer KI 3D-Modelle für Benutzer zu erstellen, anstatt Voreinstellungen und von Benutzern hochgeladene Designs zu stilisieren. Dies würde das System noch benutzerfreundlicher machen, sodass diejenigen, die mit 3D-Modellen weniger vertraut sind oder ihren Entwurf nicht on-line finden, ihn einfach von Grund auf neu erstellen können. Nehmen wir an, Sie wollten einen einzigartigen Schüsseltyp herstellen und dieses 3D-Modell battle nicht in einem Repository verfügbar. Stattdessen könnte KI es für Sie erstellen.

„Während die Stilübertragung für 2D-Bilder unglaublich intestine funktioniert, haben nicht viele Arbeiten untersucht, wie diese Übertragung auf 3D erfolgt“, sagt Google-Forschungswissenschaftler Fabian Manhardt, der nicht an der Arbeit beteiligt battle. „Grundsätzlich ist 3D eine viel schwierigere Aufgabe, da Trainingsdaten knapp sind und eine Änderung der Geometrie des Objekts seine Struktur beschädigen und es in der realen Welt unbrauchbar machen kann. MechStyle hilft, dieses Drawback zu lösen, indem es eine 3D-Stilisierung ermöglicht, ohne die strukturelle Integrität des Objekts durch Simulation zu zerstören. Dies gibt Menschen die Möglichkeit, kreativ zu sein und sich durch Produkte, die auf sie zugeschnitten sind, besser auszudrücken.“

Farqui schrieb das Papier zusammen mit der leitenden Autorin Stefanie Mueller, einer außerordentlichen Professorin am MIT und CSAIL-Hauptforscherin, und zwei weiteren CSAIL-Kollegen: der Forscherin Leandra Tejedor SM ’24 und dem Postdoktoranden Jiaji Li. Ihre Co-Autoren sind Amira Abdel-Rahman PhD ’25, jetzt Assistenzprofessorin an der Cornell College, und Martin Nisser SM ’19, PhD ’24; Google-Forscher Vrushank Phadnis; Stabilitäts-KI-Vizepräsident für Forschung Varun Jampani; MIT-Professor und Direktor des Heart for Bits and Atoms Neil Gershenfeld; und Megan Hofmann, Assistenzprofessorin an der Northeastern College.

Ihre Arbeit wurde vom MIT-Google Program for Computing Innovation unterstützt. Es wurde im November auf dem Symposium on Computational Fabrication der Affiliation for Computing Equipment vorgestellt.

eine Sprache durch passives Umblättern in einem Lehrbuch.

Du kommst wirklich voran, wenn die Sprache zu dir spricht.

Wenn Sie Bilder sehen, echte Sätze hören, versuchen zu sprechen und Suggestions bekommen, dann macht in Ihrem Kopf schließlich alles Klick.

Früher brauchte man immer einen Lehrer an seiner Seite, um ein solches Suggestions zu bekommen.

Heutzutage kann generative KI diese Rolle auf Ihrem Telefon oder Laptop übernehmen, wie ein KI-Sprachlehrer, den Sie jederzeit nutzen können.

Als ich vor zehn Jahren anfing, Mandarin zu lernen, sah ich, dass viele Ausländer aufgrund der schlechten Aussprache Schwierigkeiten hatten, von Einheimischen in alltäglichen Gesprächen verstanden zu werden.

Es hat mich überzeugt, dass ein reichhaltiger Wortschatz ohne gute Aussprache nutzlos ist.

Ich erinnere mich noch daran, wie ich in meiner Wohnung in Shanghai saß und immer wieder denselben Satz wiederholte, ohne dass mich jemand korrigierte.

Als ich Jahre später die generative KI entdeckte, erinnerte ich mich an den Ingenieur in China, der mit Grammatikbüchern und Tönen zu kämpfen hatte.

Ich wollte Instruments entwickeln, die mir in der Vergangenheit geholfen hätten.

Da ich als Startup-Gründer nicht viel Freizeit habe, brauchte ich eine Möglichkeit, schnell neue Instruments zu entwickeln und zu testen.

Aus diesem Grund habe ich mich an n8n gewandt, um Assistenten zu entwickeln, die meine Chinesischübungen erheblich erleichtert hätten.

In diesem Artikel werde ich zeigen, wie ich n8n und multimodale KI verwende, um „Lernpartner“ für das Sprachenlernen aufzubauen, die:

• Korrigieren Sie meine Aussprache mithilfe der Textual content-to-Speech-Funktionen
• Erstellen Sie Übungen zum Lernen von Vokabellisten
• Generieren Sie Bilder, um Wörter oder Kontexte für das Üben im Lernkartenstil zu veranschaulichen

Gemeinsam zeigen sie, wie KI und Low-Code-Plattformen wie n8n jeden beim Erlernen einer komplexen Sprache unterstützen können.

Selbst bei täglicher Nutzung kostet das alles zusammen weniger als 1 Euro professional Monat.

KI für Aussprache und mündliches Verständnis

Mein Identify ist Samir, ein Provide-Chain-Experte, der während seines sechsjährigen Aufenthalts in China mit Mandarin zu kämpfen hatte.

Lassen Sie mich Ihnen Yin vorstellen, den KI-gestützten Sprachtrainer, den ich letzte Woche entwickelt habe.

Dies ist eine Webanwendung, die ich entwickelt habe, um meine Chinesisch-Lernreise nach mehr als fünf Jahren ohne Praxis zu unterstützen.

Es umfasst drei Funktionen:

• Ausspracheübungen
• A number of-Alternative-Fragen (MCQ)
• Lernkarten

Ich werde jede Funktion verwenden, um zu demonstrieren, wie ich multimodale KI verwende, um mein Leseverständnis, mein Hörverständnis und meine Aussprache in Mandarin zu verbessern.

Warum ist die Aussprache auf Mandarin so wichtig?

Lassen Sie mich eine echte Geschichte aus China erzählen, um hervorzuheben, wie wichtig es ist, in Mandarin den richtigen Ton zu verwenden.

Eines Tages wurde ich zu einem Vorstellungsgespräch beim größten chinesischen Expressunternehmen mit einem Wert von mehreren Milliarden Greenback eingeladen.

Das gesamte Gespräch fand auf Chinesisch statt.

Ich hatte meine Sätze sorgfältig vorbereitet und hervorgehoben, wie ich Knowledge Science zur Verbesserung des Lagerbetriebs eingesetzt habe.

Irgendwann wollte ich sagen: „Ich nutze Knowledge Science, um die Kommissionierproduktivität im Lager zu verbessern.“

Das Verb „Kommissionieren“ bedeutet das Entnehmen von Waren aus Regalen oder Regalen in einem Lagerhaus.

Auf Chinesisch verwendeten meine Kollegen das Verb 拣货 (jiǎn huò) um diesen Vorgang zu beschreiben.

Aber anstatt zu sagen jiǎn huòsagte ich jiàn huò.

Das ist ein ganz anderes Wort, das Sie in einem Vorstellungsgespräch auf keinen Fall verwenden möchten.

Um es hier höflich zu halten, sagen wir mal jiàn huò ist ein unhöfliches Wort.

Der Supervisor brach in Gelächter aus.

Ich verstand den Grund erst, als ich mich später mit der Headhunterin besprach und den Satz für sie wiederholte.

Dieser Second hat mir gezeigt, dass es bei der Aussprache im Chinesischen nicht nur darum geht, natürlich zu klingen.

Sie können Tausende von Wörtern kennen, aber wenn Ihr Ton falsch ist, werden die Leute Sie nicht verstehen.

Aus diesem Grund ist das erste Characteristic meiner App eine KI Aussprachetrainer.

Verwendung der Sprach-zu-Textual content-Erkennung zum Üben

Mithilfe von Speech-to-Textual content und Argumentation hört die App zu, was ich sage, vergleicht es mit dem Zielsatz und gibt Rückmeldung darüber, welche Töne oder Silben falsch waren.

Der Schwerpunkt liegt hier auf der Verbesserung meiner Aussprache von Logistik- und Provide-Chain-Begriffen (mein Fachgebiet).

Für jedes Wort haben wir:

• Das Wort in vereinfachten Mandarin-Schriftzeichen: 合同
• Der Satz, mit dem ich meine Aussprache üben konnte: 我们需要在发货前签署这份运输合同.
• Die englische Übersetzung: Wir müssen diesen Transportvertrag vor dem Versand der Ware unterzeichnen.

Für Anfänger können wir mit dem Schalter sogar Phonetik (Mandarin-Pinyin) hinzufügen.

Wie übt man die Aussprache?

Ich muss nur die Mikrofontaste unten drücken, um meinen Satz aufzunehmen.

Die Aufnahme wird automatisch zur Analyse an das Backend gesendet, das meine Aussprache mit der richtigen vergleicht.

Wenige Sekunden später erhielt ich mein Suggestions.

Das Suggestions ist recht detailliert; Es konzentriert sich auf die Wörter, die Sie falsch ausgesprochen haben.

Es ist quick so, als würde mich ein persönlicher Lehrer in Echtzeit korrigieren, nur dass dieser nie müde wird.

Natürlich ersetzt dies nicht einen großartigen Lehrer im Einzelunterricht, aber es kann Ihnen beim Üben nach dem Unterricht helfen.

Als ich anfing, Mandarin zu lernen, verbrachte ich die Abende (nach der Arbeit) alleine und wiederholte einfache Sätze, um mich mit den Nuancen der Töne vertraut zu machen.

Ich hatte damals keine Feedbackschleife; Dieses Device wäre sehr hilfreich gewesen.

Wie funktioniert es?

Textual content-to-Speech- und Argumentationsfunktionen von GenAI

Das Backend ist ein einfacher n8n-Workflow, der über einen Webhook mit dem Frontend verbunden ist.

Die Textual content-to-Speech-Funktionen werden verwendet, um die vom Frontend gesendete Audiodatei in Phonetik (Pinyin) zu transkribieren.

Die Ausgabe dieses Gemini-Audiotranskriptionsknotens umfasst die Phonetik:

(
  {
    "content material": {
      "components": (
        {
          "textual content": "zuò pǐn huò zǒnggòng fàng zài èrshí ge tuōpán shàng.n"
        }
      ),
      "position": "mannequin"
    },
    "finishReason": "STOP",
    "avgLogprobs": -0.16858814502584524
  }
)

Dieses Pinyin wird dann an den KI-Knoten gesendet Pronounciation Evaluation zusammen mit der Zielaussprache.

In diesem Beispiel habe ich das vorletzte Wort falsch ausgesprochen.

Genau das hat der Agent in seinem Suggestions erwähnt.

Dies zeigt, wie wir Textual content-to-Speech-Funktionen in Kombination mit der Argumentation generativer KI-Modelle nutzen können, um unsere Aussprache zu verbessern.

Dies kann an jede Sprache angepasst werden.

Wie sieht es mit der Bilderzeugung und Speetch-to-Textual content aus?

Generative KI für die Content material-Generierung

Wenn Sie die Benutzeroberfläche der Anwendung betrachten, stellen Sie fest, dass jedes Wort Folgendes enthält:

• Ein anschauliches Bild
• Ein Satz für den Kontext
• Audiotranskription über die Mikrofonsymbole verfügbar

Diese Inhalte werden mithilfe von KI-Modellen generiert, um verschiedene Lehrmaterialien für die zweite Funktion bereitzustellen: Lernkarten.

Textual content-to-Speech-Lösungen

Eine gute Möglichkeit, die Aussprache zu üben, besteht darin, zuzuhören und zu wiederholen.

Bevor ich meinen Satz aufzeichne, kann ich daher mit dieser ersten Speech-to-Textual content-Funktion lernen, wie man das Wort ausspricht.

Hierfür verwende ich die Textual content-to-Speech-API von Google, da sie ziemlich praktisch und kostenlos ist.

from gtts import gTTS

def generate_speech(textual content: str, lang: str):
   filename = f"{uuid4().hex}.mp3"
   filepath = f"./knowledge/gtts/{filename}"

   tts = gTTS(textual content=textual content, lang=lang)
   tts.save(filepath)

Mit ein paar Codezeilen können Sie mithilfe des richtigen Sprachcodes die Textual content-to-Speech-Umwandlung eines beliebigen Wortes generieren.

Genau das habe ich in dem Device zum Generieren von Karteikarten verwendet, das ich vor drei Jahren auf In the direction of Knowledge Science vorgestellt habe.

Die damalige Idee bestand darin, mein Hörverständnis durch das Hinzufügen von Audio zu den Lernkartenantworten zu verbessern.

Was ist mit langen Sätzen?

Das Drawback bei Google Textual content-to-Speech ist die Roboterstimme.

Zum Glück haben wir elf Labore.

Der obige Workflow ist per Webhook mit der App verbunden.

Der Eleven-Labs-Knoten, der die Ausgabe des AI-Agenten entgegennimmt Generate Instance um die Audioversion des Satzes zu generieren.

Der Benutzer kann sich nun den Satz anhören, der „wie“ ein Muttersprachler ausgesprochen wird.

Was bleibt übrig? Fragen und Illustrationen …

Erstellung von Lehrmaterialien

Wie im vorherigen Abschnitt erläutert, werden die Sätze auch mithilfe von KI generiert.

Der von Gemini betriebene AI Agent-Knoten nimmt das zu untersuchende Wort als Eingabe und generiert anhand der folgenden Systemaufforderung einen Satz.

You're a Chinese language language tutor for professionals.

Given a Chinese language phrase, you MUST return a JSON object with EXACTLY these keys:
- "sentence": a brief Chinese language sentence utilizing the phrase in a enterprise or 
   daily-life context
- "pinyin": the pinyin of the complete sentence
- "english": the English translation of the sentence

Return ONLY legitimate JSON. No explanations, no backticks, no further textual content.

Instance:
{
  "sentence": "我去仓库检查货物。",
  "pinyin": "Wǒ qù cāngkù jiǎnchá huòwù.",
  "english": "I am going to the warehouse to examine the products."
}

Das sorgt für eine nahezu unendliche Übungsvielfalt.

Und das Sahnehäubchen ist das mit Geminis Nano Banana erzeugte Bild, das uns hilft, ein Wort mit seinem Kontext zu verbinden.

Nachdem ich Tausende chinesischer Schriftzeichen gelernt hatte, fiel mir auf, dass Bilder beim Auswendiglernen neuer Wörter helfen.

Genau das verwende ich in der Lernkartenfunktion.

Das n8n-Backend bietet dem Frontend Folgendes:

• Das Wort auf Chinesisch, das Sie mit Pinyin und englischer Übersetzung lernen möchten
• Ein Beispielsatz und seine von GPT generierte Übersetzung
• Ein illustratives Bild von Gemini

Das Frontend verwaltet dann den Mechanismus zum Umdrehen der Karte.

Wenn Sie diese auf Ihre Bedürfnisse zugeschnittene Lösung neu erstellen möchten, habe ich sie geteilt ein ähnlicher Workflow auf meinem GitHub.

Mögen Sie A number of-Alternative-Fragen? Gen AI kann helfen!

Generieren Sie Übungen aus einer Vokabelliste

Für die letzte Funktion generieren wir A number of-Alternative-Fragen, um dieselbe Vokabelliste zu lernen.

Wir bitten Gemini, Fragen aus der Vokabelliste zu generieren und dabei A number of-Alternative-Optionen mit nur einer richtigen Antwort zu verwenden.

(
  {
    "output": {
      "query": "Which of the next is the right Chinese language translation for 'Variable Pricing'? Please reply with A, B, C, or D.",
      "choices": {
        "A": "仓库",
        "B": "可变定价",
        "C": "卡车司机",
        "D": "投标"
      },
      "right": "B",
      "right_feedback": "Nice job! 可变定价 (kě biàn dìng jià) means Variable Pricing.",
      "wrong_feedback": "Oops! The proper reply is B: 可变定价 (kě biàn dìng jià), which suggests Variable Pricing."
    }
  }
)

Das Frontend nutzt diese Ausgabe, um den Fragen angepasstes Suggestions zu geben.

Das Backend dieser Funktion basiert auf einem n8n-Workflow, den ich auch auf meinem GitHub geteilt habe: KI-gestützter Sprachlehrer mit GPT.

Abschluss

Ich habe diese App entwickelt, um zu experimentieren, wie KI meine Lernfähigkeiten verbessern könnte.

Nach quick fünf Jahren ohne Chinesischkenntnisse hat sich dieser multimodale KI-Assistent als große Hilfe erwiesen.

Das gesamte Backend basiert auf n8n für schnelles Prototyping und nahtlose Integration.

Sie kennen sich mit n8n noch nicht aus und möchten es lernen?

Auf meinem YouTube-Kanal habe ich ein komplettes Tutorial für Anfänger, das Sie von der Instanzerstellung bis zur Einrichtung der Anmeldeinformationen begleitet.

Nach diesem Tutorial können Sie alle in my freigegebenen Workflows verwenden Repository.

Da ich keine Zeit habe, persönlich an Chinesischkursen teilzunehmen, kann ich einen Assistenten haben, der sich an meinen Zeitplan anpasst.

Können wir es besser machen?

Auf der „Roadmap“ dieses kleinen Nebenprojekts habe ich Folgendes:

• Hinzufügen komplexer Grammatikübungen, die mündlich durchgeführt werden könnten (Kombination von Leseverständnis, Grammatik und Aussprache)
• Implementierung eines Schreibmoduls, das meine Kalligraphie mithilfe der Bildverarbeitung korrigiert

Abhängig von meiner Verfügbarkeit werde ich versuchen, es bis zum ersten Quartal 2026 zu versenden.

Über mich

Lasst uns weitermachen LinkedIn Und Twitter; Ich bin Provide Chain Engineer und nutze Datenanalysen, um Logistikabläufe zu verbessern und Kosten zu senken.

Für Beratung oder Beratung zu Analytik und nachhaltiger Lieferkettentransformation kontaktieren Sie mich bitte über Logigreen Consulting.

Es wird oft gesagt, dass Supercomputer von vor ein paar Jahrzehnten weniger Leistung hatten als heutige Smartwatches. Jetzt haben wir ein Unternehmen, Tiiny AI Inc., das behauptet, den weltweit kleinsten persönlichen KI-Supercomputer gebaut zu haben, der ein großes Sprachmodell mit 120 Milliarden Parametern auf dem Gerät ausführen kann – ohne Cloud-Konnektivität, Server oder GPUs.

Das Unternehmen sagte, dass das Arm-basierte Produkt auf zwei technologischen Fortschritten basiert, die LLMs mit großen Parametern auf einem kompakten Gerät realisierbar machen.

• TurboSparse, eine spärliche Aktivierungstechnik auf Neuronenebene, verbessert die Inferenzeffizienz und behält gleichzeitig die vollständige Modellintelligenz bei.
• PowerInfer, eine heterogene Open-Supply-Inferenz-Engine mit mehr als 8.000 GitHub-Sternen, beschleunigt schwere LLM-Arbeitslasten durch die dynamische Verteilung der Berechnungen auf CPU und NPU und ermöglicht so eine erstklassige Leistung bei einem Bruchteil des herkömmlichen Stromverbrauchs.

Tiiny AI Pocket Lab wurde für energieeffiziente persönliche Intelligenz entwickelt, läuft in einem Leistungsbereich von 65 W und ermöglicht die Leistung großer Modelle zu einem Bruchteil des Energie- und CO2-Fußabdrucks herkömmlicher GPU-basierter Systeme, sagte Tiiny.

Das Unternehmen sagte, der Engpass im heutigen KI-Ökosystem sei nicht die Rechenleistung, sondern die Abhängigkeit von der Cloud.

„Cloud AI hat bemerkenswerte Fortschritte gebracht, aber auch Abhängigkeiten, Verwundbarkeit und Nachhaltigkeitsherausforderungen geschaffen“, sagte Samar Bhoj, GTM-Direktorin von Kleine KI. „Mit Tiiny AI Pocket Lab glauben wir, dass Intelligenz nicht den Rechenzentren, sondern den Menschen gehören sollte. Dies ist der erste Schritt, um fortschrittliche KI wirklich zugänglich, privat und persönlich zu machen, indem die Leistung großer Modelle aus der Cloud auf jedes einzelne Gerät übertragen wird.“

„Das Gerät stellt einen großen Wandel in der Entwicklung der KI-Branche dar“, sagte das Unternehmen. „Da cloudbasierte KI zunehmend mit Nachhaltigkeitsbedenken, steigenden Energiekosten, weltweiten Ausfällen, den unerschwinglichen Kosten der Verarbeitung langer Kontexte und wachsenden Datenschutzrisiken zu kämpfen hat, führt Tiiny AI ein options Modell ein, das sich auf persönliche, tragbare und vollständig non-public Intelligenz konzentriert.“

Nach Angaben des Unternehmens wurde das Gerät von Guinness World Data in der Kategorie „Der kleinste MiniPC (100 Milliarden LLM lokal)“ verifiziert.

Das Unternehmen bezeichnet sich selbst als „in den USA ansässiges Deep-Tech-KI-Startup“, während die Ankündigung in Hongkong erfolgt. Das Unternehmen wurde 2024 gegründet und vereint Ingenieure von MIT, Stanford, HKUST, SJTU, Intel und Meta, KI-Inferenz und {Hardware}-Software program-Co-Design. Ihre Forschung wurde auf akademischen Konferenzen wie SOSP, OSDI, ASPLOS und EuroSys veröffentlicht. Nach Angaben des Unternehmens sicherte sich Tiiny AI im Jahr 2025 eine Seed-Runde in Höhe von mehreren Millionen Greenback von führenden globalen Investoren.

Tiiny AI Pocket Lab ist darauf ausgelegt, wichtige persönliche KI-Anwendungsfälle zu unterstützen und dient Entwicklern, Forschern, Schöpfern, Fachleuten und Studenten. Es ermöglicht mehrstufiges Denken, tiefes Kontextverständnis, Agenten-Workflows, Inhaltsgenerierung und sichere Verarbeitung sensibler Informationen – auch ohne Internetzugang. Das Gerät bietet außerdem ein echtes persönliches Langzeitgedächtnis, indem es Benutzerdaten, Präferenzen und Dokumente lokal mit Verschlüsselung auf Bankebene speichert und so ein Maß an Privatsphäre und Beständigkeit bietet, das cloudbasierte KI-Systeme nicht bieten können.

Das Tiiny AI Pocket Lab arbeitet im „goldenen Bereich“ der persönlichen KI (Parameter 10B–100B), die nach Angaben des Unternehmens mehr als 80 Prozent der realen Bedürfnisse befriedigt. Es unterstützt Modelle mit einer Skalierung von bis zu 120 Milliarden LLM und liefert Intelligenzniveaus, die mit GPT-4o vergleichbar sind. Dies ermöglicht Argumentation auf PhD-Niveau, mehrstufige Analysen und ein tiefes Kontextverständnis – aber mit der Sicherheit einer vollständigen Offline-Verarbeitung auf dem Gerät.

Das Unternehmen sagte, das Gerät unterstütze die Ein-Klick-Set up beliebter Open-Supply-Modelle, darunter OpenAI GPT-OSS, Llama, Qwen, DeepSeek, Mistral und Phi, und ermögliche die Bereitstellung von Open-Supply-KI-AgentenTs wie OpenManus, ComfyUI, Flowise, Presenton, Libra, Bella und SillyTavern. Benutzer erhalten kontinuierliche Updates, einschließlich offizieller OTA-{Hardware}-Upgrades. Die oben genannten Funktionen werden auf der CES im Januar 2026 veröffentlicht.