Das vom MIT geleitete Institute for Synthetic Intelligence and Elementary Interactions (IAIFI) hat für weitere fünf Jahre erneut Unterstützung von der Nationwide Science Basis (NSF) erhalten und die jährliche Finanzierung von 4 Millionen US-Greenback auf 4,98 Millionen US-Greenback erhöht. Die Erneuerung markiert eine neue Part für IAIFI, das in den ersten fünf Jahren damit verbracht hat, ein Forschungsmodell und eine interdisziplinäre Gemeinschaft rund um eine zentrale Prämisse aufzubauen: dass KI neue Wege in der Physik eröffnen kann, während die Physik dabei helfen kann, bessere KI-Systeme zu formen.

IAIFI wurde 2020 im Rahmen des Nationwide Synthetic Intelligence Analysis Institutes-Programms ins Leben gerufen und bringt Forscher des MIT sowie der Universitäten Harvard, Northeastern, Tufts und Boston zusammen. Seine Arbeit hat gezeigt, dass maschinelles Lernen die Entdeckung in der Physik beschleunigen kann, während Erkenntnisse aus der Physik KI-Systeme prinzipieller und interpretierbarer machen können.

„Von Anfang an wurde IAIFI nach einer Einbahnstraße aufgebaut: KI ermöglicht bessere Physik und Physik ermöglicht bessere KI“, sagt Jesse Thaler, IAIFI-Direktor und Professor für Physik am MIT. „Wir haben in den letzten fünf Jahren gesehen, wie sich dieser optimistic Kreislauf in mehreren Bereichen der Physik und KI abspielt. Der Austausch bringt nicht nur neue Ergebnisse hervor, sondern auch wirklich neue Wege, Wissenschaft zu betreiben.“

Forschung in den Bereichen Physik und KI

Die Forschung des IAIFI umfasst Teilchenphysik, Kernphysik, Astrophysik und grundlegende KI, wobei viele Fortschritte aus der Zusammenarbeit in diesen Bereichen hervorgehen.

In der Teilchenphysik haben IAIFI-Forscher KI-Techniken entwickelt, um die immensen Datenraten des Massive Hadron Collider in Echtzeit zu verarbeiten und so dabei zu helfen, eine Flut von Kollisionsdaten in umsetzbare Physik umzuwandeln. In der Kernphysik nutzen IAIFI-Forscher KI-basierte generative Methoden, um die Wechselwirkungen von Quarks und Gluonen in der Gitterquantenchromodynamik zu modellieren und so neue Wege zur Untersuchung der Struktur von Materie anhand erster Prinzipien zu schaffen. In der Astrophysik wird maschinelles Lernen eingesetzt, um neue kosmische Phänomene aufzudecken und die Empfindlichkeit des vom MIT geleiteten Gravitationswellenexperiments LIGO zu verbessern.

Gleichzeitig fließen Ideen aus der Physik in die Entwicklung neuer KI-Methoden ein. IAIFI-Forscher entwickeln Lernalgorithmen und neue Modellarchitekturen, die physikalisches Wissen und Greatest Practices – einschließlich Symmetrien, geometrische Strukturen, Genauigkeitsgarantien und statistische Methoden – direkt in neuronale Netze einbetten und so Systeme erzeugen, die zuverlässiger, interpretierbarer und dateneffizienter sind.

„KI hat begonnen, die Artwork und Weise zu verändern, wie Physiker einige der schwierigsten Probleme auf diesem Gebiet angehen“, sagt Mike Williams, Interimsdirektor von IAIFI und Professor für Physik am MIT. „Noch wichtiger ist, dass damit begonnen wird, die Grenzen der Probleme, die wir realistisch angehen können, zu erweitern, sodass es möglich wird, Fragen zu verfolgen, die früher völlig außerhalb unserer Reichweite lagen.“

Ausbildung der nächsten Technology

Ein charakteristisches Merkmal von IAIFI ist seine Investition in Menschen. Das IAIFI Postdoctoral Fellows-Programm unterstützt Nachwuchswissenschaftler, die an der Schnittstelle von Physik und KI forschen, indem es jeden Stipendiaten mit Mentoren in beiden Bereichen zusammenbringt und die Zusammenarbeit zwischen Institutionen fördert.

Bisher haben acht Stipendiaten das Programm abgeschlossen. Drei haben sich Fakultätsstellen gesichert; andere haben Forschungsfunktionen bei führenden KI-Unternehmen übernommen oder sind Begin-ups beigetreten, was zeigt, wie umfassend die bei IAIFI gepflegten Fähigkeiten umgesetzt werden können.

„Das IAIFI-Stipendium zeigt, was passieren kann, wenn Nachwuchswissenschaftler die Freiheit und Unterstützung erhalten, über traditionelle Grenzen hinweg zu arbeiten“, sagt Phiala Shanahan, stellvertretende Interimsdirektorin des IAIFI und Professorin für Physik am MIT. „Unsere Stipendiaten tragen nicht nur einzeln zur Physik oder zur KI bei – sie tragen dazu bei, ein wachsendes Feld an der Schnittstelle zu gestalten.“

Die jährliche PhD Summer time College von IAIFI ist zu einem zentralen Anlaufpunkt für die wachsende Gemeinschaft von „Zentauren-Wissenschaftler„mit Fachkenntnissen in Physik und KI. Für die Ausgabe 2026 erhielt das Programm quick 600 Bewerbungen für etwa 100 Präsenzplätze, wobei etwa 300 weitere Teilnehmer voraussichtlich virtuell teilnehmen werden. Frühere Teilnehmer haben die Schule ihren Kommilitonen aufgrund ihrer Kombination aus Vorlesungen, praktischen Tutorials, Coding-Sprints und Networking-Veranstaltungen wärmstens empfohlen.

Am MIT hat IAIFI neue Bildungswege mitgestaltet, darunter ein interdisziplinäres Doktorandenprogramm in Physik, Statistik und Datenwissenschaft – eine Zusammenarbeit zwischen der Fakultät für Physik und dem Statistics and Information Science Heart –, das seit 2021 20 Doktorgrade verliehen hat. Die IAIFI-Mitglieder Phil Harris und Isaac Chuang haben außerdem einen Kurs über Computational Information Science in der Physik entwickelt, der sowohl auf dem Campus (Kurs 8.16) als auch als Dozent angeboten wird kostenloser On-line-Kurs über MITx.

Eine wachsende Gemeinschaft

Über seine Kernforschungs- und Ausbildungsprogramme hinaus bringt das IAIFI Forscher zu seinem jährlichen Sommerworkshop zusammen, der dieses Jahr im Gebäude des MIT Schwarzman Faculty of Computing stattfinden wird. Das Institut bindet auch die breitere Öffentlichkeit durch Kooperationen mit dem MIT Museum, dem Museum of Science in Boston, Hackathons und viel beachteten On-line-Inhalten zu KI und Physik ein.

„IAIFI zeigt, was möglich wird, wenn Forscher in den Bereichen Physik, Informatik, Statistik und Datenwissenschaft sich um gemeinsame wissenschaftliche Fragen herum organisieren“, sagt Nergis Mavalvala, Dekan der MIT College of Science und Curtis and Kathleen Marble Professor of Astrophysics. „Diese Artwork der nachhaltigen, interdisziplinären Zusammenarbeit ist für die Zukunft der wissenschaftlichen Entdeckungen von entscheidender Bedeutung.“

IAIFI ist im Laboratory of Nuclear Science am MIT untergebracht und wird von Direktor Jesse Thaler (derzeit im Sabbatical), Interimsdirektor Mike Williams, stellvertretender Interimsdirektorin Phiala Shanahan und Geschäftsführerin Marisa LaFleur sowie den Lenkungsausschussmitgliedern Lisa Barsotti, Isaac Chuang, Will Detmold, Invoice Freeman, Phil Harris, Lina Necib, Tess Smidt und Marin Soljacic (und Lenkungsausschussmitgliedern anderer) geleitet IAIFI-Universitäten).

Blick nach vorn

Als Mitglied des Nationwide Synthetic Intelligence Analysis Institutes-Programms ist IAIFI Teil einer landesweiten Initiative zur Förderung KI-gesteuerter Entdeckungen und Innovationen.

„Die Verbindungen zwischen den NSF-KI-Instituten waren ebenso wertvoll wie die Arbeit in ihnen und wachsen weiter“, sagt Marisa LaFleur, Geschäftsführerin von IAIFI. „Wir teilen Managementstrategien und Ressourcen für Schulungen, Neighborhood-Aufbau und Zusammenarbeit, die das gesamte Netzwerk stärken.“

Für IAIFI ist die erneuerte Finanzierung eine Gelegenheit, tiefer in das einzudringen, was das Institut die „Physik der KI“ nennt – indem man physikalisches Denken, physikalische Herausforderungen und physikalische Werkzeuge nutzt, um KI nicht nur anzuwenden, sondern sie zu verstehen und zu verbessern. Diese Agenda ist zusammen mit einer wachsenden Gemeinschaft von Forschern, die für die Arbeit in verschiedenen Disziplinen ausgebildet sind, der Antrieb für die nächste Part des Instituts.

„In der ersten Part von IAIFI wurde das Modell etabliert: interdisziplinäre Forschung, Nachwuchstalente und eine dynamische Gemeinschaft, die auf der Idee basiert, dass KI und Physik sich gegenseitig stärken“, sagt Thaler. „Jetzt haben wir die Grundlage – und den Unternehmergeist unserer Centaur-Wissenschaftler –, um dieses Modell in Neuland zu treiben und unsere Ambitionen zu steigern.“

Das Qwen-Crew von Alibaba hat Qwen3.7-Max vorgestellt, ein Flaggschiffmodell, das für die Agenten-Ära entwickelt wurde. Im Gegensatz zu herkömmlichen, auf Chatbots ausgerichteten LLMs ist es als Grundlage für autonome KI-Agenten konzipiert, die programmieren, debuggen, Instruments verwenden, Arbeitsabläufe verwalten und lang andauernde Unternehmensaufgaben ausführen können.

Alibaba behauptet, dass das Modell bis zu 35 Stunden lang autonom ohne Leistungseinbußen arbeiten kann und gleichzeitig über 1.000 aufeinanderfolgende Device-Aufrufe unterstützt. In diesem Artikel untersuchen wir die Architektur, Benchmarks, APIs, Agent-Workflows und seinen Platz im sich entwickelnden LLM-Ökosystem von Qwen3.7-Max.

Was ist Qwen3.7-Max?

Qwen3.7-Max ist das neueste Mitglied der Qwen-Reihe proprietärer Modelle von Alibaba. Es ist für die Agentencodierung auf hohem Niveau, komplexes Denken, die Nutzung von Instruments, die Automatisierung von Büroabläufen und die Ausführung von Aufgaben über einen langen Zeitraum gedacht. Entwickler und Unternehmen auf der ganzen Welt können über Alibaba Cloud Mannequin Studio auf Alibaba zugreifen, gab das Unternehmen bekannt.

Die wichtigste Erkenntnis ist, dass Qwen3.7-Max derzeit kein Modell mit offenem Gewicht ist. Im Gegensatz zu vielen früheren Open-Weight-Versionen von Qwen handelt es sich um ein gehostetes proprietäres Modell. Dies bedeutet nicht, dass es mit herunterladbaren lokalen Modellen wie GPT, Claude, Gemini oder den gehosteten Flaggschiffmodellen von DeepSeek verglichen werden soll.

Hauptfunktionen von Qwen3.7-Max

• Agentenkodierung: Unterstützt Frontend-Prototyping, Codegenerierung, Debugging, Entwicklung mehrerer Dateien, Terminalbefehle, Testschreiben und Problembehebung im GitHub-Stil.
• Aufgabenausführung über einen längeren Zeitraum: Entwickelt für die Bewältigung erweiterter Agenten-Workflows mit vielen Device-Aufrufen, wodurch es für komplexe technische Aufgaben nützlich ist, die Ausdauer erfordern.
• Werkzeugaufruf und MCP-Workflows: Funktioniert intestine in Umgebungen mit vielen Instruments, in denen Agenten mit Dateisystemen, Browsern, Datenbanken, APIs und Unternehmensanwendungen interagieren.
• Automatisierung von Büro-Workflows: Hilft bei der Dokumentenerstellung, Tabellenkalkulationsanalyse, Berichterstellung, Planung, Forschungssynthese und Automatisierung von Geschäftsabläufen.
• Cowork-Produktivitätsassistent: Funktioniert als mehr als ein Codierungs- oder Frage-und-Antwort-Device, indem es mehrstufige operative Aufgaben für Geschäfts- und Produktivitätsteams unterstützt.

Warum Qwen3.7-Max für KI-Agenten wichtig ist

Die meisten LLM-Releases betrafen unterschiedliche Aspekte, wie z. B. verbesserten Chat, verbesserte Mathematikfunktionen, verbesserte Codierungsfunktionen oder geringere Inferenzkosten. Die Botschaft von Qwen3.7-Max ist völlig anders, ihre Hauptbotschaft ist die Zuverlässigkeit der Agenten.

Der KI-Agent ist nicht nur ein Fragebeantworter. Es muss planen, Instruments aufrufen, die Ergebnisse lesen, Fehler beheben, Code patchen, Dateien anzeigen, Wendungen durchführen und – in einer Aufgabe, die Hunderte von Schritten umfassen kann – alles erledigen! Laut Alibaba kann der Qwen3.7-Max langkettige autonome Aufgaben bewältigen, beispielsweise tausend oder mehr Aktionen lang.

Dies ist der Grund dafür, dass Agentenprodukte in der Produktion aus verschiedenen Gründen auseinanderfallen, was bei Chatbots nicht der Fall ist. Ein solcher Agent kann mit nur einer Reaktion wirksam sein. Ein Agent sollte alle vier Variablen einer Schleife kennen:

Benutzerziel → Plan → Toolaufruf → Beobachtung → Debuggen → Wiederholen → Validierung → Endgültige Ausgabe

Qwen3.7-Max basiert auf dieser Schleife.

Qwen3.7-Max-Architektur

Alibaba hat nicht die vollständigen Particulars der Architektur von Qwen3.7-Max bekannt gegeben, einschließlich der Anzahl der Parameter, der Anzahl der Experten, der Aktivierungsgröße, des Aufmerksamkeitsdesigns oder der tatsächlichen Länge des Kontextfensters. Daher ist es am besten, seine Architektur im Hinblick auf das Design des veröffentlichten Agentensystems, die Trainingsstrategie und das Laufzeitverhalten zu beschreiben.

Excessive-Stage-Agent-Architektur

Agentenschulungsarchitektur: Umgebungsskalierung

Der Sinn der Architektur hinter Qwen3.7-Max ist die Skalierung der Umgebung. Laut Alibabas veröffentlichten Materialien wurde das Modell tatsächlich in einer Vielzahl von Agentenumgebungen erlernt und die Aufgaben, Systeme und Prüfer wurden getrennt, sodass es in der Lage ist, allgemeine Problemlösungsansätze zu erlernen und nicht einer Überanpassung von Benchmarks oder Frameworks zu unterliegen.

Dies bedeutet, dass dem Modell nicht beigebracht wird, genauen Textual content zu generieren, sondern dass es auch darauf trainiert werden sollte, angemessenen Textual content zu generieren. Ihm wird beigebracht, in sich entwickelnden Umgebungen zu funktionieren, in denen es entscheiden muss, was als nächstes zu tun ist.

So greifen Sie auf Qwen3.7-Max zu

Possibility 1: Qwen Studio

Qwen Studio ist die einfachste Möglichkeit, Qwen-Modelle in einem Browser zu testen. Qwen beschreibt Qwen Studio als einen kostenlosen KI-Assistenten, der auf der Qwen-Modellreihe basiert.

Derzeit unterstützt Qwen Studio Qwen3.7-Max Preview und Qwen3.7-Plus Preview

Possibility 2: Alibaba Cloud Mannequin Studio API

Laut Alibaba wird Qwen3.7-Max über Alibaba Cloud Mannequin Studio verfügbar sein. Mannequin Studio unterstützt die OpenAI-kompatible API-Nutzung und die Dokumentation von Alibaba bietet Beispiele für die Verwendung des OpenAI Python SDK mit dem DashScope-kompatiblen Endpunkt.

Praktisch: Verwendung von Qwen3.7-Max

Für diesen Teil würde ich Qwen Studio verwenden.

Aufgabe 1: Argumentation

Immediate: „Ein Zug legt in 2 Stunden 120 km zurück und bremst dann in den nächsten 3 Stunden auf 40 km/h ab. Berechnen Sie die Durchschnittsgeschwindigkeit für die gesamte Fahrt und erläutern Sie die Überlegungen Schritt für Schritt.„

Aufgabe 2: Bild- und Videogenerierung

Immediate: „Erstellen Sie einen filmischen, futuristischen Kontrollraum, der vollständig von KI-Agenten betrieben wird, die globale Geschäftsabläufe in Echtzeit koordinieren. Die Szene sollte holografische Workflow-Karten, autonome, miteinander kommunizierende KI-Systeme, dynamische Dashboards und eine Cyberpunk-inspirierte Atmosphäre mit realistischer Beleuchtung und hohen visuellen Particulars umfassen.“„

Ein ausreichend gutes Bild. Aber ich wollte es noch mehr testen. Um die neuen Videogenerierungsfunktionen von Qwen3.7 Max zu testen, habe ich dasselbe Bild als Eingabe für das Video verwendet und im Gegenzug das folgende Video erhalten:

Dies conflict eine vollständige KI-Era. Von der Eingabeaufforderung über die erste Bildantwort bis hin zur anschließenden Videogenerierung. Stellen Sie sich nun vor, wir würden ihm eigene Bilder und/oder Eingabeaufforderungen geben, die darauf zugeschnitten sind, die besten Antworten zu erhalten.

Aufgabe 3: Codierung

Immediate: „Schreiben Sie ein Python-Skript, das einen Ordner auf neu hinzugefügte CSV-Dateien überwacht, fehlende Werte automatisch bereinigt, die Dateien in einem einzigen Datensatz zusammenführt und einen zusammenfassenden Bericht generiert, der Folgendes enthält:

– Gesamtzahl der verarbeiteten Zeilen
– Statistiken zu fehlenden Werten
– Duplikaterkennung
– Grundlegende spaltenweise Analysen

Erklären Sie dann Schritt für Schritt die Logik des Skripts und schlagen Sie mögliche Optimierungen für den Umgang mit sehr großen Datensätzen vor.“

Die Resonanz ist technisch stark und zeigt ein gutes Verständnis skalierbarer Datenverarbeitungskonzepte wie Chunked Execution, Parquet Storage und Out-of-Core-Frameworks wie Dask und Polars. Allerdings ist es für die ursprüngliche Aufgabe etwas überentwickelt und zu ausführlich, sodass Teile davon eher KI-generiert als von Natur aus prägnant wirken.

Abschluss

Qwen3.7-Max könnte für KI-Programmierer und -Entwickler wertvoll sein, die an Coding-Agent-Pipelines, Device-Aufrufen, Tabellenkalkulationsautomatisierung und mehrsprachigen Arbeitsabläufen arbeiten. Technische Führungskräfte sollten es als Teil einer umfassenderen Agentenplattformstrategie bewerten, insbesondere wenn ihre Organisation bereits Alibaba Cloud nutzt oder starke Mehrsprachigkeits- und Codierungsfunktionen benötigt.

Die Hauptsorge besteht darin, dass Qwen3.7-Max proprietär ist, sodass die Benchmark-Ergebnisse des Anbieters intern überprüft werden sollten. Der beste Ansatz besteht darin, es anhand Ihres aktuellen Modells an realen Aufgaben zu testen und dabei die Erfolgsquote, die Aufgabenkosten, die Latenz, die Wiederholungsversuche und den erforderlichen menschlichen Aufwand zu messen.

Harsh Mishra ist ein KI/ML-Ingenieur, der mehr Zeit damit verbringt, mit großen Sprachmodellen zu sprechen als mit echten Menschen. Leidenschaftlich für GenAI, NLP und die intelligentere Entwicklung von Maschinen (damit sie ihn noch nicht ersetzen). Wenn er nicht gerade Modelle optimiert, optimiert er wahrscheinlich seinen Kaffeekonsum.

IBM hat die Veröffentlichung von angekündigt Granit 4.0 3B Imaginative and prescientein Imaginative and prescient-Language-Modell (VLM), das speziell für die Extraktion von Dokumentendaten auf Unternehmensebene entwickelt wurde. ^{Abweichend vom monolithischen Ansatz größerer multimodaler Modelle ist die Model 4.0 Imaginative and prescient als spezialisierter Adapter konzipiert, der hochauflösende visuelle Argumentation in die Welt bringen soll Granit 4.0 Mikro Sprachrückgrat.}

Diese Model stellt einen Übergang zu modularer, auf Extraktion fokussierter KI dar, die der Genauigkeit strukturierter Daten – wie der Konvertierung komplexer Diagramme in Code oder Tabellen in HTML – Vorrang vor allgemeiner Bildbeschriftung einräumt.

Architektur: Modulare LoRA- und DeepStack-Integration

Das Modell Granite 4.0 3B Imaginative and prescient wird als geliefert LoRA (Low-Rank-Anpassung) Adapter mit ca. 0,5B Parametern. Dieser Adapter ist so konzipiert, dass er oben auf den geladen werden kann Granit 4.0 Mikro Basismodell, ein dichtes Sprachmodell mit 3,5B Parametern. Dieses Design ermöglicht eine „Twin-Mode“-Bereitstellung: Das Basismodell kann reine Textanfragen unabhängig verarbeiten, während der Imaginative and prescient-Adapter nur aktiviert wird, wenn eine multimodale Verarbeitung erforderlich ist.

Imaginative and prescient Encoder und Patch Tiling

Die visuelle Komponente nutzt die google/siglip2-so400m-patch16-384 Encoder. Um eine hohe Auflösung über verschiedene Dokumentlayouts hinweg aufrechtzuerhalten, verwendet das Modell einen Kachelmechanismus. Eingabebilder werden in zerlegt 384×384 Patchesdie zusammen mit einer verkleinerten globalen Ansicht des gesamten Bildes verarbeitet werden. Dieser Ansatz stellt sicher, dass feine Particulars – wie etwa Indizes in Formeln oder kleine Datenpunkte in Diagrammen – erhalten bleiben, bevor sie das Sprachgerüst erreichen.

Das DeepStack-Spine

Um die Visions- und Sprachmodalitäten zu überbrücken, nutzt IBM eine Variante des DeepStack-Architektur. Dabei werden visuelle Token tief in das Sprachmodell integriert 8 spezifische Einspritzpunkte. Durch die Weiterleitung visueller Merkmale in mehrere Ebenen des Transformators erreicht das Modell eine engere Ausrichtung zwischen dem „Was“ (semantischer Inhalt) und dem „Wo“ (räumliches Structure), was für die Aufrechterhaltung der Struktur während der Dokumentenanalyse von entscheidender Bedeutung ist.

Schulungsplan: Schwerpunkt auf Diagramm- und Tabellenextraktion

Die Schulung von Granite 4.0 3B Imaginative and prescient spiegelt eine strategische Verlagerung hin zu spezialisierten Extraktionsaufgaben wider. Anstatt sich ausschließlich auf allgemeine Bild-Textual content-Datensätze zu verlassen, nutzte IBM eine kuratierte Mischung von Daten zur Befehlsfolge, die sich auf komplexe Dokumentstrukturen konzentrierten.

• ChartNet-Datensatz: Das Modell wurde mit verfeinert ChartNetein multimodaler Datensatz im Millionenmaßstab, der für ein solides Diagrammverständnis entwickelt wurde.
• Codegesteuerte Pipeline: Ein wichtiger technischer Höhepunkt der Schulung ist ein „codegesteuerter“ Ansatz für die Diagrammbegründung. Diese Pipeline verwendet ausgerichtete Daten, die aus dem ursprünglichen Plotcode, dem resultierenden gerenderten Bild und der zugrunde liegenden Datentabelle bestehen, sodass das Modell die strukturelle Beziehung zwischen visuellen Darstellungen und ihren Quelldaten lernen kann.
• Extraktionsoptimierung: Das Modell wurde anhand einer Mischung verschiedener Datensätze verfeinert Extraktion von Schlüssel-Wert-Paaren (KVP).Tabellenstrukturerkennung und Konvertierung visueller Diagramme in maschinenlesbare Formate wie CSV, JSON und OTSL.

Leistungs- und Bewertungsbenchmarks

In technischen Bewertungen wurde Granite 4.0 3B Imaginative and prescient mit mehreren branchenüblichen Suiten zum Dokumentenverständnis verglichen. Es ist wichtig zu beachten, dass Datensätze wie PubTables-v2 Und OmniDocBench werden als Evaluierungsbenchmarks verwendet, um die Zero-Shot-Leistung des Modells in realen Szenarien zu überprüfen.

Das Modell belegt derzeit den 3. Platz unter den Modellen in der Parameterklasse 2–4B auf der VAREX-Bestenliste (Stand März 2026) und demonstriert trotz seiner kompakten Größe seine Effizienz bei der strukturierten Extraktion.

Wichtige Erkenntnisse

• Modulare LoRA-Architektur: Das Modell ist ein 0,5-B-Parameter-LoRA-Adapter das funktioniert auf der Granit 4.0 Mikro (3,5B) Rückgrat. Dieses Design ermöglicht eine einzige Bereitstellung, um Nur-Textual content-Workloads effizient zu bewältigen und gleichzeitig Imaginative and prescient-Funktionen nur bei Bedarf zu aktivieren.
• Hochauflösende Kacheln: Nutzung der google/siglip2-so400m-patch16-384 Encoder verarbeitet das Modell Bilder, indem es sie kachelt 384×384 Patches Neben einer globalen verkleinerten Ansicht wird sichergestellt, dass feine Particulars in komplexen Dokumenten erhalten bleiben.
• DeepStack-Injektion: Um das Layoutbewusstsein zu verbessern, verwendet das Modell a DeepStack Ansatz mit 8 Einspritzpunkte. Dadurch werden semantische Merkmale an frühere Ebenen und räumliche Particulars an spätere Ebenen weitergeleitet, was für eine genaue Tabellen- und Diagrammextraktion von entscheidender Bedeutung ist.
• Spezialisierte Extraktionsschulung: Über das Befolgen allgemeiner Anweisungen hinaus wurde das Modell mithilfe von verfeinert ChartNet und eine „codegesteuerte“ Pipeline, die Plotcode, Bilder und Datentabellen ausrichtet, um dem Modell zu helfen, die Logik visueller Datenstrukturen zu verinnerlichen.
• Entwicklerbereite Integration: Die Veröffentlichung ist Apache 2.0 lizenziert und bietet native Unterstützung für vLLM (über eine benutzerdefinierte Modellimplementierung) und DoclingIBMs Device zum Konvertieren unstrukturierter PDFs in maschinenlesbares JSON oder HTML.

Schauen Sie sich das an Technische Particulars Und Modellgewicht. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Die KI-Branche ist derzeit besessen von „Agenten“ – autonomen Programmen, die mehr können als nur chatten. Die meisten aktuellen Multiagentensysteme basieren jedoch auf spröden, hartcodierten Heuristiken, die versagen, wenn sich die Umgebung ändert.

Google DeepMind Forscher haben eine neue Lösung vorgeschlagen. Das Forschungsteam argumentierte, dass Agenten für die Skalierung des „Agentennetzes“ über die einfache Aufgabenteilung hinausgehen und menschenähnliche Organisationsprinzipien wie Autorität, Verantwortung und Rechenschaftspflicht übernehmen müssen.

Definition einer „intelligenten“ Delegation

In Standardsoftware wird ein Unterprogramm einfach „ausgelagert“. Intelligente Delegation ist anders. Es handelt sich um eine Abfolge von Entscheidungen, bei denen ein Delegierter Autorität und Verantwortung auf einen Delegierten überträgt. Dieser Prozess umfasst die Risikobewertung, den Fähigkeitsabgleich und den Aufbau von Vertrauen.

Die 5 Säulen des Rahmenwerks

Um dies aufzubauen, identifizierte das Forschungsteam fünf Kernanforderungen, die spezifischen technischen Protokollen zugeordnet sind:

Engineering-Strategie: „Contract-First“-Zerlegung

Die bedeutendste Veränderung ist Contract-First-Zerlegung. Nach diesem Grundsatz erteilt ein Delegierender eine Aufgabe nur dann, wenn das Ergebnis genau nachweisbar ist.

Wenn eine Aufgabe zu subjektiv oder komplex ist, um überprüft zu werden – etwa „eine überzeugende Forschungsarbeit schreiben“ –, muss das System sie rekursiv zerlegen. Dies wird so lange fortgesetzt, bis die Teilaufgaben mit den verfügbaren Verifizierungstools übereinstimmen, beispielsweise Unit-Assessments oder formalen mathematischen Beweisen.

Rekursive Verifizierung: Die Chain of Custody

In einer Delegationskette, wie z 𝐴 → 𝐵 → 𝐶Verantwortlichkeit ist transitiv.

• Agent B ist verantwortlich für die Überprüfung der Arbeit von C.
• Als Agent B gibt das Ergebnis an zurück Amuss es eine vollständige Kette kryptografisch signierter Bescheinigungen bereitstellen.
• Agent A Anschließend führt es eine zweistufige Prüfung durch: Verifizierung Bist direkte Arbeit und die Überprüfung B richtig verifiziert C.

Sicherheit: Token und Tunnel

Die Skalierung dieser Ketten birgt large Sicherheitsrisiken, darunter Datenexfiltration, HintertürimplantationUnd Modellextraktion.

Um das Netzwerk zu schützen, schlägt das DeepMind-Workforce vor Delegation Functionality Tokens (DCTs). Basierend auf Technologien wie Makronen oder GebäckDiese Token nutzen „kryptografische Vorbehalte“, um das Prinzip der geringsten Privilegien durchzusetzen. Beispielsweise könnte ein Agent ein Token erhalten, das ihm das LESEN eines bestimmten Google Drive-Ordners erlaubt, aber alle Schreibvorgänge verbietet.

Bewertung aktueller Protokolle

Das Forschungsteam analysierte, ob aktuelle Industriestandards für dieses Framework bereit sind. Diese Protokolle stellen zwar eine Grundlage dar, weisen jedoch alle „fehlende Teile“ für eine Delegation mit hohem Einsatz auf.

• MCP (Mannequin Context Protocol): Standardisiert die Artwork und Weise, wie Modelle mit Instruments verbunden werden. Die Lücke: Es fehlt eine Richtlinienebene zur Steuerung von Berechtigungen über tiefe Delegationsketten hinweg.
• A2A (Agent-zu-Agent): Verwaltet Erkennungs- und Aufgabenlebenszyklen. Die Lücke: Es fehlen standardisierte Header für Zero-Information Proofs (ZKPs) oder digitale Signaturketten.
• AP2 (Agent Funds Protocol): Ermächtigt Agenten, Gelder auszugeben. Die Lücke: Es ist nicht möglich, die Qualität der Arbeit vor der Zahlungsfreigabe nativ zu überprüfen.
• UCP (Common Commerce Protocol): Standardisiert Handelstransaktionen. Die Lücke: Es ist für den Einkauf/die Erfüllung optimiert, nicht für abstrakte Rechenaufgaben.

Wichtige Erkenntnisse

• Gehen Sie über Heuristiken hinaus: Aktuelle KI-Delegationen basieren auf einfachen, hartcodierten Heuristiken, die spröde sind und sich nicht dynamisch an Umgebungsveränderungen oder unerwartete Ausfälle anpassen können. Intelligente Delegation erfordert einen adaptiven Rahmen, der die Übertragung von Autorität, Verantwortung und Rechenschaftspflicht beinhaltet.
• Zerlegung der Aufgabe „Vertrag zuerst“: Bei komplexen Zielen sollten Delegierende einen „Contract-First“-Ansatz verwenden, bei dem Aufgaben zerlegt werden, bis die Untereinheiten spezifischen, automatisierten Verifizierungsfunktionen entsprechen, wie etwa Unit-Assessments oder formale Beweise.
• Transitive Verantwortlichkeit in Ketten: In langen Delegationsketten (z. B. 𝐴 → 𝐵 → 𝐶) ist Verantwortung transitiv. Agent B ist für die Arbeit von C verantwortlich, und Agent A muss sowohl die direkte Arbeit von B als auch die korrekte Überprüfung der Bescheinigungen von C durch B überprüfen.
• Abgeschwächte Sicherheit durch Token: Um systemische Verstöße und das Drawback der „verwirrten Stellvertreter“ zu verhindern, sollten Agenten Delegation Functionality Tokens (DCTs) verwenden, die eine abgeschwächte Autorisierung ermöglichen. Dadurch wird sichergestellt, dass Agenten nach dem Prinzip der geringsten Rechte arbeiten und der Zugriff auf bestimmte Teilmengen von Ressourcen und zulässigen Vorgängen beschränkt ist.

Schauen Sie sich das an Papier hier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Michal Sutter ist ein Knowledge-Science-Experte mit einem Grasp of Science in Knowledge Science von der Universität Padua. Mit einer soliden Grundlage in statistischer Analyse, maschinellem Lernen und Datentechnik ist Michal hervorragend darin, komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

Google hat am Mittwoch ein Teaser-Video für das offizielle Mittelklasse-Smartphone Pixel 10a veröffentlicht, in dem das Gerät über farbenfrohen Hintergründen tanzt. Vorbestellungen sind ab dem 18. Februar möglich.

Engadget, das seit 2004 Verbrauchertechnologieprodukte testet und bewertet, hat das Video untersucht. Es zeigt ein blaues Pixel-10a-Modell, das äußerlich praktisch nicht vom Pixel 9a zu unterscheiden scheint. Google machte in der Ankündigung keine technischen Angaben.

Angebliche Lecks betreffen interne Komponenten mit wenigen Änderungen gegenüber früheren Modellen. In diesen unbestätigten Berichten werden ein 6,285-Zoll-Show, ein Twin-Rückfahrkamera-Setup mit einem 48-MP-Weitwinkelobjektiv und einem 13-MP-Ultraweitwinkelobjektiv sowie eine Akkukapazität von 5.100 mAh aufgeführt.

Das Video enthält den Slogan: „Ein Telefon mit mehr im Laden, bald im Laden.“ Diese Formulierung begleitet das Filmmaterial, in dem sich das Telefon durch lebendige Umgebungen bewegt. Google verweist Interessenten zur Registrierung auf seine Pixel-Web site, um weitere Particulars zu erhalten.

Hervorgehobener Bildnachweis

Stellen Sie sich vor, dass sich ein kontinuierlicher weicher Roboterarm um eine Weintraube oder einen Brokkoli beugt und seinen Griff in Echtzeit anpasst, während er das Objekt anhebt. Im Gegensatz zu herkömmlichen starren Robotern, die im Allgemeinen darauf abzielen, den Kontakt mit der Umwelt so weit wie möglich zu vermeiden und sich aus Sicherheitsgründen von Menschen fernzuhalten, nimmt dieser Arm subtile Kräfte wahr und streckt und beugt sich auf eine Weise, die eher der Nachgiebigkeit einer menschlichen Hand nachempfunden ist. Jede Bewegung ist so berechnet, dass übermäßiger Kraftaufwand vermieden und die Aufgabe effizient erledigt wird. In den Labors des MIT Pc Science and Synthetic Intelligence Laboratory (CSAIL) und des Laboratory for Data and Selections Programs (LIDS) sind diese scheinbar einfachen Bewegungen der Höhepunkt komplexer Mathematik, sorgfältiger Technik und einer Imaginative and prescient für Roboter, die sicher mit Menschen und empfindlichen Objekten interagieren können.

Weiche Roboter mit ihren verformbaren Körpern versprechen eine Zukunft, in der sich Maschinen nahtloser neben Menschen bewegen, bei der Pflege helfen oder in industriellen Umgebungen empfindliche Gegenstände handhaben. Doch genau diese Flexibilität macht es schwierig, sie zu kontrollieren. Kleine Biegungen oder Verdrehungen können unvorhersehbare Kräfte erzeugen und das Risiko von Schäden oder Verletzungen erhöhen. Dies motiviert den Bedarf an sicheren Steuerungsstrategien für Softroboter.

„Inspiriert durch Fortschritte bei der sicheren Steuerung und formalen Methoden für starre Roboter wollen wir diese Ideen auf die Delicate-Robotik übertragen – indem wir ihr komplexes Verhalten modellieren und den Kontakt einbeziehen, anstatt ihn zu vermeiden –, um leistungsstärkere Designs (z. B. größere Nutzlast und Präzision) zu ermöglichen, ohne auf Sicherheit oder verkörperte Intelligenz zu verzichten“, sagt der leitende Hauptautor und MIT-Assistenzprofessor Gioele Zardini, der leitender Forscher bei LIDS und der Abteilung für Bau- und Umweltingenieurwesen ist und eine angegliederte Fakultät des Instituts für ist Daten, Systeme und Gesellschaft (IDSS). „Diese Imaginative and prescient wird durch aktuelle und parallele Arbeiten anderer Gruppen geteilt.“

Sicherheit geht vor

Das Group entwickelte ein neues Framework, das nichtlineare Steuerungstheorie (Steuerung von Systemen mit hochkomplexer Dynamik) mit fortschrittlichen physikalischen Modellierungstechniken und effizienter Echtzeitoptimierung verbindet, um das zu erreichen, was sie „kontaktbewusste Sicherheit“ nennen. Im Mittelpunkt des Ansatzes stehen Kontrollbarrierefunktionen hoher Ordnung (HOCBFs) und Kontrollbarrierenfunktionen hoher Ordnung (HOCLFs). HOCBFs definieren sichere Betriebsgrenzen und stellen sicher, dass der Roboter keine unsicheren Kräfte ausübt. HOCLFs führen den Roboter effizient zu seinen Aufgabenzielen und sorgen dabei für ein Gleichgewicht zwischen Sicherheit und Leistung.

„Im Wesentlichen bringen wir dem Roboter bei, seine eigenen Grenzen zu kennen, wenn er mit der Umgebung interagiert, und gleichzeitig seine Ziele zu erreichen“, sagt Kiwan Wong, Doktorand am MIT Division of Mechanical Engineering und Hauptautor einer neuen Arbeit, die das Framework beschreibt. „Der Ansatz beinhaltet eine komplexe Ableitung der Delicate-Roboterdynamik, Kontaktmodelle und Kontrollbeschränkungen, aber die Spezifikation von Kontrollzielen und Sicherheitsbarrieren ist für den Praktiker ziemlich einfach und die Ergebnisse sind sehr greifbar, da man sieht, wie sich der Roboter reibungslos bewegt, auf Kontakt reagiert und niemals unsichere Situationen verursacht.“

„Im Vergleich zu herkömmlichen kinematischen CBFs – bei denen vorwärtsinvariante sichere Mengen schwer zu spezifizieren sind – vereinfacht das HOCBF-Framework das Barrierendesign und seine Optimierungsformulierung berücksichtigt die Systemdynamik (z. B. Trägheit) und stellt sicher, dass der Delicate-Roboter früh genug anhält, um unsichere Kontaktkräfte zu vermeiden“, sagt Wei Xiao, Assistenzprofessor am Worcester Polytechnic Institute und ehemalige CSAIL-Postdoktorandin.

„Seitdem es weiche Roboter gibt, hat das Fachgebiet ihre verkörperte Intelligenz und größere inhärente Sicherheit im Vergleich zu starren Robotern hervorgehoben, dank passiver Materials- und Strukturnachgiebigkeit. Doch ihre „kognitive“ Intelligenz – insbesondere Sicherheitssysteme – hinkt der von starren Manipulatoren mit serieller Verbindung hinterher“, sagt Co-Hauptautor Maximilian Stölzle, Forschungspraktikant bei Disney Analysis und ehemaliger Doktorand der Technischen Universität Delft sowie Gastforscher am MIT LIDS und CSAIL. „Diese Arbeit trägt dazu bei, diese Lücke zu schließen, indem bewährte Algorithmen an Delicate-Roboter angepasst und auf sicheren Kontakt und Delicate-Kontinuumsdynamik zugeschnitten werden.“

Das LIDS- und CSAIL-Group testete das System in einer Reihe von Experimenten, die die Sicherheit und Anpassungsfähigkeit des Roboters auf die Probe stellen sollten. In einem Take a look at drückte der Arm sanft gegen eine nachgiebige Oberfläche und behielt dabei eine präzise Kraft bei, ohne zu weit zu schießen. In einem anderen Fall zeichnete es die Konturen eines gekrümmten Objekts nach und passte seinen Griff an, um ein Abrutschen zu verhindern. In einer weiteren Demonstration manipulierte der Roboter zusammen mit einem menschlichen Bediener zerbrechliche Gegenstände und reagierte dabei in Echtzeit auf unerwartete Stöße oder Bewegungen. „Diese Experimente zeigen, dass unser Framework in der Lage ist, auf verschiedene Aufgaben und Ziele zu verallgemeinern, und dass der Roboter komplexe Szenarien erkennen, sich anpassen und handeln kann und dabei stets klar definierte Sicherheitsgrenzen einhält“, sagt Zardini.

An Orten, an denen viel auf dem Spiel steht, könnten Delicate-Roboter mit kontaktempfindlicher Sicherheit natürlich einen echten Mehrwert darstellen. Im Gesundheitswesen könnten sie bei Operationen hilfreich sein, indem sie präzise Manipulationen ermöglichen und gleichzeitig das Risiko für Patienten verringern. In der Industrie können sie ohne ständige Aufsicht mit zerbrechlichen Gütern umgehen. In häuslichen Umgebungen könnten Roboter bei Hausarbeiten oder Pflegeaufgaben helfen und sicher mit Kindern oder älteren Menschen interagieren – ein wichtiger Schritt, um weiche Roboter zu zuverlässigen Partnern in realen Umgebungen zu machen.

„Weiche Roboter haben ein unglaubliches Potenzial“, sagt Co-Hauptautorin Daniela Rus, Direktorin von CSAIL und Professorin am Fachbereich Elektrotechnik und Informatik. „Aber die Gewährleistung der Sicherheit und die Codierung von Bewegungsaufgaben über relativ einfache Ziele conflict schon immer eine zentrale Herausforderung. Wir wollten ein System schaffen, bei dem der Roboter flexibel und reaktionsfähig bleiben kann und gleichzeitig mathematisch garantiert, dass er sichere Kraftgrenzen nicht überschreitet.“

Kombination von Delicate-Roboter-Modellen, differenzierbarer Simulation und Kontrolltheorie

Der Kontrollstrategie liegt eine differenzierbare Implementierung des sogenannten Piecewise Cosserat-Phase (PCS)-Dynamikmodells zugrunde, das vorhersagt, wie sich ein weicher Roboter verformt und wo sich Kräfte ansammeln. Mithilfe dieses Modells kann das System vorhersehen, wie der Körper des Roboters auf Betätigung und komplexe Interaktionen mit der Umgebung reagieren wird. „Der Aspekt, der mir an dieser Arbeit am besten gefällt, ist die Mischung aus der Integration neuer und alter Werkzeuge aus verschiedenen Bereichen wie fortschrittlichen Delicate-Roboter-Modellen, differenzierbarer Simulation, Lyapunov-Theorie, konvexer Optimierung und auf der Verletzungsschwere basierenden Sicherheitsbeschränkungen. All dies ist intestine in einen Echtzeit-Controller integriert, der vollständig auf Grundprinzipien basiert“, sagt Co-Autor Cosimo Della Santina, außerordentlicher Professor an der Technischen Universität Delft.

Ergänzt wird dies durch das Differentiable Conservative Separating Axis Theorem (DCSAT), das Abstände zwischen dem Delicate-Roboter und Hindernissen in der Umgebung schätzt, die mit einer Kette konvexer Polygone auf differenzierbare Weise angenähert werden können. „Frühere differenzierbare Abstandsmetriken für konvexe Polygone konnten entweder die Eindringtiefe nicht berechnen – wichtig für die Abschätzung der Kontaktkräfte – oder lieferten nicht konservative Schätzungen, die die Sicherheit beeinträchtigen könnten“, sagt Wong. „Stattdessen liefert die DCSAT-Metrik streng konservative und daher sichere Schätzungen und ermöglicht gleichzeitig eine schnelle und differenzierbare Berechnung.“ Zusammen geben PCS und DCSAT dem Roboter ein prädiktives Gespür für seine Umgebung für proaktivere und sicherere Interaktionen.

Mit Blick auf die Zukunft plant das Group, seine Methoden auf dreidimensionale Delicate-Roboter auszuweiten und die Integration mit lernbasierten Strategien zu untersuchen. Durch die Kombination von kontaktbewusster Sicherheit mit adaptivem Lernen könnten Softroboter mit noch komplexeren, unvorhersehbareren Umgebungen umgehen.

„Das macht unsere Arbeit spannend“, sagt Rus. „Man kann sehen, dass sich der Roboter menschenähnlich und vorsichtig verhält, aber hinter dieser Anmut verbirgt sich ein strenger Kontrollrahmen, der sicherstellt, dass er niemals seine Grenzen überschreitet.“

„Aufgrund der Nachgiebigkeit und der energieabsorbierenden Eigenschaften ihres Körpers ist die Interaktion mit weichen Robotern im Allgemeinen sicherer als mit starren Robotern“, sagt Daniel Bruder, Assistenzprofessor an der College of Michigan, der nicht an der Forschung beteiligt conflict. „Da weiche Roboter jedoch schneller, stärker und leistungsfähiger werden, reicht dies möglicherweise nicht mehr aus, um die Sicherheit zu gewährleisten. Diese Arbeit stellt einen entscheidenden Schritt dar, um sicherzustellen, dass weiche Roboter sicher arbeiten können, indem sie eine Methode zur Begrenzung der Kontaktkräfte über ihren gesamten Körper bietet.“

Die Arbeit des Groups wurde teilweise durch Stipendien des Hong Kong Jockey Membership, das Horizon Europe-Programm der Europäischen Union, den Cultuurfonds Wetenschapsbeurzen sowie den Rudge (1948) und Nancy Allen Chair unterstützt. Ihre Arbeit wurde Anfang dieses Monats im Institute of Electrical and Electronics Engineers veröffentlicht. Robotik- und Automatisierungsbriefe.

Künstliche Intelligenz kann die Entscheidungsfindung verbessern und Maßnahmen mit geringerem Risiko und größerer Präzision ermöglichen, was sie zu einem entscheidenden Instrument für die nationale Sicherheit macht. Ein neues Programm, das gemeinsam von den MIT-Abteilungen für Maschinenbau (Kurs 2, MechE) und Elektrotechnik und Informatik (Kurs 6, EECS) angeboten wird, bietet Marineoffizieren umfassende und vertiefte technische Studiengänge und bietet Nicht-Marineoffizieren, die am MIT studieren, einen Weg, ihr Verständnis für angewandte KI für Marine- und Militäranwendungen zu erweitern.

„Das Potenzial der künstlichen Intelligenz wird gerade erst vollständig ausgeschöpft. Es handelt sich um ein Werkzeug, das Geschwindigkeit, Effizienz und Entscheidungsfindung in unzähligen Anwendungen dramatisch verbessert“, sagt Commander Christopher MacLean, außerordentlicher Professor am MIT für Maschinenbau, Schiffsbau und Ingenieurwesen. „KI ist ein Kraftmultiplikator, der für Datenverarbeitung, Entscheidungsunterstützung, unbemannte und autonome Systeme, Cyberverteidigung, Logistik und Lieferketten, Energiemanagement und viele andere Bereiche eingesetzt werden kann.“

Das Programm mit dem Namen „2N6: Programm für angewandte künstliche Intelligenz für Marineoffiziere„ umfasst einen zweijährigen Grasp of Science in Maschinenbau mit einem begleitenden KI-Zertifikat, verliehen vom MIT Schwarzman School of Computing.

„Die Offiziere, die an diesem Programm teilnehmen, lernen von Experten aus aller Welt, führen relevante Spitzenforschung durch und verlassen das Programm bestmöglich auf ihre Rolle als Führungskräfte im gesamten US-Marineunternehmen“, sagt MacLean.

Der 2N6-Lehrplan ist anwendungsorientiert und der Inhalt ist so aufgebaut, dass er den Subspezialitätscode der US Navy für angewandte künstliche Intelligenz erfüllt. Die Studierenden lernen grundlegende KI-Konzepte sowie Anwendungen zu speziellen Themen kennen, wie z. B. Entscheidungsfindung für Rechenübungen; KI für Fertigung und Design, mit besonderem Schwerpunkt auf Marineanwendungen; und KI für die maritime Autonomie von Oberflächen- und Unterwasserfahrzeugen.

„Der zunehmende Einfluss künstlicher Intelligenz definiert unseren Ansatz zur Problemlösung neu. KI birgt das Potenzial, einige der drängendsten Probleme in nahezu allen Bereichen anzugehen“, sagt Dan Huttenlocher, Dekan des MIT Schwarzman School of Computing und Henry Ellis Warren Professor für Elektrotechnik und Informatik. „Ich fühle mich geehrt, dass das School zu einem so wichtigen Programm beitragen und es unterstützen kann, das die Marineoffiziere unseres Landes mit dem technischen Fachwissen ausstattet, das sie für missionsrelevante Herausforderungen benötigen.“

Das MIT ist seit über einem Jahrhundert ein führendes Zentrum für Schiffsforschung und -design. Die Arbeit am Institut stellt heute bedeutende Fortschritte in den Bereichen Strömungsmechanik und Hydrodynamik, Akustik, Offshore-Mechanik, Meeresrobotik und -sensoren sowie Meeressensorik und -vorhersage dar. Der 2N-Programm wird 2026 sein 125-jähriges Bestehen am MIT feiern.

„Bei MechE setzen wir auf den Einsatz von KI, um neue Grenzen in Forschung und Bildung zu erkunden, mit fundierten Kenntnissen in den Grundlagen, dem Design und der Skalierung physikalischer Systeme“, sagt John Hart, Professor der Klasse von 1922 und Leiter von MechE. „Mit dem 2N6-Programm sind wir stolz darauf, an der Spitze einer so wichtigen Aufgabe bei der Ausbildung der nächsten Technology von Führungskräften für die Marine zu stehen.“

„Durchbrüche in der künstlichen Intelligenz verändern die Gesellschaft und fördern die menschliche Entscheidungsfindung und Kreativität“, sagt Asu Ozdaglar, stellvertretender Dekan des MIT Schwarzman School of Computing, Leiter des EECS und MathWorks-Professor. „Wir freuen uns, gemeinsam mit dem Division of Mechanical Engineering diese wichtige Zusammenarbeit mit der US Navy zu starten. Das Programm wird nicht nur die Spitze der KI-Fortschritte erforschen, sondern auch deren effektive Anwendung im Marineeinsatz.“

2N6 entstand nach einem Besuch des Campus von Admiral Samuel Paparo, Kommandeur des US-Indopazifik-Kommandos, zusammen mit MIT-Provost Anantha Chandrakasan, der damaligen Dekanin für Technik und Chief Innovation and Technique Officer.

„(Admiral Paparo) erhielt einen Überblick über einige der neuesten Arbeiten und Forschungsarbeiten, die das MIT auf dem Gebiet der KI geleistet hat und noch durchführt (und wurde in das 2N-Programm eingeführt)“, sagt MacLean. „Der Admiral stellte die Verbindung her und stellte sich ein angewandtes KI-Programm ähnlich wie 2N vor.“

2N6 wird als Pilotprogramm mindestens zwei Jahre lang laufen. Die erste Kohorte des Programms wird nur aus Offizieren der US-Marine bestehen, eine breitere Ausweitung ist geplant.

„Wir freuen uns, mit diesem neuen Programm auf der langjährigen Beziehung zwischen dem MIT und der US-Marine aufzubauen“, sagt Themis Sapsis, William I. Koch-Professorin für Maschinenbau und Direktorin des Middle for Ocean Engineering am MIT. „Es ist speziell darauf ausgelegt, Marineoffiziere in den Grundlagen und Anwendungen der KI zu schulen, sie aber auch in Forschungsarbeiten einzubeziehen, die direkte Auswirkungen auf die Marine haben. Wir glauben, dass 2N6 ein neues Paradigma für eine fortgeschrittene KI-Ausbildung modellieren kann, die sich allgemeiner auf die Unterstützung der nationalen Sicherheit konzentriert.“

Das Rennen um das „beste KI-Modell“ geht weiter, denn Z.ai ist das jüngste Unternehmen, das mit einem neuen und weiterentwickelten Modell an den Begin geht. Z.ai nennt es GLM-4.6V und hat sich bei diesem Gerät auf visuelle Hinweise und Darstellung konzentriert. Und daher das „V“ am Ende seines Namens, das an das bestehende Flaggschiffmodell der Firma, den GLM-4.6, erinnert (Lesen Sie hier alles darüber).

Es handelt sich hier additionally natürlich nicht nur um ein weiteres Chat-Modell. Es sieht Bilder, versteht Diagramme, schreibt Code und argumentiert sogar wie ein echter Teamkollege, der tatsächlich aufmerksam ist. Und das Schöne daran: Für die Nutzung ist keine große Einrichtung erforderlich. GLM-4.6V ist bereits in den Z.ai-Chats verfügbar, wobei sogar eine leichtere Model für die lokale Bereitstellung und Anwendungen mit geringer Latenz verfügbar ist.

In diesem Weblog erfahren Sie, was der neue GLM-4.6V mit sich bringt und ob er so speziell ist, dass Sie ihn verwenden können oder nicht. Wir werden versuchen, diese Antworten anhand eines praktischen Assessments mit dem neuen Modell zu finden. Additionally, lasst uns gleich loslegen und den neuen GLM-4.6V von Z.ai hier erkunden.

Hauptmerkmale von Z.ai GLM-4.6V

Hier sind einige der wichtigsten Funktionen des neuen GLM-4.6v.

1. Versteht komplexe Dokumente (Wealthy-Textual content-Inhalt)

Geben Sie ihm ein PDF, eine Forschungsarbeit oder eine Seite voller Bilder, Tabellen und Formeln, und GLM-4.6V liest alles wie ein menschlicher Experte. Das bedeutet, dass es nicht durch gemischte Inhalte verwirrt wird und sogar neue Dokumente erstellen kann, die Textual content und Bilder perfekt kombinieren.

Zusamenfassend: Wenn Ihr Dokument zu chaotisch aussieht, kann dieses Modell es trotzdem klar lesen und eine sauberere Model für Sie schreiben.

2. Erstellt automatisch bildreiche Inhalte

Es kann Beiträge, Berichte und visuelle Beschreibungen erstellen, die sowohl Textual content als auch Bilder enthalten. Dafür wurde das Modell ausreichend trainiert, um automatisch zu erkennen, wo Bilder am besten passen. Dies eignet sich hervorragend für Advertising and marketing, Tutorials oder soziale Inhalte.

Zusamenfassend: Sie schreiben weniger > es wird besser formatiert > Ihre Ausgabe sieht bereit zur Veröffentlichung aus.

3. Durchsucht das Net anhand von Bildern

Zeigen Sie ihm ein Foto oder einen Screenshot, und er kann on-line nach relevanten Informationen suchen. Dies hilft dabei, die richtigen Produktlinks, Konkurrenten, Markendetails oder weitere Bilder zu finden. Es kombiniert das, was es sieht, mit dem, was es weiß.

Zusamenfassend: Machen Sie einen Screenshot > fragen Sie etwas > und es findet echte Antworten aus dem Web.

4. Wandelt UI-Screenshots in funktionierenden Code um

Laden Sie einen Screenshot einer Webseite oder mobilen Benutzeroberfläche hoch, und GLM-4.6V kann dafür sauberes HTML/CSS/JS generieren. Sie können Teile einzeln hervorheben und das Modell anweisen, sie zu ändern, und der Code wird sofort aktualisiert.

Zusamenfassend: Design > Screenshot > Code. Es sind keinerlei Entrance-Finish-Kenntnisse erforderlich.

5. Merkt sich lange Eingaben (128K-Token-Kontext)

Sie können riesige PDFs, mehrseitige Folien und lange Forschungsnotizen auf einmal an den GLM-4.6V übertragen. Es behält den Überblick über das gesamte Dokument, merkt sich Referenzen und unterstützt eine tiefgreifende Argumentation. Um Ihnen einen Hinweis zu geben, gibt Z.ai in seinem an Weblog dass der GLM-4.6V „~150 Seiten komplexer Dokumente, 200 Folienseiten oder ein einstündiges Video in einem einzigen Inferenzdurchgang“ genau verarbeiten kann.

Zusamenfassend: Anstatt Dateien in Teile aufzuteilen, laden Sie sie einfach einmal hoch und stellen Sie Fragen zu jedem Teil.

6. schneidet bei Customary-Benchmarks wirklich intestine ab

GLM-4.6V wird für viele Aufgaben wie visuelles Verständnis, logisches Denken und das Lesen langer Dokumente getestet. Aus den von Z.ai geteilten Daten geht hervor, dass die Leistung des GLM 4.6V zu den besten offenen Modellen gehört.

Das bringt uns zu unserem nächsten Abschnitt – wie intestine ist der neue GLM-4.6V bei Benchmarks?

GLM-4.6V Benchmark-Leistung

Die folgende Tabelle zeigt die Ergebnisse des GLM-4.6V in einer Vielzahl von Benchmarks. Dazu gehören visuelles Denken, OCR, Agentenaufgaben und das Verständnis langer Kontexte.

In quick jeder Hauptkategorie schneidet der GLM-4.6V besser ab oder bleibt sehr nahe daran Die besten verfügbaren Modelle heute, insbesondere wenn es darum geht, über Bilder nachzudenken, UI-Designs in Code umzuwandeln und Dokumente mit gemischten Inhalten zu lesen. Auch die kleinere Flash-Model bietet beeindruckende Genauigkeit bei geringem Gewicht, was sie zu einer praktischen Wahl für schnellere und kostengünstigere Bereitstellungen macht.

Kurz gesagt: GLM-4.6V bietet große Genauigkeit, überzeugendes Denken und zuverlässige Leistung selbst bei komplexen visuellen Aufgaben. Genau das, was Sie sich von einer multimodalen KI der nächsten Technology wünschen.

Lassen Sie uns dies nun in einem realen Szenario testen:

GLM-4.6V zum Anfassen

Wir haben den GLM-4.6V für drei Hauptaufgaben getestet – Inhaltserstellung, Deep-Net-Suche und Codierung, basierend auf den Stärken des Modells, wie von Z.ai definiert. Schauen Sie sich den Check und seine Ergebnisse an:

1. Multimodale Inhaltsgenerierung

Immediate: Sehen Sie sich dieses PDF zu den Elevate-Plänen von Uber für eVTOLs an. Verfassen Sie einen Artikel mit 500 Wörtern, in dem Sie das gesamte Konzept erläutern, alles, was zur Umsetzung empfohlen wird, welche Vorteile es bringt und welche Einschränkungen es gegebenenfalls gibt. Ergänzen Sie den Artikel mit 1 oder 2 Diagrammen, die das Konzept erläutern, und einer visuellen Darstellung aller Städte, die für den zukünftigen Check markiert sind

Ausgabe:

Unsere Meinung:

Das Modell struggle in der Lage, die richtigen Informationen aus dem umfangreichen PDF zu extrahieren und darauf basierend einen präzisen Artikel zu verfassen, genau wie angewiesen. Eine leichte Abweichung, die mir auffiel, struggle das erstellte eVTOL-Diagramm, das keinem der von Uber in seinem Whitepaper geteilten Designs entsprach. Der Relaxation der Ausgabe struggle recht intestine.

2. Deep Net Search

Immediate: Können Sie die Sitcom identifizieren, auf der dieses Meme basiert?

Ausgabe:

Unsere Meinung:

GLM-4.6V verwechselte das Meme mit einer völlig anderen Present. Das Meme ist eine berühmte Anspielung auf die Sitcom „Not the 9 O’clock Information“ und nicht auf „Solely Fools and Horses“, wie hier erwähnt. Ich glaube, anstatt tatsächlich nach dem Bild zu suchen, hat es den Kontext einer Unterhaltung zwischen einem Mann und einem Gorilla verstanden und in anderen Reveals nach Beispielen dafür gesucht, was zu diesem Ergebnis geführt hat.

3. Codierung

Immediate: Erstellen Sie basierend auf diesem Thema eine Reise-Web site, die Pakete für Touristenorte in Indien anstelle der hier gezeigten iPhone-Modelle anzeigt. Verwenden Sie echte Bilder aus dem Web anstelle von Platzhaltern. Ändern Sie die Hintergrundfarbe in Hellblau. Behalten Sie im Menü nur 3 Optionen bei – Flüge, Züge, Inns

Ausgabe:

Unsere Meinung:

Die Web site sieht recht intestine aus und ähnelt stark der Apple-Web site, die wir als Referenz bereitgestellt haben. Dem Modell gelang es auch, Karten für Touristenziele zu entwerfen, wobei jedem Bild ein präziser Textual content folgte. Das Einzige, was es vermisste, waren die drei Menüoptionen, die ich in der Eingabeaufforderung ausdrücklich erwähnt hatte. Additionally vielleicht nicht ganz korrekt, aber nah dran.

Abschluss

Basierend auf den Stärken des neuen GLM-4.6V und unseren praktischen Assessments kann man mit Sicherheit sagen, dass es sich um ein recht leistungsstarkes KI-Modell von Z.ai handelt. Es ist in der Lage, Eingabeaufforderungen intestine zu entschlüsseln und qualitativ hochwertig zu produzieren multimodale Ausgänge für verschiedene Aufgaben, einschließlich, aber nicht beschränkt auf die Generierung multimodaler Inhalte, die Websuche und sogar die Codierung von Webschnittstellen.

Allerdings möchten Sie möglicherweise die geringfügigen Abweichungen von den Eingabeaufforderungen in jedem Anwendungsfall bemerken. Das sagt mir, dass es dem Modell bei manchen Aufgaben, die auf ihn zukommen, möglicherweise an Genauigkeit mangelt. Wenn Sie additionally eine hochpräzise Aufgabe vor sich haben, möchten Sie vielleicht auf andere KI-Modelle zurückgreifen. Für alles andere scheint es einen tollen Job zu machen.

Warum schneiden aktuelle Audio-KI-Modelle oft schlechter ab, wenn sie längere Überlegungen generieren, anstatt ihre Entscheidungen auf den tatsächlichen Klang zu stützen? Das Forschungsteam von StepFun veröffentlicht Step-Audio-R1, ein neues Audio-LLM, das für die Berechnungsskalierung in Testzeiten entwickelt wurde und diesen Fehlermodus behebt, indem es zeigt, dass der Genauigkeitsabfall mit der Gedankenkette keine Audiobeschränkung, sondern ein Trainings- und Modalitätserdungsproblem ist.

Das Kernproblem, die Begründung von Audiomodellen gegenüber Textsurrogaten

Die meisten aktuellen Audiomodelle erben ihr Argumentationsverhalten aus dem Texttraining. Sie lernen zu argumentieren, als würden sie Transkripte lesen, und nicht als würden sie zuhören. Das StepFun-Workforce nennt dies Textual Surrogate Reasoning. Das Modell verwendet imaginäre Wörter und Beschreibungen anstelle von akustischen Hinweisen wie Tonhöhenkontur, Rhythmus, Klangfarbe oder Hintergrundgeräuschmustern.

Dieses Missverhältnis erklärt, warum eine längere Gedankenkette oft die Audioleistung beeinträchtigt. Das Modell gibt mehr Token aus, um falsche oder modalitätsirrelevante Annahmen auszuarbeiten. Step-Audio-R1 greift hier an, indem es das Modell zwingt, Antworten anhand akustischer Beweise zu begründen. Die Trainingspipeline ist rund um die Modality Grounded Reasoning Distillation (MGRD) organisiert, die Argumentationsspuren auswählt und destilliert, die explizit auf Audiofunktionen verweisen.

Architektur

Die Architektur bleibt nah an den bisherigen Step-Audio-Systemen:

• Ein Qwen2-basierter Audio-Encoder verarbeitet Rohwellenformen mit 25 Hz.
• Ein Audioadapter sampelt die Encoder-Ausgabe um den Faktor 2 auf 12,5 Hz herunter und richtet Frames am Sprach-Token-Stream aus.
• Ein Qwen2.5 32B-Decoder nutzt die Audiofunktionen und generiert Textual content.

Der Decoder erzeugt im Inneren immer einen expliziten Argumentationsblock <assume> Und </assume> Tags, gefolgt von der endgültigen Antwort. Durch diese Trennung können Trainingsziele die Struktur und den Inhalt des Denkens beeinflussen, ohne den Fokus auf die Genauigkeit der Aufgabe zu verlieren. Das Modell wird als 33B-Parameter-Audio-Textual content-zu-Textual content-Modell veröffentlicht Hugging Face unter Apache 2.0.

Trainingspipeline, vom Kaltstart bis zum Audio Grounded RL

Die Pipeline verfügt über eine überwachte Kaltstartphase und eine Verstärkungslernphase, die sowohl Textual content- als auch Audioaufgaben mischen.

Kaltstart verwendet etwa 5 Millionen Beispiele und deckt 1 Milliarde Token aus reinen Textdaten und 4 Milliarden Token aus gepaarten Audiodaten ab. Zu den Audioaufgaben gehören automatische Spracherkennung, paralinguistisches Verstehen und Dialoge im Stil von Audiofragen und Antworten. Ein Bruchteil der Audiodaten enthält eine Audiokette von Gedankenspuren, die von einem früheren Modell generiert wurden. Textdaten umfassen Multi-Flip-Dialoge, die Beantwortung von Wissensfragen, Mathematik und Code-Argumentation. Alle Beispiele haben ein gemeinsames Format, in das die Argumentation eingebettet ist <assume> Tags, auch wenn der Argumentationsblock zunächst leer ist.

Überwachtes Lernen trainiert Step-Audio-R1, diesem Format zu folgen und nützliche Argumente für Audio und Textual content zu generieren. Dies ergibt eine Grundkette des Denkverhaltens, ist jedoch immer noch auf textbasiertes Denken ausgerichtet.

Modalitätsbasierte Argumentationsdestillation MGRD

MGRD wird in mehreren Iterationen angewendet. Für jede Runde stellt das Forschungsteam Audiofragen, bei denen die Bezeichnung von tatsächlichen akustischen Eigenschaften abhängt. Zum Beispiel Fragen zur Sprecheremotion, zum Hintergrundgeschehen in Klangszenen oder zur musikalischen Struktur. Das aktuelle Modell erzeugt mehrere Argumentations- und Antwortkandidaten professional Frage. Ein Filter behält nur Ketten, die drei Einschränkungen erfüllen:

1. Sie beziehen sich auf akustische Hinweise, nicht nur auf Textbeschreibungen oder imaginäre Transkripte.
2. Sie sind als kurze Schritt-für-Schritt-Erklärungen logisch schlüssig.
3. Ihre endgültigen Antworten sind gemäß Labels oder programmatischen Prüfungen korrekt.

Diese akzeptierten Spuren bilden einen destillierten Audio-Gedankenketten-Datensatz. Das Modell wird anhand dieses Datensatzes zusammen mit den ursprünglichen Textbegründungsdaten feinabgestimmt. Darauf folgt Reinforcement Studying with Verified Rewards, RLVR. Bei Textfragen basieren die Belohnungen auf der Richtigkeit der Antwort. Bei Audiofragen mischt der Belohnungsmix die Antwortkorrektheit und das Argumentationsformat mit einer typischen Gewichtung von 0,8 für Genauigkeit und 0,2 für Argumentation. Das Coaching verwendet PPO mit etwa 16 erfassten Antworten professional Eingabeaufforderung und unterstützt Sequenzen mit bis zu etwa 10.240 Token, um eine lange Beratung zu ermöglichen.

Benchmarks, die die Lücke zum Gemini 3 Professional schließen

Bei einer kombinierten Sprache-zu-Textual content-Benchmark-Suite, die Massive Bench Audio, Spoken MQA, MMSU, MMAU und Wild Speech umfasst, erreicht Step-Audio-R1 eine durchschnittliche Punktzahl von etwa 83,6 Prozent. Gemini 2.5 Professional meldet etwa 81,5 Prozent und Gemini 3 Professional erreicht etwa 85,1 Prozent. Allein auf Massive Bench Audio erreicht Step-Audio-R1 etwa 98,7 Prozent und ist damit höher als bei beiden Gemini-Versionen.

Für das Rede-to-Speech-Argumentation nutzt die Step-Audio-R1-Echtzeitvariante die Streaming-Stile „Hören beim Denken“ und „Denken beim Sprechen“. Beim Speech-to-Speech von Massive Bench Audio wird eine Argumentationsgenauigkeit von etwa 96,1 Prozent erreicht, wobei die Latenz des ersten Pakets etwa 0,92 Sekunden beträgt. Dieser Wert übertrifft GPT-basierte Echtzeit-Basiswerte und native Audiodialoge im Gemini 2.5 Flash-Stil, während die Interaktion weniger als eine Sekunde beträgt.

Ablationen, worauf es beim Audio-Argument ankommt

Der Ablationsabschnitt bietet mehrere Designsignale für Ingenieure:

• Eine Belohnung im Argumentationsformat ist erforderlich. Ohne diese Möglichkeit verkürzt oder entfernt Verstärkungslernen tendenziell die Gedankenkette, was zu niedrigeren Audio-Benchmark-Ergebnissen führt.
• RL-Daten sollten auf Probleme mit mittlerem Schwierigkeitsgrad abzielen. Die Auswahl von Fragen, bei denen „Go“ bei 8 in einem mittleren Bereich liegt, führt zu stabileren Belohnungen und sorgt für eine lange Argumentation.
• Das Skalieren von RL-Audiodaten ohne eine solche Auswahl hilft nicht. Die Qualität der Eingabeaufforderungen und Beschriftungen ist wichtiger als die bloße Größe.

Die Forscher beschreiben außerdem eine Selbsterkennungs-Korrekturpipeline, die die Häufigkeit von Antworten wie „Ich kann nur Textual content lesen und keinen Ton hören“ in einem Modell reduziert, das auf die Verarbeitung von Geräuschen trainiert ist. Hierbei wird die direkte Präferenzoptimierung für kuratierte Präferenzpaare verwendet, bei denen das korrekte Verhalten darin besteht, Audioeingaben zu bestätigen und zu verwenden.

Wichtige Erkenntnisse

1. Step-Audio-R1 ist eines der ersten Audio-Sprachmodelle, das eine längere Gedankenkette in einen konsistenten Genauigkeitsgewinn für Audioaufgaben umwandelt und so den bei früheren Audio-LLMs aufgetretenen Fehler bei der invertierten Skalierung behebt.
2. Das Modell zielt explizit auf Textual Surrogate Reasoning ab, indem es die Modality Grounded Reasoning Destillation verwendet, die nur diejenigen Argumentationsspuren filtert und destilliert, die auf akustischen Hinweisen wie Tonhöhe, Klangfarbe und Rhythmus statt auf imaginären Transkripten beruhen.
3. Architektonisch kombiniert Step-Audio-R1 einen Qwen2-basierten Audio-Encoder mit einem Adapter und einem Qwen2.5 32B-Decoder, der immer generiert <assume> Argumentationssegmente vor den Antworten und wird als 33B-Audio-Textual content-zu-Textual content-Modell unter Apache 2.0 veröffentlicht.
4. Bei umfassenden Audio-Verständnis- und Argumentations-Benchmarks, die Sprache, Umgebungsgeräusche und Musik abdecken, übertrifft Step-Audio-R1 Gemini 2.5 Professional und erreicht eine Leistung, die mit Gemini 3 Professional vergleichbar ist, und unterstützt gleichzeitig eine Echtzeitvariante für Sprache-zu-Sprache-Interaktion mit geringer Latenz.
5. Das Trainingsrezept kombiniert groß angelegte überwachte Gedankenketten, modalitätsbasierte Destillation und Reinforcement Studying mit verifizierten Belohnungen und bietet einen konkreten und reproduzierbaren Entwurf für die Erstellung zukünftiger Audio-Argumentationsmodelle, die tatsächlich von der Skalierung der Testzeitberechnung profitieren.

Redaktionelle Anmerkungen

Step-Audio-R1 ist eine wichtige Veröffentlichung, da es die Gedankenkette von einer Belastung in ein nützliches Werkzeug für das Audio-Argumentieren umwandelt, indem es sich direkt mit textuellem Ersatzdenken mit Modality Grounded Reasoning Destillation und Reinforcement Studying mit verifizierten Belohnungen befasst. Es zeigt, dass die Skalierung der Testzeitberechnung Audiomodellen zugute kommen kann, wenn die Argumentation in akustischen Merkmalen verankert ist und Benchmark-Ergebnisse liefert, die mit Gemini 3 Professional vergleichbar sind, während sie gleichzeitig offen und für Ingenieure praktisch nutzbar bleiben. Insgesamt verwandelt diese Forschungsarbeit die erweiterte Überlegung in Audio-LLMs von einem konsistenten Fehlermodus in ein kontrollierbares und reproduzierbares Entwurfsmuster.

Schauen Sie sich das an Papier, Repo, Projektseite Und Modellgewichte. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Asif Razzaq ist CEO von Marktechpost Media Inc.. Als visionärer Unternehmer und Ingenieur setzt sich Asif dafür ein, das Potenzial der künstlichen Intelligenz für das soziale Wohl zu nutzen. Sein jüngstes Unterfangen ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch eine ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die sowohl technisch fundiert als auch für ein breites Publikum leicht verständlich ist. Die Plattform verfügt über mehr als 2 Millionen monatliche Aufrufe, was ihre Beliebtheit beim Publikum verdeutlicht.

Folgen Sie MARKTECHPOST: Fügen Sie uns als bevorzugte Quelle bei Google hinzu.

Apple-Forscher veröffentlichte eine Studie Im Element geht es darum, wie große Sprachmodelle (LLMs) Audio- und Bewegungsdaten interpretieren können, um Benutzeraktivitäten zu identifizieren, wobei der Schwerpunkt auf der späten multimodalen Sensorfusion zur Aktivitätserkennung liegt.

Der Artikel mit dem Titel „Utilizing LLMs for Late Multimodal Sensor Fusion for Exercise Recognition“ von Ilker Demirel, Karan Ketankumar Thakkar, Benjamin Elizalde, Miquel Espi Marques, Shirley Ren und Jaya Narain wurde beim Workshop „Studying from Time Sequence for Well being“ auf der NeurIPS 2025 angenommen. Diese Forschung untersucht die Integration der LLM-Analyse mit traditionellen Sensordaten, um die Aktivitätsklassifizierung zu verbessern.

Die Forscher stellen fest: „Sensordatenströme liefern wertvolle Informationen über Aktivitäten und Kontext für nachgelagerte Anwendungen, obwohl die Integration ergänzender Informationen eine Herausforderung sein kann. Wir zeigen, dass große Sprachmodelle (LLMs) für die späte Fusion zur Aktivitätsklassifizierung aus Audio- und Bewegungszeitreihendaten verwendet werden können.“ Sie kuratierten einen Teilsatz von Daten zur Erkennung verschiedener Aktivitäten aus dem Ego4D-Datensatz, der Haushaltsaktivitäten und Sport umfasste.

Bewertete LLMs erreichten 12-Klassen-F1-Scores mit Null- und One-Shot-Klassifizierung, die deutlich über der Wahrscheinlichkeit lagen, ohne aufgabenspezifisches Coaching. Die Zero-Shot-Klassifizierung durch LLM-basierte Fusion aus modalitätsspezifischen Modellen ermöglicht multimodale zeitliche Anwendungen mit begrenzten ausgerichteten Trainingsdaten für einen gemeinsamen Einbettungsraum. Die LLM-basierte Fusion ermöglicht die Modellbereitstellung, ohne dass zusätzlicher Speicher und zusätzliche Berechnungen für gezielte anwendungsspezifische multimodale Modelle erforderlich sind.

Die Studie unterstreicht die Fähigkeit von LLMs, Benutzeraktivitäten aus grundlegenden Audio- und Bewegungssignalen abzuleiten, und zeigt anhand eines einzigen Beispiels eine verbesserte Genauigkeit. Entscheidend ist, dass dem LLM kein direkter Rohton zugeführt wurde. Stattdessen erhielt es kurze Textbeschreibungen, die von Audiomodellen und einem IMU-basierten Bewegungsmodell generiert wurden, das Bewegungen über Beschleunigungsmesser- und Gyroskopdaten verfolgt.

Für die Studie nutzten die Forscher Ego4D, einen Datensatz mit Tausenden Stunden an Medien aus der Ich-Perspektive. Sie kuratierten einen Datensatz der täglichen Aktivitäten von Ego4D, indem sie nach narrativen Beschreibungen suchten. Der kuratierte Datensatz umfasst 20-Sekunden-Beispiele aus zwölf hochrangigen Aktivitäten:

Diese Aktivitäten wurden ausgewählt, um Haushalts- und Fitnessaufgaben abzudecken, und basierten auf ihrer Prävalenz im größeren Ego4D-Datensatz. Audio- und Bewegungsdaten wurden durch kleinere Modelle verarbeitet, um Textbeschriftungen und Klassenvorhersagen zu generieren. Diese Ergebnisse wurden dann in verschiedene LLMs eingespeist, insbesondere in Gemini-2.5-pro und Qwen-32B, um die Genauigkeit der Aktivitätsidentifizierung zu bewerten.

Apple verglich die Modellleistung in zwei Szenarien: einem geschlossenen Take a look at, bei dem die Modelle aus den 12 vordefinierten Aktivitäten wählten, und einem offenen Take a look at ohne bereitgestellte Optionen. Für jeden Take a look at wurden verschiedene Kombinationen aus Audiountertiteln, Audiolabels, IMU-Aktivitätsvorhersagedaten und zusätzlichem Kontext verwendet.

Die Forscher stellten fest, dass die Ergebnisse Einblicke in die Kombination mehrerer Modelle für Aktivitäts- und Gesundheitsdaten bieten. Dieser Ansatz ist insbesondere dann von Vorteil, wenn die Rohdaten der Sensoren allein nicht ausreichen, um ein klares Bild der Benutzeraktivität zu liefern. Apple veröffentlichte außerdem ergänzende Materialien, darunter Ego4D-Section-IDs, Zeitstempel, Eingabeaufforderungen und One-Shot-Beispiele, um die Reproduzierbarkeit für andere Forscher zu erleichtern.

Hervorgehobener Bildnachweis