verkörperte – chatgpz.de – KI-Tools & Praxiswissen http://chatgpz.de Unabhängige Tests, Anleitungen und Hintergründe zu KI-Tools. Thu, 04 Jun 2026 06:21:54 +0000 de-DE hourly 1 https://wordpress.org/?v=6.4.2 234900186 Strategie für Robotertrainingsdaten: Teleoperation vs. Simulation vs. menschliches Video für verkörperte KI http://chatgpz.de/artificial-intelligence/strategie-fuer-robotertrainingsdaten-teleoperation-vs-simulation-vs-menschliches-video-fuer-verkoerperte-ki/ http://chatgpz.de/artificial-intelligence/strategie-fuer-robotertrainingsdaten-teleoperation-vs-simulation-vs-menschliches-video-fuer-verkoerperte-ki/#respond Thu, 04 Jun 2026 06:21:54 +0000 http://chatgpz.de/artificial-intelligence/strategie-fuer-robotertrainingsdaten-teleoperation-vs-simulation-vs-menschliches-video-fuer-verkoerperte-ki/ [ad_1]

Die Entwicklung einer Roboterrichtlinie, die in der realen Welt funktioniert, ist kein Computerproblem mehr – es ist ein Datenproblem. Verkörperte KI-Groups haben drei Möglichkeiten, ihre Modelle anzutreiben: Teleoperation, Simulation und menschliches Video. Jedes hat eine andere Kostenkurve, ein anderes Wiedergabetreueprofil und eine andere Obergrenze dafür, was Ihr Roboter letztendlich lernen kann. Die Wahl der falschen Primärquelle kann sechs Monate und ein siebenstelliges Price range verschlingen, bevor Sie es herausfinden. In diesem Leitfaden wird jede Datenquelle für verkörperte KI aufgeschlüsselt, wo sie gewinnt, wo sie scheitert und wie sie zu einer Strategie für Robotertrainingsdaten in Produktionsqualität kombiniert werden kann.

Wichtige Erkenntnisse

  • Die Teleoperation liefert die Daten mit der höchsten Wiedergabetreue, weist jedoch bei 5–50 Episoden professional Bedienerstunde einen Engpass auf.
  • Die Simulation generiert kostengünstig Millionen von Episoden, führt jedoch zu einer Lücke zwischen Simulation und Realität, die bei kontaktreichen Aufgaben fehlschlägt.
  • Menschliche Movies lassen sich mühelos skalieren, weisen jedoch keine Bezeichnungen für Roboteraktionen auf und weisen eine Verkörperungslücke auf.
  • Aktuelle Untersuchungen zeigen, dass etwa 8 Simulationsbeispiele für domäneninterne Aufgaben den Wert eines teleoperierten Beispiels liefern.
  • Die meisten in der Produktion verkörperten KI-Pipelines kombinieren alle drei Quellen, anstatt eine auszuwählen.

Warum sind Daten der Flaschenhals in der verkörperten KI?

Daten sind der Engpass in der verkörperten KI, da es im Internetmaßstab keine aktionsgepaarten sensomotorischen Daten gibt. Ein Sprachmodell kann eine Billion Textual content-Tokens aus dem Internet aufnehmen. Eine Roboterrichtlinie benötigt synchronisierte Gelenkwinkel, Greifkräfte, Kamerabilder und Aufgabenkontext – alles aufgezeichnet während der physischen Manipulation. Nichts davon gibt es kostenlos.

Warum sind Daten der Flaschenhals in der verkörperten KI?

Der Skalenunterschied ist groß. Über 3,9 Millionen Industrieroboter sind weltweit im Einsatz (IFR World Robotics, 2024), doch der größte offene Robotermanipulationsdatensatz enthält etwa 1 Million Episoden (Open X-Embodiment, Padalkar et al., 2023). Die {Hardware} ist überall; die Daten sind es nicht. Jede neue Ausführungsform – einarmiger Manipulator, bimanueller Humanoid, cellular Foundation mit Arm – setzt die Datenanforderungen effektiv zurück, da auf einem Formfaktor trainierte Richtlinien selten sauber auf einen anderen übertragen werden.

Verkörperungslücke: Der Leistungsverlust, der auftritt, wenn eine auf die physische Konfiguration eines Roboters trainierte Richtlinie auf einem anderen Roboter bereitgestellt wird.

Aus diesem Grund denken Robotic-Studying-Groups heute an Datenstrategien und nicht nur an der Datenerfassung. Die richtige Mischung aus Teleoperation, Simulation und menschlichem Video bestimmt, was Ihr Modell kann, wie schnell es versendet wird und wie viel Sie für die Anreise ausgeben.

Was sind Teleoperationsdaten und wann setzen sie sich durch?

Teleoperationsdaten werden aufgezeichnet, wenn ein menschlicher Bediener einen Roboter in Echtzeit über einen Führungsarm, ein VR-Headset, ein Exoskelett oder eine am Handgelenk montierte Schnittstelle steuert, während das System jeden Gelenkwinkel, jeden Kraftmesswert und jedes Kamerabild synchron protokolliert.

Was sind Teleoperationsdaten und wann setzen sie sich durch?

Teleoperation: Menschliche Echtzeitsteuerung eines Roboters mit synchronisierten sensomotorischen Daten, die während der Manipulation aufgezeichnet werden.

Teleoperation gewinnt durch Treue. Da die Daten von einem erfahrenen Menschen generiert werden, der genau die Aufgabe am exakten Roboter ausführt, ist die Übereinstimmung zwischen Aktion und Zustand perfekt und die Verkörperungslücke beträgt Null. Nachahmungslernen, Verhaltensklonen und Feinabstimmung von Richtlinien profitieren alle von sauberen Teleop-Demonstrationen.

Die Kosten zeigen sich im Maßstab. Ein erfahrener Teleoperator produziert je nach Komplexität der Aufgabe 5–50 Episoden professional Stunde, wobei die Qualität mit zunehmender Ermüdung des Bedieners abnimmt. Ein Roboter, ein Bediener – das ist die Obergrenze, und deshalb haben sich offene Plattformen wie ALOHA, UMI und Exoskelett-basierte humanoide Bohrinseln (AgiBot, Fourier GR-1) alle auf Kostensenkung und Durchsatzsteigerung statt auf radikale Skalierung konzentriert.

Shaips Physische KI-Datendienste Betreiben Sie Teleoperationszellen neben multimodalen Erfassungsabläufen, sodass Robotikteams keine Operator-Pipelines von Grund auf aufbauen müssen.

Was sind Simulationsdaten und wo werden sie skaliert?

Simulationsdaten werden von Physik-Engines – MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet – generiert, die virtuelle Roboter rendern, die Aufgaben über Tausende von parallelen Instanzen ausführen. Ein einzelner GPU-Cluster kann über Nacht Millionen von Episoden zu Grenzkosten nahe Null produzieren.

Was sind Simulationsdaten und wo werden sie skaliert?

Simulation gewinnt in Bezug auf Maßstab und Sicherheit. Grenzfälle, Kollisionsfehler und gefährliche Konfigurationen können alle untersucht werden, ohne dass die {Hardware} beschädigt wird. Die Domänen-Randomisierung – zufällige Variation von Beleuchtung, Texturen, Reibung und Gelenksteifheit während des Trainings – führt zu Richtlinien, die reale Variationen überstehen, anstatt sich übermäßig an eine einzelne visuelle Konfiguration anzupassen.

Sim-zu-Actual-Lücke: Der Leistungsabfall, wenn eine in der Simulation trainierte Richtlinie auf physischer {Hardware} bereitgestellt wird, wird normalerweise durch Kontaktdynamik, Sensorrauschen und Unterschiede in der visuellen Wiedergabetreue verursacht.

Die Kosten werden bei der Bereitstellung angezeigt. Simulatoren modellieren nicht die Reibung eines feuchten Seifenstücks, das Nachgeben einer Schaumstoffverpackung oder die visuelle Variation von spiegelndem Metall unter Neonbeleuchtung. Bei kontaktreichen Aufgaben scheitert Sim-to-Actual am häufigsten. Eine im Jahr 2025 veröffentlichte Studie hat den Kompromiss quantifiziert: Ungefähr 8 Simulationsproben bieten den gleichen Nutzen wie eine teleoperierte Probe für domäneninterne Manipulationsaufgaben (Information Utilization Regulation for Robotic Manipulation, 2025).

Fotorealistische Rendering-Plattformen wie NVIDIA Cosmos und 3D Gaussian Splatting verringern die visuelle Lücke, aber die Dynamiklücke – Reibung, Verformung, Nachgiebigkeit – bleibt das schwierigere Downside.

Was sind menschliche Videodaten und was wird dadurch freigeschaltet?

Menschliche Videodaten sind Aufnahmen von Menschen, die Manipulationsaufgaben ausführen – Wäsche falten, Geschirr stapeln, Komponenten zusammenbauen –, aufgenommen von egozentrischen Kameras, Überwachungswinkeln oder kuratierten Demonstrationssets.

Was sind menschliche Videodaten und was wird dadurch freigeschaltet?

Menschliches Video überzeugt durch Kosten und Vielfalt. Ein einzelner Mitarbeiter mit einem Smartphone kann an einem einzigen Nachmittag Hunderte von Demonstrationen in Küchen, Garagen, Fabriken und Büros aufzeichnen. Kein Roboter erforderlich, kein Labor erforderlich, keine Bedienerschulung erforderlich. Große Imaginative and prescient-Sprachmodelle, die vorab anhand menschlicher Movies trainiert wurden, erwerben ein allgemeines Szenenverständnis, das vor der Feinabstimmung sinnvoll auf Roboterrichtlinien übertragen werden kann.

Die Einschränkung ist die fehlende Aktionsbezeichnung. Das Video zeigt eine Hand, die eine Tasse ergreift; Es zeichnet weder die ausgeübte Kraft noch die Gelenkwinkel auf, die ein Roboterarm benötigen würde, um die Bewegung nachzubilden. Inverse-Dynamics-Modelle und Hand-to-Finish-Effektor-Retargeting können diese Bezeichnungen teilweise ableiten, die resultierenden Pseudoaktionen sind jedoch verrauscht.

Stellen Sie sich ein Startup vor, das einen Küchenroboter baut. Sie haben 80.000 Greenback zum Ausgeben. Zwanzig Stunden geschickter Teleoperation könnten ihnen 200 saubere Episoden auf ihrem Zielarm bescheren. Zwanzig Stunden Videosammlung von Mitwirkenden aus verschiedenen Küchen zu Hause bescheren ihnen mehrere tausend egozentrische Clips. Das Telefongerät ist schärfer. Das Videoset ist breiter. Der Roboter benötigt beides, in unterschiedlichen Verhältnissen in unterschiedlichen Trainingsstadien.

Teleoperation vs. Simulation vs. menschliches Video: ein direkter Vergleich

Wie wählt man die richtige Datenstrategie für verkörperte KI?

Die Auswahl der richtigen Datenstrategie für das Robotertraining beginnt mit dem Bereitstellungsziel, nicht mit der Datenquelle. Ein Choose-and-Place-Roboter in der Fabrik, ein humanoider Haushalt und ein chirurgischer Assistent haben völlig unterschiedliche Anforderungen an Treue, Sicherheit und Verkörperung – und daher völlig unterschiedliche ideale Datenmischungen.

Ein praktischer dreistufiger Rahmen:

Praktischer dreistufiger Rahmen

  1. Machen Sie sich vorab mit Simulation und menschlichem Video vertraut. Nutzen Sie die Simulation für eine umfassende Abdeckung von Szenen, Objekten und Sicherheitskantenfällen. Fügen Sie egozentrische menschliche Movies hinzu, um natürliche Manipulationsvoraussetzungen und reale visuelle Vielfalt zu erzielen. Diese Section ist günstig und umfassend.
  2. Anker mit Teleoperation an der Zielverkörperung. Sammeln Sie 500–2.000 hochwertige Teleop-Episoden über genau den Roboter, den Sie einsetzen möchten. Diese Section ist teuer, aber unersetzlich – sie verleiht der Politik eine echte Dynamik.
  3. Iterieren Sie mit dem Datenschwungrad. Erfassen Sie nach der Bereitstellung autonome Rollouts und Fehlerfälle. Füttere sie zusammen mit frischen Teleop- und Menschenvideos wieder in den nächsten Trainingszyklus.

Stellen Sie sich das wie die Ausbildung eines Kochs vor. Simulation ist eine Kochschule – umfassend, billig, fehlertolerant. Ein menschliches Video sieht sich Tausende von Kochvideos an – breiter Kontext, keine eigene Küche. Teleoperation ist das praktische Praktikum in der Küche, in der Sie arbeiten – langsam, teuer, unersetzlich. Kein ernsthafter Koch lässt einen der drei aus.

Shaips multimodale Datenerfassung Und Anmerkungsworkflows sind so konzipiert, dass sie alle drei Ebenen unterstützen – Teleop-Zellenbetrieb, Simulationskennzeichnung und egozentrische Videosammlung durch ein globales Netzwerk von über 500.000 Mitwirkenden –, sodass Robotikteams eine Hybridstrategie orchestrieren können, ohne fünf Anbieter zusammenzufügen.

Abschluss

Die Debatte Teleoperation vs. Simulation vs. menschliches Video hat im Jahr 2026 eine klare Antwort: Es ist keine Wahl, es ist ein Stack. Teleoperation gibt Ihnen Treue. Durch Simulation erhalten Sie Maßstab. Menschliches Video bietet Ihnen Vielfalt. Produktionsverkörperte KI-Pipelines kombinieren alle drei, gewichtet nach dem Bereitstellungsziel, der Verkörperung und dem Price range. Die Groups, die das nächste Jahrzehnt des Roboterlernens gewinnen, werden nicht diejenigen sein, die sich für die günstigste Quelle entscheiden – sie werden diejenigen sein, die die intelligenteste Mischung organisieren.

[ad_2]

]]>
http://chatgpz.de/artificial-intelligence/strategie-fuer-robotertrainingsdaten-teleoperation-vs-simulation-vs-menschliches-video-fuer-verkoerperte-ki/feed/ 0 19021
Robbyant Open Sources LingBot World: ein Echtzeit-Weltmodell für interaktive Simulation und verkörperte KI http://chatgpz.de/artificial-intelligence/robbyant-open-sources-lingbot-world-ein-echtzeit-weltmodell-fuer-interaktive-simulation-und-verkoerperte-ki/ http://chatgpz.de/artificial-intelligence/robbyant-open-sources-lingbot-world-ein-echtzeit-weltmodell-fuer-interaktive-simulation-und-verkoerperte-ki/#respond Sat, 31 Jan 2026 21:08:19 +0000 https://chatgpz.de/artificial-intelligence/robbyant-open-sources-lingbot-world-ein-echtzeit-weltmodell-fuer-interaktive-simulation-und-verkoerperte-ki/ [ad_1]

Robbyant, die verkörperte KI-Einheit innerhalb der Ant Group, verfügt über LingBot-World als Open-Supply-Lösung, ein groß angelegtes Weltmodell, das die Videogenerierung in einen interaktiven Simulator für verkörperte Agenten, autonomes Fahren und Spiele verwandelt. Das System ist darauf ausgelegt, kontrollierbare Umgebungen mit hoher visueller Wiedergabetreue, starker Dynamik und langen Zeithorizonten darzustellen und gleichzeitig reaktionsfähig genug für eine Echtzeitsteuerung zu bleiben.

Vom Textual content zum Video zum Textual content zur Welt

Die meisten Textual content-zu-Video-Modelle erzeugen kurze Clips, die realistisch aussehen, sich aber wie passive Filme verhalten. Sie modellieren nicht, wie Handlungen die Umgebung im Laufe der Zeit verändern. LingBot-World ist stattdessen als aktionsbedingtes Weltmodell aufgebaut. Es lernt die Übergangsdynamik einer virtuellen Welt, sodass Tastatur- und Mauseingaben zusammen mit Kamerabewegungen die Entwicklung zukünftiger Frames vorantreiben.

Formal lernt das Modell die bedingte Verteilung zukünftiger Video-Tokens anhand vergangener Frames, Sprachaufforderungen und diskreter Aktionen. Zur Trainingszeit werden Sequenzen mit einer Länge von bis zu etwa 60 Sekunden vorhergesagt. Zur Inferenzzeit kann es autoregressiv kohärente Videostreams mit einer Länge von etwa 10 Minuten bereitstellen und dabei die Szenenstruktur stabil halten.

Daten-Engine, vom Webvideo bis hin zu interaktiven Flugbahnen

Ein Kerndesign in LingBot-World ist eine einheitliche Daten-Engine. Es bietet umfassende, aufeinander abgestimmte Einblicke in die Artwork und Weise, wie Handlungen die Welt verändern, und deckt gleichzeitig verschiedene reale Szenen ab.

Die Datenerfassungspipeline kombiniert drei Quellen:

  1. Großformatige Webvideos von Menschen, Tieren und Fahrzeugen, sowohl aus der Ego- als auch aus der Third-Individual-Perspektive
  2. Spieldaten, bei denen RGB-Frames strikt mit Benutzersteuerungen wie W, A, S, D und Kameraparametern gekoppelt sind
  3. In der Unreal Engine gerenderte synthetische Flugbahnen, bei denen saubere Frames, Kamera-Intrinsics und -Extrinsics sowie Objektlayouts bekannt sind

Nach der Sammlung wird dieser heterogene Korpus in einer Profilierungsphase standardisiert. Es filtert nach Auflösung und Dauer, segmentiert Movies in Clips und schätzt fehlende Kameraparameter anhand von Geometrie- und Posenmodellen. Ein Imaginative and prescient-Language-Modell bewertet Clips nach Qualität, Bewegungsstärke und Ansichtstyp und wählt dann eine kuratierte Teilmenge aus.

Darüber hinaus baut ein hierarchisches Untertitelmodul drei Ebenen der Textüberwachung auf:

  • Erzählerische Bildunterschriften für ganze Flugbahnen, einschließlich Kamerabewegungen
  • Statische Szenenuntertitel, die das Umgebungslayout ohne Bewegung beschreiben
  • Dichte zeitliche Untertitel für kurze Zeitfenster, die sich auf lokale Dynamiken konzentrieren

Durch diese Trennung kann das Modell die statische Struktur von Bewegungsmustern trennen, was für die Konsistenz über lange Horizonte wichtig ist.

Architektur, MoE-Video-Spine und Aktionskonditionierung

LingBot-World beginnt mit Wan2.2, einem 14B-Parameter-Bild-zu-Video-Diffusionstransformator. Dieses Spine erfasst bereits starke Open-Area-Video-Prioritäten. Das Robbyant-Workforce erweitert es zu einem DiT-Expertenmix mit 2 Experten. Jeder Experte verfügt über etwa 14B Parameter, sodass die Gesamtparameteranzahl 28B beträgt, aber bei jedem Entrauschungsschritt ist nur 1 Experte aktiv. Dadurch bleiben die Inferenzkosten ähnlich wie bei einem dichten 14B-Modell und erhöhen gleichzeitig die Kapazität.

Ein Lehrplan verlängert Trainingssequenzen von 5 Sekunden auf 60 Sekunden. Der Zeitplan erhöht den Anteil von Zeitschritten mit hohem Rauschen, was globale Layouts über lange Kontexte hinweg stabilisiert und den Moduskollaps bei langen Rollouts reduziert.

Um das Modell interaktiv zu machen, werden Aktionen direkt in die Transformatorblöcke eingefügt. Kameradrehungen werden mit Plücker-Einbettungen codiert. Tastaturaktionen werden als Multi-Sizzling-Vektoren über Tasten wie W, A, S, D dargestellt. Diese Codierungen werden zusammengeführt und durch adaptive Layer-Normalisierungsmodule geleitet, die verborgene Zustände im DiT modulieren. Nur die Aktionsadapterebenen werden fein abgestimmt, das Hauptvideo-Spine bleibt eingefroren, sodass das Modell die visuelle Qualität aus dem Vortraining beibehält und gleichzeitig die Aktionsreaktionsfähigkeit aus einem kleineren interaktiven Datensatz lernt.

Bei der Schulung werden sowohl Bild-zu-Video- als auch Video-zu-Video-Fortsetzungsaufgaben verwendet. Anhand eines einzelnen Bildes kann das Modell zukünftige Frames synthetisieren. Bei einem unvollständigen Clip kann die Sequenz verlängert werden. Dadurch entsteht eine interne Übergangsfunktion, die zu beliebigen Zeitpunkten starten kann.

LingBot World Quick, Destillation für den Echtzeiteinsatz

Das mitteltrainierte Modell, LingBot-World Base, basiert immer noch auf mehrstufiger Diffusion und vollständiger zeitlicher Aufmerksamkeit, was für Echtzeitinteraktion kostspielig ist. Das Robbyant-Workforce führt LingBot-World-Quick als beschleunigte Variante ein.

Das schnelle Modell wird vom Experten für hohes Rauschen initialisiert und ersetzt die volle zeitliche Aufmerksamkeit durch blockkausale Aufmerksamkeit. Innerhalb jedes Zeitblocks ist die Aufmerksamkeit bidirektional. Blockübergreifend ist es kausal. Dieses Design unterstützt das Caching von Schlüsselwerten, sodass das Modell Frames autoregressiv und kostengünstiger streamen kann.

Bei der Destillation kommt eine Diffusionsstrategie zum Einsatz. Der Schüler wird mit einem kleinen Satz von Zielzeitschritten, einschließlich Zeitschritt 0, trainiert, sodass er sowohl verrauschte als auch saubere latente Signale erkennt. Die Verteilungsanpassungsdestillation wird mit einem kontradiktorischen Diskriminatorkopf kombiniert. Der gegnerische Verlust aktualisiert nur den Diskriminator. Das Studentennetzwerk wird mit dem Destillationsverlust aktualisiert, was die Ausbildung stabilisiert und gleichzeitig die Handlungsfolge und die zeitliche Kohärenz bewahrt.

In Experimenten erreicht LingBot World Quick 16 Bilder professional Sekunde bei der Verarbeitung von 480p-Movies auf einem System mit 1 GPU-Knoten und hält die Finish-to-Finish-Interaktionslatenz zur Echtzeitkontrolle unter 1 Sekunde.

Emergentes Gedächtnis und Langzeitverhalten

Eine der interessantesten Eigenschaften von LingBot-World ist das entstehende Gedächtnis. Das Modell behält die globale Konsistenz ohne explizite 3D-Darstellungen wie Gaußsches Splatting bei. Wenn sich die Kamera von einem Wahrzeichen wie Stonehenge entfernt und nach etwa 60 Sekunden zurückkehrt, erscheint die Struktur wieder mit konsistenter Geometrie. Wenn ein Auto den Rahmen verlässt und später wieder betritt, erscheint es an einer physikalisch plausiblen Stelle, nicht eingefroren oder zurückgesetzt.

Das Modell kann auch extrem lange Sequenzen durchhalten. Das Forschungsteam zeigt eine kohärente Videogenerierung, die bis zu 10 Minuten dauert, mit stabilem Structure und Erzählstruktur.)

VBench-Ergebnisse und Vergleich mit anderen Weltmodellen

Zur quantitativen Auswertung verwendete das Forschungsteam VBench für einen kuratierten Satz von 100 generierten Movies, die jeweils länger als 30 Sekunden waren. LingBot-World wird mit zwei aktuellen Weltmodellen verglichen, Yume-1.5 und HY-World-1.5.

Auf VBench berichtet LingBot World:

https://arxiv.org/pdf/2601.20540v1

Diese Werte sind höher als beide Basiswerte für Bildqualität, ästhetische Qualität und Dynamikgrad. Der dynamische Gradspielraum ist groß, 0,8857 im Vergleich zu 0,7612 und 0,7217, was auf reichhaltigere Szenenübergänge und komplexere Bewegungen hinweist, die auf Benutzereingaben reagieren. Bewegungsglätte und zeitliches Flimmern sind mit der besten Basislinie vergleichbar und die Methode erreicht die beste Gesamtkonsistenzmetrik unter den drei Modellen.

Ein separater Vergleich mit anderen interaktiven Systemen wie Matrix-Recreation-2.0, Mirage-2 und Genie-3 zeigt, dass LingBot-World eines der wenigen vollständig Open-Supply-Weltmodelle ist, das allgemeine Domänenabdeckung, langen Generationshorizont, hohen Dynamikgrad, 720p-Auflösung und Echtzeitfähigkeiten kombiniert.

https://arxiv.org/pdf/2601.20540v1

Anwendungen, aufforderungsfähige Welten, Agenten und 3D-Rekonstruktion

Über die Videosynthese hinaus ist LingBot-World als Testumgebung für verkörperte KI positioniert. Das Modell unterstützt aufrufbare Weltereignisse, bei denen Textanweisungen im Laufe der Zeit das Wetter, die Beleuchtung oder den Stil ändern oder lokale Ereignisse wie Feuerwerk oder sich bewegende Tiere einspeisen und gleichzeitig die räumliche Struktur bewahren.

Es kann auch nachgelagerte Aktionsagenten trainieren, beispielsweise mit einem kleinen Imaginative and prescient-Language-Aktionsmodell wie Qwen3-VL-2B, das Kontrollrichtlinien anhand von Bildern vorhersagt. Da die generierten Videostreams geometrisch konsistent sind, können sie als Eingabe für 3D-Rekonstruktionspipelines verwendet werden, die stabile Punktwolken für Innen-, Außen- und synthetische Szenen erzeugen.

Wichtige Erkenntnisse

  • LingBot-World ist ein aktionsbedingtes Weltmodell, das Textual content-zu-Video in eine Textual content-zu-Welt-Simulation erweitert, wobei Tastaturaktionen und Kamerabewegungen Video-Rollouts über einen langen Horizont von bis zu etwa 10 Minuten direkt steuern.
  • Das System basiert auf einer einheitlichen Daten-Engine, die Webvideos, Spielprotokolle mit Aktionsbezeichnungen und Unreal Engine-Trajektorien sowie hierarchische Erzählungen, statische Szenen und dichte zeitliche Untertitel kombiniert, um Structure und Bewegung zu trennen.
  • Das Kernrückgrat ist eine 28B-Parametermischung aus Experten-Diffusionstransformator, aufgebaut aus Wan2.2, mit 2 Experten von jeweils 14B und Aktionsadaptern, die fein abgestimmt sind, während das visuelle Rückgrat eingefroren bleibt.
  • LingBot-World-Quick ist eine destillierte Variante, die blockkausale Aufmerksamkeit, Diffusionserzwingung und Verteilungsanpassungsdestillation nutzt, um etwa 16 Bilder professional Sekunde bei 480p auf einem GPU-Knoten zu erreichen, mit einer gemeldeten Finish-to-Finish-Latenz von weniger als 1 Sekunde für die interaktive Nutzung.
  • Auf VBench mit 100 generierten Movies, die länger als 30 Sekunden sind, meldet LingBot-World die höchste Bildqualität, ästhetische Qualität und den höchsten Dynamikgrad unter Yume-1.5 und HY-World-1.5, und das Modell zeigt ein Emergenzgedächtnis und eine stabile Fernstruktur, die für verkörperte Agenten und 3D-Rekonstruktion geeignet ist.

Schauen Sie sich das an Papier, Repo, Projektseite Und Modellgewichte. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.


[ad_2]

]]>
http://chatgpz.de/artificial-intelligence/robbyant-open-sources-lingbot-world-ein-echtzeit-weltmodell-fuer-interaktive-simulation-und-verkoerperte-ki/feed/ 0 15979