Bei der physischen KI ist selten das Modell der Flaschenhals – sondern die Daten. Eine Roboterrichtlinie, die in einer Demo einwandfrei läuft und dann in einem Stay-Warehouse ins Stocken gerät, scheitert quick immer an den Daten, die sie nie gesehen hat, nicht an der Architektur. Das stellt jedes Robotikteam vor eine Budgetfrage: Wenn Sie sich zwischen synthetischen und realen Daten für die Robotik entscheiden, welches sollten Sie eigentlich kaufen? Beide haben echte Stärken, beide haben echte Kosten, und die richtige Antwort hängt davon ab, wo Ihr Projekt heute steht.

Wichtige Erkenntnisse

• Synthetische Daten sind kostengünstig, skalierbar und sicher für die Generierung von Randfällen in großen Mengen.
• Reale Daten erfassen das Sensorrauschen und die Lengthy-Tail-Variabilität, die der Simulation entgehen.
• Die Lücke zwischen Simulation und Realität ist der Hauptgrund dafür, dass rein synthetische Modelle bei der Bereitstellung scheitern.
• Die Kosten für die reale Datenerfassung richten sich nach den Erfassungsstunden; Kunststoffwaagen kostengünstig einmal gebaut.
• Synthetische Daten schließen Lücken; Praxisnahes Coaching für Datenanker. Hybrid gewinnt im Jahr 2026.
• Kaufen Sie frühzeitig synthetische Daten und kaufen Sie reale Daten vor der Feinabstimmung und Bereitstellung.

Was sind synthetische Daten für die Robotik?

Bei synthetischen Daten für die Robotik handelt es sich um künstlich generierte Trainingsdaten, die in Simulationen erstellt und nicht von physischen Robotern in der realen Welt erfasst werden. Eine Physik-Engine oder ein Weltmodell rendert Szenen, Bewegungen und Sensorwerte und beschriftet jedes Bild automatisch mit perfekter Grundwahrheit.

Da der Simulator die genaue Place, Masse und Bewegung jedes Objekts kennt, erstellt er fehlerfreie Etiketten mit einer Geschwindigkeit, die keine manuelle Pipeline erreichen kann. Synthetische Daten decken vier große Typen ab: Sicht (segmentierte Bilder, unterschiedliche Beleuchtung), 3D und Tiefe (Punktwolken, Navigationskarten), Bewegung (Flugbahnen, Gelenkwinkel, Geschwindigkeit) und Interaktion (Greifen, Kontakt, Kollision). Die Domänen-Randomisierung – das bewusste Variieren von Farben, Texturen und Beleuchtung über realistische Bereiche hinaus – zwingt Modelle dazu, sich auf aufgabenrelevante Funktionen zu konzentrieren.

Area-Randomisierung: Eine Technik, die das Erscheinungsbild der Simulation über realistische Grenzen hinaus variiert, sodass Modelle auf reale Bedingungen verallgemeinert werden können, die nie explizit gezeigt wurden.

Was sind reale Daten für die Robotik?

Reale Daten für die Robotik sind Trainingsdaten, die von physischen Sensoren, Teleoperationen oder menschlichen Demonstrationen in realen Umgebungen erfasst werden. Es überträgt die echten Geräusche, Lichtveränderungen und unvorhersehbaren Schwankungen, denen ein Roboter in dem Second ausgesetzt ist, in dem er das Labor verlässt.

Dies sind die Daten, die ein Modell in der Realität begründen. Es umfasst egozentrisches (First-Individual-)Video, teleoperierte Manipulationsbahnen, Multisensor-Protokolle, die Kamera-, LiDAR-, Tiefen- und IMU-Streams kombinieren, sowie menschliche Demonstrationsaufzeichnungen. Shaips reale Datensammlung umfasst egozentrische Video-, Teleoperations- und Manipulationserfassung in verschiedenen globalen Umgebungen – genau die Szenarien mit hoher Varianz, die die Simulation nur schwer reproduzieren kann.

Egozentrische Daten: Video- und Sensoraufzeichnungen aus der ersten Individual, die von einer Kopf-, Brust- oder Handgelenkkamera aufgenommen wurden und das widerspiegeln, was ein Roboter während einer Aufgabe sieht.

Synthetische vs. reale Daten: Wie vergleichen sie sich?

Synthetische und reale Daten lösen gegensätzliche Probleme. Synthetische Daten gewinnen hinsichtlich Kosten, Umfang und Randfallabdeckung; Echte Daten gewinnen an Realismus, Sensortreue und Vertrauenswürdigkeit bei der Bereitstellung. In der folgenden Tabelle sind die Kompromisse aufgeführt, die Käufer am meisten in Betracht ziehen.

Was ist die Lücke zwischen Simulation und Realität – und warum ist sie wichtig?

Die Lücke zwischen Simulation und Realität ist der Leistungsabfall, der auftritt, wenn ein in der Simulation trainiertes Modell reale Bedingungen erfüllt, die sein Coaching nie reproduziert hat. Dies ist der Hauptgrund dafür, dass rein synthetische Robotikmodelle in der Produktion scheitern.

Stellen Sie sich das wie einen Piloten vor, der bisher nur einen Simulator geflogen ist. Sie können jedes Drehbuchszenario meistern, aber sobald es zum ersten Mal zu echten Turbulenzen kommt – wie sie der Simulator geglättet hat – zeigt ihr Coaching seine Grenzen. Roboter verhalten sich genauso: Ein System, das ein sauberes virtuelles Lager beherrscht, kann einfrieren, wenn ein echter Gabelstapler aus einem nicht modellierten Winkel erscheint oder wenn Sonnenlicht auf eine Weise auf einen Sensor fällt, die der Renderer nie erfasst hat.

Simulationen basieren auf vereinfachten physikalischen Annahmen und modellieren selten Sensorartefakte, materielle Randfälle oder wirklich kontroverse Bedingungen. Daten aus der realen Welt schließen diese Lücke, indem sie das Modell im langen Spektrum der Variabilität verankern, das nur die physische Erfassung enthält.

Wie sind die Kosten für synthetische und reale Daten im Vergleich?

Der Kostenunterschied zwischen synthetischen und realen Daten ist struktureller Natur und nicht nur eine Frage der Preisschilder. Synthetische Daten sind mit hohen Vorabkosten für den Aufbau der Generierungspipeline verbunden, danach reduzieren sich die Grenzkosten jedes zusätzlichen Frames allein auf die Rechenleistung. Reale Daten funktionieren genau umgekehrt: Die Kosten steigen ungefähr linear mit jeder Stunde physischer Erfassung und jeder gekennzeichneten Sequenz.

Die Kosten für Robotertrainingsdaten teilen sich in drei Bereiche auf – {Hardware}, menschliche Arbeit und Nachbearbeitung – und die Steadiness zwischen ihnen hängt von Ihrem Ansatz ab:

1. Synthetisch: hohe Vorabinvestitionen in die Pipeline, Grenzkosten nahe Null für die Skalierung des Volumens.
2. Praxis: Geringerer Einrichtungsaufwand, aber die Kosten steigen mit jeder Stunde Erfassung, Bedienerzeit und Etikettierung.
3. Hybrid: Synthetik nimmt die hochvolumige Belastung auf; Reale Ausgaben konzentrieren sich dort, wo Realismus am wichtigsten ist.

Diese Asymmetrie ist der Kern der Kaufentscheidung. Mit synthetischen Daten können Sie kostengünstig skalieren, sobald die Pipeline vorhanden ist, während sich das Price range auf reale Daten konzentriert, wenn Sie sich der Bereitstellung nähern. Geringere Kosten sind jedoch nicht dasselbe wie geringeres Risiko – und hier wird die Entscheidung nuanciert.

Was sollten Sie für Ihr physisches KI-Projekt kaufen?

Kaufen Sie synthetische Daten, wenn Sie frühzeitig in der Entwicklung Skalierbarkeit, Sicherheit und Geschwindigkeit benötigen. Kaufen Sie reale Daten, wenn Sie vor der Feinabstimmung und Bereitstellung die Lücke zwischen Simulation und Realität schließen müssen. Die Part Ihres Projekts und nicht die Ideologie sollte für die Spaltung verantwortlich sein.

Stellen Sie sich ein mittelständisches Logistikunternehmen vor, das einen autonomen mobilen Roboter für ein neues Logistikzentrum baut. Da sie zu Beginn noch keine {Hardware} vor Ort haben, stützen sie sich quick ausschließlich auf synthetische Daten – sie generieren Tausende von virtuellen Ganglayouts, Verschüttungen und Beinahe-Unfällen mit Gabelstaplern, um Wahrnehmung und Navigation sicher vorab zu trainieren. Als die ersten physischen Einheiten eintreffen, ändert sich das Bild: Sie investieren in die reale Erfassung ihrer tatsächlichen Anlage, um das Verhalten auf die Eigenheiten abzustimmen, die kein Simulator vorhergesagt hat – reflektierende Böden, ein grelles Licht an der Laderampe um 16 Uhr, eine in ungewöhnliche Folie eingewickelte Palette. Synthetik brachte sie in Bewegung; Reale Daten machten sie einsetzbar.

Ein praktischer Entscheidungsrahmen:

1. Pre-{Hardware} oder frühe Forschung und Entwicklung → Schwerpunkt auf synthetischen Produkten, um Pre-Coaching und Stresstests durchzuführen.
2. Seltene, gefährliche oder datenschutzrelevante Szenarien → synthetisch, um sie sicher in großem Umfang zu erzeugen.
3. Feinabstimmung für eine bestimmte Umgebung → reale Daten aus dieser Umgebung.
4. Validierung und Sicherheitszertifizierung → jederzeit reale Daten.

Warum eine hybride Robotik-Datenstrategie im Jahr 2026 gewinnt

Eine hybride Robotik-Datenstrategie nutzt synthetische Daten, um spezifische Lücken zu schließen, und verankert gleichzeitig das Coaching auf realen Daten, die das Modell auf echte Variabilität stützen. Dies ist der Ansatz, auf den sich Produktionsteams einigen, sobald rein synthetische Piloten an die Sim-to-Actual-Grenze stoßen.

Die Begründung ist einfach. Synthetische Daten liefern das Volumen und die Randfälle; Echte Daten sorgen für Realismus und Vertrauen. Shaip verankert physische KI-Programme auf realen Demonstrationen und egozentrischen Daten und unterstützt gleichzeitig die synthetische Generierung für den Lengthy Tail – so erhalten Groups Skalierbarkeit, ohne auf die Bodenhaftung zu verzichten, die einen Roboter sicher auf dem Boden hält. Für Groups, die schnell fertige, kuratierte Datensätze benötigen Customary-Datenlizenzierung kann den Weg weiter verkürzen.

Wie bewerten Sie einen Robotik-Datenpartner?

Bewerten Sie einen Robotik-Datenpartner hinsichtlich der Erfassungsfähigkeit in der realen Welt, der Verkörperungsabdeckung, der Qualitätssicherung und der Compliance – nicht nur im Hinblick auf den Preis. Da die Erfassung in der realen Welt smart Umgebungen und menschliche Mitwirkende betrifft, sind Sicherheit und Governance ebenso wichtig wie die Genauigkeit der Etiketten.

• Erfassungsbreite: egozentrisches Video, Teleoperation, Manipulation und Multisensor-Protokolle (Imaginative and prescient, LiDAR, IMU, Audio) in verschiedenen Umgebungen.
• Qualitätssicherung: dokumentierte, abgestufte QS-Pipelines und konsistente Überprüfung der Fakten, nicht nur Rohdaten.
• Compliance: Angleichung an Requirements wie ISO 27001, SOC 2 Typ II, HIPAA und DSGVO für die Datenverarbeitung und den Datenschutz der Mitwirkenden.
• Hybrid-Unterstützung: die Möglichkeit, synthetische und reale Daten zu kombinieren, einschließlich Sim-to-Actual-Workflows, anstatt nur eine zu verkaufen.

Bei jedem dieser Kriterien gilt: Shaips physische KI-Datendienste werden für Robotik- und verkörperte KI-Groups als Finish-to-Finish-Companion entwickelt – von multimodaler Erfassung, komplexer VLA und Aktionsannotation, synthetischer Datengenerierung, RLHF und Auswertung im Rahmen eines Auftrags. Shaip erfasst reale Umgebungen, in denen Modelle tatsächlich arbeiten – Küchen, Lagerhäuser, Fabriken, Straßen und Gesundheitseinrichtungen – über ein verwaltetes globales Sammlernetzwerk statt über offenes Crowdsourcing, mit ISO 27001, SOC 2 Typ II, HIPAA-bereit und DSGVO-konformen Kontrollen.

Diese Erfahrung zeigt sich im großen Maßstab. In einem humanoiden Robotikprogramm baute Shaip das gesamte Daten-Ops-Spine auf – QR-kartiertes Szenen-Setup, Fünf-Sensoren-Monitoring, moderierte Probe und modellbereite Qualitätssicherung –, um in nur 30 Tagen 10.000 Stunden egozentrische VR-Bewegungsdaten für etwa 4.000 Teilnehmer und 100 Aufgaben zu generieren. Lesen Sie die vollständige Fallstudie um zu sehen, wie das Programm von der Einrichtung bis zur einsatzbereiten Lieferung strukturiert conflict.

Ein egozentrischer Datensatz ist eine strukturierte Sammlung von Video- und Sensoraufzeichnungen aus der ersten Particular person – aufgenommen von einer Kopf-, Brust- oder Handgelenkkamera – und wird verwendet, um Robotik und verkörperte KI-Systeme darauf zu trainieren, wie Menschen sehen, sich bewegen und handeln. Es entspricht am ehesten dem, was die Bordkamera eines Roboters während des Betriebs sieht, weshalb es zu einer Grundlage für das Coaching von Imaginative and prescient-Language-Motion-Modellen (VLA) geworden ist.

Ein Roboter, der nur auf Laboraufnahmen trainiert wird, stürzt häufig am ersten Tag ab, an dem er das Labor verlässt. Der Grund liegt selten im Modell. Es sind die Daten.

Die meisten Schulungsvideos werden mit einem Stativ oder einer Deckenkamera aufgenommen. Solche Aufnahmen zeigen den Raum, aber nicht die Arbeit. Nicht die Hand. Nicht das Objekt. Nicht der genaue Winkel, den die Bordkamera eines Roboters sieht, wenn er tatsächlich eine Tasse aufnimmt oder eine Schublade öffnet. Um diese Lücke zu schließen, wurde ein egozentrischer Datensatz erstellt.

In diesem Leitfaden erfahren Sie, was ein egozentrischer Datensatz ist, warum First-Particular person-Daten zur Grundlage moderner Robotik und verkörperter KI geworden sind, wie gute Daten tatsächlich aussehen und worauf Groups achten sollten, bevor sie einen solchen lizenzieren oder in Auftrag geben.

Was ist ein egozentrischer Datensatz?

Ein egozentrischer Datensatz ist eine strukturierte Sammlung von Video- und Sensordaten, die aus der Ich-Perspektive erfasst werden. Die Kamera sitzt auf dem Kopf, der Brust oder dem Handgelenk der Particular person, die eine Aufgabe ausführt – manchmal auch auf dem Roboter selbst –, sodass die Aufnahme die Welt genau so zeigt, wie der Schauspieler sie sieht.

„Egozentrisch“ bedeutet einfach vom Selbst. Eine Third-Particular person-Kamera zeigt, was in einem Raum passiert. Eine egozentrische Kamera zeigt, was die Hände, Augen und Werkzeuge des Schauspielers tun, während es passiert. Dieser Unterschied klingt gering. Für Robotikteams ist es alles.

Die meisten modernen egozentrischen Datensätze kombinieren Video mit zusätzlichen Signalen – Tiefe, Bewegung, Audio und manchmal Augen- oder Handverfolgung –, sodass ein einzelner Second aus mehreren Blickwinkeln gleichzeitig untersucht werden kann.

Warum egozentrische Daten für Robotik und verkörperte KI wichtig sind

Roboter versagen in der realen Welt aus einer kleinen Liste von Gründen. Der falsche Standpunkt sitzt oben.

Die Bordkamera eines Roboters sieht die Welt von dort aus, wo der Roboter steht. Wenn Sie es mit Overhead- oder Seitenwinkelvideos trainieren, muss das Modell bei jeder Aktion eine Lücke schließen und eine Szene aus der dritten Particular person in eine Entscheidung aus der ersten Particular person übersetzen. In dieser Lücke passieren Fehler: ein falscher Griff, ein verpasster Kontaktpunkt, eine Hand, die einen Schlag zu früh schließt.

Durch Schulungen zu First-Particular person-Daten entfällt dieser Übersetzungsschritt. Das Modell lernt aus derselben Ansicht, die es später verwenden wird. Jüngste Forschungen zum Roboterlernen haben gezeigt, dass Richtlinien, die auf Daten aus der ersten Particular person trainiert werden, bei Manipulationsaufgaben je nach Aufgabentyp die von Dritten trainierten Richtlinien um 15–30 % übertreffen können. Der Gewinn zeigt sich in der Arbeit selbst: sauberere Griffe, besseres Hand-Auge-Timing, intelligentere Reaktionen auf Unordnung und Teilansichten.

Aus diesem Grund stehen auch First-Particular person-Daten im Mittelpunkt Physische KI Systeme und die neue Welle von Imaginative and prescient-Sprach-Aktionsmodelle – Systeme, die eine visuelle Eingabe und eine gesprochene oder schriftliche Anweisung entgegennehmen und dann eine reale Aktion in der physischen Welt ausgeben.

In einem hochwertigen egozentrischen Datensatz

Rohvideo allein reicht nicht aus. Eine qualitativ hochwertige egozentrische Datenerfassung kombiniert Ego-Movies mit mehreren anderen Signalen:

• Synchronisiertes Video in guter Auflösung, oft aus mehr als einem Winkel (Kopf, Brust oder Handgelenk)
• Tiefendaten Dies hilft einem Modell zu verstehen, wie weit ein Objekt entfernt ist und nicht nur, wo es im Bild erscheint
• Daten des Bewegungssensors (IMU). das Kopf- und Körperbewegungen Bild für Bild verfolgt
• Audio – das überraschend viel Kontext enthält, wie ein Messer auf einem Brett oder eine Particular person, die in der Nähe spricht
• Hand- oder Augenverfolgung Für Aufgaben, bei denen Aufmerksamkeit und Griffigkeit wichtig sind

Der Haken an der Sache ist, dass das alles auf die Millisekunde genau sein muss. Wenn der Tiefenstrom eine Viertelsekunde hinter dem Video zurückbleibt, lernt das Modell die falsche Ursache und Wirkung. Solider Egozentriker Datenanmerkung Zusätzlich zu einer intestine kalibrierten Erfassung werden Rohaufzeichnungen in Trainingsdaten umgewandelt.

Laboraufnahmen vs. Aufnahmen aus der realen Welt

Es hilft, sich ein anderes Trainingsproblem vorzustellen.

Stellen Sie sich vor, Sie bringen jemandem das Fahrradfahren bei, indem Sie ihm nur Drohnenaufnahmen vorspielen, die von oben aufgenommen wurden. Sie würden das Fahrrad, die Straße und den Weg sehen. Sie würden das Wackeln des Lenkers, die Artwork und Weise, wie die Augen in Kurven nach vorne blicken, oder die Artwork und Weise, wie sich die Karosserie vor einer Kurve bewegt, nicht bemerken. Sie würden technisch gesehen wissen, was Radfahren ist sieht aus wie. Sie würden nicht wissen, wie es geht Tun Es.

Bei Labordaten tritt im großen Maßstab das gleiche Downside auf. Saubere Beleuchtung, ein Objekt auf einem sauberen Tisch, eine Aufgabe professional Clip – es ist aufgeräumt, aber es ist nicht die Welt, in die ein Roboter eindringt. Modelle, die anhand von Laboraufnahmen trainiert wurden, funktionieren oft am ersten Tag und scheitern am dreißigsten Tag, wenn das Licht flackert, sich die Wege zweier Personen kreuzen oder drei Artikel auf demselben Regal stehen.

Die egozentrische Erfassung in der realen Welt bringt den Lärm wieder ins Spiel. Dieser Lärm sorgt dafür, dass Modelle nach dem Einsatz standhalten.

Die vier Schichten eines egozentrischen Datensatzstapels

Unterschiedliche Probleme erfordern unterschiedliche Datenschichten. Ein für einen Auftrag erstellter Datensatz deckt selten einen anderen Brunnen ab. Hier ist eine einfache Möglichkeit, sich die Schichten vorzustellen, die die meisten physischen KI-Groups stapeln, um einen vollständigen verkörperten KI-Datensatz zu erstellen:

Die meisten Produktionsteams greifen auf mehr als eine Ebene zurück. Ein Humanoid, der beispielsweise eine Spülmaschine beladen muss, greift auf mindestens drei Dinge zurück: menschliche Demonstrationen, feine Manipulation und eine schrittweise Aufgabenstruktur.

Wo egozentrische Daten die echte Nachfrage antreiben

Stellen Sie sich ein mittelgroßes Lager vor, in dem im letzten Quartal ein Choose-and-Place-Roboter eingeführt wurde. Anhand sauberer Laboraufnahmen hat es in der ersten Woche gepasst. Dann kam es zu einem saisonalen Anstieg. In seltsamen Winkeln gestapelte Kisten, flackerndes Neonlicht, zwei Arbeiter überqueren den Gang. Der Roboter geriet ins Stocken – nicht weil das Modell kaputt ging, sondern weil nichts in seinem Coaching wie eine echte Veränderung aussah.

Diese Artwork von Lücke zeigt sich branchenübergreifend und ist der Grund dafür, dass die Nachfrage nach First-Particular person-Trainingsdaten an bestimmten Stellen steigt:

• Humanoide und Heimroboter. Kochen, putzen, Lebensmittel einräumen. Aufgaben, die einfach aussehen, bis Sie einem Roboter dabei zusehen, wie er sie ausführt.
• Autonome Mobilität. Fahren, Verhalten in der Kabine, Zustellung auf der letzten Meile. Die First-Particular person-Erfassung schließt die Lücke zwischen Simulation und realen Straßen.
• Industrielle egozentrische Datensätze. Fabrikhallen, Montagelinien, Öl- und Gasstandorte – werden zum Trainieren von Sicherheitserkennung, ergonomischer Nachverfolgung und arbeiterunterstützender Robotik verwendet.
• Chirurgische Videodaten aus der ersten Particular person. Erfassung von Eingriffen mithilfe von am Kopf montierten Kameras, die von Chirurgen getragen werden und zum Trainieren von Assistenzmodellen und medizinischen AR-Systemen verwendet werden.
• Egozentrische Daten zum Verbraucherverhalten im Einzelhandel. Tragbare Aufnahmen von Käufern in echten Geschäften, mit denen Aufmerksamkeit, Navigation und Entscheidungsfindung am Regal untersucht werden.

Unterschiedliche Branchen, das gleiche Grundbedürfnis: Daten, die wie Arbeit aussehen, nicht wie das Labor.

Was macht einen egozentrischen Datensatz modellreif?

Unabhängig davon, ob Sie intern bauen oder egozentrische Datenanbieter bewerten, fünf Dinge unterscheiden forschungsfähige Daten von Daten, die in der Produktion Bestand haben:

1. Egozentrische Datenannotationstiefe. Nicht nur Begrenzungsrahmen. Handhaltungen, Objektzustände, Handlungsschritte und Absichten – alles auf den richtigen Rahmen ausgerichtet.
2. Sensorkalibrierung. Zeitsynchronisierung von Video, Tiefe, Audio und Bewegung, sodass das Modell einen kohärenten Second sieht und nicht fünf fließende Ströme.
3. Edge-Case-Abdeckung. Schwaches Licht, Verdunkelung, überfüllte Szenen, seltene Ereignisse. Die Fälle, in denen Labordaten stillschweigend Lücken hinterlassen. In Käuferbefragungen aus der Industrie werden die Annotationsqualität und die Randfallabdeckung durchweg als die beiden wichtigsten Kriterien bei der Bewertung von Datenpartnern eingestuft.
4. Einwilligung und Compliance. First-Particular person-Movies sind per Definition sensibel. Für Datensätze ist eine dokumentierte Einwilligung der Teilnehmer, ggf. eine Anonymisierung erforderlich und eine Übereinstimmung mit Rahmenwerken wie DSGVO und HIPAA erforderlich. Anbieterkontrollen wie ISO 27001 und SOC 2 Typ II fügen die verfahrenstechnische Ebene hinzu, die Rechtsteams von Unternehmen erwarten.
5. Sim-to-Actual-Bereitschaft. Reales Filmmaterial, das sauber mit synthetischen Daten kombiniert wird, sodass Groups das Coaching skalieren können, ohne die Grundlagen zu verlieren, die Modelle zuverlässig machen.

Qualität Datenerfassung ist der Teil, der später am schwierigsten zu reparieren ist. Wenn Sie es direkt an der Quelle angehen, wird der Relaxation der Pipeline einfacher.

Wichtige Erkenntnisse

• Ein egozentrischer Datensatz besteht aus First-Particular person-Video- und Sensordaten – aus der Sicht des Schauspielers aufgenommen – wird dazu verwendet, Robotik und verkörperte KI-Modelle so zu trainieren, wie sie die Welt im Einsatz tatsächlich sehen werden.
• First-Particular person-Daten schließen die Wahrnehmungs-Handlungs-Lücke Das führt dazu, dass im Labor trainierte Roboter in realen Schichten versagen.
• Hochwertige egozentrische Daten sind multimodal – Video, Tiefe, Audio, Bewegung und Monitoring – auf die Millisekunde genau synchronisiert.
• Produktionsbereit bedeutet mehr als nur Annotation – es bedeutet Randfallabdeckung, reale Umgebungen, Sim-to-Actual-Bereitschaft und einen dokumentierten Compliance-Path.

Wie Shaip helfen kann

Wenn Ihr Crew die Section „Brauchen wir egozentrische Daten?“ hinter sich gelassen hat und sich mit der Frage „Wie bekommen wir sie eigentlich?“ befasst, ist Shaip genau das Richtige für Sie.

Wir betreiben die gesamte Datenpipeline hinter physischen KI-Programmen – First-Particular person-Erfassung in realen Umgebungen, VLA-Annotation, synthetische Daten, RLHF und Bewertungsbenchmarks im Rahmen eines Auftrags. Ein paar Besonderheiten:

• Aufnahmen aus der realen Welt, keine Laboraufnahmen. Am Kopf montierte Kameras, Datenbrillen und Wearables in Küchen, Lagerhäusern, Fabriken, Gesundheitseinrichtungen und Geschäften.
• Multisensor-Synchronisation. Video, IMU, LiDAR, Audio und Tiefe – auf die Millisekunde genau kalibriert und zeitlich ausgerichtet.
• Für das VLA-Coaching erstellte Anmerkung. Objekte, Aktionen, Hand-Objekt-Interaktionen, Absicht und räumlicher Kontext.
• Sim-to-Actual-Unterstützung. Synthetische Erzeugung und Real2Sim-Pipelines, die die Abdeckung erweitern, ohne die reale Erdung zu verlieren.
• Compliance vom ersten Tag an. ISO 27001, SOC 2 Typ II, HIPAA-bereit und DSGVO – mit Einwilligung-zuerst-Erhebung und revisionssicherer Datenherkunft.

Wenn dies die Richtung Ihres physischen KI-Programms widerspiegelt, würden wir gerne einen Pilotversuch planen.

Abschluss

Ein egozentrischer Datensatz ist nicht nur ein Ego-Video. Dabei handelt es sich um eine strukturierte Methode, Maschinen beizubringen, so zu sehen und zu handeln, wie Menschen es tun. Für Robotik- und verkörperte KI-Groups ist es der Unterschied zwischen einem Modell, das sich intestine demonstrieren lässt, und einem Modell, das ausgeliefert werden kann. Unabhängig davon, ob das Ziel Humanoide, Autonomie oder intelligente Fabriken sind, werden egozentrische Daten für die Robotik- und KI-Entwicklung zu einer Kernschicht jeder ernsthaften verkörperten KI-Datensatzstrategie – und nicht zu einer optionalen. Die Groups, die es richtig machen, sind diejenigen, die Daten – Sammlung, Annotation, Validierung und Compliance – als Kernbestandteil des Techniques und nicht als einen Schritt davor behandeln.

Generative KI und Robotik bringen uns immer näher an den Tag, an dem wir nach einem Objekt fragen und es innerhalb weniger Minuten erstellen lassen können. Tatsächlich haben MIT-Forscher ein Speech-to-Actuality-System entwickelt, einen KI-gesteuerten Arbeitsablauf, der es ihnen ermöglicht, Eingaben an einen Roboterarm zu senden und „Objekte ins Leben zu rufen“, wodurch sie beispielsweise Möbel in nur fünf Minuten herstellen können.

Mit dem Speech-to-Actuality-System ist ein auf einem Tisch montierter Roboterarm in der Lage, gesprochene Eingaben von einem Menschen zu empfangen, wie zum Beispiel „Ich möchte einen einfachen Hocker“, und dann die Objekte aus modularen Komponenten zu konstruieren. Bisher haben die Forscher mit dem System Hocker, Regale, Stühle, einen kleinen Tisch und sogar Dekorationsgegenstände wie eine Hundestatue hergestellt.

„Wir verbinden die Verarbeitung natürlicher Sprache, generative 3D-KI und Robotermontage“, sagt Alexander Htet Kyaw, Doktorand am MIT und Fellow der Morningside Academy for Design (MAD). „Dies sind schnell voranschreitende Forschungsbereiche, die noch nie zuvor so zusammengeführt wurden, dass man tatsächlich physische Objekte nur aus einer einfachen Sprachaufforderung herstellen kann.“

Die Idee entstand, als Kyaw – ein Doktorand in den Fachbereichen Architektur, Elektrotechnik und Informatik – den Kurs „Wie man quick alles herstellt“ von Professor Neil Gershenfeld belegte. In diesem Kurs baute er das Speech-to-Actuality-System auf. Er arbeitete weiter an dem Projekt am MIT Heart for Bits and Atoms (CBA) unter der Leitung von Gershenfeld und arbeitete mit den Doktoranden Se Hwan Jeon vom Division of Mechanical Engineering und Miana Smith vom CBA zusammen.

Das Speech-to-Actuality-System beginnt mit einer Spracherkennung, die die Anfrage des Benutzers mithilfe eines großen Sprachmodells verarbeitet, gefolgt von generativer 3D-KI, die eine digitale Netzdarstellung des Objekts erstellt, und einem Voxelisierungsalgorithmus, der das 3D-Netz in Baugruppenkomponenten zerlegt.

Anschließend modifiziert die geometrische Verarbeitung die KI-generierte Baugruppe, um fertigungsbedingte und physikalische Einschränkungen im Zusammenhang mit der realen Welt zu berücksichtigen, wie z. B. die Anzahl der Komponenten, Überhänge und Konnektivität der Geometrie. Anschließend erfolgt die Erstellung einer realisierbaren Montagesequenz und eine automatisierte Pfadplanung für den Roboterarm, um physische Objekte nach Eingaben des Benutzers zusammenzubauen.

Durch die Nutzung natürlicher Sprache macht das System Design und Fertigung auch für Menschen ohne Kenntnisse in 3D-Modellierung oder Roboterprogrammierung zugänglicher. Und im Gegensatz zum 3D-Druck, der Stunden oder Tage dauern kann, lässt sich dieses System innerhalb von Minuten aufbauen.

„Dieses Projekt ist eine Schnittstelle zwischen Menschen, KI und Robotern, um die Welt um uns herum gemeinsam zu erschaffen“, sagt Kyaw. „Stellen Sie sich ein Szenario vor, in dem Sie sagen ‚Ich möchte einen Stuhl‘ und innerhalb von fünf Minuten erscheint ein physischer Stuhl vor Ihnen.“

Das Workforce hat unmittelbare Pläne, die Tragfähigkeit der Möbel zu verbessern, indem es die Verbindung der Würfel von Magneten auf robustere Verbindungen umstellt.

„Wir haben auch Pipelines entwickelt, um Voxelstrukturen in realisierbare Montagesequenzen für kleine, verteilte cell Roboter umzuwandeln, die dazu beitragen könnten, diese Arbeit in Strukturen jeder Größenskala umzusetzen“, sagt Smith.

Der Zweck der Verwendung modularer Komponenten besteht darin, den Abfall zu vermeiden, der bei der Herstellung physischer Objekte anfällt, indem man sie zerlegt und dann wieder zusammenbaut, um beispielsweise ein Couch in ein Bett zu verwandeln, wenn man das Couch nicht mehr benötigt.

Weil Kyaw auch Erfahrung in der Anwendung hat Gestenerkennung und Augmented Actuality zur Interaktion Mit Robotern im Herstellungsprozess arbeitet er derzeit daran, sowohl Sprach- als auch Gestensteuerung in das Speech-to-Actuality-System zu integrieren.

Kyaw greift auf seine Erinnerungen an den Replikator in der „Star Trek“-Reihe und die Roboter im Animationsfilm „Massive Hero 6“ zurück und erklärt seine Imaginative and prescient.

„Ich möchte den Menschen den Zugang zu physischen Objekten auf schnelle, zugängliche und nachhaltige Weise erleichtern“, sagt er. „Ich arbeite an einer Zukunft, in der das Wesen der Materie wirklich unter Ihrer Kontrolle liegt. Eine Zukunft, in der die Realität auf Abruf generiert werden kann.“

Das Workforce stellte sein Papier vor „Sprache zur Realität: On-Demand-Produktion mit natürlicher Sprache, generativer 3D-KI und diskreter Robotermontage“ beim Affiliation for Computing Equipment (ACM) Symposium on Computational Fabrication (SCF ’25), das am 21. November am MIT stattfand.

Letzte Woche hat das Nvidia Robotics -Staff Jetson Thor veröffentlicht, das gehört Jetson Agx Thor Developer Equipment und die Jetson T5000 Moduleinen bedeutenden Meilenstein für die Entwicklung von AI -Robotikentwicklung in der realen Welt markieren. Entwickelt wie a Supercomputer für physische KIJetson Thor bringt generative Argumentation und multimodale Sensorverarbeitung in die Stromversorgung und Entscheidungsfindung am Rande.

Architektonische Höhepunkte

Leistung berechnen

Jetson Thor liefert bis zu 2.070 FP4 Teraflops (TFlops) von KI berechnen über seine in Blackwell ansässige GPU – ein Sprung von von 7,5 × über der vorherigen Jetson Orin -Plattform. Diese Leistung kommt in einem an 130 -Watt Leistungsumschlag mit konfigurierbarem Betrieb bis hin zu 40 weinen hohen Durchsatz mit Energieeffizienz ausbalancieren – angemessen 3,5 × besser als Orin.

Berechnen Sie Architektur

Im Kern integriert Jetson Thor a 2560 -Core Blackwell GPU ausgestattet mit 96 Tensor Cores der fünften Era und unterstützt Multi -Occasion -GPU (MIG)Ermöglichen Sie eine versatile Partitionierung von GPU -Ressourcen für parallele Workloads. Das ergänzen dies ein 14 -Core Arm® Neoverse -V3AE CPUmit 1 MB L2 professional Kern und 16 MB Shared L3 Cache.

Speicher und ich/o

Die Plattform umfasst 128 GB LPDDR5X -Speicher In einem 256 -Bit -Bus bei 273 GB/s Bandbreite. Speicherfunktionen umfassen a 1 TB NVME M.2 SlotZusammen mit HDMI, DisplayPort, mehreren USB, Gigabit-Ethernet, Dose Header und QSFP28 für bis zu vier 25 GBE-Fahrspuren-entschlossen für die Echtzeit-Sensorfusion.

Software program -Ökosystem für physische KI

Jetson Thor unterstützt einen umfassenden NVIDIA -Software program -Stack, der auf Robotik und physische KI zugeschnitten ist:

• Isaac (GR00T) für generatives Denken und humanoide Kontrolle.
• Metropole für Imaginative and prescient ai.
• Holoscan Für Echtzeit, Sensorverarbeitung mit geringer Latenz und Sensor-Over-Ethernet (Holoscan Sensor Bridge).

Diese Komponenten ermöglichen es einem System-auf-Modul, multimodale KI-Workflows-Imaginative and prescient, Sprache, Betätigung-ohne Auslagerung oder Kombination mehrerer Chips auszuführen.

Definition von „physischer KI“ und ihrer Bedeutung

Generative Argumentation und multimodale Verarbeitung

Physische KI kombiniert Wahrnehmung, Argumentation und Aktionsplanung. Mit Jetson Thor können Roboter „mögliche Sequenzen simulieren, Konsequenzen vorhersehen und sowohl hochrangige Pläne als auch Bewegungsrichtlinien auf niedriger Ebene erzeugen, was der Anpassungsfähigkeit mit menschlichem Denken entspricht. Durch die Unterstützung von Echtzeit-Inferenz über Sprach- und visuelle Eingaben verwandelt sie Roboter aus einfachen Automata in Generalist-Agenten.

Anwendungen

Roboter können besser navigieren, unvorhersehbare Umgebungen, Objekte manipulieren oder komplexe Anweisungen befolgen, ohne zu wiedererlangen. Anwendungsfälle umfassen Fertigung, Logistik, Gesundheitswesen, Landwirtschaft und mehr.

Entwicklerzugriff und Preisgestaltung

• Jetson Agx Thor Developer Equipment: Preis bei $ 3.499jetzt allgemein verfügbar.
• Jetson T5000 Produktionsmodule: Erhältlich über die Companion von Nvidia mit den Preisen der Einheiten $ 2.999 für Bestellungen von 1.000.
• Vorbestellungen deuten in Kürze eine größere Verfügbarkeit hin, die sowohl für Forschungs- als auch für kommerzielle Robotik-Ökosysteme gerecht werden.

Abschluss

Nvidia Jetson Thor repräsentiert eine zentrale Verschiebung des Robotik-Computer systems-auf Serverqualität, multimodaler Inferenz und Argumentationsfunktionen innerhalb eines einzelnen, kraftvollen Moduls. Seine Kombination von 2.070 fp4 tflopsHocheffizientes Design, expansive E/O und robuste Software program-Stapel positionieren es als grundlegende Plattform für die nächste Era von physischen KI-Systemen. Mit einer frühzeitigen Einführung unter prominenten Robotikentwicklern und der Verfügbarkeit der Bereitschaft bringt Jetson Thor die Imaginative and prescient anpassungsfähiger, realer KI-Agenten näher an die Realität.

---

Schauen Sie sich das an Vollständige technische Particulars. Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser Publication.

Der Isaac Gr00T N1 von Nvidia stellt einen Quantensprung in der humanoiden Robotik dar und kombiniert die modernste KI mit Open-Supply-Zugänglichkeit. Diese Technologie ermöglicht es Robotern, Sprachbefehle zu interpretieren, visuelle Daten zu verarbeiten und komplexe Manipulationsaufgaben in verschiedenen Umgebungen auszuführen.

Zusammenbruch der technischen Architektur

Kognitiver Framework mit zwei Systemen

1. System 1 (schnell denken): Fungiert als schnell denkender Aktionsmodell, ähnlich wie menschliche Reflexe und Instinct. Es wurde an Daten geschult, die durch menschliche Demonstrationen und synthetische Daten gesammelt wurden, die von der Omniverse -Plattform von Nvidia generiert wurden.
   
   • Verarbeitet Aktionen bei 30 Hz für die Reaktionsfähigkeit in Echtzeit
   • Aufgebaut auf Diffusionstransformatorarchitektur
   • Ausgebildet auf 6.500 Stunden Human/Roboter -Demonstrationsdaten
2. System 2 (langsam denken): Funktioniert als bewusstes Argumentations- und Aktionsplanungsmodell, das von einem Visionsprachmodell angetrieben wird. Es interpretiert die Umgebung und die Anweisungen zur Planung von Aktionen, die dann von System 1 als präzise, ​​kontinuierliche Bewegungen ausgeführt werden.
   
   • VLA-Modell (Imaginative and prescient-Sprach-Motion) mit 2B-Parametern
   • Verarbeitet multimodale Eingänge durch Clip-Stil-Encoder
   • Ermöglicht das kontextbezogene Verständnis und langfristige Planung

Diese Architektur ermöglicht es humanoiden Robotern, eine breite Palette von Aufgaben auszuführen, von grundlegenden Objektmanipulationen bis hin zu komplexen, mehrstufigen Aktivitäten, die ein anhaltendes kontextbezogenes Verständnis erfordern.

Neuronale Netzwerkarchitektur

Eingabepipeline → Imaginative and prescient-Sprach-Encoder → Diffusionstransformator → Aktionsausgabe

(Clip-Stil) (8-Schicht, 2048-DIM)

Lesen Sie auch: 10 Nvidia GTC 2025 Ankündigungen, die Sie wissen müssen

Vollständige Installationshandbuch

Getestet auf Ubuntu 20.04/22.04 mit CUDA 12.4

Hardwareanforderungen

Aufgabe	Minimale GPU	Empfohlene GPU
Schlussfolgerung	RTX 4090 (24 GB VRAM)	A6000 (48 GB VRAM)
Feinabstimmung	L40 (48 GB VRAM)	H100 (80 GB VRAM)

Schritt-für-Schritt-Setup

1. Installieren Sie Systemabhängigkeiten

sudo apt-get set up ffmpeg libsm6 libxext6 -y

2. Clone Repository & Konfiguration Umgebung:

git clone https://github.com/NVIDIA/Isaac-GR00T
cd Isaac-GR00T
conda create -n gr00t python=3.10
conda activate gr00t
pip set up -e . flash-attn==2.7.1.post4

3.. Validieren Sie die Set up mit Testskripten:

from gr00t.fashions import Gr00tPolicy
coverage = Gr00tPolicy.from_pretrained("nvidia/gr00t-n1-2b")

Für eine vollständige Anleitung klicken Sie hier: GR00T GitHub

Umfassende Workflow -Implementierung

1. Datenvorbereitung (0_LOAD_DATASET.IPYNB)

Konvertieren Sie Roboterdemonstrationen in das Lerobot -Schema:

from lerobot import LeRobotSingleDataset
dataset = LeRobotSingleDataset(
    root="your_data_path",
    meta_filename="meta.json"
)

2. Inferenzpipeline (1_Gr00T_inference.ipynb)

# Run inference server
python scripts/inference_service.py --mode server
# Consumer request instance
curl -X POST http://localhost:5000/predict 
  -H "Content material-Sort: software/json" 
  -d '{"commentary": {"picture": "base64_data"}}'

3.. Feinabstimmungsprozess (2_finetuning.ipynb)

# Single-GPU fine-tuning
python scripts/gr00t_finetune.py 
  --dataset_path ./custom_data 
  --output_dir ./outcomes 
  --batch_size 32

4. Neue Ausführungsanpassung (3_NEW_EMBODIMENT_FINETUNING.IPYNB):

Ändern Sie die Ausführungsform_Config.yaml:

joints:
  arm: 7
  hand: 3
dynamics:
  max_torque: 150Nm

Durchbruch der synthetischen Datengenerierung

Die synthetische Datenpipeline von NVIDIA ermöglicht:

• 780.000 Trajektorien in 11 Stunden erzeugt
• 6: 1 Artificial-to-Actual-Datenverhältnisoptimierung
• 3D -Szene Randomisierung Für die Umwelt genemodify expodiment_config.yamlralisierung

# Generate artificial motions
from gr00t_blueprint import MotionGenerator
generator = MotionGenerator(decision=(640, 480))
synthetic_data = generator.render(1000)

Bereitstellungs- und Leistungsmetriken

Actual-World-Benchmark-Ergebnisse

Aufgabenkomplexität	Erfolgsrate	Lerneffizienz
Einzelobjekt	92,4%	15H Coaching
Multi-Schritt	76,8%	40h -Coaching
Neuartiges Szenario	68,1%	5H Anpassung

Plattformübergreifende Kompatibilität

• Simulation: Nvidia Isaac SIM 2025.1+
• {Hardware}: Jetson Agx Thor (Roboterseite)
• Wolke: DGX Spark Cluster für groß angelegte Coaching

1. Isaac GR00T Blueprint:
   • SDK der synthetischen Bewegunggenerierung
   • Omniverse -Erweiterung für die kollaborative Entwicklung
2. Newton Physics Engine: Nvidia kündigte eine Zusammenarbeit mit Google DeepMind und Disney Analysis an, um Newton zu entwickeln, einer Open-Supply-Physik-Engine, mit der Roboter lernen, wie man komplexe Aufgaben mit größerer Präzision umgeht.
   • 5x schneller als vorhandene Lösungen
   • Modellierung der Materialverformung in Echtzeit
   • Gemeinsame Entwicklung mit Google DeepMind/Disney

Erste Schritte Ressourcen

Abschluss

Der Isaac Gr00T N1 von Nvidia markiert einen bahnbrechenden Schritt in der humanoiden Robotik, indem sie modernste KI mit Open-Supply-Zugänglichkeit verbinden. Mit seinem kognitiven Rahmen der Twin-System-Kognitive, der Diffusionstransformator-Architektur und der nahtlosen Integration von Visionsprachmodellen bietet sie beispiellose Fähigkeiten in Bezug auf Echtzeit-Entscheidungsfindung und komplexe Aufgabenausführung. Die umfassende Unterstützung für die Erzeugung, die Feinabstimmung und die Anpassung der synthetischen Daten erzeugt ihre Place als revolutionäre Plattform für die Robotikforschung und -entwicklung weiter.

Von der Set up bis zur Bereitstellung bietet ISAAC GR00T N1 einen Finish-to-Finish-Workflow, mit dem Forscher, Entwickler und Unternehmen fortschrittliche humanoide Roboter effizient aufbauen können. Die Kompatibilität mit branchenführenden Simulationstools, {Hardware} für Unternehmensqualität und Cloud-Infrastruktur macht es zu einer skalierbaren und zukünftigen Lösung.

Während sich die Open-Supply-Robotik weiterentwickelt, setzt Isaac GR00T N1 einen neuen Benchmark für die Branche und befähigt eine neue Era intelligenter, anpassungsfähiger humanoischer Roboter, die in der Lage sind, über verschiedene reale Umgebungen hinweg zu operieren.

Der Informatiker der Rice College, Lydia Kavraki . ““

Kavraki ist Rices Kenneth und Audrey Kennedy Professor für Computing sowie Professor für Informatik, Elektro- und Computertechnik, Maschinenbau und Bioengineering. Sie dient auch als Direktor der Ken Kennedy Institutedessen Mission es ist, globale Herausforderungen zu lösen, indem sie kollaborative Forschung und Innovation in der künstlichen Intelligenz (KI) und Computing fördert.

Kavrakis Wahl in die NAE erkennt die transformativen Auswirkungen ihrer Arbeit in der Robotik an, wo ihre Entwicklung von probenbasierten, bewegungsplanenden Algorithmen das Feld revolutioniert hat, indem die Planungszeiten von Minuten auf einen kleinen Bruchteil einer Sekunde verkürzt wurden. Diese Arbeit zugrunde liegt Kavrakis Imaginative and prescient für eine Welt, in der „Roboter in der Lage sind, sicher und nahtlos neben Menschen zu arbeiten“ und neue Grenzen in der Zusammenarbeit zwischen Human-Robotic zu öffnen, von der industriellen Automatisierung bis zur Weltraumforschung und der Roboter-assistierten Operation.

„Es ist eine unglaubliche Ehre, sich dieser Neighborhood anzuschließen, und diese Anerkennung ist ein Beweis für das Engagement meiner Schüler und Mitarbeiter, die an meiner Seite gearbeitet haben, um die Grenzen der Robotik und der Computerbiomedizin zu überschreiten.“ Kavraki sagte. „Ich freue mich darauf, unsere Arbeit fortzusetzen, um intelligente Systeme zu entwickeln, die der Gesellschaft zugute kommen.“

Die Arbeit von Kavrakis hat sich tiefgreifend auf die akademische Forschung und Industrie ausgewirkt. Die Open Movement Planning Library, die seit 2008 von ihrem Labor entwickelt und gepflegt wird, ist ein wesentliches Instrument, das in Softwaresystemen, die in Industrie-, Raum- und medizinischen Anwendungen verwendet wurden, weit verbreitet ist. Ihre Beiträge zur NASA -Robonaut2 und ihre Forschung zu Robotern zur Unterstützung von Astronauten unterstreichen ihren Einfluss auf die Zukunft der physischen KI. In der Biomedizin unterstützen ihre Computerwerkzeuge Kliniker hochmoderne Unterstützung, einschließlich des MD Anderson Most cancers Middle der Universität von Texas, wo das APE-Gen-Instrument von Kavraki dazu beigetragen hat, eine personalisierte Immuntherapie zu leiten.

„Lydia Kavrakis Wahl in die Nationale Akademie für Ingenieurwesen ist eine wohlverdiente Anerkennung ihrer bahnbrechenden Beiträge zu Robotik, Biomedizin und künstlichen Intelligenz“, sagte Rice-Präsidentin Reginald Desroches. „Ihre fleißige und progressive Arbeit in diesem Bereich hat nicht nur das Gebiet vorangetrieben, sondern auch Generationen von Ingenieuren und Forschern inspiriert. Wir an der Rice College sind sehr stolz auf Lydias Erfolge und die Auswirkungen, die sie weiterhin auf Wissenschaft und Gesellschaft hat. “

Abgesehen von ihrer Forschung ist Kavraki auch ein engagierter Mentor und Führer. Darüber hinaus unterstreicht ihr Engagement für KI-Innovation als Ethik-informierte Praxis in jüngsten Projekten wie die Bekämpfung der Verzerrungen von Daten und maschinellem Lernmodellen für Immuntherapie und Datenschutzbedenken im Zusammenhang mit Robotern, die in menschlichen Umgebungen arbeiten.

„Ich bin zutiefst dankbar für die unzähligen Möglichkeiten, die ich bei Rice erhalten habe – insbesondere das Privileg, mit außergewöhnlichen Kollegen und Studenten zusammenzuarbeiten, die meine Arbeit ständig bereichert und inspiriert haben“, sagte Kavraki. „Ich teile diese Unterscheidung mit meinen Schülern, deren Engagement und Kreativität auf meiner Reise entscheidend waren, und mit meiner Familie, die mich jeden Schritt des Weges unterstützt hat. Ich dankte den Kollegen, die meine Nominierung unterstützt haben, auch meinen Herzen. Ich freue mich darauf, mit anderen NAE -Mitgliedern zusammenzuarbeiten und unsere kollektive Fachkenntnisse zu kombinieren, um unsere Welt zu erheben und zu verbessern. “

Kavraki, Mitglied der Nationwide Academy of Medication und der American Academy of Arts and Sciences, erhielt zahlreiche Auszeichnungen und Auszeichnungen, einschließlich der Anerkennung als Fellow der American Affiliation for the Development of Science, der Vereinigung für die Weiterentwicklung von Künstlich Intelligenz und das American Institute for Medical and Organic Engineering. Sie hat über 400 Forschungsveröffentlichungen und ein Robotik -Lehrbuch verfasst. Während ihrer Amtszeit bei Rice hat sie über 30 Doktoranden und 20 Postdocs betreut, während sie mehr als 100 Studenten für Forschungsprojekte beaufsichtigt hat.

„Lydias Wahl in die Nationale Akademie des Ingenieurwesens ist ein Beweis für ihre bahnbrechenden Beiträge zu Robotik, KI und biomedizinischem Computing“, sagte Luay Nakhleh, William und Stephanie Sick Dean der George R. Brown College of Engineering and Computing. „Sie hat das Gebiet geprägt und einen tiefgreifenden Einfluss auf die Gesellschaft durch ihre hochmoderne Forschung, herausragende Mentoring und einen umfassenden Service für die akademische Gemeinschaft insgesamt. Lydia arbeitet auf einem Maß an Exzellenz, mit dem wir alle anstreben, und wir sind unglaublich stolz darauf, dass sie Teil der Rice Engineering and Computing -Neighborhood ist. “

Kavraki gehört zu den 128 neuen US -Mitgliedern und 22 internationalen Mitgliedern, die in die Klasse 2025 der NAE gewählt wurden. Die neu gewählten Mitglieder werden am 5. Oktober 2025 offiziell aufgenommen.

Die Liste aller neu gewählten Mitglieder kann auf der angezeigt werden Organisationswebsite.

Kavraki joins 16 Rice college who’re members of the academy — present college members Pedro Alvarez, Richard Baraniuk, DesRoches, Abbas Firoozabadi, Gene Frantz, Naomi Halas, Karen Lozano, Antonios Mikos, Ramamoorthy Ramesh, Rebecca Richards-Kortum, Pol Spanos, Richard Tapia, Jim Tour und Moshe Vardi – zusammen mit emeritierten Professoren George Hirasaki und Ronald Nordgren.

Im aktuellen KI-Zeitgeist erfreuen sich Sequenzmodelle aufgrund ihrer Fähigkeit, Daten zu analysieren und vorherzusagen, was als nächstes zu tun ist, immer größerer Beliebtheit. Beispielsweise haben Sie wahrscheinlich Modelle zur Vorhersage des nächsten Tokens wie ChatGPT verwendet, die jedes Wort (Token) in einer Sequenz antizipieren, um Antworten auf Benutzeranfragen zu bilden. Es gibt auch Vollsequenz-Diffusionsmodelle wie Sora, die Wörter in schillernde, realistische Bilder umwandeln, indem sie eine ganze Videosequenz sukzessive „entrauschen“.

Forscher des Laptop Science and Synthetic Intelligence Laboratory (CSAIL) des MIT haben eine einfache Änderung des Diffusionstrainingsschemas vorgeschlagen, die diese Sequenzentrauschung erheblich flexibler macht.

Bei der Anwendung auf Bereiche wie Laptop Imaginative and prescient und Robotik weisen die Subsequent-Token- und Full-Sequence-Diffusionsmodelle Leistungskompromisse auf. Subsequent-Token-Modelle können Sequenzen unterschiedlicher Länge ausspucken. Allerdings erzeugen sie diese Generationen, ohne sich der wünschenswerten Zustände in der fernen Zukunft bewusst zu sein – wie etwa die Steuerung ihrer Sequenzgenerierung auf ein bestimmtes Ziel, das 10 Token entfernt ist – und erfordern daher zusätzliche Mechanismen für eine langfristige (langfristige) Planung. Diffusionsmodelle können solche zukunftsbedingten Stichproben durchführen, ihnen fehlt jedoch die Fähigkeit von Subsequent-Token-Modellen, Sequenzen variabler Länge zu erzeugen.

Forscher von CSAIL möchten die Stärken beider Modelle kombinieren und haben daher eine Sequenzmodell-Trainingstechnik namens „Diffusion Forcing“ entwickelt. Der Title stammt von „Instructor Forcing“, dem herkömmlichen Trainingsschema, das die vollständige Sequenzgenerierung in die kleineren, einfacheren Schritte der nächsten Token-Generierung aufteilt (ähnlich wie ein guter Lehrer ein komplexes Konzept vereinfacht).

Beim Diffusion Forcing wurden Gemeinsamkeiten zwischen Diffusionsmodellen und Instructor Forcing festgestellt: Beide verwenden Trainingsschemata, bei denen maskierte (verrauschte) Token aus unmaskierten Token vorhergesagt werden. Im Fall von Diffusionsmodellen fügen sie den Daten nach und nach Rauschen hinzu, was als fraktionierte Maskierung angesehen werden kann. Die Diffusion Forcing-Methode der MIT-Forscher trainiert neuronale Netze, um eine Sammlung von Token zu bereinigen, wobei in jedem einzelne unterschiedliche Mengen an Rauschen entfernt werden, während gleichzeitig die nächsten paar Token vorhergesagt werden. Das Ergebnis: ein flexibles, zuverlässiges Sequenzmodell, das zu qualitativ hochwertigeren künstlichen Movies und einer präziseren Entscheidungsfindung für Roboter und KI-Agenten führte.

Durch die Sortierung verrauschter Daten und die zuverlässige Vorhersage der nächsten Schritte einer Aufgabe kann Diffusion Forcing einem Roboter dabei helfen, visuelle Ablenkungen zu ignorieren und Manipulationsaufgaben auszuführen. Es kann außerdem stabile und konsistente Videosequenzen erzeugen und sogar einen KI-Agenten durch digitale Labyrinthe führen. Diese Methode könnte es Haushalts- und Fabrikrobotern möglicherweise ermöglichen, neue Aufgaben zu übernehmen und die KI-generierte Unterhaltung zu verbessern.

„Sequenzmodelle zielen darauf ab, auf der bekannten Vergangenheit zu basieren und die unbekannte Zukunft vorherzusagen, eine Artwork binäre Maskierung. Allerdings muss die Maskierung nicht binär sein“, sagt Boyuan Chen, Hauptautor, MIT-Doktorand für Elektrotechnik und Informatik (EECS) und CSAIL-Mitglied. „Mit Diffusion Forcing fügen wir jedem Token unterschiedliche Rauschpegel hinzu, was effektiv als eine Artwork fraktionierte Maskierung dient. Zum Testzeitpunkt kann unser System eine Sammlung von Token „demaskieren“ und in naher Zukunft eine Sequenz mit einem geringeren Geräuschpegel verbreiten. Es weiß, worauf es in seinen Daten vertrauen kann, um Eingaben außerhalb der Verteilung zu überwinden.“

In mehreren Experimenten gelang es Diffusion Forcing, irreführende Daten zu ignorieren, um Aufgaben auszuführen und gleichzeitig zukünftige Aktionen zu antizipieren.

Bei der Implementierung in einen Roboterarm half es beispielsweise dabei, zwei Spielzeugfrüchte auf drei kreisförmigen Matten auszutauschen, ein minimales Beispiel für eine Familie von Langzeitaufgaben, die Erinnerungen erfordern. Die Forscher trainierten den Roboter, indem sie ihn in der virtuellen Realität aus der Ferne steuerten (oder teleoperierten). Der Roboter ist darauf trainiert, die Bewegungen des Benutzers über seine Kamera nachzuahmen. Obwohl es von zufälligen Positionen ausging und Ablenkungen wie eine Einkaufstüte sah, die die Markierungen blockierten, platzierte es die Objekte an ihren Zielpunkten.

Um Movies zu erstellen, trainierten sie Diffusion Forcing mit dem Gameplay von „Minecraft“ und farbenfrohen digitalen Umgebungen, die in Google erstellt wurden DeepMind Lab-Simulator. Bei Verwendung eines einzelnen Filmbilds erzeugte die Methode stabilere Movies mit höherer Auflösung als vergleichbare Basislinien wie ein Sora-ähnliches Vollsequenz-Diffusionsmodell und ChatGPT-ähnliche Subsequent-Token-Modelle. Diese Ansätze erzeugten Movies, die inkonsistent wirkten, wobei letztere manchmal keine funktionierenden Movies über nur 72 Frames hinaus generierten.

Diffusion Forcing generiert nicht nur ausgefallene Movies, sondern kann auch als Bewegungsplaner dienen, der auf gewünschte Ergebnisse oder Belohnungen abzielt. Dank seiner Flexibilität kann Diffusion Forcing auf einzigartige Weise Pläne mit unterschiedlichem Horizont erstellen, eine Baumsuche durchführen und die Instinct berücksichtigen, dass die ferne Zukunft unsicherer ist als die nahe Zukunft. Bei der Aufgabe, ein 2D-Labyrinth zu lösen, übertraf Diffusion Forcing sechs Basislinien, indem es schnellere Pläne generierte, die zum Zielort führten, was darauf hindeutet, dass es in Zukunft ein effektiver Planer für Roboter sein könnte.

In jeder Demo fungierte Diffusion Forcing als vollständiges Sequenzmodell, als Subsequent-Token-Vorhersagemodell oder als beides. Laut Chen könnte dieser vielseitige Ansatz möglicherweise als leistungsstarkes Rückgrat für ein „Weltmodell“ dienen, ein KI-System, das die Dynamik der Welt durch Coaching auf Milliarden von Internetvideos simulieren kann. Dies würde es Robotern ermöglichen, neuartige Aufgaben auszuführen, indem sie sich anhand ihrer Umgebung vorstellen, was sie tun müssen. Wenn Sie beispielsweise einen Roboter bitten würden, eine Tür zu öffnen, ohne dass er darin geschult wurde, könnte das Modell ein Video produzieren, das der Maschine zeigt, wie es geht.

Das Crew versucht derzeit, seine Methode auf größere Datensätze und die neuesten Transformatormodelle auszuweiten, um die Leistung zu verbessern. Sie beabsichtigen, ihre Arbeit zu erweitern, um ein ChatGPT-ähnliches Robotergehirn zu entwickeln, das Robotern hilft, Aufgaben in neuen Umgebungen ohne menschliches Zutun auszuführen.

„Mit Diffusion Forcing machen wir einen Schritt, um Videoerzeugung und Robotik näher zusammenzubringen“, sagt der leitende Autor Vincent Sitzmann, Assistenzprofessor am MIT und Mitglied von CSAIL, wo er die Gruppe „Scene Illustration“ leitet. „Am Ende hoffen wir, dass wir das gesamte in Movies im Web gespeicherte Wissen nutzen können, um Robotern die Hilfe im Alltag zu ermöglichen. Es bleiben noch viele weitere spannende Forschungsherausforderungen, wie zum Beispiel die Frage, wie Roboter lernen können, Menschen nachzuahmen, indem sie sie beobachten, selbst wenn ihr eigener Körper sich so sehr von unserem unterscheidet!“

Chen und Sitzmann haben das Papier gemeinsam mit Diego Martí Monsó, dem jüngsten MIT-Gastforscher, und CSAIL-Mitgliedern verfasst: Yilun Du, ein EECS-Doktorand; Max Simchowitz, ehemaliger Postdoc und künftiger Assistenzprofessor an der Carnegie Mellon College; und Russ Tedrake, Toyota-Professor für EECS, Luft- und Raumfahrt sowie Maschinenbau am MIT, Vizepräsident für Robotikforschung am Toyota Analysis Institute und CSAIL-Mitglied. Ihre Arbeit wurde teilweise von der US Nationwide Science Basis, der Singapore Defence Science and Know-how Company, Intelligence Superior Analysis Tasks Exercise über das US-Innenministerium und dem Amazon Science Hub unterstützt. Sie werden ihre Forschung im Dezember bei NeurIPS vorstellen.