Immer häufiger sieht man Roboter, die die Straße entlanglaufen, umgeben von staunenden Zuschauern. Aber diese Maschinen sind noch nicht die Allround-Assistenten, die man sich für die Arbeit in einer Küche oder Fabrik wünscht, und ein großer Engpass sind die Daten. Ähnlich wie Menschen lernen Roboter am besten durch Erfahrung. Die Herausforderung besteht darin, dass es arbeitsintensiv und zeitaufwändig ist, diesen Maschinen so viele Aktionen in verschiedenen Umgebungen physisch beizubringen.
„Eine natürliche Idee besteht darin, Simulationen als Übungsgelände zu nutzen. Während es in den letzten Jahren erhebliche Fortschritte bei den Physik-Engines gab, die Robotersimulatoren antreiben, besteht eine der verbleibenden Herausforderungen darin, ausreichend umfangreiche und vielfältige Simulationsinhalte zu erstellen, um die Komplexität der realen Welt zu erfassen“, sagt Russ Tedrake, Toyota-Professor für Elektrotechnik und Informatik (EECS), Luft- und Raumfahrt sowie Maschinenbau am MIT und leitender Forscher am Pc Science and Synthetic Intelligence Laboratory (CSAIL) des MIT.
Es stellt sich heraus, dass KI-Agenten oder halbautonome Programme, die „denken“ und genau definierte Aufgaben ausführen, dabei helfen könnten, die lebensechten virtuellen Umgebungen zu schaffen, die Roboter benötigen. Das neue „SceneSmithDas von Forschern des MIT CSAIL und des Toyota Analysis Institute entwickelte System verwendet drei Agenten, um die Objekte, Wände und das Gesamtbild einer 3D-Szene zusammenzusetzen. Die Nachbildungen von Innenräumen wie Eating places, Schlafzimmern und Lodges sind realistischer und detaillierter als frühere Systeme und helfen Robotern, Fähigkeiten zu üben und verschiedene Arten der Aufgabenerledigung auszuprobieren, bevor sie eingeschaltet werden. Im Gegenzug sparen Ingenieure Zeit bei Exams in der realen Welt.
Die Agenten haben ein Gespür dafür, wie alltägliche Orte aussehen sollen, weil sie jeweils auf ein multimodales System namens Imaginative and prescient-Language-Modell (VLM) zurückgreifen, insbesondere auf das hochmoderne VLM GPT-5.2. Es wurde mit vielen Texten und Bildern aus dem Web trainiert, um mehr visuelle Eingabeaufforderungen verarbeiten zu können. Dieses fortschrittliche Modell vermittelt jedem Agenten eine Artwork räumliches Wissen: Zuerst generiert ein „Designer“-Agent die Elemente einer Szene, dann berät ein „Kritiker“, ob sie realistisch aussieht, und schließlich verwaltet ein „Orchestrator“ ihr Hin und Her und entscheidet, wann der Entwurf fertig ist. Sobald die drei VLMs ihre kreative Zusammenarbeit abgeschlossen haben, kann die Szene direkt in die Physiksimulationssoftware geladen werden.
„Wir haben herausgefunden, dass das System 3D-Szenen so konstruieren kann, wie es ein menschlicher Designer tun würde“, sagt Nicholas Pfaff, Doktorand am MIT EECS, CSAIL-Forscher und Hauptautor von a Papier mit Tedrake, der die Arbeit vorstellt. „Wir haben über 1.300 Szenen mit einem führenden VLM erstellt, der über Priorisierungen im Web-Maßstab verfügt, und er hat wahnsinnig kreative und vielfältige Preparations getroffen. Ich hatte dem System das nicht in den Eingabeaufforderungen beigebracht; es hat einfach improvisiert.“
Sprechen Sie mit meinem Agenten
Dank der VLM-Agenten können Sie SceneSmith bitten, Dinge wie „eine Storage mit einem Auto, einer Werkbank, in der Ecke gestapelten Reifen und einer Leiter an der Wand zu erstellen“ zu tun und einen virtuellen Spielplatz voller Objekte zu schaffen, an denen ein Roboter basteln kann. Diese Räume sind professional Szene mit bis zu sechsmal mehr Gegenständen dekoriert als bei früheren Methoden und eignen sich daher hervorragend, um Robotern dabei zu helfen, Fähigkeiten zu erlernen, z. B. eine Tasse in die Spüle zu stellen, Obst auf Teller zu legen und eine Getränkedose von einem Regal auf einen Tisch zu stellen.
Da Ihnen so viele umfangreiche virtuelle Umgebungen zur Verfügung stehen, können Sie ohne viel Versuch und Irrtum in der physischen Welt beurteilen, ob Ihr Roboter für den Einsatz bereit ist. Die Forscher testeten verschiedene Aktionspläne (auch „Richtlinien“ genannt) in den digitalen Welten von SceneSmith und generierten dabei 100 einzigartige Räume. Ein VLM-Agent bewertete jeden Versuch und stellte fest, dass die Pläne des Roboters fehlerhaft waren und die Maschine bei ihren Aufgaben oft versagte. Die Menschen stimmten den Urteilen des Modells in über 99 Prozent der Fälle zu, was Robotikern dabei helfen könnte, fehlerhafte Ansätze in der Simulation auszusortieren, bevor sich ein Roboter in der realen Welt bewegt.
Doch wie realistisch sind diese virtuellen Welten wirklich? Es kann schwierig sein, es eindeutig zu beweisen, daher näherten sich die Forscher der Frage aus mehreren Blickwinkeln. Der aussagekräftigste Check: Sie fügten eine vorab trainierte Roboterrichtlinie – einen KI-Controller, der weitgehend auf realen Daten trainiert wurde und noch nie eine SceneSmith-Szene gesehen hatte – in die generierten Umgebungen ein. In einem Check forderten Benutzer das System auf, „den Apfel aus der Schüssel zu nehmen und auf das Schneidebrett zu legen“, und der simulierte Roboter tat genau das. Wenn die Szenen nicht den realen Schauplätzen entsprochen hätten, aus denen die Politik gelernt hatte, hätte es einfach nicht funktioniert.
Das Group teleoperierte außerdem Roboter durch die virtuellen Räume und führte sie dabei, Schränke zu öffnen, Flaschen wegzuräumen und zwischen Räumen zu navigieren. Ihre Experimente zeigten, dass die Umgebungen einer anhaltenden physischen Interaktion standhalten und sich über die visuelle Inspektion hinaus ausdehnen.
Hinter den Kulissen
Die von SceneSmith verwendeten Agenten spielen jeweils eine genau definierte Rolle im Generierungsprozess und konkretisieren Szenen schrittweise. Sie erstellen im Wesentlichen einen Grundriss und erwecken ihn zum Leben.
Nehmen wir an, Sie möchten eine Szene erstellen, die dem ersten Inventory eines Hauses ähnelt. Der „Designer“-VLM würde mit einem allgemeinen Format beginnen, das vom „Kritiker“ überprüft und dann vom „Orchestrator“ abgesegnet wird. Die Agenten wiederholen diesen Ansatz für jeden Schritt: Hinzufügen von Möbeln, Platzieren von Objekten an Wänden und dann an Decken und schließlich Einfügen von Objekten, die Roboter manipulieren können. Beispielsweise können die VLMs Schränke hinzufügen, die die Roboter öffnen und schließen können – ein beweglicher Gegenstand, den frühere Basislinien nicht oft hatten.
In jeder Section stellt der zweite VLM sicher, dass die Szene praktisch ist, indem er beispielsweise darauf hinweist, dass eine Badewanne aus einem Wohnzimmer entfernt wird. Der dritte VLM stellt sicher, dass eine qualitativ hochwertige Szene generiert wird, und verzögert den Designprozess sogar um einige Umdrehungen, wenn die visuelle Darstellung nicht den Anforderungen entspricht. Sobald die drei VLMs ihre kreative Zusammenarbeit abgeschlossen haben, werden die Mechanismen der physischen Welt über eine Simulationssoftware hinzugefügt.
Mit einem fundierten Verständnis davon, wie Räume aussehen sollten, wo Objekte platziert werden sollten und der realen Physik, hat SceneSmith einen spürbaren Vorteil gegenüber früheren Methoden. Im Vergleich zu Basislinien zur Szenengenerierung wie „HSM“ Und „Holodeck„SceneSmith hat Umgebungen mit mehr Objekten erstellt, darunter ein privates Büro, ein Töpfergeschäft und sogar ein Spielzimmer im Minecraft-Stil.
SceneSmith battle auch bei über 200 Benutzern einer der Favoriten. Sie fanden, dass die visuelle Darstellung des Techniques in über 90 Prozent der Fälle realistischer battle. Sie stellten auch fest, dass es im Allgemeinen den Aufforderungen besser folgte als andere Ansätze. Mit anderen Worten: Es battle am besten geeignet, die virtuellen Spielplätze zu generieren, die die Benutzer tatsächlich sehen wollten.
Ein System mit vielen Talenten
Realismus, Vielfalt und Reichtum sind allesamt Stärken von SceneSmith, selbst wenn es um die Erstellung individueller 3D-Objekte geht. Sie können es auffordern, einen rollenden Servierwagen zu erstellen, und es erstellt ein 2D-Bild, das dann in ein detailliertes Modell mit physikalischen Eigenschaften wie Masse, Reibung und Trägheit umgewandelt wird.
Ein derart detaillierter Prozess geht jedoch mit einem Kompromiss bei der Geschwindigkeit einher. Die Erstellung einer einzelnen Szene kann mehrere Stunden dauern, da die Agenten jedes Objekt erstellen und genau prüfen. Mit mehr Rechenleistung könnte die Effizienz des Techniques dramatisch gesteigert werden. CSAIL-Ingenieure hoffen auch auf eine Ausweitung auf verformbare Objekte (wie Schwämme), falls umfangreiche 3D-Bibliotheken verfügbar werden.
„SceneSmith stellt in dieser Hinsicht einen erheblichen Fortschritt dar, indem es ein Agenten-Framework zur Generierung simulationsbereiter Innenumgebungen mit nur einer einfachen Texteingabe bereitstellt“, sagt Jeremy Binagia, ein angewandter Wissenschaftler bei Amazon Robotics, der nicht an der Forschung beteiligt battle. „Es bringt den Stand der Technik in mehrfacher Hinsicht voran, unter anderem indem es die Grenzen der Objektdichte in der simulierten Umgebung erweitert, sicherstellt, dass alle Objekte physisch korrekt sind (anstatt nur visuell realistisch zu sein) und Property erstellt, die nicht auf eine feste Bibliothek beschränkt sind, da sie über Textual content-zu-3D generiert werden können.“
Pfaff und Tedrake verfassten den Artikel zusammen mit Thomas Cohn SM ’24, einem MIT-Doktoranden und CSAIL-Forscher; und die Robotiker Sergey Zakharov und Rick Cory vom Toyota Analysis Institute SM ’08, PhD ’10. Ihre Arbeit wurde teilweise von Amazon, dem US Workplace of Naval Analysis, dem Toyota Analysis Institute und der US Nationwide Science Basis unterstützt.
Das Group präsentierte seine Ergebnisse letzte Woche im Rampenlicht auf der Worldwide Convention on Machine Studying.