Stellen Sie sich vor, Sie arbeiten irgendwann in naher Zukunft in einem Lagerhaus oder Büro und werden gebeten, einem neuen Auszubildenden dabei zu helfen, die Grundlagen seines Jobs zu erlernen. Der Haken: Es ist ein Roboter. Um es ihnen beizubringen, möchten Sie vielleicht ein „Zeigen und Erzählen“-Spiel spielen – das heißt, Sie zeigen körperlich, wie man etwas auf verschiedene Arten macht, und erklären gleichzeitig, was Sie tun.

Nehmen wir an, Sie haben den Roboter gebeten, während eines Zoom-Anrufs Kaffee auf Ihren Schreibtisch zu stellen, ohne Sie zu stören. Sie möchten, dass der Roboter Ihnen und dem Laptop computer nicht zu nahe kommt, damit er Ihr Assembly nicht stört. Um dieses Verhalten zu ermöglichen, sollte der Roboter mit Daten trainiert werden, die die vollständige Aufgabe klar veranschaulichen. Informatiker haben versucht, Robotern Manipulationsaufgaben zu erklären, indem sie zahlreiche physische Demonstrationen aufzeichneten oder ausführliche Anweisungen verfassten. Wenn Sie jedoch nicht über beides verfügen, ist es wahrscheinlich, dass die Maschine falsch versteht, was sie tun soll.

Für Menschen ist es mühsam, all das zu zeigen und zu erzählen, daher haben Forscher am Laptop Science and Synthetic Intelligence Laboratory (CSAIL) des MIT den Prozess des Unterrichtens eines Roboters automatisiert, während sie Anweisungen automatisch verdeutlichen und quick fünfmal weniger Demonstrationsdaten verwenden. Ihr Ansatz „Masked Inverse Reinforcement Studying“ (Masked IRL) verwendet ein großes Sprachmodell (LLM), um mehrdeutige Eingabeaufforderungen auf der Grundlage der in der Demo eines Benutzers gesammelten Daten auszuarbeiten. Ein weiteres LLM schränkt dann ein, welche Particulars ein Algorithmus in einen Bewegungsplan integrieren sollte, damit ein Roboter Aufgaben in Häusern, Büros und Fabriken sicher erledigen kann.

„Unser Ansatz könnte nützlich sein, wenn ein Mensch mit einem Roboter interagiert, aber nicht alle Particulars einer Aufgabe darlegen möchte“, sagt MIT-Doktorand und CSAIL-Forscher Minyoung Hwang, der Hauptautor eines Buches ist Papier das Projekt vorstellen. „Wir minimieren den menschlichen Aufwand, indem wir es Maschinen ermöglichen, herauszufinden, was Benutzer wirklich wollen.“

Laut Hwang kann Masked IRL Robotern dabei helfen, sich sicher in Umgebungen zu manövrieren, in denen es Elemente gibt, die ein Mensch möglicherweise nicht in einer Eingabeaufforderung beschreibt, die aber dennoch von entscheidender Bedeutung sind. Beispielsweise weiß ein Automat, der Ihnen einen Snack aus der Küche holt, möglicherweise nicht, wie er vermeiden soll, gegen Ihren Laptop computer zu stoßen. Ebenso muss ein Fabrikroboter, der Gegenstände in verschiedene Kartons legt, sorgfältig durch Regale navigieren.

Um in diesen Situationen neue Aufgaben zu erlernen, nutzt Masked IRL die Sensoren des Roboters, um Informationen über seine Umgebung zu erfassen. Diese Komponenten protokollieren auch jede Bewegung einer kinästhetischen Demonstration – einem Trainingsansatz, bei dem ein Mensch einen Roboter physisch bewegt, um eine bestimmte Aktion auszuführen. Es ist so, als wäre man der Physiotherapeut der Maschine und beugt die Gelenke in eine bestimmte Richtung, um einem Roboter zu zeigen, wie er Objekte greift, bewegt und platziert.

Das MIT-System ruft dann ein LLM auf, um diesen Bewegungsablauf (Trajektorie genannt) mit dem kürzestmöglichen Weg zu vergleichen. Das Modell geht auch darauf ein, was in einer Aufforderung unklar sein könnte, und wandelt eine Aufforderung wie „Bleib in der Nähe“ in „Bleib nahe an der Tischoberfläche“ um. Anhand des Flugbahnvergleichs und der geklärten Richtungen beginnt das LLM zu verstehen, warum die Bewegungen, auf die es trainiert wurde, für die Aufgabe wichtig sind.

Ein zweites LLM wertet dann Particulars der Umgebung aus, etwa die Place von Hindernissen und die Type des Zielobjekts des Roboters. Während dieses Vorgangs „maskiert“ (mit anderen Worten: ignoriert) die Elemente, die es für die jeweilige Aufgabe als irrelevant erachtet, und bewertet jedes einzelne entweder mit „1“ (wichtig) oder „0“ (nicht so sehr). Ob sich beispielsweise ein Benutzer während einer Demonstration auf einen Tisch stützte oder nicht, wäre eine „0“ und somit irrelevant. Jedes als „1“ eingestufte Element wird durch einen Algorithmus in den endgültigen Aktionsplan integriert.

Diese Masken verschafften Masked IRL sowohl in 3D- als auch in realen Demos einen entscheidenden Vorteil gegenüber vergleichbaren Baselines, da sie einem Roboter beibrachten, welche Informationen er priorisieren sollte. Dank des Programs der Forscher waren sowohl virtuelle als auch reale Roboter in der Lage, Objekte geschickt um Hindernisse herum zu manövrieren, beispielsweise um eine Kaffeetasse um einen Laptop computer herum an verschiedene Stellen auf einem Tisch zu bewegen. Bei diesen Aufgaben identifizierte Masked IRL die Präferenzen der Benutzer, die sie in ihren Eingabeaufforderungen nicht explizit angaben, bis zu 15 Prozent häufiger korrekt als vergleichbare Baselines.

Bei Simulationsexperimenten stellten CSAIL-Forscher außerdem fest, dass Masked IRL schnell lernte. Um zu verstehen, wie man den Becher bewegt, waren weniger Demos erforderlich als bei den Grundversionen. Sie fanden außerdem heraus, dass die Roboter eine bessere Leistung erbrachten, wenn ein LLM Anweisungen klärte, anstatt die Maschine versuchen zu lassen, einer vagen Anforderung zu folgen.

Dieser fokussiertere Ansatz ließ sich auch intestine auf einen echten Roboterarm übertragen, der Eingabeaufforderungen ausführte, die das System während seiner Trainingsphase nicht gesehen hatte. Nachdem der Roboter 50 kinästhetische Demonstrationen absolviert hatte, bewegte er vorsichtig eine Tasse auf einen Menschen zu und vermied dabei eine Kollision mit dem Laptop eines Benutzers – ein Hindernis, das er zu umgehen lernte, indem er eine allgemeinere Aufforderung ausarbeitete: „Bleib weg.“ Es wischte auch einen Tisch ab, während es „in seiner Nähe“ blieb, und reichte einem Benutzer eine Tüte Chips, während es sich sowohl von einem Menschen als auch von einem Tisch „fernhielt“.

Masked IRL spürt und erklärt, was Benutzer unausgesprochen lassen, aber bald könnte es es auch „sehen“. CSAIL-Forscher planen, ihren Ansatz dynamischer zu gestalten, indem sie ihn mit Kameras ausstatten, die es einem Roboter ermöglichen, Bilder seiner Umgebung aufzunehmen. Dann könnte es bestimmte Elemente in der Nähe hervorheben und sich darauf konzentrieren. Wenn Sie die Maschine beispielsweise bitten, ein Spielzeug aufzunehmen, sieht sie möglicherweise einige Bananen in der Nähe und ignoriert sie, bevor sie das Zielobjekt anfasst.

Hwang schrieb die Arbeit zusammen mit drei CSAIL-Kollegen: der Doktorandin Alexandra Forsey-Smerek ’20, SM ’22; Postdoktorand Nathaniel Dennler; und MIT-Assistenzprofessorin Andreea Bobu, die Mitglied der Abteilung für Luft- und Raumfahrt und CSAIL ist. Ihre Arbeit wurde teilweise von der Tata Group über den MIT Generative AI Impression Consortium Award und dem Verteidigungsministerium unterstützt. Sie werden das Projekt im Juni auf der IEEE Worldwide Convention on Robotics and Automation 2026 vorstellen.

Stellen Sie sich vor, Sie müssten eine unordentliche Küche aufräumen, beginnend mit einer Arbeitsplatte, die mit Soßenpaketen übersät ist. Wenn Ihr Ziel darin besteht, die Theke sauber zu machen, fegen Sie die Pakete möglicherweise als Gruppe zusammen. Wenn Sie jedoch zuerst die Senfpäckchen heraussuchen und dann den Relaxation wegwerfen möchten, würden Sie differenzierter nach Soßentyp sortieren. Und wenn Sie unter den Senfsorten Lust auf Gray Poupon hätten, wäre die Suche nach dieser speziellen Marke eine sorgfältigere Suche.

MIT-Ingenieure haben eine Methode entwickelt, die es Robotern ermöglicht, ähnlich intuitive, aufgabenrelevante Entscheidungen zu treffen.

Der neue Ansatz des Groups mit dem Namen Clio ermöglicht es einem Roboter, angesichts der anstehenden Aufgaben die Teile einer Szene zu identifizieren, die wichtig sind. Mit Clio nimmt ein Roboter eine Liste von Aufgaben auf, die in natürlicher Sprache beschrieben sind, und bestimmt dann auf der Grundlage dieser Aufgaben den Grad der Granularität, der erforderlich ist, um seine Umgebung zu interpretieren und sich nur die relevanten Teile einer Szene zu „merken“.

In realen Experimenten, die von einer überfüllten Kabine bis zu einem fünfstöckigen Gebäude auf dem MIT-Campus reichten, nutzte das Workforce Clio, um eine Szene automatisch auf verschiedenen Granularitätsebenen zu segmentieren, basierend auf einer Reihe von Aufgaben, die in natürlichsprachlichen Eingabeaufforderungen wie „Regal bewegen“ festgelegt wurden von Zeitschriften“ und „Erste-Hilfe-Kasten besorgen“.

Das Workforce ließ Clio auch in Echtzeit auf einem vierbeinigen Roboter laufen. Als der Roboter ein Bürogebäude erkundete, identifizierte und kartierte Clio nur die Teile der Szene, die mit den Aufgaben des Roboters in Zusammenhang standen (z. B. das Apportieren eines Hundespielzeugs und gleichzeitiges Ignorieren von Stapeln von Büromaterialien), sodass der Roboter die Objekte von Interesse greifen konnte.

Clio ist nach der griechischen Muse der Geschichte benannt und zeichnet sich durch seine Fähigkeit aus, nur die Elemente zu identifizieren und sich daran zu erinnern, die für eine bestimmte Aufgabe wichtig sind. Die Forscher gehen davon aus, dass Clio in vielen Situationen und Umgebungen nützlich sein könnte, in denen ein Roboter seine Umgebung schnell überblicken und im Kontext seiner gegebenen Aufgabe verstehen müsste.

„Suchen und Retten ist die motivierende Anwendung für diese Arbeit, aber Clio kann auch Haushaltsroboter und Roboter antreiben, die neben Menschen in einer Fabrikhalle arbeiten“, sagt Luca Carlone, außerordentlicher Professor am Division of Aeronautics and Astronautics (AeroAstro) des MIT und leitender Forscher in das Laboratory for Data and Resolution Programs (LIDS) und Direktor des MIT SPARK Laboratory. „Es geht wirklich darum, dem Roboter zu helfen, die Umgebung zu verstehen und zu verstehen, woran er sich erinnern muss, um seine Mission auszuführen.“

Das Workforce beschreibt seine Ergebnisse in einem Studie erscheint heute im Tagebuch Robotik- und Automatisierungsbriefe. Zu Carlones Co-Autoren gehören Mitglieder des SPARK Lab: Dominic Maggio, Yun Chang, Nathan Hughes und Lukas Schmid; und Mitglieder des MIT Lincoln Laboratory: Matthew Trang, Dan Griffith, Carlyn Dougherty und Eric Cristofalo.

Offene Felder

Riesige Fortschritte in den Bereichen Pc Imaginative and prescient und Verarbeitung natürlicher Sprache haben es Robotern ermöglicht, Objekte in ihrer Umgebung zu identifizieren. Aber bis vor Kurzem waren Roboter dazu nur in „Closed-Set“-Szenarien in der Lage, in denen sie so programmiert sind, dass sie in einer sorgfältig kuratierten und kontrollierten Umgebung mit einer endlichen Anzahl von Objekten arbeiten, deren Erkennung der Roboter vorab trainiert wurde.

In den letzten Jahren haben Forscher einen „offeneren“ Ansatz gewählt, um Robotern die Erkennung von Objekten in realistischeren Umgebungen zu ermöglichen. Im Bereich der Open-Set-Erkennung haben Forscher Deep-Studying-Instruments genutzt, um neuronale Netze aufzubauen, die Milliarden von Bildern aus dem Web zusammen mit dem zu jedem Bild zugehörigen Textual content verarbeiten können (z. B. das Fb-Bild eines Freundes mit der Überschrift „Meet.“) mein neuer Welpe!“)

Ein neuronales Netzwerk lernt aus Millionen von Bild-Textual content-Paaren und identifiziert diese Segmente in einer Szene, die für bestimmte Begriffe charakteristisch sind, beispielsweise für einen Hund. Ein Roboter kann dieses neuronale Netzwerk dann nutzen, um einen Hund in einer völlig neuen Szene zu erkennen.

Es bleibt jedoch immer noch eine Herausforderung, wie eine Szene auf nützliche Weise analysiert werden kann, die für eine bestimmte Aufgabe related ist.

„Typische Methoden wählen eine beliebige, feste Granularitätsebene aus, um zu bestimmen, wie Segmente einer Szene zu etwas zusammengeführt werden, das man als ein ‚Objekt‘ betrachten kann“, sagt Maggio. „Die Granularität dessen, was man als ‚Objekt‘ bezeichnet, hängt jedoch tatsächlich davon ab, was der Roboter tun muss. Wenn diese Granularität festgelegt wird, ohne die Aufgaben zu berücksichtigen, erhält der Roboter möglicherweise eine Karte, die für seine Aufgaben nicht nützlich ist.“

Informationsengpass

Mit Clio wollte das MIT-Workforce Roboter in die Lage versetzen, ihre Umgebung mit einem Grad an Granularität zu interpretieren, der automatisch an die jeweiligen Aufgaben angepasst werden kann.

Wenn der Roboter beispielsweise die Aufgabe hat, einen Bücherstapel in ein Regal zu schieben, sollte er in der Lage sein, festzustellen, dass der gesamte Bücherstapel das für die Aufgabe relevante Objekt ist. Wenn die Aufgabe darin bestünde, nur das grüne Buch vom Relaxation des Stapels zu bewegen, sollte der Roboter das grüne Buch als einzelnes Zielobjekt erkennen und den Relaxation der Szene – einschließlich der anderen Bücher im Stapel – außer Acht lassen.

Der Ansatz des Groups kombiniert modernste Pc Imaginative and prescient und große Sprachmodelle, die neuronale Netze umfassen, die Verbindungen zwischen Millionen von Open-Supply-Bildern und semantischem Textual content herstellen. Sie enthalten auch Kartierungstools, die ein Bild automatisch in viele kleine Segmente aufteilen, die in das neuronale Netzwerk eingespeist werden können, um festzustellen, ob bestimmte Segmente semantisch ähnlich sind. Anschließend nutzen die Forscher eine Idee aus der klassischen Informationstheorie namens „Informationsengpass“, mit der sie eine Reihe von Bildsegmenten so komprimieren, dass Segmente ausgewählt und gespeichert werden, die für eine bestimmte Aufgabe semantisch am relevantesten sind.

„Angenommen, es gibt einen Stapel Bücher in der Szene und meine Aufgabe besteht nur darin, das grüne Buch zu besorgen. In diesem Fall schieben wir all diese Informationen über die Szene durch diesen Engpass und erhalten am Ende eine Ansammlung von Segmenten, die das Grünbuch darstellen“, erklärt Maggio. „Alle anderen Segmente, die nicht related sind, werden einfach in einem Cluster zusammengefasst, den wir einfach entfernen können. Und wir haben ein Objekt mit der richtigen Granularität, das wir zur Unterstützung meiner Aufgabe benötigen.“

Die Forscher demonstrierten Clio in verschiedenen realen Umgebungen.

„Wir dachten, es wäre ein wirklich sachliches Experiment, Clio in meiner Wohnung laufen zu lassen, wo ich vorher nicht geputzt habe“, sagt Maggio.

Das Workforce erstellte eine Liste mit Aufgaben in natürlicher Sprache, wie zum Beispiel „Kleiderhaufen verschieben“ und wandte Clio dann auf Bilder von Maggios überfüllter Wohnung an. In diesen Fällen warfare Clio in der Lage, Szenen der Wohnung schnell zu segmentieren und die Segmente dem Data Bottleneck-Algorithmus zuzuführen, um die Segmente zu identifizieren, aus denen der Kleiderstapel bestand.

Sie ließen Clio auch auf dem vierbeinigen Roboter Spot von Boston Dynamic laufen. Sie gaben dem Roboter eine Liste mit Aufgaben, die er erledigen musste, und während der Roboter das Innere eines Bürogebäudes erkundete und kartierte, lief Clio in Echtzeit auf einem an Spot montierten Bordcomputer, um Segmente in den kartierten Szenen auszuwählen sich visuell auf die gestellte Aufgabe beziehen. Die Methode generierte eine überlagernde Karte, die nur die Zielobjekte zeigte, die der Roboter dann nutzte, um sich den identifizierten Objekten zu nähern und die Aufgabe physisch abzuschließen.

„Clio in Echtzeit laufen zu lassen, warfare eine große Leistung für das Workforce“, sagt Maggio. „Viele Vorarbeiten können mehrere Stunden in Anspruch nehmen.“

Für die Zukunft plant das Workforce, Clio anzupassen, um anspruchsvollere Aufgaben bewältigen zu können und auf den jüngsten Fortschritten bei der fotorealistischen visuellen Szenendarstellung aufzubauen.

„Wir geben Clio immer noch Aufgaben, die etwas spezifischer sind, wie zum Beispiel ‚Kartenspiel finden‘“, sagt Maggio. „Für Such- und Rettungsaktionen müssen Sie ihm komplexere Aufgaben übertragen, etwa ‚Überlebende finden‘ oder ‚Strom wieder einschalten‘. Deshalb wollen wir zu einem menschlicheren Verständnis dafür gelangen, wie komplexere Aufgaben bewältigt werden können.“

Diese Forschung wurde teilweise von der US-amerikanischen Nationwide Science Basis, dem Schweizerischen Nationalfonds, dem MIT Lincoln Laboratory, dem US Workplace of Naval Analysis und der US Military Analysis Lab Distributed and Collaborative Clever Programs and Know-how Collaborative Analysis Alliance unterstützt.