Angenommen, jemand nimmt seine französische Bulldogge Bowser mit in den Hundepark. Bowser zu identifizieren, während er mit den anderen Hunden spielt, ist für den Hundebesitzer vor Ort leicht zu erkennen.

Wenn jemand jedoch ein generatives KI-Modell wie GPT-5 verwenden möchte, um sein Haustier während der Arbeit zu überwachen, könnte das Modell bei dieser grundlegenden Aufgabe scheitern. Imaginative and prescient-Language-Modelle wie GPT-5 sind oft hervorragend darin, allgemeine Objekte wie einen Hund zu erkennen, aber sie sind schlecht darin, personalisierte Objekte wie Bowser, die Französische Bulldogge, zu lokalisieren.

Um dieses Manko zu beheben, haben Forscher des MIT und des MIT-IBM Watson AI Lab eine neue Trainingsmethode eingeführt, die visuellen Sprachmodellen beibringt, personalisierte Objekte in einer Szene zu lokalisieren.

Ihre Methode nutzt sorgfältig aufbereitete Video-Monitoring-Daten, bei denen dasselbe Objekt über mehrere Bilder hinweg verfolgt wird. Sie haben den Datensatz so entworfen, dass sich das Modell auf kontextbezogene Hinweise konzentrieren muss, um das personalisierte Objekt zu identifizieren, anstatt sich auf zuvor gespeichertes Wissen zu verlassen.

Anhand einiger Beispielbilder, die ein personalisiertes Objekt, beispielsweise das Haustier einer anderen Individual, zeigen, kann das neu trainierte Modell den Standort dieses Haustiers in einem neuen Bild besser identifizieren.

Modelle, die mit ihrer Methode neu trainiert wurden, übertrafen bei dieser Aufgabe modernste Systeme. Wichtig ist, dass ihre Technik die restlichen allgemeinen Fähigkeiten des Modells intakt lässt.

Dieser neue Ansatz könnte künftigen KI-Systemen dabei helfen, bestimmte Objekte im Laufe der Zeit zu verfolgen, beispielsweise den Rucksack eines Kindes, oder interessante Objekte, beispielsweise eine Tierart, im Rahmen der ökologischen Überwachung zu lokalisieren. Es könnte auch bei der Entwicklung KI-gesteuerter Hilfstechnologien helfen, die sehbehinderten Benutzern dabei helfen, bestimmte Gegenstände in einem Raum zu finden.

„Letztendlich möchten wir, dass diese Modelle in der Lage sind, aus dem Kontext zu lernen, genau wie Menschen. Wenn ein Modell dies intestine kann, anstatt es für jede neue Aufgabe neu zu trainieren, könnten wir einfach ein paar Beispiele liefern und es würde aus diesem Kontext ableiten, wie die Aufgabe ausgeführt werden soll. Das ist eine sehr mächtige Fähigkeit“, sagt Jehanzeb Mirza, Postdoktorand am MIT und leitender Autor eines Buches Papier über diese Technik.

Mirza wird bei dem Artikel von den Co-Hauptautoren Sivan Doveh, einem Doktoranden am Weizmann Institute of Science, unterstützt; und Nimrod Shabtay, ein Forscher bei IBM Analysis; James Glass, leitender Forschungswissenschaftler und Leiter der Spoken Language Methods Group am MIT Pc Science and Synthetic Intelligence Laboratory (CSAIL); und andere. Die Arbeit wird auf der Worldwide Convention on Pc Imaginative and prescient vorgestellt.

Ein unerwartetes Manko

Forscher haben herausgefunden, dass große Sprachmodelle (LLMs) hervorragend aus dem Kontext lernen können. Wenn sie ein LLM mit einigen Beispielen einer Aufgabe versorgen, beispielsweise mit Additionsproblemen, kann es lernen, neue Additionsprobleme auf der Grundlage des bereitgestellten Kontexts zu beantworten.

Ein Imaginative and prescient-Language-Modell (VLM) ist im Wesentlichen ein LLM mit einer damit verbundenen visuellen Komponente. Daher gingen die MIT-Forscher davon aus, dass es die kontextbezogenen Lernfähigkeiten des LLM erben würde. Dies ist jedoch nicht der Fall.

„Für dieses spezielle Downside konnte die Forschungsgemeinschaft bisher keine einheitliche Antwort finden. Der Engpass könnte darin liegen, dass beim Zusammenführen der beiden Komponenten einige visuelle Informationen verloren gehen, aber wir wissen es einfach nicht“, sagt Mirza.

Ziel der Forscher struggle es, die Fähigkeiten von VLM zur kontextbezogenen Lokalisierung zu verbessern, bei der es darum geht, ein bestimmtes Objekt in einem neuen Bild zu finden. Sie konzentrierten sich auf die Daten, die verwendet wurden, um bestehende VLMs für eine neue Aufgabe neu zu trainieren, ein Prozess namens Feinabstimmung.

Typische Feinabstimmungsdaten werden aus zufälligen Quellen gesammelt und stellen Sammlungen von Alltagsgegenständen dar. Ein Bild könnte auf einer Straße geparkte Autos zeigen, während ein anderes einen Blumenstrauß zeigt.

„Es gibt keine wirkliche Kohärenz in diesen Daten, daher lernt das Modell nie, dasselbe Objekt in mehreren Bildern zu erkennen“, sagt er.

Um dieses Downside zu beheben, entwickelten die Forscher einen neuen Datensatz, indem sie Proben aus vorhandenen Video-Monitoring-Daten kuratierten. Bei diesen Daten handelt es sich um Videoclips, die dasselbe Objekt zeigen, wie es sich durch eine Szene bewegt, etwa einen Tiger, der über eine Wiese läuft.

Sie schnitten Einzelbilder aus diesen Movies aus und strukturierten den Datensatz so, dass jede Eingabe aus mehreren Bildern bestand, die dasselbe Objekt in unterschiedlichen Kontexten zeigten, mit Beispielfragen und Antworten zu seinem Standort.

„Durch die Verwendung mehrerer Bilder desselben Objekts in unterschiedlichen Kontexten ermutigen wir das Modell, das interessierende Objekt konsequent zu lokalisieren, indem wir uns auf den Kontext konzentrieren“, erklärt Mirza.

Den Fokus erzwingen

Doch die Forscher fanden heraus, dass VLMs zum Schummeln neigen. Anstatt auf der Grundlage von Kontexthinweisen zu antworten, identifizieren sie das Objekt anhand der im Vortraining gewonnenen Erkenntnisse.

Da das Modell beispielsweise bereits gelernt hat, dass ein Bild eines Tigers und die Bezeichnung „Tiger“ korrelieren, könnte es den Tiger, der das Grasland überquert, anhand dieses vorab trainierten Wissens identifizieren, anstatt Rückschlüsse aus dem Kontext zu ziehen.

Um dieses Downside zu lösen, verwendeten die Forscher Pseudonamen anstelle tatsächlicher Objektkategorienamen im Datensatz. In diesem Fall änderten sie den Namen des Tigers in „Charlie“.

„Es hat eine Weile gedauert, bis wir herausgefunden haben, wie wir verhindern können, dass das Modell betrügt. Aber wir haben die Spielregeln für das Modell geändert. Das Modell weiß nicht, dass ‚Charlie‘ ein Tiger sein kann, additionally ist es gezwungen, den Kontext zu betrachten“, sagt er.

Die Forscher standen auch vor der Herausforderung, den besten Weg zur Aufbereitung der Daten zu finden. Wenn die Frames zu nah beieinander liegen, würde sich der Hintergrund nicht ausreichend verändern, um für Datenvielfalt zu sorgen.

Letztendlich verbesserte die Feinabstimmung von VLMs mit diesem neuen Datensatz die Genauigkeit der personalisierten Lokalisierung um durchschnittlich etwa 12 Prozent. Als sie den Datensatz mit Pseudonamen einschlossen, erreichten die Leistungssteigerungen 21 Prozent.

Mit zunehmender Modellgröße führt ihre Technik zu größeren Leistungssteigerungen.

In Zukunft wollen die Forscher mögliche Gründe untersuchen, warum VLMs nicht die kontextbezogenen Lernfähigkeiten von ihren Foundation-LLMs erben. Darüber hinaus planen sie die Erforschung zusätzlicher Mechanismen, um die Leistung eines VLM zu verbessern, ohne es mit neuen Daten neu trainieren zu müssen.

„Diese Arbeit definiert die personalisierte Objektlokalisierung mit wenigen Aufnahmen – die sich im laufenden Betrieb an das gleiche Objekt in neuen Szenen anpasst – als ein Downside der Befehlsabstimmung und verwendet Videoverfolgungssequenzen, um VLMs beizubringen, die Lokalisierung auf der Grundlage des visuellen Kontexts und nicht anhand von Klassenprioritäten zu lokalisieren. Außerdem wird der erste Benchmark für diese Einstellung mit soliden Vorteilen gegenüber offenen und proprietären VLMs eingeführt. Angesichts der immensen Bedeutung einer schnellen, instanzspezifischen Erdung – oft ohne Feinabstimmung – für Benutzer.“ „In Bezug auf reale Arbeitsabläufe (z. B. Robotik, Augmented-Actuality-Assistenten, kreative Instruments usw.) kann das praktische, datenzentrierte Rezept, das diese Arbeit bietet, dazu beitragen, die weit verbreitete Einführung von Imaginative and prescient-Language-Grundmodellen zu fördern“, sagt Saurav Jha, Postdoktorand am Mila-Quebec Synthetic Intelligence Institute, der nicht an dieser Arbeit beteiligt struggle.

Weitere Co-Autoren sind Wei Lin, wissenschaftlicher Mitarbeiter an der Johannes Kepler Universität; Eli Schwartz, Forschungswissenschaftler bei IBM Analysis; Hilde Kühne, Professorin für Informatik am Tuebingen AI Heart und außerordentliche Professorin am MIT-IBM Watson AI Lab; Raja Giryes, außerordentlicher Professor an der Universität Tel Aviv; Rogerio Feris, leitender Wissenschaftler und Supervisor am MIT-IBM Watson AI Lab; Leonid Karlinsky, leitender Forschungswissenschaftler bei IBM Analysis; Assaf Arbelle, leitender Forschungswissenschaftler bei IBM Analysis; und Shimon Ullman, Samy und Ruth Cohn Professor für Informatik am Weizmann Institute of Science.

Diese Forschung wurde teilweise vom MIT-IBM Watson AI Lab finanziert.

In einem Büro im MIT -Labor für Informatik und künstliche Intelligenz (CSAIL) rundet eine weiche Roboterhand seine Finger sorgfältig ab, um ein kleines Objekt zu erfassen. Der faszinierende Teil ist nicht das mechanische Design oder eingebettete Sensoren – tatsächlich enthält die Hand keine. Stattdessen stützt sich das gesamte System auf eine einzelne Kamera, die die Bewegungen des Roboters beobachtet und diese visuellen Daten verwendet, um sie zu steuern.

Diese Fähigkeit stammt aus einem neuen System, das CSAIL -Wissenschaftler entwickelt haben und eine andere Perspektive auf die Roboterkontrolle bieten. Anstatt handgesteuerte Modelle oder komplexe Sensor-Arrays zu verwenden, können Roboter lernen, wie ihr Körper auf Kontrollbefehle reagiert, ausschließlich durch Imaginative and prescient. Der Ansatz, der als neuronale jakobische Felder (NJF) bezeichnet wird, gibt Robotern eine Artwork körperliches Selbstbewusstsein. Ein Open-Entry-Papier über die Arbeiten wurde veröffentlicht in Natur am 25. Juni.

„Diese Arbeit weist auf eine Verschiebung von Programmierrobotern zum Unterrichten von Robotern hin“, sagt Sizhe Lester Li, MIT -PhD -Scholar in Elektrotechnik und Informatik, CSAIL -Accomplice und führender Forscher in der Arbeit. „Heute erfordern viele Robotikaufgaben umfangreiches Engineering und Codieren. In Zukunft stellen wir uns vor, einem Roboter zu zeigen, was zu tun ist, und lassen Sie lernen, wie das Ziel autonom erreicht werden kann.“

Die Motivation ergibt sich aus einer einfachen, aber leistungsstarken Umfragung: Die Hauptbarriere für erschwingliche, versatile Robotik ist keine {Hardware} – die Kontrolle über die Fähigkeit, die auf verschiedene Arten erreicht werden könnte. Traditionelle Roboter sind so starr und sensorreich, was es einfacher macht, einen digitalen Zwilling zu konstruieren, eine präzise mathematische Replik, die zur Kontrolle verwendet wird. Aber wenn ein Roboter weich, deformierbar oder unregelmäßig geformt ist, fallen diese Annahmen auseinander. Anstatt Roboter dazu zu zwingen, unseren Modellen abzustimmen, dreht NJF das Skript um und gibt den Robotern die Möglichkeit, ihr eigenes internes Modell aus der Beobachtung zu lernen.

Schau und lerne

Diese Entkopplung von Modellierung und Hardwaredesign könnte den Entwurfsraum für Robotik erheblich erweitern. In weichen und bio-inspirierten Robotern betten Designer häufig Sensoren ein oder verstärken Teile der Struktur, nur um die Modellierung realisierbar zu machen. NJF hebt diese Einschränkung. Das System benötigt keine Bordsensoren oder Design -Optimierungen, um die Kontrolle zu ermöglichen. Designer sind freier, um unkonventionelle, nicht eingeschränkte Morphologien zu erforschen, ohne sich Sorgen darüber zu machen, ob sie sie später modellieren oder steuern können.

„Überlegen Sie, wie Sie lernen, Ihre Finger zu kontrollieren: Sie wackeln, Sie beobachten, Sie passen sich an“, sagt Li. „Das ist, was unser System tut. Es experimiert mit zufälligen Aktionen und findet heraus, welche Kontrollpersonen die Teile des Roboters bewegen.“

Das System hat sich in einer Reihe von Robotertypen als sturdy erwiesen. Das Staff testete NJF auf einer pneumatischen weichen Roboterhand, die in der Lage warfare, zu kneifen und zu greifen, eine starre Allegrohand, einen 3D-gedruckten Roboterarm und sogar eine rotierende Plattform ohne eingebettete Sensoren. In jedem Fall lernte das System sowohl die Kind des Roboters als auch wie es auf Kontrollsignale reagierte, nur von Sicht und zufälliger Bewegung.

Die Forscher sehen das Potenzial weit über das Labor hinaus. Mit NJF ausgestattete Roboter könnten eines Tages landwirtschaftliche Aufgaben mit Lokalisierungsgenauigkeit auf Zentimeterebene ausführen, auf Baustellen ohne aufwändige Sensorarrays arbeiten oder dynamische Umgebungen navigieren, in denen traditionelle Methoden zusammenbrechen.

Im Kern von NJF befindet sich ein neuronales Netzwerk, das zwei miteinander verflochtene Aspekte der Ausführungsform eines Roboters erfasst: seine dreidimensionale Geometrie und seine Empfindlichkeit gegenüber der Steuerung von Eingaben. Das System baut auf Neural Radiance Fields (NERF) auf, eine Technik, die 3D -Szenen aus Bildern rekonstruiert, indem räumliche Koordinaten auf Farb- und Dichtewerte hergestellt werden. NJF erweitert diesen Ansatz, indem er nicht nur die Kind des Roboters, sondern auch ein jakobisches Feld lernt, eine Funktion, die vorhersagt, wie sich jeder Punkt auf den Körper des Roboters als Reaktion auf Motorbefehle bewegt.

Um das Modell zu trainieren, führt der Roboter zufällige Bewegungen durch, während mehrere Kameras die Ergebnisse aufzeichnen. Es ist keine menschliche Überwachung oder Vorkenntnis der Struktur des Roboters erforderlich – das System stärkt einfach die Beziehung zwischen Kontrollsignalen und Bewegung durch Beobachten.

Sobald das Coaching abgeschlossen ist, benötigt der Roboter nur eine einzelne monokulare Kamera für die Echtzeit-Steuerung mit geschlossenen Schleife, die bei etwa 12 Hertz ausgeführt wird. Dies ermöglicht es, sich selbst kontinuierlich zu beobachten, zu planen und reaktionsmäßig zu handeln. Diese Geschwindigkeit macht NJF praktikabler als viele physikbasierte Simulatoren für weiche Roboter, die oft zu rechenintensiv für Echtzeitgebrauch sind.

In frühen Simulationen konnten selbst einfache 2D -Finger und Schieberegler diese Kartierung mit nur wenigen Beispielen lernen. Durch die Modellierung, wie spezifische Punkte in der Reaktion auf Aktion verformen oder verändern, erstellt NJF eine dichte Karte der Kontrollebarkeit. Dieses interne Modell ermöglicht es ihm, die Bewegung über den Körper des Roboters zu verallgemeinern, auch wenn die Daten laut oder unvollständig sind.

„Was wirklich interessant ist, ist, dass das System selbst herausfindet, welche Motoren die Teile des Roboters steuern“, sagt Li. „Das ist nicht programmiert – es taucht natürlich durch Lernen auf, ähnlich wie eine Particular person, die die Tasten auf einem neuen Gerät entdeckt.“

Die Zukunft ist weich

Seit Jahrzehnten befürwortet die Robotik starre, leicht modellierte Maschinen – wie die industriellen Waffen in Fabriken -, weil ihre Eigenschaften die Kontrolle vereinfachen. Aber das Feld hat sich in Richtung weicher, bio-inspirierter Roboter bewegt, die sich flüssiger an die reale Welt anpassen können. Der Kompromiss? Diese Roboter sind schwerer zu modellieren.

„Robotics fühlt sich heute aufgrund von teuren Sensoren und komplexen Programmieren oft unerreichbar an. Unser Ziel mit neuronalen jakobischen Feldern ist es, die Barriere zu senken und die Robotik erschwinglich, anpassungsfähig und für mehr Personen zugänglich zu machen. Imaginative and prescient ist eine belastbare, zuverlässige Sensorin“, sagt der stellvertretende Professor Vincent Sittens, der die Gruppe der Szene -Repräsentation leitet. „Es öffnet die Tür für Roboter, die in unordentlichen, unstrukturierten Umgebungen, von Bauernhöfen bis zu Baustellen, ohne teure Infrastruktur betrieben werden können.“

„Das Sehen allein kann die für die Lokalisierung und Kontrolle benötigten Hinweise liefern-die Notwendigkeit von GPS, externen Monitoring-Systemen oder komplexen Onboard-Sensoren. RUS, MIT -Professor für Elektrotechnik und Informatik und Direktor von CSAIL. „Durch das Lernen aus visuellem Suggestions entwickeln diese Systeme interne Modelle eigener Bewegung und Dynamik und ermöglichen einen flexiblen, selbstüberwachenden Betrieb, bei dem herkömmliche Lokalisierungsmethoden fehlschlagen würden.“

Während das Coaching von NJF derzeit mehrere Kameras benötigt und für jeden Roboter erneuert werden muss, stellen sich die Forscher bereits eine besser zugängliche Model vor. In Zukunft konnten Hobbyisten die zufälligen Bewegungen eines Roboters mit ihrem Telefon aufzeichnen, ähnlich wie Sie ein Video von einem Mietwagen nehmen würden, bevor Sie abfahren, und dieses Filmmaterial verwenden, um ein Steuermodell zu erstellen, ohne dass Vorkenntnisse oder spezielle Geräte erforderlich sind.

Das System verallgemeinert noch nicht über verschiedene Roboter, und es fehlt eine Kraft oder eine taktile Erfassung, was seine Wirksamkeit auf Kontaktaufgaben einschränkt. Das Staff untersucht jedoch neue Wege, um diese Einschränkungen anzugehen: Verbesserung der Verallgemeinerung, Umgang mit Okklusionen und Erweiterung der Fähigkeit des Modells, über längere räumliche und zeitliche Horizonte zu argumentieren.

„So wie Menschen ein intuitives Verständnis dafür entwickeln, wie sich ihr Körper bewegen und auf Befehle reagieren, gibt NJF Robotern, die selbst durch Imaginative and prescient selbstbewusstes Selbstbewusstsein verkörpert“, sagt Li. „Dieses Verständnis ist eine Grundlage für versatile Manipulation und Kontrolle in realen Umgebungen. Unsere Arbeit spiegelt im Wesentlichen einen breiteren Pattern in der Robotik wider: sich vom manuellen Programmieren detaillierter Modelle zum Unterrichten von Robotern durch Beobachtung und Interaktion zu entfernen.“

Dieses Papier brachte die Pc Imaginative and prescient und die selbstbewertete Lernarbeiten aus dem Sitzlabor und das Fachwissen in weichen Robotern aus dem RUS-Labor zusammen. Li, Sitzmann und Rus haben das Papier mit CSAIL Associates Annan Zhang SM ’22 mitautorisiert, ein Doktorand in Elektrotechnik und Informatik (EECS); Boyuan Chen, Doktorand in EECs; Hanna Matusik, Studentforscherin für Maschinenbau; und Chao Liu, ein Postdoc im sensiblen Stadtlabor am MIT.

Die Forschung wurde vom Solomon Buchsbaum Analysis Fund durch das MIT Analysis Help Committee, ein MIT -Präsidentschaftsstipendium, die Nationwide Science Basis und das Gwangju Institute of Science and Expertise unterstützt.