Die Videobearbeitung hatte schon immer ein schmutziges Geheimnis: Das Entfernen eines Objekts aus Filmmaterial ist einfach; Es ist brutal schwierig, die Szene so aussehen zu lassen, als wäre sie nie dagewesen. Wenn man eine Individual ausschaltet, die eine Gitarre hält, bleibt ein schwebendes Instrument zurück, das der Schwerkraft trotzt. Hollywoods VFX-Groups verbringen Wochen damit, genau diese Artwork von Drawback zu beheben. Ein Forscherteam von Netflix und INSAIT der Universität Sofia „St. Kliment Ohridski“ veröffentlicht LEERE (Löschen von Videoobjekten und Interaktionen) Modell, das dies automatisch tun kann.

VOID entfernt Objekte aus Movies zusammen mit allen Interaktionen, die sie in der Szene hervorrufen – nicht nur Sekundäreffekte wie Schatten und Reflexionen, sondern auch physische Interaktionen wie herunterfallende Objekte, wenn eine Individual entfernt wird.

Welches Drawback löst VOID tatsächlich?

Standardmäßige Video-Inpainting-Modelle – wie sie heute in den meisten Bearbeitungsworkflows verwendet werden – werden darauf trainiert, den Pixelbereich auszufüllen, in dem sich ein Objekt befand. Sie sind im Wesentlichen sehr anspruchsvolle Hintergrundmaler. Was sie nicht tun, ist Vernunft Kausalität: Was soll mit dieser Requisite passieren, wenn ich einen Schauspieler entferne, der eine Requisite hält?

Bestehende Methoden zum Entfernen von Videoobjekten zeichnen sich hervorragend durch das Einmalen von Inhalten „hinter“ dem Objekt und das Korrigieren von Artefakten auf Erscheinungsebene wie Schatten und Reflexionen aus. Wenn das entfernte Objekt jedoch schwerwiegendere Wechselwirkungen aufweist, beispielsweise Kollisionen mit anderen Objekten, können aktuelle Modelle diese nicht korrigieren und liefern unplausible Ergebnisse.

VOID basiert auf CogVideoX und ist für Video-Inpainting mit interaktionsbewusster Maskenkonditionierung optimiert. Die wichtigste Neuerung liegt darin, wie das Modell die Szene versteht – nicht nur in der Frage: „Welche Pixel soll ich füllen?“ aber „was ist physikalisch plausibel, nachdem dieses Objekt verschwunden ist?“

Das kanonische Beispiel aus der Forschungsarbeit: Wenn eine Individual, die eine Gitarre hält, entfernt wird, entfernt VOID auch den Effekt der Individual auf die Gitarre – wodurch sie auf natürliche Weise herunterfällt. Das ist nicht trivial. Das Modell muss verstehen, dass die Gitarre da battle unterstützt durch die Individual, und dass das Entfernen der Individual bedeutet, dass die Schwerkraft übernimmt.

Und im Gegensatz zu früheren Arbeiten wurde VOID im direkten Vergleich mit echten Konkurrenten bewertet. Experimente mit synthetischen und realen Daten zeigen, dass der Ansatz die konsistente Szenendynamik nach der Objektentfernung besser beibehält als frühere Methoden zur Videoobjektentfernung, einschließlich ProPainter, DiffuEraser, Runway, MiniMax-Remover, ROSE und Gen-Omnimatte.

Die Architektur: CogVideoX unter der Haube

VOID ist aufgebaut CogVideoX-Enjoyable-V1.5-5b-InP – ein Modell von Alibaba PAI – und für Video-Inpainting mit Interaktionserkennung optimiert Quadmask Konditionierung. CogVideoX ist ein auf 3D-Transformatoren basierendes Videogenerierungsmodell. Stellen Sie es sich wie eine Videoversion von Steady Diffusion vor – einem Diffusionsmodell, das über zeitliche Bildsequenzen und nicht über einzelne Bilder arbeitet. Das spezifische Basismodell (CogVideoX-Enjoyable-V1.5-5b-InP) wird von Alibaba PAI auf Hugging Face veröffentlicht. Dabei handelt es sich um den Checkpoint-Ingenieur, den er separat herunterladen muss, bevor er VOID ausführen kann.

Die fein abgestimmten Architekturspezifikationen: ein CogVideoX 3D Transformer mit 5B-Parametern, der Video, Quadmask und eine Textaufforderung aufnimmt, die die Szene nach dem Entfernen als Eingabe beschreibt, mit einer Standardauflösung von 384×672 arbeitet, maximal 197 Frames verarbeitet, den DDIM-Scheduler verwendet und in BF16 mit FP8-Quantisierung für Speichereffizienz läuft.

Der Quadmask ist wohl der interessanteste technische Beitrag hier. Anstelle einer binären Maske (dieses Pixel entfernen/dieses Pixel behalten) ist die Quadmaske eine 4-Werte-Maske, die das zu entfernende primäre Objekt, überlappende Regionen, betroffene Regionen (fallende Objekte, verschobene Elemente) und den beizubehaltenden Hintergrund codiert.

In der Praxis erhält jedes Pixel in der Maske einen von vier Werten: 0 (Primärobjekt wird entfernt), 63 (Überschneidung zwischen primären und betroffenen Regionen), 127 (von der Interaktion betroffene Area – Dinge, die sich infolge der Entfernung bewegen oder verändern) und 255 (Hintergrund, unverändert lassen). Dadurch erhält das Modell eine strukturierte semantische Karte von was in der Szene passiertnicht nur wo sich das Objekt befindet.

Inferenzpipeline mit zwei Durchgängen

VOID verwendet zwei Transformatorprüfpunkte, die nacheinander trainiert werden. Sie können die Inferenz nur mit Durchgang 1 ausführen oder beide Durchgänge verketten, um eine höhere zeitliche Konsistenz zu erzielen.

Durchgang 1 (void_pass1.safetensors) ist das Foundation-Inpainting-Modell und reicht für die meisten Movies aus. Durchgang 2 dient einem bestimmten Zweck: der Korrektur eines bekannten Fehlermodus. Wenn das Modell Objektmorphing erkennt – ein bekannter Fehlermodus kleinerer Videodiffusionsmodelle – führt ein optionaler zweiter Durchgang die Inferenz unter Verwendung von flussverzerrtem Rauschen aus dem ersten Durchgang erneut aus und stabilisiert so die Objektform entlang der neu synthetisierten Trajektorien.

Es lohnt sich, den Unterschied zu verstehen: Move 2 ist nicht nur für längere Clips gedacht – es ist speziell ein Formstabilitätsfix. Wenn das Diffusionsmodell Objekte erzeugt, die sich über Frames hinweg allmählich verziehen oder verformen (ein intestine dokumentiertes Artefakt bei der Videodiffusion), verwendet Move 2 den optischen Fluss, um die Latentdaten aus Move 1 zu verzerren und sie als Initialisierung in einen zweiten Diffusionsdurchlauf einzuspeisen, wodurch die Type der synthetisierten Objekte von Body zu Body verankert wird.

Wie die Trainingsdaten generiert wurden

Hier wird es erst richtig interessant. Um einem Modell das Verständnis physikalischer Wechselwirkungen beizubringen, sind gepaarte Movies erforderlich – dieselbe Szene, mit und ohne Objekt, wobei die Physik in beiden korrekt abläuft. Es gibt keine realen gepaarten Daten in diesem Maßstab. Additionally baute das Staff es synthetisch auf.

Beim Coaching wurden gepaarte kontrafaktische Movies verwendet, die aus zwei Quellen generiert wurden: HUMOTO – Mensch-Objekt-Interaktionen, gerendert in Blender mit Physiksimulation – und Kubric – reine Objektinteraktionen mithilfe von Google Scanned Objects.

HUMOTO nutzt Movement-Seize-Daten von Mensch-Objekt-Interaktionen. Der Schlüsselmechanismus ist eine Blender-Neusimulation: Die Szene wird mit einem Menschen und Objekten aufgebaut, einmal mit dem anwesenden Menschen gerendert, dann wird der Mensch aus der Simulation entfernt und die Physik wird von diesem Punkt an erneut ausgeführt. Das Ergebnis ist ein physikalisch korrektes kontrafaktisches Ergebnis: Objekte, die gehalten oder gestützt wurden, fallen jetzt genau so, wie sie sollten. Kubric, entwickelt von Google Analysis, wendet dieselbe Idee auf Objekt-Objekt-Kollisionen an. Zusammen erzeugen sie einen Datensatz gepaarter Movies, bei denen die Physik nachweislich korrekt ist und nicht von einem menschlichen Annotator angenähert wird.

Wichtige Erkenntnisse

• VOID geht über das Füllen von Pixeln hinaus. Im Gegensatz zu bestehenden Video-Inpainting-Instruments, die nur visuelle Artefakte wie Schatten und Reflexionen korrigieren, versteht VOID die physikalische Kausalität – wenn Sie eine Individual entfernen, die ein Objekt hält, fällt das Objekt auf natürliche Weise in das Ausgabevideo.
• Die Quadmask ist die Kerninnovation. Anstelle einer einfachen binären Entfernungs-/Beibehaltungsmaske verwendet VOID eine 4-Werte-Quadmaske (Werte 0, 63, 127, 255), die nicht nur kodiert, was entfernt werden soll, sondern auch, welche umgebenden Bereiche der Szene es sein werden körperlich betroffen – Geben Sie dem Diffusionsmodell ein strukturiertes Szenenverständnis, mit dem es arbeiten kann.
• Zwei-Durchlauf-Inferenz löst einen echten Fehlermodus. Move 1 verarbeitet die meisten Movies; Durchlauf 2 dient speziell dazu, Objektmorphing-Artefakte zu beheben – eine bekannte Schwäche von Videodiffusionsmodellen –, indem optisch flussverzerrte Latentdaten aus Durchlauf 1 als Initialisierung für einen zweiten Diffusionslauf verwendet werden.
• Synthetische gepaarte Daten ermöglichten das Coaching. Da gepaarte kontrafaktische Videodaten aus der realen Welt nicht in großem Maßstab vorhanden sind, hat das Forschungsteam sie mithilfe der Blender-Physik-Resimulation (HUMOTO) und des Kubric-Frameworks von Google erstellt und so grundgetreue Vorher-/Nachher-Videopaare generiert, bei denen die Physik nachweislich korrekt ist.

---

Schauen Sie sich das an Papier, Modellgewicht Und Repo. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Forscher der Carnegie Mellon College haben entwickelt ein System, das es Alltagsgegenständen ermöglicht, sich autonom zu bewegen und Benutzeraktionen vorherzusehen.

Die Technologie integriert Kameras, Modelle der künstlichen Intelligenz und kleine Plattformen mit Rädern, um es Gegenständen wie Kaffeetassen, Heftgeräten und Untersetzern zu ermöglichen, sich proaktiv zu bewegen. Dieser Ansatz zielt darauf ab, den Komfort zu erhöhen, ohne zusätzliche dedizierte Roboter in bestehende Umgebungen einzuführen, so Violet Han, Ph.D. Scholar an der CMU und Hauptautor einer Arbeit über die Forschung.

Im Interactive Constructions Lab der Carnegie Mellon College montierten Wissenschaftler Objekte wie eine Bleistiftablage, einen Hefter und eine Kaffeetasse auf Plattformen mit Rädern, die von einem KI-System gesteuert wurden. Für die Mobilität nutzt jede Plattform einen Bluetooth-fähigen Mikrocontroller mit Motoren und Batterien. Die Objekte selbst enthalten keine KI; Vielmehr überwacht ein zentrales KI-System die gesamte Umgebung.

Das System nutzt eine Kamera, um Bilder an KI-Modelle zu streamen, die laufende Aktivitäten und relevante Objekte verarbeiten und identifizieren. Große Sprachmodelle mit Argumentationsfähigkeiten sagen nachfolgende Aktionen voraus. Eine in das System eingebettete Wissensdatenbank informiert es über typische Mensch-Objekt-Interaktionen, beispielsweise über die praktische Positionierung eines Tassengriffs in Richtung eines Benutzers.

Diese Forschung befasst sich mit den Herausforderungen, die mit größeren humanoiden Robotern verbunden sind, darunter mögliche Schäden durch Fehlfunktionen, Bedenken hinsichtlich des menschenähnlichen Aussehens und Schwierigkeiten bei der Erlangung zuverlässiger Geschicklichkeit. Alexandra Ion, Assistenzprofessorin am Human-Pc Interplay Institute der CMU und Leiterin des Interactive Constructions Lab, stellte fest, dass bestehende Umgebungen oft auf der Grundlage menschlicher Geschicklichkeit erstellt werden.

Während die Technologie laut Ion „nicht mehr weit von der Einführung entfernt“ ist, hängt die Umsetzung von der öffentlichen Akzeptanz von Overhead-Kameras ab. Zu den möglichen Anwendungen gehören eine Schlüsselablage, die Schlüssel schüttelt, wenn ein Benutzer ohne sie gehen will, oder ein KI-System, das einen versteckten Hefter sichtbar macht. Datenschutz- und Sicherheitsbedenken, wie etwa der Einsatz von Overhead-Kameras, stellen neue Herausforderungen dar, die neben Modellen, die auf lokaler {Hardware} laufen und nicht mit dem Web verbunden sind, auch politische und regulatorische Lösungen erfordern.

Bei Diskussionen über die Betätigung von Gegenständen wie Messern stehen Sicherheitsaspekte im Vordergrund. Forscher haben ein bewegliches Messer so konfiguriert, dass seine Klinge immer von Menschen weg zeigt. Das Ziel besteht darin, sicherzustellen, dass Roboteraktionen in häuslichen Umgebungen die Sicherheit fördern und mit den Absichten des Benutzers übereinstimmen, sodass Roboter Benutzerpräferenzen verstehen können, sagte Han.

---

Hervorgehobener Bildnachweis

Generative KI und Robotik bringen uns immer näher an den Tag, an dem wir nach einem Objekt fragen und es innerhalb weniger Minuten erstellen lassen können. Tatsächlich haben MIT-Forscher ein Speech-to-Actuality-System entwickelt, einen KI-gesteuerten Arbeitsablauf, der es ihnen ermöglicht, Eingaben an einen Roboterarm zu senden und „Objekte ins Leben zu rufen“, wodurch sie beispielsweise Möbel in nur fünf Minuten herstellen können.

Mit dem Speech-to-Actuality-System ist ein auf einem Tisch montierter Roboterarm in der Lage, gesprochene Eingaben von einem Menschen zu empfangen, wie zum Beispiel „Ich möchte einen einfachen Hocker“, und dann die Objekte aus modularen Komponenten zu konstruieren. Bisher haben die Forscher mit dem System Hocker, Regale, Stühle, einen kleinen Tisch und sogar Dekorationsgegenstände wie eine Hundestatue hergestellt.

„Wir verbinden die Verarbeitung natürlicher Sprache, generative 3D-KI und Robotermontage“, sagt Alexander Htet Kyaw, Doktorand am MIT und Fellow der Morningside Academy for Design (MAD). „Dies sind schnell voranschreitende Forschungsbereiche, die noch nie zuvor so zusammengeführt wurden, dass man tatsächlich physische Objekte nur aus einer einfachen Sprachaufforderung herstellen kann.“

Die Idee entstand, als Kyaw – ein Doktorand in den Fachbereichen Architektur, Elektrotechnik und Informatik – den Kurs „Wie man quick alles herstellt“ von Professor Neil Gershenfeld belegte. In diesem Kurs baute er das Speech-to-Actuality-System auf. Er arbeitete weiter an dem Projekt am MIT Heart for Bits and Atoms (CBA) unter der Leitung von Gershenfeld und arbeitete mit den Doktoranden Se Hwan Jeon vom Division of Mechanical Engineering und Miana Smith vom CBA zusammen.

Das Speech-to-Actuality-System beginnt mit einer Spracherkennung, die die Anfrage des Benutzers mithilfe eines großen Sprachmodells verarbeitet, gefolgt von generativer 3D-KI, die eine digitale Netzdarstellung des Objekts erstellt, und einem Voxelisierungsalgorithmus, der das 3D-Netz in Baugruppenkomponenten zerlegt.

Anschließend modifiziert die geometrische Verarbeitung die KI-generierte Baugruppe, um fertigungsbedingte und physikalische Einschränkungen im Zusammenhang mit der realen Welt zu berücksichtigen, wie z. B. die Anzahl der Komponenten, Überhänge und Konnektivität der Geometrie. Anschließend erfolgt die Erstellung einer realisierbaren Montagesequenz und eine automatisierte Pfadplanung für den Roboterarm, um physische Objekte nach Eingaben des Benutzers zusammenzubauen.

Durch die Nutzung natürlicher Sprache macht das System Design und Fertigung auch für Menschen ohne Kenntnisse in 3D-Modellierung oder Roboterprogrammierung zugänglicher. Und im Gegensatz zum 3D-Druck, der Stunden oder Tage dauern kann, lässt sich dieses System innerhalb von Minuten aufbauen.

„Dieses Projekt ist eine Schnittstelle zwischen Menschen, KI und Robotern, um die Welt um uns herum gemeinsam zu erschaffen“, sagt Kyaw. „Stellen Sie sich ein Szenario vor, in dem Sie sagen ‚Ich möchte einen Stuhl‘ und innerhalb von fünf Minuten erscheint ein physischer Stuhl vor Ihnen.“

Das Workforce hat unmittelbare Pläne, die Tragfähigkeit der Möbel zu verbessern, indem es die Verbindung der Würfel von Magneten auf robustere Verbindungen umstellt.

„Wir haben auch Pipelines entwickelt, um Voxelstrukturen in realisierbare Montagesequenzen für kleine, verteilte cell Roboter umzuwandeln, die dazu beitragen könnten, diese Arbeit in Strukturen jeder Größenskala umzusetzen“, sagt Smith.

Der Zweck der Verwendung modularer Komponenten besteht darin, den Abfall zu vermeiden, der bei der Herstellung physischer Objekte anfällt, indem man sie zerlegt und dann wieder zusammenbaut, um beispielsweise ein Couch in ein Bett zu verwandeln, wenn man das Couch nicht mehr benötigt.

Weil Kyaw auch Erfahrung in der Anwendung hat Gestenerkennung und Augmented Actuality zur Interaktion Mit Robotern im Herstellungsprozess arbeitet er derzeit daran, sowohl Sprach- als auch Gestensteuerung in das Speech-to-Actuality-System zu integrieren.

Kyaw greift auf seine Erinnerungen an den Replikator in der „Star Trek“-Reihe und die Roboter im Animationsfilm „Massive Hero 6“ zurück und erklärt seine Imaginative and prescient.

„Ich möchte den Menschen den Zugang zu physischen Objekten auf schnelle, zugängliche und nachhaltige Weise erleichtern“, sagt er. „Ich arbeite an einer Zukunft, in der das Wesen der Materie wirklich unter Ihrer Kontrolle liegt. Eine Zukunft, in der die Realität auf Abruf generiert werden kann.“

Das Workforce stellte sein Papier vor „Sprache zur Realität: On-Demand-Produktion mit natürlicher Sprache, generativer 3D-KI und diskreter Robotermontage“ beim Affiliation for Computing Equipment (ACM) Symposium on Computational Fabrication (SCF ’25), das am 21. November am MIT stattfand.

Angenommen, jemand nimmt seine französische Bulldogge Bowser mit in den Hundepark. Bowser zu identifizieren, während er mit den anderen Hunden spielt, ist für den Hundebesitzer vor Ort leicht zu erkennen.

Wenn jemand jedoch ein generatives KI-Modell wie GPT-5 verwenden möchte, um sein Haustier während der Arbeit zu überwachen, könnte das Modell bei dieser grundlegenden Aufgabe scheitern. Imaginative and prescient-Language-Modelle wie GPT-5 sind oft hervorragend darin, allgemeine Objekte wie einen Hund zu erkennen, aber sie sind schlecht darin, personalisierte Objekte wie Bowser, die Französische Bulldogge, zu lokalisieren.

Um dieses Manko zu beheben, haben Forscher des MIT und des MIT-IBM Watson AI Lab eine neue Trainingsmethode eingeführt, die visuellen Sprachmodellen beibringt, personalisierte Objekte in einer Szene zu lokalisieren.

Ihre Methode nutzt sorgfältig aufbereitete Video-Monitoring-Daten, bei denen dasselbe Objekt über mehrere Bilder hinweg verfolgt wird. Sie haben den Datensatz so entworfen, dass sich das Modell auf kontextbezogene Hinweise konzentrieren muss, um das personalisierte Objekt zu identifizieren, anstatt sich auf zuvor gespeichertes Wissen zu verlassen.

Anhand einiger Beispielbilder, die ein personalisiertes Objekt, beispielsweise das Haustier einer anderen Individual, zeigen, kann das neu trainierte Modell den Standort dieses Haustiers in einem neuen Bild besser identifizieren.

Modelle, die mit ihrer Methode neu trainiert wurden, übertrafen bei dieser Aufgabe modernste Systeme. Wichtig ist, dass ihre Technik die restlichen allgemeinen Fähigkeiten des Modells intakt lässt.

Dieser neue Ansatz könnte künftigen KI-Systemen dabei helfen, bestimmte Objekte im Laufe der Zeit zu verfolgen, beispielsweise den Rucksack eines Kindes, oder interessante Objekte, beispielsweise eine Tierart, im Rahmen der ökologischen Überwachung zu lokalisieren. Es könnte auch bei der Entwicklung KI-gesteuerter Hilfstechnologien helfen, die sehbehinderten Benutzern dabei helfen, bestimmte Gegenstände in einem Raum zu finden.

„Letztendlich möchten wir, dass diese Modelle in der Lage sind, aus dem Kontext zu lernen, genau wie Menschen. Wenn ein Modell dies intestine kann, anstatt es für jede neue Aufgabe neu zu trainieren, könnten wir einfach ein paar Beispiele liefern und es würde aus diesem Kontext ableiten, wie die Aufgabe ausgeführt werden soll. Das ist eine sehr mächtige Fähigkeit“, sagt Jehanzeb Mirza, Postdoktorand am MIT und leitender Autor eines Buches Papier über diese Technik.

Mirza wird bei dem Artikel von den Co-Hauptautoren Sivan Doveh, einem Doktoranden am Weizmann Institute of Science, unterstützt; und Nimrod Shabtay, ein Forscher bei IBM Analysis; James Glass, leitender Forschungswissenschaftler und Leiter der Spoken Language Methods Group am MIT Pc Science and Synthetic Intelligence Laboratory (CSAIL); und andere. Die Arbeit wird auf der Worldwide Convention on Pc Imaginative and prescient vorgestellt.

Ein unerwartetes Manko

Forscher haben herausgefunden, dass große Sprachmodelle (LLMs) hervorragend aus dem Kontext lernen können. Wenn sie ein LLM mit einigen Beispielen einer Aufgabe versorgen, beispielsweise mit Additionsproblemen, kann es lernen, neue Additionsprobleme auf der Grundlage des bereitgestellten Kontexts zu beantworten.

Ein Imaginative and prescient-Language-Modell (VLM) ist im Wesentlichen ein LLM mit einer damit verbundenen visuellen Komponente. Daher gingen die MIT-Forscher davon aus, dass es die kontextbezogenen Lernfähigkeiten des LLM erben würde. Dies ist jedoch nicht der Fall.

„Für dieses spezielle Downside konnte die Forschungsgemeinschaft bisher keine einheitliche Antwort finden. Der Engpass könnte darin liegen, dass beim Zusammenführen der beiden Komponenten einige visuelle Informationen verloren gehen, aber wir wissen es einfach nicht“, sagt Mirza.

Ziel der Forscher struggle es, die Fähigkeiten von VLM zur kontextbezogenen Lokalisierung zu verbessern, bei der es darum geht, ein bestimmtes Objekt in einem neuen Bild zu finden. Sie konzentrierten sich auf die Daten, die verwendet wurden, um bestehende VLMs für eine neue Aufgabe neu zu trainieren, ein Prozess namens Feinabstimmung.

Typische Feinabstimmungsdaten werden aus zufälligen Quellen gesammelt und stellen Sammlungen von Alltagsgegenständen dar. Ein Bild könnte auf einer Straße geparkte Autos zeigen, während ein anderes einen Blumenstrauß zeigt.

„Es gibt keine wirkliche Kohärenz in diesen Daten, daher lernt das Modell nie, dasselbe Objekt in mehreren Bildern zu erkennen“, sagt er.

Um dieses Downside zu beheben, entwickelten die Forscher einen neuen Datensatz, indem sie Proben aus vorhandenen Video-Monitoring-Daten kuratierten. Bei diesen Daten handelt es sich um Videoclips, die dasselbe Objekt zeigen, wie es sich durch eine Szene bewegt, etwa einen Tiger, der über eine Wiese läuft.

Sie schnitten Einzelbilder aus diesen Movies aus und strukturierten den Datensatz so, dass jede Eingabe aus mehreren Bildern bestand, die dasselbe Objekt in unterschiedlichen Kontexten zeigten, mit Beispielfragen und Antworten zu seinem Standort.

„Durch die Verwendung mehrerer Bilder desselben Objekts in unterschiedlichen Kontexten ermutigen wir das Modell, das interessierende Objekt konsequent zu lokalisieren, indem wir uns auf den Kontext konzentrieren“, erklärt Mirza.

Den Fokus erzwingen

Doch die Forscher fanden heraus, dass VLMs zum Schummeln neigen. Anstatt auf der Grundlage von Kontexthinweisen zu antworten, identifizieren sie das Objekt anhand der im Vortraining gewonnenen Erkenntnisse.

Da das Modell beispielsweise bereits gelernt hat, dass ein Bild eines Tigers und die Bezeichnung „Tiger“ korrelieren, könnte es den Tiger, der das Grasland überquert, anhand dieses vorab trainierten Wissens identifizieren, anstatt Rückschlüsse aus dem Kontext zu ziehen.

Um dieses Downside zu lösen, verwendeten die Forscher Pseudonamen anstelle tatsächlicher Objektkategorienamen im Datensatz. In diesem Fall änderten sie den Namen des Tigers in „Charlie“.

„Es hat eine Weile gedauert, bis wir herausgefunden haben, wie wir verhindern können, dass das Modell betrügt. Aber wir haben die Spielregeln für das Modell geändert. Das Modell weiß nicht, dass ‚Charlie‘ ein Tiger sein kann, additionally ist es gezwungen, den Kontext zu betrachten“, sagt er.

Die Forscher standen auch vor der Herausforderung, den besten Weg zur Aufbereitung der Daten zu finden. Wenn die Frames zu nah beieinander liegen, würde sich der Hintergrund nicht ausreichend verändern, um für Datenvielfalt zu sorgen.

Letztendlich verbesserte die Feinabstimmung von VLMs mit diesem neuen Datensatz die Genauigkeit der personalisierten Lokalisierung um durchschnittlich etwa 12 Prozent. Als sie den Datensatz mit Pseudonamen einschlossen, erreichten die Leistungssteigerungen 21 Prozent.

Mit zunehmender Modellgröße führt ihre Technik zu größeren Leistungssteigerungen.

In Zukunft wollen die Forscher mögliche Gründe untersuchen, warum VLMs nicht die kontextbezogenen Lernfähigkeiten von ihren Foundation-LLMs erben. Darüber hinaus planen sie die Erforschung zusätzlicher Mechanismen, um die Leistung eines VLM zu verbessern, ohne es mit neuen Daten neu trainieren zu müssen.

„Diese Arbeit definiert die personalisierte Objektlokalisierung mit wenigen Aufnahmen – die sich im laufenden Betrieb an das gleiche Objekt in neuen Szenen anpasst – als ein Downside der Befehlsabstimmung und verwendet Videoverfolgungssequenzen, um VLMs beizubringen, die Lokalisierung auf der Grundlage des visuellen Kontexts und nicht anhand von Klassenprioritäten zu lokalisieren. Außerdem wird der erste Benchmark für diese Einstellung mit soliden Vorteilen gegenüber offenen und proprietären VLMs eingeführt. Angesichts der immensen Bedeutung einer schnellen, instanzspezifischen Erdung – oft ohne Feinabstimmung – für Benutzer.“ „In Bezug auf reale Arbeitsabläufe (z. B. Robotik, Augmented-Actuality-Assistenten, kreative Instruments usw.) kann das praktische, datenzentrierte Rezept, das diese Arbeit bietet, dazu beitragen, die weit verbreitete Einführung von Imaginative and prescient-Language-Grundmodellen zu fördern“, sagt Saurav Jha, Postdoktorand am Mila-Quebec Synthetic Intelligence Institute, der nicht an dieser Arbeit beteiligt struggle.

Weitere Co-Autoren sind Wei Lin, wissenschaftlicher Mitarbeiter an der Johannes Kepler Universität; Eli Schwartz, Forschungswissenschaftler bei IBM Analysis; Hilde Kühne, Professorin für Informatik am Tuebingen AI Heart und außerordentliche Professorin am MIT-IBM Watson AI Lab; Raja Giryes, außerordentlicher Professor an der Universität Tel Aviv; Rogerio Feris, leitender Wissenschaftler und Supervisor am MIT-IBM Watson AI Lab; Leonid Karlinsky, leitender Forschungswissenschaftler bei IBM Analysis; Assaf Arbelle, leitender Forschungswissenschaftler bei IBM Analysis; und Shimon Ullman, Samy und Ruth Cohn Professor für Informatik am Weizmann Institute of Science.

Diese Forschung wurde teilweise vom MIT-IBM Watson AI Lab finanziert.

Das Kunstwerk von Mc Escher ist ein Tor in eine Welt voller tiefen, die optische Illusionen mit „unmöglichen Objekten“ enthält, die die Gesetze der Physik mit verworrenen Geometrien brechen. Was Sie als Illustrationen wahrnehmen, hängt von Ihrem Standpunkt ab – zum Beispiel kann eine Particular person, die scheinbar nach oben geht, die Stufen hinuntersteigt, wenn Sie Ihren Kopf neigen seitwärts.

Computergrafikwissenschaftler und -designer können diese Illusionen in 3D neu erstellen, aber nur, indem sie eine echte Kind beugen oder schneiden und in einem bestimmten Winkel positionieren. Diese Problemumgehung hat jedoch Nachteile: Änderung der Glätte oder Beleuchtung der Struktur zeigt, dass es sich nicht tatsächlich um eine optische Täuschung handelt. Dies bedeutet auch, dass Sie Geometrieprobleme darauf nicht genau lösen können.

Forscher des MIT -Labors für Informatik und künstliche Intelligenz (CSAIL) haben einen einzigartigen Ansatz entwickelt, um „unmögliche“ Objekte auf vielseitigere Weise darzustellen. Ihre „MescherDas Device wandelt Bilder und 3D-Modelle in 2,5-dimensionale Strukturen um und erzeugt escher-ähnliche Darstellungen von Dingen wie Fenstern, Gebäuden und sogar Donuts. Der Ansatz hilft den Benutzern, einzigartige Geometrien wiederzugeben, zu glätten und zu studieren und gleichzeitig ihre optische Phantasm zu erhalten.

Dieses Device könnte Geometrieforscher bei der Berechnung des Abstands zwischen zwei Punkten auf einer gekrümmten unmöglichen Oberfläche („Geodäsik“) unterstützen und simulieren, wie Wärme sich über sie löst („Wärmediffusion“). Es könnte auch Künstlern und Computergrafikwissenschaftlern helfen, physikalische Designs in mehreren Dimensionen zu erstellen.

Der Hauptautor und MIT -PhD -Pupil Ana Dodik zielt darauf ab, Computergrafik -Instruments zu entwerfen, die nicht darauf beschränkt sind, die Realität zu replizieren, und es den Künstlern ermöglichen, ihre Absicht unabhängig auszudrücken, ob eine Kind in der physischen Welt verwirklicht werden kann. „Mit Meschern haben wir eine neue Klasse von Formen freigeschaltet, mit denen Künstler am Pc arbeiten können“, sagt sie. „Sie könnten auch dazu beitragen, dass Wissenschaftler den Punkt verstehen, an dem ein Objekt wirklich unmöglich wird.“

Dodik und ihre Kollegen werden ihre präsentieren Papier auf der Siggraph Convention im August.

Unmögliche Objekte ermöglichen

Unmögliche Objekte können in 3D nicht vollständig repliziert werden. Ihre Bestandteile sehen oft plausibel aus, aber diese Teile kleben nicht richtig zusammen, wenn sie in 3D zusammengesetzt sind. Was jedoch rechnerisch imitiert werden kann, wie die CSAIL -Forscher herausgefunden haben, ist der Prozess, wie wir diese Formen wahrnehmen.

Nimm das Penrose -Dreieckzum Beispiel. Das Objekt als Ganzes ist physikalisch unmöglich, weil die Tiefen nicht „addieren“, aber wir können reale 3D-Formen (wie seine drei L-förmigen Ecken) in ihm erkennen. Diese kleineren Regionen können in 3D realisiert werden – einer Eigenschaft namens „lokale Konsistenz“ -, aber wenn wir versuchen, sie zusammenzubauen, bilden sie keine international konsistente Kind.

Die lokal konsistenten Regionen der Meschers nähern die Modelle, ohne sie zu zwingen, international konsistent zu sein, und setzen eine Escher-ähnliche Struktur zusammen. Hinter den Kulissen repräsentiert Meschers unmögliche Objekte, als ob wir ihre X- und Y -Koordinaten im Bild sowie Unterschiede in Z -Koordinaten (Tiefe) zwischen benachbarten Pixeln kennen. Das Device verwendet diese Unterschiede in der Tiefe, um die Vernunft für unmögliche Objekte indirekt zu begründen.

Die vielen Verwendungen von Meschern

Meschers können ihre Strukturen nicht nur unmögliche Objekte rendern, sondern auch in kleinere Formen für genauere Geometrieberechnungen und Glättungsvorgänge unterteilt. Dieser Prozess ermöglichte es den Forschern, visuelle Unvollkommenheiten unmöglicher Formen zu reduzieren, wie z. B. einen Umriss des roten Herzens, den sie verdünnten.

Die Forscher testeten ihr Werkzeug auch auf einem „Imposhagel“, in dem ein Bagel auf physikalisch unmögliche Weise schattiert ist. Mescher halfen Dodik und ihren Kollegen, die Wärmediffusion zu simulieren und geodätische Entfernungen zwischen verschiedenen Punkten des Modells zu berechnen.

„Stellen Sie sich vor, Sie sind eine Ameise, die diesen Bagel durchquert, und Sie möchten wissen, wie lange Sie zum Beispiel vermitteln werden“, sagt Dodik. „Auf die gleiche Weise könnte unser Device den Mathematikern helfen, die zugrunde liegende Geometrie der unmöglichen Formen aus der Nähe zu analysieren, ähnlich wie wir reale Welt studieren.“

Ähnlich wie ein Zauberer kann das Device aus ansonsten praktischen Objekten optische Illusionen erzeugen, sodass Computergrafikkünstler unmögliche Objekte erstellen können. Es kann auch „inverse Rendering“ -Instruments verwenden, um Zeichnungen und Bilder von unmöglichen Objekten in hochdimensionale Designs umzuwandeln.

„Mescher zeigen, wie Computergrafik -Instruments nicht durch die Regeln der physischen Realität eingeschränkt werden müssen“, sagt der leitende Autor Justin Solomon, Affiliate Professor für Elektrotechnik und Informatik und Leiter der CSAIL -Geometrischen Datenverarbeitungsgruppe. „Unglaublich, Künstler, die Mescher verwenden, können über Formen argumentieren, die wir in der realen Welt nie finden werden.“

Mescher können auch Computergrafikkünstlern helfen, die Schattierung ihrer Kreationen zu optimieren und gleichzeitig eine optische Täuschung zu erhalten. Diese Vielseitigkeit würde es Kreativen ermöglichen, die Beleuchtung ihrer Kunst zu verändern, um eine breitere Vielzahl von Szenen (wie ein Sonnenaufgang oder Sonnenuntergang) darzustellen – wie Mescher demonstrieren, indem ein Modell eines Hundes auf einem Skateboard gelebt wird.

Trotz seiner Vielseitigkeit ist Meschers nur der Anfang für Dodik und ihre Kollegen. Das Group erwägt, eine Schnittstelle zu entwerfen, um das Device einfacher zu verwenden und gleichzeitig aufwändige Szenen zu erstellen. Sie arbeiten auch mit Notion -Wissenschaftlern zusammen, um zu sehen, wie das Computergrafik -Device allgemeiner verwendet werden kann.

Dodik und Solomon schrieben die Zeitung mit CSAIL Associates Isabella Yu ’24, SM ’25; PhD -Pupil Kartik Chandra SM ’23; MIT-Professoren Jonathan Ragan-Kelley und Joshua Tenenbaum; und MIT -Assistenzprofessor Vincent Sitzmann.

Their work was supported, partially, by the MIT Presidential Fellowship, the Mathworks Fellowship, the Hertz Basis, the US Nationwide Science Basis, the Schmidt Sciences AI2050 fellowship, MIT Quest for Intelligence, the US Military Analysis Workplace, US Air Drive Workplace of Scientific Analysis, SystemsThatLearn@CSAIL initiative, Google, the MIT–IBM Watson AI Laboratory, from the Toyota–CSAIL Joint Analysis Heart, Adobe Systeme, die Company und die US -amerikanische Intelligenz -Forschungsprojekte für die Verteidigung der Verteidigungswissenschaft und die Aktivitäten der US -Intelligenz.

Stellen Sie sich vor, Sie müssten eine unordentliche Küche aufräumen, beginnend mit einer Arbeitsplatte, die mit Soßenpaketen übersät ist. Wenn Ihr Ziel darin besteht, die Theke sauber zu machen, fegen Sie die Pakete möglicherweise als Gruppe zusammen. Wenn Sie jedoch zuerst die Senfpäckchen heraussuchen und dann den Relaxation wegwerfen möchten, würden Sie differenzierter nach Soßentyp sortieren. Und wenn Sie unter den Senfsorten Lust auf Gray Poupon hätten, wäre die Suche nach dieser speziellen Marke eine sorgfältigere Suche.

MIT-Ingenieure haben eine Methode entwickelt, die es Robotern ermöglicht, ähnlich intuitive, aufgabenrelevante Entscheidungen zu treffen.

Der neue Ansatz des Groups mit dem Namen Clio ermöglicht es einem Roboter, angesichts der anstehenden Aufgaben die Teile einer Szene zu identifizieren, die wichtig sind. Mit Clio nimmt ein Roboter eine Liste von Aufgaben auf, die in natürlicher Sprache beschrieben sind, und bestimmt dann auf der Grundlage dieser Aufgaben den Grad der Granularität, der erforderlich ist, um seine Umgebung zu interpretieren und sich nur die relevanten Teile einer Szene zu „merken“.

In realen Experimenten, die von einer überfüllten Kabine bis zu einem fünfstöckigen Gebäude auf dem MIT-Campus reichten, nutzte das Workforce Clio, um eine Szene automatisch auf verschiedenen Granularitätsebenen zu segmentieren, basierend auf einer Reihe von Aufgaben, die in natürlichsprachlichen Eingabeaufforderungen wie „Regal bewegen“ festgelegt wurden von Zeitschriften“ und „Erste-Hilfe-Kasten besorgen“.

Das Workforce ließ Clio auch in Echtzeit auf einem vierbeinigen Roboter laufen. Als der Roboter ein Bürogebäude erkundete, identifizierte und kartierte Clio nur die Teile der Szene, die mit den Aufgaben des Roboters in Zusammenhang standen (z. B. das Apportieren eines Hundespielzeugs und gleichzeitiges Ignorieren von Stapeln von Büromaterialien), sodass der Roboter die Objekte von Interesse greifen konnte.

Clio ist nach der griechischen Muse der Geschichte benannt und zeichnet sich durch seine Fähigkeit aus, nur die Elemente zu identifizieren und sich daran zu erinnern, die für eine bestimmte Aufgabe wichtig sind. Die Forscher gehen davon aus, dass Clio in vielen Situationen und Umgebungen nützlich sein könnte, in denen ein Roboter seine Umgebung schnell überblicken und im Kontext seiner gegebenen Aufgabe verstehen müsste.

„Suchen und Retten ist die motivierende Anwendung für diese Arbeit, aber Clio kann auch Haushaltsroboter und Roboter antreiben, die neben Menschen in einer Fabrikhalle arbeiten“, sagt Luca Carlone, außerordentlicher Professor am Division of Aeronautics and Astronautics (AeroAstro) des MIT und leitender Forscher in das Laboratory for Data and Resolution Programs (LIDS) und Direktor des MIT SPARK Laboratory. „Es geht wirklich darum, dem Roboter zu helfen, die Umgebung zu verstehen und zu verstehen, woran er sich erinnern muss, um seine Mission auszuführen.“

Das Workforce beschreibt seine Ergebnisse in einem Studie erscheint heute im Tagebuch Robotik- und Automatisierungsbriefe. Zu Carlones Co-Autoren gehören Mitglieder des SPARK Lab: Dominic Maggio, Yun Chang, Nathan Hughes und Lukas Schmid; und Mitglieder des MIT Lincoln Laboratory: Matthew Trang, Dan Griffith, Carlyn Dougherty und Eric Cristofalo.

Offene Felder

Riesige Fortschritte in den Bereichen Pc Imaginative and prescient und Verarbeitung natürlicher Sprache haben es Robotern ermöglicht, Objekte in ihrer Umgebung zu identifizieren. Aber bis vor Kurzem waren Roboter dazu nur in „Closed-Set“-Szenarien in der Lage, in denen sie so programmiert sind, dass sie in einer sorgfältig kuratierten und kontrollierten Umgebung mit einer endlichen Anzahl von Objekten arbeiten, deren Erkennung der Roboter vorab trainiert wurde.

In den letzten Jahren haben Forscher einen „offeneren“ Ansatz gewählt, um Robotern die Erkennung von Objekten in realistischeren Umgebungen zu ermöglichen. Im Bereich der Open-Set-Erkennung haben Forscher Deep-Studying-Instruments genutzt, um neuronale Netze aufzubauen, die Milliarden von Bildern aus dem Web zusammen mit dem zu jedem Bild zugehörigen Textual content verarbeiten können (z. B. das Fb-Bild eines Freundes mit der Überschrift „Meet.“) mein neuer Welpe!“)

Ein neuronales Netzwerk lernt aus Millionen von Bild-Textual content-Paaren und identifiziert diese Segmente in einer Szene, die für bestimmte Begriffe charakteristisch sind, beispielsweise für einen Hund. Ein Roboter kann dieses neuronale Netzwerk dann nutzen, um einen Hund in einer völlig neuen Szene zu erkennen.

Es bleibt jedoch immer noch eine Herausforderung, wie eine Szene auf nützliche Weise analysiert werden kann, die für eine bestimmte Aufgabe related ist.

„Typische Methoden wählen eine beliebige, feste Granularitätsebene aus, um zu bestimmen, wie Segmente einer Szene zu etwas zusammengeführt werden, das man als ein ‚Objekt‘ betrachten kann“, sagt Maggio. „Die Granularität dessen, was man als ‚Objekt‘ bezeichnet, hängt jedoch tatsächlich davon ab, was der Roboter tun muss. Wenn diese Granularität festgelegt wird, ohne die Aufgaben zu berücksichtigen, erhält der Roboter möglicherweise eine Karte, die für seine Aufgaben nicht nützlich ist.“

Informationsengpass

Mit Clio wollte das MIT-Workforce Roboter in die Lage versetzen, ihre Umgebung mit einem Grad an Granularität zu interpretieren, der automatisch an die jeweiligen Aufgaben angepasst werden kann.

Wenn der Roboter beispielsweise die Aufgabe hat, einen Bücherstapel in ein Regal zu schieben, sollte er in der Lage sein, festzustellen, dass der gesamte Bücherstapel das für die Aufgabe relevante Objekt ist. Wenn die Aufgabe darin bestünde, nur das grüne Buch vom Relaxation des Stapels zu bewegen, sollte der Roboter das grüne Buch als einzelnes Zielobjekt erkennen und den Relaxation der Szene – einschließlich der anderen Bücher im Stapel – außer Acht lassen.

Der Ansatz des Groups kombiniert modernste Pc Imaginative and prescient und große Sprachmodelle, die neuronale Netze umfassen, die Verbindungen zwischen Millionen von Open-Supply-Bildern und semantischem Textual content herstellen. Sie enthalten auch Kartierungstools, die ein Bild automatisch in viele kleine Segmente aufteilen, die in das neuronale Netzwerk eingespeist werden können, um festzustellen, ob bestimmte Segmente semantisch ähnlich sind. Anschließend nutzen die Forscher eine Idee aus der klassischen Informationstheorie namens „Informationsengpass“, mit der sie eine Reihe von Bildsegmenten so komprimieren, dass Segmente ausgewählt und gespeichert werden, die für eine bestimmte Aufgabe semantisch am relevantesten sind.

„Angenommen, es gibt einen Stapel Bücher in der Szene und meine Aufgabe besteht nur darin, das grüne Buch zu besorgen. In diesem Fall schieben wir all diese Informationen über die Szene durch diesen Engpass und erhalten am Ende eine Ansammlung von Segmenten, die das Grünbuch darstellen“, erklärt Maggio. „Alle anderen Segmente, die nicht related sind, werden einfach in einem Cluster zusammengefasst, den wir einfach entfernen können. Und wir haben ein Objekt mit der richtigen Granularität, das wir zur Unterstützung meiner Aufgabe benötigen.“

Die Forscher demonstrierten Clio in verschiedenen realen Umgebungen.

„Wir dachten, es wäre ein wirklich sachliches Experiment, Clio in meiner Wohnung laufen zu lassen, wo ich vorher nicht geputzt habe“, sagt Maggio.

Das Workforce erstellte eine Liste mit Aufgaben in natürlicher Sprache, wie zum Beispiel „Kleiderhaufen verschieben“ und wandte Clio dann auf Bilder von Maggios überfüllter Wohnung an. In diesen Fällen warfare Clio in der Lage, Szenen der Wohnung schnell zu segmentieren und die Segmente dem Data Bottleneck-Algorithmus zuzuführen, um die Segmente zu identifizieren, aus denen der Kleiderstapel bestand.

Sie ließen Clio auch auf dem vierbeinigen Roboter Spot von Boston Dynamic laufen. Sie gaben dem Roboter eine Liste mit Aufgaben, die er erledigen musste, und während der Roboter das Innere eines Bürogebäudes erkundete und kartierte, lief Clio in Echtzeit auf einem an Spot montierten Bordcomputer, um Segmente in den kartierten Szenen auszuwählen sich visuell auf die gestellte Aufgabe beziehen. Die Methode generierte eine überlagernde Karte, die nur die Zielobjekte zeigte, die der Roboter dann nutzte, um sich den identifizierten Objekten zu nähern und die Aufgabe physisch abzuschließen.

„Clio in Echtzeit laufen zu lassen, warfare eine große Leistung für das Workforce“, sagt Maggio. „Viele Vorarbeiten können mehrere Stunden in Anspruch nehmen.“

Für die Zukunft plant das Workforce, Clio anzupassen, um anspruchsvollere Aufgaben bewältigen zu können und auf den jüngsten Fortschritten bei der fotorealistischen visuellen Szenendarstellung aufzubauen.

„Wir geben Clio immer noch Aufgaben, die etwas spezifischer sind, wie zum Beispiel ‚Kartenspiel finden‘“, sagt Maggio. „Für Such- und Rettungsaktionen müssen Sie ihm komplexere Aufgaben übertragen, etwa ‚Überlebende finden‘ oder ‚Strom wieder einschalten‘. Deshalb wollen wir zu einem menschlicheren Verständnis dafür gelangen, wie komplexere Aufgaben bewältigt werden können.“

Diese Forschung wurde teilweise von der US-amerikanischen Nationwide Science Basis, dem Schweizerischen Nationalfonds, dem MIT Lincoln Laboratory, dem US Workplace of Naval Analysis und der US Military Analysis Lab Distributed and Collaborative Clever Programs and Know-how Collaborative Analysis Alliance unterstützt.

Stellen Sie sich vor, Sie fahren mit einem autonomen Fahrzeug durch einen Tunnel, doch ohne dass Sie es merken, hat ein Unfall den Verkehr vor Ihnen zum Erliegen gebracht. Normalerweise müssten Sie sich auf das Auto vor Ihnen verlassen, um zu wissen, dass Sie bremsen sollten. Aber was wäre, wenn Ihr Fahrzeug um das Auto vor Ihnen herumsehen und noch früher bremsen könnte?

Forscher vom MIT und Meta haben eine Laptop-Imaginative and prescient-Technik entwickelt, die einem autonomen Fahrzeug eines Tages genau dies ermöglichen könnte.

Sie haben eine Methode vorgestellt, die physikalisch genaue 3D-Modelle einer gesamten Szene erstellt, einschließlich der verdeckten Bereiche, und zwar mithilfe von Bildern aus einer einzigen Kameraposition. Ihre Technik verwendet Schatten, um zu bestimmen, was sich in verdeckten Teilen der Szene befindet.

Sie nennen ihren Ansatz PlatoNeRF, basierend auf Platons Höhlengleichnis, einer Passage aus der „Politeia“ des griechischen Philosophen. bei dem in einer Höhle angekettete Gefangene die Realität der Außenwelt anhand der Schatten erkennen, die auf die Höhlenwand geworfen werden.

Durch die Kombination von Lidar-Technologie (Gentle Detection and Ranging) mit maschinellem Lernen kann PlatoNeRF genauere Rekonstruktionen der 3D-Geometrie erstellen als einige vorhandene KI-Techniken. Darüber hinaus ist PlatoNeRF besser in der Lage, Szenen reibungslos zu rekonstruieren, in denen Schatten schwer zu erkennen sind, beispielsweise bei starkem Umgebungslicht oder dunklen Hintergründen.

Neben der Verbesserung der Sicherheit autonomer Fahrzeuge könnte PlatoNeRF auch die Effizienz von AR/VR-Headsets steigern, indem es dem Benutzer ermöglicht, die Geometrie eines Raums zu modellieren, ohne herumlaufen und Messungen durchführen zu müssen. Es könnte auch Lagerrobotern helfen, Artikel in unübersichtlichen Umgebungen schneller zu finden.

„Unsere Kernidee struggle, diese beiden Dinge, die in unterschiedlichen Disziplinen bereits gemacht wurden, zusammenzuführen – Multibounce-Lidar und maschinelles Lernen. Es hat sich herausgestellt, dass man, wenn man diese beiden zusammenbringt, viele neue Möglichkeiten findet, das Beste aus beiden Welten zu erkunden und zu nutzen“, sagt Tzofi Klinghoffer, ein MIT-Absolvent in Medienkunst und -wissenschaften, wissenschaftlicher Mitarbeiter in der Digital camera Tradition Group des MIT Media Lab und Hauptautor eines Papier über PlatoNeRF.

Klinghoffer verfasste das Papier zusammen mit seinem Betreuer Ramesh Raskar, Affiliate Professor für Medienkunst und -wissenschaften und Leiter der Digital camera Tradition Group am MIT; dem leitenden Autor Rakesh Ranjan, einem Leiter der KI-Forschung bei Meta Actuality Labs; sowie Siddharth Somasundaram, einem Forschungsassistenten der Digital camera Tradition Group, und Xiaoyu Xiang, Yuchen Fan und Christian Richardt bei Meta. Die Forschungsarbeit wird auf der Konferenz für Laptop Imaginative and prescient und Mustererkennung vorgestellt.

Licht ins Drawback bringen

Die Rekonstruktion einer vollständigen 3D-Szene aus einem Kamerablickwinkel ist ein komplexes Drawback.

Einige maschinelle Lernverfahren verwenden generative KI-Modelle, die zu erraten versuchen, was sich in den verdeckten Bereichen befindet. Diese Modelle können jedoch Objekte vortäuschen, die in Wirklichkeit gar nicht vorhanden sind. Andere Verfahren versuchen, die Formen verborgener Objekte anhand von Schatten in einem Farbbild abzuleiten. Diese Methoden können jedoch Probleme bereiten, wenn die Schatten schwer zu erkennen sind.

Für PlatoNeRF bauten die MIT-Forscher diese Ansätze aus und verwendeten dabei eine neue Sensormethode namens Single-Photon-Lidar. Lidars kartieren eine 3D-Szene, indem sie Lichtimpulse aussenden und die Zeit messen, die das Licht braucht, um zum Sensor zurückzuprallen. Da Single-Photon-Lidars einzelne Photonen erkennen können, liefern sie Daten mit höherer Auflösung.

Die Forscher verwenden ein Einzelphotonen-Lidar, um einen Zielpunkt in der Szene zu beleuchten. Ein Teil des Lichts wird von diesem Punkt reflektiert und kehrt direkt zum Sensor zurück. Der größte Teil des Lichts wird jedoch gestreut und von anderen Objekten reflektiert, bevor es zum Sensor zurückkehrt. PlatoNeRF basiert auf diesen zweiten Lichtreflexionen.

Indem PlatoNeRF berechnet, wie lange es dauert, bis das Licht zweimal reflektiert wird und dann zum Lidar-Sensor zurückkehrt, erfasst es zusätzliche Informationen über die Szene, einschließlich der Tiefe. Der zweite Lichtreflex enthält außerdem Informationen über Schatten.

Das System verfolgt die sekundären Lichtstrahlen – die vom Zielpunkt zu anderen Punkten in der Szene reflektiert werden – um zu bestimmen, welche Punkte im Schatten liegen (aufgrund fehlenden Lichts). Anhand der Place dieser Schatten kann PlatoNeRF auf die Geometrie verborgener Objekte schließen.

Das Lidar beleuchtet nacheinander 16 Punkte und erfasst mehrere Bilder, die zur Rekonstruktion der gesamten 3D-Szene verwendet werden.

„Jedes Mal, wenn wir einen Punkt in der Szene beleuchten, erzeugen wir neue Schatten. Da wir all diese verschiedenen Beleuchtungsquellen haben, schießen viele Lichtstrahlen umher, sodass wir den Bereich herausarbeiten, der verdeckt ist und außerhalb des sichtbaren Auges liegt“, sagt Klinghoffer.

Eine gewinnbringende Kombination

Der Schlüssel zu PlatoNeRF ist die Kombination von Multibounce-Lidar mit einem speziellen Typ von maschinellem Lernmodell, das als Neural Radiance Subject (NeRF) bezeichnet wird. Ein NeRF kodiert die Geometrie einer Szene in die Gewichte eines neuronalen Netzwerks, was dem Modell eine starke Fähigkeit verleiht, neue Ansichten einer Szene zu interpolieren oder abzuschätzen.

Diese Interpolationsfähigkeit führe in Kombination mit Multibounce-Lidar auch zu hochpräzisen Szenenrekonstruktionen, sagt Klinghoffer.

„Die größte Herausforderung bestand darin, herauszufinden, wie man diese beiden Dinge kombiniert. Wir mussten wirklich über die Physik des Lichttransports mit Multibounce-Lidar nachdenken und darüber, wie man das mit maschinellem Lernen modellieren kann“, sagt er.

Sie verglichen PlatoNeRF mit zwei gängigen Alternativmethoden, von denen eine nur Lidar verwendet, und die andere nur ein NeRF mit einem Farbbild nutzt.

Sie stellten fest, dass ihre Methode beide Techniken übertraf, insbesondere wenn der Lidar-Sensor eine geringere Auflösung hatte. Dies würde ihren Ansatz praktischer für den Einsatz in der realen Welt machen, wo Sensoren mit geringerer Auflösung in kommerziellen Geräten üblich sind.

„Vor etwa 15 Jahren erfand unsere Gruppe die erste Kamera, die um Ecken ‚sehen‘ konnte. Sie funktionierte, indem sie mehrfache Lichtreflexionen oder ‚Lichtechos‘ ausnutzte. Diese Techniken verwendeten spezielle Laser und Sensoren und nutzten drei Lichtreflexionen. Seitdem ist die Lidar-Technologie gängiger geworden, was zu unserer Forschung an Kameras führte, die durch Nebel sehen können. Diese neue Arbeit nutzt nur zwei Lichtreflexionen, was bedeutet, dass das Sign-Rausch-Verhältnis sehr hoch ist und die Qualität der 3D-Rekonstruktion beeindruckend ist“, sagt Raskar.

In Zukunft möchten die Forscher mehr als zwei Lichtreflexe verfolgen, um zu sehen, wie sich dadurch die Szenenrekonstruktion verbessern lässt. Darüber hinaus möchten sie weitere Deep-Studying-Techniken anwenden und PlatoNeRF mit Farbbildmessungen kombinieren, um Texturinformationen zu erfassen.

„Kamerabilder von Schatten wurden schon lange als Mittel zur 3D-Rekonstruktion untersucht. Diese Arbeit befasst sich nun erneut mit dem Drawback im Zusammenhang mit Lidar und zeigt, dass die Genauigkeit der rekonstruierten verborgenen Geometrie deutlich verbessert wurde. Die Arbeit zeigt, wie clevere Algorithmen in Kombination mit gewöhnlichen Sensoren außergewöhnliche Fähigkeiten ermöglichen können – einschließlich der Lidar-Systeme, die viele von uns heute in der Tasche tragen“, sagt David Lindell, Assistenzprofessor im Fachbereich Informatik der Universität Toronto, der an dieser Arbeit nicht beteiligt struggle.

Einführung

LlamaParse ist eine von Llama Index entwickelte Dokumentanalysebibliothek zum effizienten und effektiven Parsen von Dokumenten wie PDFs, PPTs usw.

Das Erstellen von RAG-Anwendungen auf der Grundlage von PDF-Dokumenten stellt für viele von uns eine große Herausforderung dar, insbesondere im Hinblick auf die komplexe Aufgabe der Analyse eingebetteter Objekte wie Tabellen, Abbildungen usw. Aufgrund der Beschaffenheit dieser Objekte haben herkömmliche Analysetechniken häufig Schwierigkeiten, die in ihnen kodierten Informationen richtig zu interpretieren und zu extrahieren.

Als Reaktion auf dieses weit verbreitete Downside hat die Softwareentwicklungs-Neighborhood verschiedene Bibliotheken und Frameworks eingeführt. Beispiele für diese Lösungen sind LLMSherpa und unstructured.io. Diese Instruments bieten robuste und versatile Lösungen für einige der hartnäckigsten Probleme beim Parsen komplexer PDFs.

Die neueste Ergänzung dieser Liste wertvoller Instruments ist LlamaParse. LlamaParse wurde von Llama Index entwickelt, einem der derzeit angesehensten LLM-Frameworks. Aus diesem Grund kann LlamaParse direkt in Llama Index integriert werden. Diese nahtlose Integration stellt einen erheblichen Vorteil dar, da sie den Implementierungsprozess vereinfacht und ein höheres Maß an Kompatibilität zwischen den beiden Instruments gewährleistet. Zusammenfassend lässt sich sagen, dass LlamaParse ein vielversprechendes neues Instrument ist, das das Parsen komplexer PDFs weniger entmutigend und effizienter macht.

Lernziele

1. Erkennen Sie Herausforderungen beim Dokument-Parsing: Verstehen Sie die Schwierigkeiten beim Parsen komplexer PDFs mit eingebetteten Objekten.
2. Einführung in LlamaParse: Erfahren Sie, was LlamaParse ist und wie die nahtlose Integration in Llama Index funktioniert.
3. Setup und Initialisierung: Erstellen Sie ein LlamaCloud-Konto, erhalten Sie einen API-Schlüssel und installieren Sie die erforderlichen Bibliotheken.
4. Implementierung von LlamaParse: Befolgen Sie die Schritte zum Initialisieren des LLM und zum Laden und Analysieren von Dokumenten.
5. Erstellen eines Vektorindexes und Abfragen von Daten: Erfahren Sie, wie Sie einen Vektorspeicherindex erstellen, eine Abfrage-Engine einrichten und spezifische Informationen aus analysierten Dokumenten extrahieren.

Dieser Artikel erschien im Rahmen der Knowledge Science-Blogathon.

Schritte zum Erstellen einer RAG-Anwendung auf PDF-Foundation mit LlamaParse

Schritt 1: API-Schlüssel abrufen

LlamaParse ist Teil der LlamaCloud-Plattform, daher benötigen Sie ein LlamaCloud-Konto, um einen API-Schlüssel zu erhalten.

Zuerst müssen Sie ein Konto erstellen auf LamaCloud und melden Sie sich an, um einen API-Schlüssel zu erstellen.

Schritt 2: Installieren Sie die erforderlichen Bibliotheken

Öffnen Sie nun Ihr Jupyter Pocket book/Colab und installieren Sie die benötigten Bibliotheken. Hier müssen wir nur zwei Bibliotheken installieren: llama-index und Lama-Analyse. Wir werden das Modell von OpenAI zum Abfragen und Einbetten verwenden.

!pip set up llama-index
!pip set up llama-parse

Schritt 3: Umgebungsvariablen festlegen

import os

os.environ('OPENAI_API_KEY') = 'sk-proj-****'

os.environ("LLAMA_CLOUD_API_KEY") = 'llx-****'

Schritt 4: Initialisieren Sie das LLM und das Einbettungsmodell

Hier verwende ich gpt-3.5-turbo-0125 als LLM und OpenAIs text-embedding-3-small als Einbettungsmodell. Wir werden das Einstellungsmodul verwenden, um das Normal-LLM und das Einbettungsmodell zu ersetzen.

from llama_index.llms.openai import OpenAI
from llama_index.embeddings.openai import OpenAIEmbedding
from llama_index.core import Settings

embed_model = OpenAIEmbedding(mannequin="text-embedding-3-small")
llm = OpenAI(mannequin="gpt-3.5-turbo-0125")

Settings.llm = llm
Settings.embed_model = embed_model

Schritt 5: Analysieren Sie das Dokument

Jetzt laden wir unser Dokument und konvertieren es in den Markdown-Typ. Anschließend wird es mit MarkdownElementNodeParser analysiert.

Die von mir verwendete Tabelle stammt aus ncrb.gov.in und ist hier zu finden: https://ncrb.gov.in/accidental-deaths-suicides-in-india-adsi. Es sind Daten auf verschiedenen Ebenen eingebettet.

Unten ist der Schnappschuss der Tabelle, die ich zu analysieren versuche.

from llama_parse import LlamaParse
from llama_index.core.node_parser import MarkdownElementNodeParser


paperwork = LlamaParse(result_type="markdown").load_data("./Table_2021.pdf")

node_parser = MarkdownElementNodeParser(
    llm=llm, num_workers=8
)

nodes = node_parser.get_nodes_from_documents(paperwork)

base_nodes, objects = node_parser.get_nodes_and_objects(nodes)

Schritt 6: Erstellen des Vektorindex und der Abfrage-Engine

Jetzt erstellen wir einen Vektorspeicherindex unter Verwendung der integrierten Implementierung des Lama-Index, um darauf eine Abfrage-Engine zu erstellen. Wir können hierfür auch Vektorspeicher wie Chromadb oder Pinecone verwenden.

from llama_index.core import VectorStoreIndex

recursive_index = VectorStoreIndex(nodes=base_nodes + objects)

recursive_query_engine = recursive_index.as_query_engine(
    similarity_top_k=5
)

Schritt 7: Abfragen des Index

question = 'Extract the desk as a dict and exclude any details about 2020. Additionally embrace % var'
response = recursive_query_engine.question(question)
print(response)

Die obige Benutzerabfrage fragt den zugrunde liegenden Vektorindex ab und gibt die eingebetteten Inhalte im PDF-Dokument im JSON-Format zurück, wie in der Abbildung unten gezeigt.

Wie Sie im Screenshot sehen können, wurde die Tabelle in einem sauberen JSON-Format extrahiert.

Schritt 8: Alles zusammenfügen

from llama_index.llms.openai import OpenAI
from llama_index.embeddings.openai import OpenAIEmbedding
from llama_index.core import Settings
from llama_parse import LlamaParse
from llama_index.core.node_parser import MarkdownElementNodeParser
from llama_index.core import VectorStoreIndex

embed_model = OpenAIEmbedding(mannequin="text-embedding-3-small")
llm = OpenAI(mannequin="gpt-3.5-turbo-0125")

Settings.llm = llm
Settings.embed_model = embed_model

paperwork = LlamaParse(result_type="markdown").load_data("./Table_2021.pdf")

node_parser = MarkdownElementNodeParser(
    llm=llm, num_workers=8
)

nodes = node_parser.get_nodes_from_documents(paperwork)

base_nodes, objects = node_parser.get_nodes_and_objects(nodes)

recursive_index = VectorStoreIndex(nodes=base_nodes + objects)

recursive_query_engine = recursive_index.as_query_engine(
    similarity_top_k=5
)

question = 'Extract the desk as a dict and exclude any details about 2020. Additionally embrace % var'
response = recursive_query_engine.question(question)
print(response)

Abschluss

LlamaParse ist ein effizientes Instrument zum Extrahieren komplexer Objekte aus verschiedenen Dokumenttypen, wie z. B. PDF-Dateien, mit wenigen Codezeilen. Es ist jedoch wichtig zu beachten, dass ein gewisses Maß an Fachwissen im Umgang mit LLM-Frameworks, wie z. B. dem Llama-Index, erforderlich ist, um dieses Instrument vollständig nutzen zu können.

LlamaParse erweist sich bei der Bewältigung von Aufgaben unterschiedlicher Komplexität als wertvoll. Wie jedes andere Instrument im technischen Bereich ist es jedoch nicht völlig fehlerfrei. Daher wird dringend empfohlen, eine gründliche Anwendungsbewertung unabhängig durchzuführen oder verfügbare Bewertungstools zu nutzen. Bewertungsbibliotheken wie Ragas, Truera usw. bieten Metriken zur Bewertung der Genauigkeit und Zuverlässigkeit Ihrer Ergebnisse. Dieser Schritt stellt sicher, dass potenzielle Probleme identifiziert und behoben werden, bevor die Anwendung in eine Produktionsumgebung übertragen wird.

Die zentralen Thesen

• LlamaParse ist ein vom Llama Index-Staff entwickeltes Instrument. Es extrahiert mit nur wenigen Codezeilen komplexe eingebettete Objekte aus Dokumenten wie PDFs.

• LlamaParse bietet sowohl kostenlose als auch kostenpflichtige Pläne an. Mit dem kostenlosen Plan können Sie bis zu 1000 Seiten professional Tag analysieren.
• LlamaParse unterstützt derzeit mehr als 10 Dateitypen (.pdf, .pptx, .docx, .html, .xml und mehr).
• LlamaParse ist Teil der LlamaCloud-Plattform, Sie benötigen daher ein LlamaCloud-Konto, um einen API-Schlüssel zu erhalten.
• Mit LlamaParse können Sie Anweisungen zur Formatierung der Ausgabe in natürlicher Sprache bereitstellen. Es unterstützt sogar die Bildextraktion.

Die in diesem Artikel gezeigten Medien sind nicht Eigentum von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Häufig gestellte Fragen (FAQ)

F1. Was ist der Lama-Index?

A. LlamaIndex ist neben LangChain das führende LLM-Framework zum Erstellen von LLM-Anwendungen. Es hilft beim Verbinden benutzerdefinierter Datenquellen mit großen Sprachmodellen (LLMs) und ist ein weit verbreitetes Instrument zum Erstellen von RAG-Anwendungen.

Frage 2. Was ist LlamaParse?

A. LlamaParse ist ein Angebot von Llama Index, das komplexe Tabellen und Abbildungen aus Dokumenten wie PDF, PPT usw. extrahieren kann. Aus diesem Grund kann LlamaParse direkt in den Llama Index integriert werden, sodass wir es zusammen mit der großen Vielfalt an Agenten und Instruments verwenden können, die der Llama Index bietet.

F3. Wie unterscheidet sich LlamaParse von Llama Index?

A. Llama Index ist ein LLM-Framework zum Erstellen benutzerdefinierter LLM-Anwendungen und bietet verschiedene Instruments und Agenten. LlamaParse ist speziell auf das Extrahieren komplexer eingebetteter Objekte aus Dokumenten wie PDF, PPT usw. ausgerichtet.

F4. Welche Bedeutung hat LlamaParse?

A. Die Bedeutung von LlamaParse liegt in seiner Fähigkeit, komplexe unstrukturierte Daten in Tabellen, Bilder usw. in ein strukturiertes Format umzuwandeln, was in der modernen Welt, in der die meisten wertvollen Informationen in unstrukturierter Type verfügbar sind, von entscheidender Bedeutung ist. Diese Umwandlung ist für Analysezwecke unerlässlich. Beispielsweise wäre es ohne ein solches Instrument eine Herausforderung, die Finanzdaten eines Unternehmens anhand seiner SEC-Anmeldungen zu untersuchen, die etwa 100 bis 200 Seiten umfassen können. LlamaParse bietet eine effiziente Möglichkeit, diese enorme Menge unstrukturierter Daten zu verarbeiten und zu strukturieren, wodurch sie zugänglicher und für Analysen nützlicher werden.

Frage 5. Gibt es Alternativen zu LlamaParse?

A. Ja, LLMSherpa und unstructured.io sind die verfügbaren Alternativen zu LlamaParse.