Die Videobearbeitung hatte schon immer ein schmutziges Geheimnis: Das Entfernen eines Objekts aus Filmmaterial ist einfach; Es ist brutal schwierig, die Szene so aussehen zu lassen, als wäre sie nie dagewesen. Wenn man eine Individual ausschaltet, die eine Gitarre hält, bleibt ein schwebendes Instrument zurück, das der Schwerkraft trotzt. Hollywoods VFX-Groups verbringen Wochen damit, genau diese Artwork von Drawback zu beheben. Ein Forscherteam von Netflix und INSAIT der Universität Sofia „St. Kliment Ohridski“ veröffentlicht LEERE (Löschen von Videoobjekten und Interaktionen) Modell, das dies automatisch tun kann.

VOID entfernt Objekte aus Movies zusammen mit allen Interaktionen, die sie in der Szene hervorrufen – nicht nur Sekundäreffekte wie Schatten und Reflexionen, sondern auch physische Interaktionen wie herunterfallende Objekte, wenn eine Individual entfernt wird.

Welches Drawback löst VOID tatsächlich?

Standardmäßige Video-Inpainting-Modelle – wie sie heute in den meisten Bearbeitungsworkflows verwendet werden – werden darauf trainiert, den Pixelbereich auszufüllen, in dem sich ein Objekt befand. Sie sind im Wesentlichen sehr anspruchsvolle Hintergrundmaler. Was sie nicht tun, ist Vernunft Kausalität: Was soll mit dieser Requisite passieren, wenn ich einen Schauspieler entferne, der eine Requisite hält?

Bestehende Methoden zum Entfernen von Videoobjekten zeichnen sich hervorragend durch das Einmalen von Inhalten „hinter“ dem Objekt und das Korrigieren von Artefakten auf Erscheinungsebene wie Schatten und Reflexionen aus. Wenn das entfernte Objekt jedoch schwerwiegendere Wechselwirkungen aufweist, beispielsweise Kollisionen mit anderen Objekten, können aktuelle Modelle diese nicht korrigieren und liefern unplausible Ergebnisse.

VOID basiert auf CogVideoX und ist für Video-Inpainting mit interaktionsbewusster Maskenkonditionierung optimiert. Die wichtigste Neuerung liegt darin, wie das Modell die Szene versteht – nicht nur in der Frage: „Welche Pixel soll ich füllen?“ aber „was ist physikalisch plausibel, nachdem dieses Objekt verschwunden ist?“

Das kanonische Beispiel aus der Forschungsarbeit: Wenn eine Individual, die eine Gitarre hält, entfernt wird, entfernt VOID auch den Effekt der Individual auf die Gitarre – wodurch sie auf natürliche Weise herunterfällt. Das ist nicht trivial. Das Modell muss verstehen, dass die Gitarre da battle unterstützt durch die Individual, und dass das Entfernen der Individual bedeutet, dass die Schwerkraft übernimmt.

Und im Gegensatz zu früheren Arbeiten wurde VOID im direkten Vergleich mit echten Konkurrenten bewertet. Experimente mit synthetischen und realen Daten zeigen, dass der Ansatz die konsistente Szenendynamik nach der Objektentfernung besser beibehält als frühere Methoden zur Videoobjektentfernung, einschließlich ProPainter, DiffuEraser, Runway, MiniMax-Remover, ROSE und Gen-Omnimatte.

Die Architektur: CogVideoX unter der Haube

VOID ist aufgebaut CogVideoX-Enjoyable-V1.5-5b-InP – ein Modell von Alibaba PAI – und für Video-Inpainting mit Interaktionserkennung optimiert Quadmask Konditionierung. CogVideoX ist ein auf 3D-Transformatoren basierendes Videogenerierungsmodell. Stellen Sie es sich wie eine Videoversion von Steady Diffusion vor – einem Diffusionsmodell, das über zeitliche Bildsequenzen und nicht über einzelne Bilder arbeitet. Das spezifische Basismodell (CogVideoX-Enjoyable-V1.5-5b-InP) wird von Alibaba PAI auf Hugging Face veröffentlicht. Dabei handelt es sich um den Checkpoint-Ingenieur, den er separat herunterladen muss, bevor er VOID ausführen kann.

Die fein abgestimmten Architekturspezifikationen: ein CogVideoX 3D Transformer mit 5B-Parametern, der Video, Quadmask und eine Textaufforderung aufnimmt, die die Szene nach dem Entfernen als Eingabe beschreibt, mit einer Standardauflösung von 384×672 arbeitet, maximal 197 Frames verarbeitet, den DDIM-Scheduler verwendet und in BF16 mit FP8-Quantisierung für Speichereffizienz läuft.

Der Quadmask ist wohl der interessanteste technische Beitrag hier. Anstelle einer binären Maske (dieses Pixel entfernen/dieses Pixel behalten) ist die Quadmaske eine 4-Werte-Maske, die das zu entfernende primäre Objekt, überlappende Regionen, betroffene Regionen (fallende Objekte, verschobene Elemente) und den beizubehaltenden Hintergrund codiert.

In der Praxis erhält jedes Pixel in der Maske einen von vier Werten: 0 (Primärobjekt wird entfernt), 63 (Überschneidung zwischen primären und betroffenen Regionen), 127 (von der Interaktion betroffene Area – Dinge, die sich infolge der Entfernung bewegen oder verändern) und 255 (Hintergrund, unverändert lassen). Dadurch erhält das Modell eine strukturierte semantische Karte von was in der Szene passiertnicht nur wo sich das Objekt befindet.

Inferenzpipeline mit zwei Durchgängen

VOID verwendet zwei Transformatorprüfpunkte, die nacheinander trainiert werden. Sie können die Inferenz nur mit Durchgang 1 ausführen oder beide Durchgänge verketten, um eine höhere zeitliche Konsistenz zu erzielen.

Durchgang 1 (void_pass1.safetensors) ist das Foundation-Inpainting-Modell und reicht für die meisten Movies aus. Durchgang 2 dient einem bestimmten Zweck: der Korrektur eines bekannten Fehlermodus. Wenn das Modell Objektmorphing erkennt – ein bekannter Fehlermodus kleinerer Videodiffusionsmodelle – führt ein optionaler zweiter Durchgang die Inferenz unter Verwendung von flussverzerrtem Rauschen aus dem ersten Durchgang erneut aus und stabilisiert so die Objektform entlang der neu synthetisierten Trajektorien.

Es lohnt sich, den Unterschied zu verstehen: Move 2 ist nicht nur für längere Clips gedacht – es ist speziell ein Formstabilitätsfix. Wenn das Diffusionsmodell Objekte erzeugt, die sich über Frames hinweg allmählich verziehen oder verformen (ein intestine dokumentiertes Artefakt bei der Videodiffusion), verwendet Move 2 den optischen Fluss, um die Latentdaten aus Move 1 zu verzerren und sie als Initialisierung in einen zweiten Diffusionsdurchlauf einzuspeisen, wodurch die Type der synthetisierten Objekte von Body zu Body verankert wird.

Wie die Trainingsdaten generiert wurden

Hier wird es erst richtig interessant. Um einem Modell das Verständnis physikalischer Wechselwirkungen beizubringen, sind gepaarte Movies erforderlich – dieselbe Szene, mit und ohne Objekt, wobei die Physik in beiden korrekt abläuft. Es gibt keine realen gepaarten Daten in diesem Maßstab. Additionally baute das Staff es synthetisch auf.

Beim Coaching wurden gepaarte kontrafaktische Movies verwendet, die aus zwei Quellen generiert wurden: HUMOTO – Mensch-Objekt-Interaktionen, gerendert in Blender mit Physiksimulation – und Kubric – reine Objektinteraktionen mithilfe von Google Scanned Objects.

HUMOTO nutzt Movement-Seize-Daten von Mensch-Objekt-Interaktionen. Der Schlüsselmechanismus ist eine Blender-Neusimulation: Die Szene wird mit einem Menschen und Objekten aufgebaut, einmal mit dem anwesenden Menschen gerendert, dann wird der Mensch aus der Simulation entfernt und die Physik wird von diesem Punkt an erneut ausgeführt. Das Ergebnis ist ein physikalisch korrektes kontrafaktisches Ergebnis: Objekte, die gehalten oder gestützt wurden, fallen jetzt genau so, wie sie sollten. Kubric, entwickelt von Google Analysis, wendet dieselbe Idee auf Objekt-Objekt-Kollisionen an. Zusammen erzeugen sie einen Datensatz gepaarter Movies, bei denen die Physik nachweislich korrekt ist und nicht von einem menschlichen Annotator angenähert wird.

Wichtige Erkenntnisse

• VOID geht über das Füllen von Pixeln hinaus. Im Gegensatz zu bestehenden Video-Inpainting-Instruments, die nur visuelle Artefakte wie Schatten und Reflexionen korrigieren, versteht VOID die physikalische Kausalität – wenn Sie eine Individual entfernen, die ein Objekt hält, fällt das Objekt auf natürliche Weise in das Ausgabevideo.
• Die Quadmask ist die Kerninnovation. Anstelle einer einfachen binären Entfernungs-/Beibehaltungsmaske verwendet VOID eine 4-Werte-Quadmaske (Werte 0, 63, 127, 255), die nicht nur kodiert, was entfernt werden soll, sondern auch, welche umgebenden Bereiche der Szene es sein werden körperlich betroffen – Geben Sie dem Diffusionsmodell ein strukturiertes Szenenverständnis, mit dem es arbeiten kann.
• Zwei-Durchlauf-Inferenz löst einen echten Fehlermodus. Move 1 verarbeitet die meisten Movies; Durchlauf 2 dient speziell dazu, Objektmorphing-Artefakte zu beheben – eine bekannte Schwäche von Videodiffusionsmodellen –, indem optisch flussverzerrte Latentdaten aus Durchlauf 1 als Initialisierung für einen zweiten Diffusionslauf verwendet werden.
• Synthetische gepaarte Daten ermöglichten das Coaching. Da gepaarte kontrafaktische Videodaten aus der realen Welt nicht in großem Maßstab vorhanden sind, hat das Forschungsteam sie mithilfe der Blender-Physik-Resimulation (HUMOTO) und des Kubric-Frameworks von Google erstellt und so grundgetreue Vorher-/Nachher-Videopaare generiert, bei denen die Physik nachweislich korrekt ist.

---

Schauen Sie sich das an Papier, Modellgewicht Und Repo. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Da sich die Branche von einfachen LLM-Inferenzen (Giant Language Mannequin) hin zu autonomen Agentensystemen bewegt, haben sich die Herausforderungen für Entwickler verändert. Es geht nicht mehr nur um das Modell; es geht um die Umgebung, in der dieses Modell funktioniert. Ein Forscherteam von Alibaba veröffentlicht CoPawein Open-Supply-Framework, das dieses Downside lösen soll, indem es eine standardisierte Workstation für die Bereitstellung und Verwaltung persönlicher KI-Agenten bereitstellt.

CoPaw basiert auf einem technischen Stack bestehend aus AgentScope, AgentScope-LaufzeitUnd ReMe. Es fungiert als Brücke zwischen der Agentenlogik auf hoher Ebene und den praktischen Anforderungen eines persönlichen Assistenten, wie z. B. persistenter Speicher, Mehrkanalkonnektivität und Aufgabenplanung.

Die Architektur: AgentScope- und ReMe-Integration

CoPaw ist kein eigenständiger Bot, sondern eine Workstation, die mehrere Komponenten orchestriert, um eine zusammenhängende „Agenten-App“ zu erstellen.

Das System basiert auf drei Hauptschichten:

1. AgentScope: Das zugrunde liegende Framework, das die Agentenkommunikation und -logik verwaltet.
2. AgentScope-Laufzeit: Die Ausführungsumgebung, die einen stabilen Betrieb und ein stabiles Ressourcenmanagement gewährleistet.
3. ReMe (Speicherverwaltung): Ein spezialisiertes Modul, das sowohl lokalen als auch cloudbasierten Speicher verwaltet. Dadurch können Agenten eine „Langzeiterfahrung“ aufrechterhalten und das mit Customary-LLM-APIs verbundene Downside der Zustandslosigkeit lösen.

Durch Hebelwirkung ReMeMit CoPaw können Benutzer ihren Datenschutz kontrollieren und gleichzeitig sicherstellen, dass der Agent den Kontext über verschiedene Sitzungen und Plattformen hinweg behält. Dieser dauerhafte Speicher ermöglicht es der Workstation, sich im Laufe der Zeit an die spezifischen Arbeitsabläufe eines Benutzers anzupassen.

Erweiterbarkeit über das Abilities System

Ein Kernmerkmal der CoPaw-Workstation ist ihre Kompetenzerweiterung Fähigkeit. In diesem Rahmen ist eine „Fähigkeit“ eine diskrete Funktionseinheit – im Wesentlichen ein Werkzeug, das der Agent aufrufen kann, um mit der Außenwelt zu interagieren.

Das Hinzufügen von Funktionen zu CoPaw erfordert keine Änderung der Kern-Engine. Stattdessen unterstützt CoPaw a Benutzerdefiniertes Ability-Verzeichnis wo Ingenieure Python-basierte Funktionen löschen können. Diese Fähigkeiten folgen einer standardisierten Spezifikation (beeinflusst von anthropics/expertise), wodurch der Agent Folgendes tun kann:

• Führen Sie Net Scraping durch (z. B. Zusammenfassung von Reddit-Threads oder YouTube-Movies).
• Interagieren Sie mit lokalen Dateien und Desktop-Umgebungen.
• Fragen Sie persönliche Wissensdatenbanken ab, die auf der Workstation gespeichert sind.
• Verwalten Sie Kalender und E-Mails in natürlicher Sprache.

Dieses Design ermöglicht die Erstellung von Agentische Apps– komplexe Arbeitsabläufe, bei denen der Agent eine Kombination aus integrierten Fähigkeiten und geplanten Aufgaben nutzt, um ein Ziel autonom zu erreichen.

Multi-Channel-Konnektivität (All-Area-Zugriff)

Eine der größten technischen Hürden bei der persönlichen KI ist der Einsatz auf fragmentierten Kommunikationsplattformen. CoPaw begegnet diesem Downside durch seine All-Area-Zugriff Schicht, die standardisiert, wie Agenten mit verschiedenen Messaging-Protokollen interagieren.

Derzeit unterstützt CoPaw die Integration mit:

• Unternehmensplattformen: DingTalk und Lark (Feishu).
• Soziale/Entwicklerplattformen: Discord, QQ und iMessage.

Diese Mehrkanalunterstützung bedeutet, dass ein Entwickler eine einzelne CoPaw-Instanz initialisieren und von jedem dieser Endpunkte aus mit ihr interagieren kann. Die Workstation übernimmt die Übersetzung von Nachrichten zwischen der Logik des Agenten und der API des spezifischen Kanals und sorgt für einen konsistenten Zustand und Speicher, unabhängig davon, wo die Interaktion stattfindet.

Wichtige Erkenntnisse

• Wechsel vom Modell zur Workstation: CoPaw verlagert den Fokus weg vom reinen Giant Language Mannequin (LLM) hin zu einem strukturierten Modell Workstation-Architektur. Es fungiert als Middleware-Schicht, die das orchestriert AgentScope Rahmen, AgentScope-Laufzeitund externe Kommunikationskanäle, um die reinen LLM-Funktionen in einen funktionalen, dauerhaften Assistenten zu verwandeln.
• Langzeitgedächtnis über ReMe: Im Gegensatz zu standardmäßigen zustandslosen LLM-Interaktionen integriert CoPaw die ReMe (Speicherverwaltung) Modul. Dadurch können Agenten eine „Langzeiterfahrung“ aufrechterhalten, indem sie Benutzerpräferenzen und vergangene Aufgabendaten entweder lokal oder in der Cloud speichern und so eine personalisierte Entwicklung des Verhaltens des Agenten im Laufe der Zeit ermöglichen.
• Erweiterbare Python-basierte „Fähigkeiten“: Das Framework verwendet eine entkoppelte Fähigkeitserweiterungssystem basierend auf der anthropics/expertise Spezifikation. Entwickler können den Nutzen eines Agenten erweitern, indem sie einfach Python-Funktionen zu einem benutzerdefinierten Ability-Verzeichnis hinzufügen, sodass der Agent bestimmte Aufgaben wie Net Scraping, Dateimanipulation oder API-Integrationen ausführen kann, ohne die Kerncodebasis zu ändern.
• All-Area-Multi-Channel-Zugriff: CoPaw bietet eine einheitliche Schnittstelle für plattformübergreifende Bereitstellung. Eine einzelne Workstation-Instanz kann mit Unternehmenstools (Lark, DingTalk) und sozialen/Entwicklerplattformen (Discord, QQ, iMessage) verbunden werden, sodass in verschiedenen Umgebungen auf denselben Agenten und seinen Speicher zugegriffen werden kann.
• Automatisierte Agenten-Workflows: Durch Kombinieren Geplante Aufgaben Mit dem Abilities-System geht CoPaw vom reaktiven Chat zur proaktiven Automatisierung über. Entwickler können „Agentic Apps“ programmieren, die Hintergrundvorgänge ausführen – wie etwa die tägliche Forschungssynthese oder die automatisierte Repository-Überwachung – und Ergebnisse an den bevorzugten Kommunikationskanal des Benutzers weiterleiten.

---

Schauen Sie sich das an Repo hier Und Webseite. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.