Black Forest Labs (BFL) hat veröffentlicht FLUX 3ein multimodales Basismodell, das aus Bildern, Movies und Audio innerhalb einer einzigen Architektur lernt. Es ist außerdem das erste FLUX-Modell, das Video-, Audio- und Aktionsvorhersagen aus einem einzigen Gewichtungssatz liefert.

Das Forschungsteam der Black Forest Labs (BFL) argumentiert, dass keine einzelne Modalität eine vollständige Beschreibung der Welt liefert. Bilder erfassen räumliche Strukturen in einem Second. Video stellt die Zeit wieder her und macht physikalische Dynamiken sichtbar. Audio offenbart kausale Zusammenhänge zwischen mechanischen Ereignissen und Klang. Jedes wird als verlustbehaftete Projektion derselben zugrunde liegenden Realität behandelt.

Wenn Sie alle gleichzeitig trainieren, beschränken sich die Modalitäten gegenseitig. Der Klang muss zur Wirkung passen. Die Bewegung muss der Masse gehorchen. Das Forschungsteam bezeichnet FLUX 3 als sein erstes Modell, das vollständig auf diesem Prinzip basiert.

Die Methode darunter: Self-Circulation

FLUX 3 baut darauf auf SelbstflussBFLs Methode zur Ausrichtung multimodaler Generierung und Verständnis in einer Architektur. Self-Circulation kombiniert das Circulation-Matching-Ziel mit einem selbstüberwachten Function-Rekonstruktionsziel. Der Referenzimplementierung auf GitHub ist Apache-2.0 und verwendet SiT-XL/2 mit Zeitschrittkonditionierung professional Token. Es trainiert mit einem Maskenverhältnis von 25 % professional Token und Selbstdestillation von einem EMA-Lehrer auf Schicht 20 zu einem Schüler auf Schicht 8.

Bei diesem veröffentlichten Checkpoint handelt es sich um ein ImageNet 256×256-Forschungsmodell, nicht um FLUX 3. BFL gibt an, dass es mit dem gleichen Ansatz „die Rechen- und Datenressourcen deutlich erhöht hat“, um FLUX 3 gleichzeitig über Video, Bilder und Audio zu trainieren. Self-Circulation selbst wurde im März 2026 eingeführt und ist daher bei dieser Einführung nicht neu. Neu ist der Maßstab.

Was FLUX 3 Video macht

FLUX 3 Video generiert in einer einzigen Era Clips mit einer Länge von bis zu 20 Sekunden und nativem Audio. Die unterstützten Modi umfassen Textual content-zu-Video, Bild-zu-Video, Video-zu-Video von einem Referenzclip, Keyframe-zu-Video für kontrollierte Übergänge und generative Video-Audio-Fortsetzung von Eingangsvideo und -audio.

BFL listet außerdem mehrsprachige Dialoge, die Agentenverkettung von Clips zu Sequenzen mit mehreren Einstellungen und eine starke Typografiegenerierung mit animierten Designs auf. Das BFL-Workforce berichtet von besonderer Stärke im menschlichen Gesichtsausdruck und in der Verknüpfung von Geräuschen mit physischen Ereignissen.

Leistung

Das BFL-Workforce veröffentlichte vorläufige Ergebnisse zur menschlichen Präferenz. Das Setup bestand aus 10-sekündigen Textual content-zu-Video-Clips mit 720p und Audio. FLUX 3 wurde in 93 % der Vergleiche gegenüber Luma Ray 3.2 und in 77 % gegenüber Runway Gen-4.5 bevorzugt. Gegenüber Grok Think about Video beträgt der Wert bis zu 69 %, dann Kling v3 Professional mit 60 %, Glad Horse v1 mit 59 % und Glad Horse 1.1 mit 57 %. Gegen Seedance 2.0 und Gemini Omni Flash liegt das Ergebnis bei 52 %, was einem Münzwurf nahe kommt.

Interaktiv Forscher

Wichtige Erkenntnisse

• FLUX 3 ist ein Circulation-Matching-Spine, das gemeinsam auf Bild, Video und Audio trainiert wird.
• FLUX 3 Video generiert in einer einzigen Era bis zu 20 Sekunden mit nativem Audio.
• Die Videovorhersage verbraucht über 95 % der Trainingsrechenleistung. Audio macht weniger als 0,5 % der Token aus.
• Das gleiche Spine steuert FLUX-mimic, eine Roboterrichtlinie, die auf einer RTX 5090 in weniger als 80 ms ausgeführt wird.
• Der Zugriff ist gesperrt: Video und Motion befinden sich im Early Entry, das Bild folgt, offene Gewichte kommen als letztes.

---

Schauen Sie sich das an Ankündigung von FLUX 3Die FLUX 3 x technischer Pfosten imitieren und die Self-Circulation-Papier. Alle Anerkennung für diese Forschung gebührt den Forschern dieses Projekts.

# Einführung

Vor einem Jahr wirkten Omni-KI-Modelle eher wie ein Zukunftsversprechen als etwas, das Entwickler tatsächlich nutzen könnten. Die meisten multimodalen Systeme waren immer noch auf mehrere separate Modelle angewiesen, die hinter den Kulissen arbeiteten: eines für Textual content, eines für Bilder, eines für Sprache und manchmal eines für Video. Die Idee eines einzigen Modells, das verschiedene Eingabetypen verstehen und in verschiedenen Formaten reagieren kann, erschien mir ehrgeizig.

Das beginnt sich zu ändern. Heutzutage können omni- und multimodale Open-Supply-Modelle Textual content, Bilder, Audio und Video auf viel einheitlichere Weise verstehen. Einige können Bilder und Dokumente analysieren, über Audio transkribieren oder argumentieren, Videobilder verstehen und in Textform antworten. Andere gehen noch einen Schritt weiter, indem sie Sprache und Bilder generieren oder multimodale Interaktion in Echtzeit unterstützen.

In diesem Leitfaden betrachten wir fünf Open-Supply-Omni-KI-Modelle, die diesen Bereich vorantreiben. Nicht jedes Modell auf dieser Liste ist ein vollständiges „Any-to-Any“-System, und diese Unterscheidung ist wichtig.

Einige Modelle akzeptieren viele Eingabetypen, generieren aber nur Textual content, während andere Sprache, Bildgenerierung oder Audio-Video-Interaktion in Echtzeit unterstützen. Das Ziel besteht darin, Ihnen zu helfen, zu verstehen, was jedes Modell tatsächlich leisten kann.

# 1. NVIDIA Nemotron 3 Nano Omni 30B A3B Argumentation

NVIDIA Nemotron 3 Nano Omni 30B A3B Argumentation ist ein leistungsstarkes offenes Omni-Modell, das für ein multimodales Verständnis auf Unternehmensebene entwickelt wurde. Es kann Video, Audio, Bilder und Textual content verarbeiten und dann textbasierte Antworten generieren.

Dies macht es nützlich für Aufgaben wie Video- und Sprachanalyse, Dokumentenintelligenz, Diagrammbegründung, optische Zeichenerkennung (OCR), Transkription, Verständnis grafischer Benutzeroberflächen (GUI) und multimodale Beantwortung von Fragen.

Bild von Wir stellen vor: NVIDIA Nemotron 3 Nano Omni

Das Modell basiert auf einer 31B-Parameter-Mamba2-Transformer-Hybrid-Combination-of-Consultants-Architektur mit etwa 3B aktiven Parametern professional Token. Dies hilft dabei, starke Argumentationsfähigkeiten mit effizienteren Schlussfolgerungen zu kombinieren.

Es unterstützt außerdem ein langes 256K-Token-Kontextfenster und eignet sich daher für die Analyse langer Dokumente, ausführlicher Transkripte, Besprechungsaufzeichnungen, Schulungsvideos und anderer umfangreicher Unternehmensinhalte.

Was Nemotron 3 Nano Omni auszeichnet, ist sein praktischer Fokus auf reale Arbeitsabläufe und nicht auf einfache multimodale Demos. Es ist für Anwendungsfälle wie Kundensupport, Medienanalyse, Dokumentenprüfung, KI-Assistenten, Browser-Agenten, E-Mail-Agenten und GUI-Automatisierung konzipiert.

Am besten für: Video- und Sprachanalyse, Dokumentenintelligenz, OCR, Diagrammverständnis, GUI-Workflows, automatische Spracherkennung (ASR) und multimodale Fragen und Antworten für Unternehmen.

# 2. Google Gemma 4 12B IT

Google Gemma 4 12B IT ist Teil der offenen Gemma-Modellfamilie von Google DeepMind und als kompaktes, effizientes multimodales Modell für lokale und selbst gehostete KI-Anwendungen konzipiert. Es kann Textual content-, Bild-, Audio- und Videoeingaben verarbeiten und dann textbasierte Antworten generieren.

Dies macht es nützlich für Aufgaben wie die visuelle Beantwortung von Fragen, das Verstehen von Dokumenten und PDFs, OCR, Diagrammverständnis, Audiotranskription, Sprachübersetzung, Codierung, Argumentation und multimodale Assistenten-Workflows.

Bild von InfoQ

Das 12B Unified-Modell ist besonders interessant, da es eine geberfreie multimodale Architektur verwendet. Anstatt sich auf separate Bild- oder Audio-Encoder zu verlassen, projiziert es Rohbild-Patches und Audio-Wellenformen über leichte lineare Schichten direkt in den Einbettungsraum des Sprachmodells.

Gemma 4 12B unterstützt ein langes 256K-Token-Kontextfenster, das für die Arbeit mit langen Dokumenten, großen Codebasen, ausgedehnten Konversationen und multimodalen Eingaben nützlich ist, die Textual content, Bilder, Audio- und Videobilder kombinieren.

Am besten für: effiziente multimodale Assistenten, Dokumentenverständnis, Bild- und Audio-Argumentation, Videobildanalyse, Kodierung, mehrsprachige Aufgaben und lokale KI-Anwendungen.

# 3. Qwen3-Omni 30B A3B Instruct

Qwen3-Omni 30B A3B Instruct ist eines der leistungsfähigsten offenen Omni-Modelle, die heute erhältlich sind. Es ist als natives, mehrsprachiges, omnimodales Finish-to-Finish-Modell konzipiert, das Textual content, Bilder, Audio und Video verarbeiten und dann sowohl in Textual content als auch in natürlicher Sprache reagieren kann.

Dies macht es nützlich für den Aufbau von KI-Assistenten, die in Echtzeit sehen, zuhören, verstehen und reagieren können. Es kann für Spracherkennung, Sprachübersetzung, Audiountertitelung, Musikanalyse, OCR, Beantwortung von Bildfragen, Videoverständnis und audiovisuellen Dialog verwendet werden.

Bild von Qwen/Qwen3-Omni-30B-A3B-Instruct

Das Modell verwendet eine Combination-of-Consultants-Architektur mit einem Thinker-Talker-Design. Der Thinker übernimmt das multimodale Verstehen und Denken, während der Talker eine natürliche Sprachausgabe ermöglicht. Dieses Design hilft Qwen3-Omni dabei, sowohl tiefes multimodales Denken als auch gesprochene Interaktion mit geringer Latenz zu unterstützen.

Eine seiner größten Stärken ist die Audio- und Videointeraktion in Echtzeit. Im Gegensatz zu vielen multimodalen Modellen, die in einem langsamen Add- und Antwortformat arbeiten, ist Qwen3-Omni für Streaming-Anwendungsfälle mit natürlichem Abwechseln und sofortigen Textual content- oder Sprachantworten konzipiert.

Es verfügt außerdem über eine starke Mehrsprachigkeitsunterstützung mit 119 Textsprachen, 19 Spracheingabesprachen und 10 Sprachausgabesprachen. Dies macht es besonders nützlich für globale Anwendungen, mehrsprachige Sprachassistenten, Eingabehilfen und Audio-Video-Systeme, die in verschiedenen Sprachen funktionieren müssen.

Das Besondere an Qwen3-Omni ist, dass es der Idee eines echten Omni-Assistenten sehr nahe kommt. Es versteht nicht nur mehrere Eingabetypen; Es kann außerdem natürliche Sprache erzeugen, Systemanweisungen folgen, agentenähnliche Arbeitsabläufe unterstützen und komplexe audiovisuelle Aufgaben bewältigen.

Am besten für: offene Omni-Assistenten, Echtzeit-Sprachinteraktion, Videoverständnis, Audio-Argumentation, mehrsprachige Anwendungen, audiovisueller Dialog und Textual content-/Sprachantworten.

# 4. DeepSeek Janus-Professional 7B

DeepSeek Janus-Professional 7B ist ein einheitliches multimodales Modell, das sich sowohl auf das visuelle Verständnis als auch auf die Bilderzeugung konzentriert. Es handelt sich nicht um ein vollständiges Omni-Modell für Textual content, Audio, Bild und Video, aber es ist ein wichtiges offenes Modell, da es Bildverständnis und Bilderstellung in einem einzigen Framework vereint.

Dies macht es nützlich für Aufgaben wie visuelle Beantwortung von Fragen, Bildbegründung, Bildunterschrift, Textual content-zu-Bild-Generierung und multimodale kreative Arbeitsabläufe.

Janus-Professional basiert auf DeepSeek-LLM-7B und verwendet ein neuartiges autoregressives Framework, das die visuelle Kodierung zum Verständnis und zur Generierung in verschiedene Pfade unterteilt. Dieses Design hilft bei der Lösung eines häufigen Issues in multimodalen Modellen, bei denen derselbe visuelle Encoder sowohl die Erkennung eines Bildes als auch die Generierung eines neuen Bildes unterstützen muss.

Bild von: deepseek-ai/Janus-Professional-7B

Für das Bildverständnis verwendet Janus-Professional SigLIP-L als Imaginative and prescient-Encoder und unterstützt 384 x 384 Bildeingänge. Für die Bildgenerierung wird ein spezieller Bild-Tokenizer verwendet, der es dem Modell ermöglicht, Bilder aus Textaufforderungen zu generieren.

Was Janus-Professional auszeichnet, ist seine einfache, aber effektive Architektur. Durch die Entkopplung des visuellen Verständnisses und der visuellen Generierung bei gleichzeitiger Verwendung eines einheitlichen Transformators wird das Modell flexibler und schneidet bei beiden Aufgaben intestine ab.

Am besten für: Bildverständnis, visuelles Denken, Bildunterschrift, visuelle Beantwortung von Fragen und Textual content-zu-Bild-Generierung.

# 5. MiniCPM-o 4.5

MiniCPM-o 4.5 ist eines der aufregendsten offenen Omni-Modelle, da es für Bild-, Sprach- und multimodales Vollduplex-Reside-Streaming konzipiert ist. Es kann Textual content, Bilder, Video und Audio verarbeiten und dann sowohl Textual content- als auch Sprachausgaben generieren.

Dies macht es nützlich für den Aufbau von Reside-KI-Assistenten, die gleichzeitig sehen, zuhören und sprechen können. Es kann für Sprachgespräche in Echtzeit, Videoverständnis, OCR, Dokumentenanalyse, visuelle Beantwortung von Fragen, Sprachinteraktion und multimodale Assistenten-Workflows verwendet werden.

Das Modell ist mit insgesamt 9B-Parametern aufgebaut und kombiniert Komponenten wie SigLIP2, Whisper-medium, CosyVoice2 und Qwen3-8B. Dies verleiht ihm starke visuelle, sprachliche und sprachliche Fähigkeiten und hält das Modell gleichzeitig klein genug für den praktischen lokalen Einsatz.

Bild von openbmb/MiniCPM-o-4_5

Was MiniCPM-o 4.5 auszeichnet, ist seine multimodale Vollduplex-Streaming-Fähigkeit. Im Gegensatz zu herkömmlichen multimodalen Modellen, die auf einen Add warten, bevor sie antworten, kann MiniCPM-o 4.5 kontinuierliche Video- und Audiostreams verarbeiten und gleichzeitig Textual content- und Sprachantworten generieren.

Es kann auch eine proaktive Interaktion unterstützen. Dies bedeutet, dass das Modell eine Reside-Szene kontinuierlich beobachten und entscheiden kann, wann es sprechen, kommentieren oder antworten soll, anstatt erst zu reagieren, nachdem der Benutzer eine direkte Aufforderung gegeben hat.

MiniCPM-o 4.5 ist auch stark im visuellen Verständnis und in der OCR. Es kann hochauflösende Bilder, Movies mit hohen FPS und Dokumente in verschiedenen Seitenverhältnissen verarbeiten und eignet sich daher für die Dokumentenanalyse, das Bildschirmverständnis und visuelle KI-Anwendungen in der realen Welt.

Ein weiterer großer Vorteil ist die Flexibilität bei der Bereitstellung. Das Modell unterstützt PyTorch Rückschluss auf NVIDIA-GPUs, zusammen mit lama.cpp, Ollama, GGUF quantisierte Modelle, vLLMUnd SGLang. Dies erleichtert Entwicklern die lokale Ausführung des Modells auf GPUs, PCs und sogar einigen Edge-Geräten.

Am besten für: multimodale Echtzeitassistenten, Reside-Video- und Audioverständnis, Sprachinteraktion, OCR, Dokumentenanalyse, Edge-KI und omnimodale Vollduplex-Anwendungen.

# Letzte Gedanken

Omni-Modelle werden immer wichtiger, da sich die KI von einfachen Chatbots zu Systemen entwickelt, die echte Menschen in realen Situationen nutzen können. In alltäglichen Arbeitsabläufen liegen Informationen nicht nur in einem Format vor. Menschen nutzen Textual content, Bilder, Dokumente, Audio, Video, Screenshots, Conferences, Diagramme und Reside-Gespräche. Damit KI wirklich nützlich ist, muss sie alle diese Eingaben auf natürliche Weise verstehen.

In der Vergangenheit bedeutete der Aufbau eines solchen Techniques normalerweise die Kombination mehrerer Modelle: eines für Sprache, eines für Imaginative and prescient, eines für OCR, eines für Textbegründung und eines für Generierung. Dieser Ansatz funktioniert, aber er erhöht die Komplexität, die Latenz und den technischen Aufwand. Jedes zusätzliche Modell erhöht die Anzahl der beweglichen Teile, die Entwickler verwalten müssen.

Der Wandel, den wir jetzt erleben, ist anders. Weitere Funktionen werden direkt in das Modell selbst integriert. Anstatt viele separate Systeme miteinander zu verbinden, beginnen Omni-Modelle, mehrere Modalitäten innerhalb einer einzigen Architektur zu verstehen. Dies macht die Interaktion in Echtzeit praktischer, da das Modell mit viel geringerer Latenz sehen, zuhören, schlussfolgern und reagieren kann.

Dies ist besonders wichtig für Reside-KI-Assistenten, Sprachagenten, Videoanalysetools, Doc-Intelligence-Systeme, Barrierefreiheitstools und Agenten-Workflows. Wenn multimodales Verständnis in das Modell integriert ist, wird das Erlebnis für den Benutzer reibungsloser und natürlicher.

Abid Ali Awan (@1abidaliawan) ist ein zertifizierter Datenwissenschaftler, der gerne Modelle für maschinelles Lernen erstellt. Derzeit konzentriert er sich auf die Erstellung von Inhalten und das Schreiben technischer Blogs zu maschinellem Lernen und Datenwissenschaftstechnologien. Abid verfügt über einen Grasp-Abschluss in Technologiemanagement und einen Bachelor-Abschluss in Telekommunikationstechnik. Seine Imaginative and prescient ist es, ein KI-Produkt mithilfe eines graphischen neuronalen Netzwerks für Schüler mit psychischen Erkrankungen zu entwickeln.

Die Entwicklung einer Roboterrichtlinie, die in der realen Welt funktioniert, ist kein Computerproblem mehr – es ist ein Datenproblem. Verkörperte KI-Groups haben drei Möglichkeiten, ihre Modelle anzutreiben: Teleoperation, Simulation und menschliches Video. Jedes hat eine andere Kostenkurve, ein anderes Wiedergabetreueprofil und eine andere Obergrenze dafür, was Ihr Roboter letztendlich lernen kann. Die Wahl der falschen Primärquelle kann sechs Monate und ein siebenstelliges Price range verschlingen, bevor Sie es herausfinden. In diesem Leitfaden wird jede Datenquelle für verkörperte KI aufgeschlüsselt, wo sie gewinnt, wo sie scheitert und wie sie zu einer Strategie für Robotertrainingsdaten in Produktionsqualität kombiniert werden kann.

Wichtige Erkenntnisse

• Die Teleoperation liefert die Daten mit der höchsten Wiedergabetreue, weist jedoch bei 5–50 Episoden professional Bedienerstunde einen Engpass auf.
• Die Simulation generiert kostengünstig Millionen von Episoden, führt jedoch zu einer Lücke zwischen Simulation und Realität, die bei kontaktreichen Aufgaben fehlschlägt.
• Menschliche Movies lassen sich mühelos skalieren, weisen jedoch keine Bezeichnungen für Roboteraktionen auf und weisen eine Verkörperungslücke auf.
• Aktuelle Untersuchungen zeigen, dass etwa 8 Simulationsbeispiele für domäneninterne Aufgaben den Wert eines teleoperierten Beispiels liefern.
• Die meisten in der Produktion verkörperten KI-Pipelines kombinieren alle drei Quellen, anstatt eine auszuwählen.

Warum sind Daten der Flaschenhals in der verkörperten KI?

Daten sind der Engpass in der verkörperten KI, da es im Internetmaßstab keine aktionsgepaarten sensomotorischen Daten gibt. Ein Sprachmodell kann eine Billion Textual content-Tokens aus dem Internet aufnehmen. Eine Roboterrichtlinie benötigt synchronisierte Gelenkwinkel, Greifkräfte, Kamerabilder und Aufgabenkontext – alles aufgezeichnet während der physischen Manipulation. Nichts davon gibt es kostenlos.

Der Skalenunterschied ist groß. Über 3,9 Millionen Industrieroboter sind weltweit im Einsatz (IFR World Robotics, 2024), doch der größte offene Robotermanipulationsdatensatz enthält etwa 1 Million Episoden (Open X-Embodiment, Padalkar et al., 2023). Die {Hardware} ist überall; die Daten sind es nicht. Jede neue Ausführungsform – einarmiger Manipulator, bimanueller Humanoid, cellular Foundation mit Arm – setzt die Datenanforderungen effektiv zurück, da auf einem Formfaktor trainierte Richtlinien selten sauber auf einen anderen übertragen werden.

Verkörperungslücke: Der Leistungsverlust, der auftritt, wenn eine auf die physische Konfiguration eines Roboters trainierte Richtlinie auf einem anderen Roboter bereitgestellt wird.

Aus diesem Grund denken Robotic-Studying-Groups heute an Datenstrategien und nicht nur an der Datenerfassung. Die richtige Mischung aus Teleoperation, Simulation und menschlichem Video bestimmt, was Ihr Modell kann, wie schnell es versendet wird und wie viel Sie für die Anreise ausgeben.

Was sind Teleoperationsdaten und wann setzen sie sich durch?

Teleoperationsdaten werden aufgezeichnet, wenn ein menschlicher Bediener einen Roboter in Echtzeit über einen Führungsarm, ein VR-Headset, ein Exoskelett oder eine am Handgelenk montierte Schnittstelle steuert, während das System jeden Gelenkwinkel, jeden Kraftmesswert und jedes Kamerabild synchron protokolliert.

Teleoperation: Menschliche Echtzeitsteuerung eines Roboters mit synchronisierten sensomotorischen Daten, die während der Manipulation aufgezeichnet werden.

Teleoperation gewinnt durch Treue. Da die Daten von einem erfahrenen Menschen generiert werden, der genau die Aufgabe am exakten Roboter ausführt, ist die Übereinstimmung zwischen Aktion und Zustand perfekt und die Verkörperungslücke beträgt Null. Nachahmungslernen, Verhaltensklonen und Feinabstimmung von Richtlinien profitieren alle von sauberen Teleop-Demonstrationen.

Die Kosten zeigen sich im Maßstab. Ein erfahrener Teleoperator produziert je nach Komplexität der Aufgabe 5–50 Episoden professional Stunde, wobei die Qualität mit zunehmender Ermüdung des Bedieners abnimmt. Ein Roboter, ein Bediener – das ist die Obergrenze, und deshalb haben sich offene Plattformen wie ALOHA, UMI und Exoskelett-basierte humanoide Bohrinseln (AgiBot, Fourier GR-1) alle auf Kostensenkung und Durchsatzsteigerung statt auf radikale Skalierung konzentriert.

Shaips Physische KI-Datendienste Betreiben Sie Teleoperationszellen neben multimodalen Erfassungsabläufen, sodass Robotikteams keine Operator-Pipelines von Grund auf aufbauen müssen.

Was sind Simulationsdaten und wo werden sie skaliert?

Simulationsdaten werden von Physik-Engines – MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet – generiert, die virtuelle Roboter rendern, die Aufgaben über Tausende von parallelen Instanzen ausführen. Ein einzelner GPU-Cluster kann über Nacht Millionen von Episoden zu Grenzkosten nahe Null produzieren.

Simulation gewinnt in Bezug auf Maßstab und Sicherheit. Grenzfälle, Kollisionsfehler und gefährliche Konfigurationen können alle untersucht werden, ohne dass die {Hardware} beschädigt wird. Die Domänen-Randomisierung – zufällige Variation von Beleuchtung, Texturen, Reibung und Gelenksteifheit während des Trainings – führt zu Richtlinien, die reale Variationen überstehen, anstatt sich übermäßig an eine einzelne visuelle Konfiguration anzupassen.

Sim-zu-Actual-Lücke: Der Leistungsabfall, wenn eine in der Simulation trainierte Richtlinie auf physischer {Hardware} bereitgestellt wird, wird normalerweise durch Kontaktdynamik, Sensorrauschen und Unterschiede in der visuellen Wiedergabetreue verursacht.

Die Kosten werden bei der Bereitstellung angezeigt. Simulatoren modellieren nicht die Reibung eines feuchten Seifenstücks, das Nachgeben einer Schaumstoffverpackung oder die visuelle Variation von spiegelndem Metall unter Neonbeleuchtung. Bei kontaktreichen Aufgaben scheitert Sim-to-Actual am häufigsten. Eine im Jahr 2025 veröffentlichte Studie hat den Kompromiss quantifiziert: Ungefähr 8 Simulationsproben bieten den gleichen Nutzen wie eine teleoperierte Probe für domäneninterne Manipulationsaufgaben (Information Utilization Regulation for Robotic Manipulation, 2025).

Fotorealistische Rendering-Plattformen wie NVIDIA Cosmos und 3D Gaussian Splatting verringern die visuelle Lücke, aber die Dynamiklücke – Reibung, Verformung, Nachgiebigkeit – bleibt das schwierigere Downside.

Was sind menschliche Videodaten und was wird dadurch freigeschaltet?

Menschliche Videodaten sind Aufnahmen von Menschen, die Manipulationsaufgaben ausführen – Wäsche falten, Geschirr stapeln, Komponenten zusammenbauen –, aufgenommen von egozentrischen Kameras, Überwachungswinkeln oder kuratierten Demonstrationssets.

Menschliches Video überzeugt durch Kosten und Vielfalt. Ein einzelner Mitarbeiter mit einem Smartphone kann an einem einzigen Nachmittag Hunderte von Demonstrationen in Küchen, Garagen, Fabriken und Büros aufzeichnen. Kein Roboter erforderlich, kein Labor erforderlich, keine Bedienerschulung erforderlich. Große Imaginative and prescient-Sprachmodelle, die vorab anhand menschlicher Movies trainiert wurden, erwerben ein allgemeines Szenenverständnis, das vor der Feinabstimmung sinnvoll auf Roboterrichtlinien übertragen werden kann.

Die Einschränkung ist die fehlende Aktionsbezeichnung. Das Video zeigt eine Hand, die eine Tasse ergreift; Es zeichnet weder die ausgeübte Kraft noch die Gelenkwinkel auf, die ein Roboterarm benötigen würde, um die Bewegung nachzubilden. Inverse-Dynamics-Modelle und Hand-to-Finish-Effektor-Retargeting können diese Bezeichnungen teilweise ableiten, die resultierenden Pseudoaktionen sind jedoch verrauscht.

Stellen Sie sich ein Startup vor, das einen Küchenroboter baut. Sie haben 80.000 Greenback zum Ausgeben. Zwanzig Stunden geschickter Teleoperation könnten ihnen 200 saubere Episoden auf ihrem Zielarm bescheren. Zwanzig Stunden Videosammlung von Mitwirkenden aus verschiedenen Küchen zu Hause bescheren ihnen mehrere tausend egozentrische Clips. Das Telefongerät ist schärfer. Das Videoset ist breiter. Der Roboter benötigt beides, in unterschiedlichen Verhältnissen in unterschiedlichen Trainingsstadien.

Teleoperation vs. Simulation vs. menschliches Video: ein direkter Vergleich

Wie wählt man die richtige Datenstrategie für verkörperte KI?

Die Auswahl der richtigen Datenstrategie für das Robotertraining beginnt mit dem Bereitstellungsziel, nicht mit der Datenquelle. Ein Choose-and-Place-Roboter in der Fabrik, ein humanoider Haushalt und ein chirurgischer Assistent haben völlig unterschiedliche Anforderungen an Treue, Sicherheit und Verkörperung – und daher völlig unterschiedliche ideale Datenmischungen.

Ein praktischer dreistufiger Rahmen:

1. Machen Sie sich vorab mit Simulation und menschlichem Video vertraut. Nutzen Sie die Simulation für eine umfassende Abdeckung von Szenen, Objekten und Sicherheitskantenfällen. Fügen Sie egozentrische menschliche Movies hinzu, um natürliche Manipulationsvoraussetzungen und reale visuelle Vielfalt zu erzielen. Diese Section ist günstig und umfassend.
2. Anker mit Teleoperation an der Zielverkörperung. Sammeln Sie 500–2.000 hochwertige Teleop-Episoden über genau den Roboter, den Sie einsetzen möchten. Diese Section ist teuer, aber unersetzlich – sie verleiht der Politik eine echte Dynamik.
3. Iterieren Sie mit dem Datenschwungrad. Erfassen Sie nach der Bereitstellung autonome Rollouts und Fehlerfälle. Füttere sie zusammen mit frischen Teleop- und Menschenvideos wieder in den nächsten Trainingszyklus.

Stellen Sie sich das wie die Ausbildung eines Kochs vor. Simulation ist eine Kochschule – umfassend, billig, fehlertolerant. Ein menschliches Video sieht sich Tausende von Kochvideos an – breiter Kontext, keine eigene Küche. Teleoperation ist das praktische Praktikum in der Küche, in der Sie arbeiten – langsam, teuer, unersetzlich. Kein ernsthafter Koch lässt einen der drei aus.

Shaips multimodale Datenerfassung Und Anmerkungsworkflows sind so konzipiert, dass sie alle drei Ebenen unterstützen – Teleop-Zellenbetrieb, Simulationskennzeichnung und egozentrische Videosammlung durch ein globales Netzwerk von über 500.000 Mitwirkenden –, sodass Robotikteams eine Hybridstrategie orchestrieren können, ohne fünf Anbieter zusammenzufügen.

Abschluss

Die Debatte Teleoperation vs. Simulation vs. menschliches Video hat im Jahr 2026 eine klare Antwort: Es ist keine Wahl, es ist ein Stack. Teleoperation gibt Ihnen Treue. Durch Simulation erhalten Sie Maßstab. Menschliches Video bietet Ihnen Vielfalt. Produktionsverkörperte KI-Pipelines kombinieren alle drei, gewichtet nach dem Bereitstellungsziel, der Verkörperung und dem Price range. Die Groups, die das nächste Jahrzehnt des Roboterlernens gewinnen, werden nicht diejenigen sein, die sich für die günstigste Quelle entscheiden – sie werden diejenigen sein, die die intelligenteste Mischung organisieren.

Die Neurowissenschaften sind seit langem ein Feld des Teilens und Herrschens. Forscher ordnen typischerweise bestimmte kognitive Funktionen isolierten Gehirnregionen zu – etwa Bewegung dem Bereich V5 oder Gesichtern dem Gyrus fusiformis –, indem sie Modelle verwenden, die auf enge experimentelle Paradigmen zugeschnitten sind. Obwohl dies zu tiefgreifenden Erkenntnissen geführt hat, ist die resultierende Landschaft fragmentiert und es fehlt ein einheitlicher Rahmen, um zu erklären, wie das menschliche Gehirn multisensorische Informationen integriert.

Das FAIR-Workforce von Meta hat sich vorgestellt TRIBE v2ein trimodales Gründungsmodell, das diese Lücke schließen soll. Durch die Ausrichtung der latenten Darstellungen modernster KI-Architekturen auf die menschliche Gehirnaktivität prognostiziert TRIBE v2 hochauflösende fMRT-Reaktionen unter verschiedenen naturalistischen und experimentellen Bedingungen.

Die Architektur: Multimodale Integration

TRIBE v2 lernt das „Sehen“ oder „Hören“ nicht von Grund auf. Stattdessen nutzt es die Repräsentationsausrichtung zwischen tiefen neuronalen Netzwerken und dem Gehirn von Primaten. Die Architektur besteht aus drei eingefrorenen Fundamentmodellen, die als dienen Characteristic-Extraktoren, ein zeitlicher Transformator, und a fachspezifischer Vorhersageblock.

Das Modell verarbeitet Reize über drei spezialisierte Encoder:

• Textual content: Kontextualisierte Einbettungen werden daraus extrahiert LLaMA 3.2-3B. Für jedes Wort stellt das Modell die vorhergehenden 1.024 Wörter voran, um einen zeitlichen Kontext bereitzustellen, der dann einem 2-Hz-Raster zugeordnet wird.
• Video: Das Modell verwendet V-JEPA2-Big um 64-Body-Segmente zu verarbeiten, die sich über die vorangegangenen 4 Sekunden für jedes Zeitintervall erstrecken.
• Audio: Der Ton wird durch verarbeitet Wav2Vec-BERT 2.0wobei die Darstellungen auf 2 Hz neu abgetastet wurden, um sie an die Reizfrequenz anzupassen $(f_{stim})$.

2. Zeitliche Aggregation

Die resultierenden Einbettungen werden in eine gemeinsame Dimension komprimiert $(D=384)$ und zu einer multimodalen Zeitreihe mit einer Modelldimension von verkettet $D_{Modell} = 3 instances 384 = 1152$. Diese Sequenz wird in a eingespeist Transformator-Encoder (8 Schichten, 8 Aufmerksamkeitsköpfe), die über ein 100-Sekunden-Fenster Informationen austauschen.

3. Subjektspezifische Vorhersage

Um die Gehirnaktivität vorherzusagen, werden die Transformer-Ausgänge auf die fMRT-Frequenz von 1 Hz dezimiert $(f_{fMRI})$ und ging durch a Betreffblock. Dieser Block projiziert die latenten Darstellungen auf 20.484 kortikale Eckpunkte $(fsaverage5 Oberfläche)$ und 8.802 subkortikale Voxel.

Daten- und Skalierungsgesetze

Eine wesentliche Hürde bei der Gehirnkodierung ist die Datenknappheit. TRIBE v2 geht dieses Drawback an, indem es „tiefe“ Datensätze für das Coaching verwendet – wobei einige Probanden viele Stunden lang aufgezeichnet werden – und „breite“ Datensätze für die Auswertung.

• Ausbildung: Das Modell wurde anhand von 451,6 Stunden fMRT-Daten von 25 Probanden in vier naturalistischen Studien (Filme, Podcasts und Stummfilme) trainiert.
• Auswertung: Es wurde in einer größeren Sammlung von insgesamt 1.117,7 Stunden von 720 Probanden ausgewertet.

Das Forschungsteam beobachtete einen logarithmisch linearen Anstieg der Codierungsgenauigkeit mit zunehmender Trainingsdatenmenge, ohne Anzeichen eines Plateaus. Dies deutet darauf hin, dass mit der Erweiterung der Neuroimaging-Repositories die Vorhersagekraft von Modellen wie TRIBE v2 weiter zunehmen wird.

Ergebnisse: Übertreffen der Grundlinien

TRIBE v2 übertrifft herkömmliche Systeme deutlich Endliche Impulsantwort (FIR) Modelle, der langjährige Goldstandard für die voxelweise Kodierung^.

Zero-Shot und Gruppenleistung

Eine der auffälligsten Fähigkeiten des Modells ist Zero-Shot-Verallgemeinerung zu neuen Themen. Mithilfe einer Ebene „unsichtbarer Probanden“ kann TRIBE v2 die gruppendurchschnittliche Reaktion einer neuen Kohorte genauer vorhersagen als die tatsächliche Aufzeichnung vieler einzelner Probanden innerhalb dieser Kohorte. Im hochauflösenden 7T-Datensatz des Human Connectome Challenge (HCP) erreichte TRIBE v2 eine Gruppenkorrelation $(R_{Gruppe})$ nahe 0,4, eine zweifache Verbesserung gegenüber der Gruppenvorhersagefähigkeit des mittleren Probanden.

Feinabstimmung

Wenn einem neuen Teilnehmer eine kleine Datenmenge (höchstens eine Stunde) zur Verfügung gestellt wird, führt die Feinabstimmung von TRIBE v2 für nur eine Epoche zu einer zwei- bis vierfachen Verbesserung gegenüber linearen Modellen, die von Grund auf trainiert wurden^.

In-Silico-Experimente

Das Forschungsteam argumentiert, dass TRIBE v2 nützlich sein könnte Pilotierung oder Vorscreening von Neuroimaging-Studien. Durch die Durchführung virtueller Experimente auf dem Individuelles Mind Charting (IBC) Datensatz, Das Modell hat klassische funktionale Wahrzeichen wiederhergestellt:

• Imaginative and prescient: Der fusiforme Gesichtsbereich wurde genau lokalisiert (FFA) und parahippocampaler Ortsbereich (PPA).
• Sprache: Der temporo-parietale Übergang wurde erfolgreich wiederhergestellt (TPJ) zur emotionalen Verarbeitung und Brocas Gegend für die Syntax.

Darüber hinaus bewerben Unabhängige Komponentenanalyse (ICA) Die letzte Ebene des Modells ergab, dass TRIBE v2 auf natürliche Weise fünf bekannte Funktionsnetzwerke lernt: primäres Gehör, Sprache, Bewegung, Standardmodus und visuell^.

Schlüssel zum Mitnehmen

• Eine leistungsstarke trimodale Architektur: TRIBE v2 ist ein Basismodell, das integriert Video, Audio und Sprache durch den Einsatz modernster Encoder wie LLaMA 3.2 für Textual content, V-JEPA2 für Video und Wav2Vec-BERT für Audio.
• Logarithmisch-lineare Skalierungsgesetze: Ähnlich wie die großen Sprachmodelle, die wir jeden Tag verwenden, folgt TRIBE v2 a logarithmisch-lineares Skalierungsgesetz; Seine Fähigkeit, die Gehirnaktivität genau vorherzusagen, nimmt stetig zu, je mehr fMRT-Daten zugeführt werden, und ein Leistungsplateau ist derzeit nicht in Sicht.
• Überlegene Zero-Shot-Generalisierung: Das Modell kann die Gehirnreaktionen von vorhersagen unsichtbare Themen unter neuen Versuchsbedingungen ohne zusätzliche Schulung. Bemerkenswert ist, dass seine Zero-Shot-Vorhersagen bei der Schätzung gruppengemittelter Gehirnreaktionen oft genauer sind als die Aufzeichnungen einzelner menschlicher Probanden selbst.
• Der Beginn der In-Silico-Neurowissenschaft: TRIBE v2 ermöglicht „In-silico“-Experimente und ermöglicht es Forschern, virtuelle neurowissenschaftliche Checks auf einem Pc durchzuführen. Es replizierte erfolgreich jahrzehntelange empirische Forschung, indem es spezielle Bereiche wie die identifizierte fusiformer Gesichtsbereich (FFA) Und Brocas Gegend rein durch digitale Simulation.
• Neue biologische Interpretierbarkeit: Auch wenn es sich um eine Deep-Studying-„Blackbox“ handelt, organisierten sich die internen Darstellungen des Modells natürlich in fünf bekannte funktionale Netzwerke: primäres Gehör, Sprache, Bewegung, Standardmodus und visuell.

---

Schauen Sie sich das an Code, Gewichte Und Demo. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Während eines Sommerpraktikums am MIT Lincoln Laboratory untersuchte Ivy Mahncke, Studentin der Robotiktechnik am Olin Faculty of Engineering, einen praktischen Ansatz zum Testen von Algorithmen für die Unterwassernavigation. Ihre Liebe zur Arbeit mit Unterwasserrobotik entdeckte sie erstmals 2024 als Praktikantin an der Woods Gap Oceanographic Establishment. Angezogen von der Likelihood, neue Probleme anzugehen und modernste Algorithmen zu entwickeln, begann Mahncke 2025 ein Praktikum bei der Superior Undersea Programs and Know-how Group des Lincoln Laboratory.

Mahncke verbrachte den Sommer damit, einen Algorithmus zu entwickeln und Fehler zu beheben, der einem menschlichen Taucher und einem Roboterfahrzeug dabei helfen würde, gemeinsam unter Wasser zu navigieren. Das Fehlen traditioneller Lokalisierungshilfen – wie des International Positioning System oder GPS – in einer Unterwasserumgebung stellte die Navigation vor Herausforderungen, die Mahncke und ihre Mentoren zu meistern versuchten. Ihre Arbeit im Labor gipfelte in Feldtests des Algorithmus an einem einsatzbereiten Unterwasserfahrzeug. Mahncke begleitete die Mitarbeiter der Gruppe zu Feldteststandorten im Atlantischen Ozean, am Charles River und am Lake Superior und hatte die Gelegenheit, ihre Software program in der realen Welt in Aktion zu sehen.

„Eine der leitenden Ingenieurinnen des Projekts hatte sich abgespalten, um andere Arbeiten zu erledigen. Und sie sagte: ‚Hier ist mein Laptop computer. Hier sind die Dinge, die Sie tun müssen. Ich vertraue darauf, dass Sie sie erledigen.‘ Und so durfte ich nicht nur als zusätzliches Paar Hände auf dem Wasser sein, sondern als einer der führenden Feldtester“, sagt Mahncke. „Ich hatte wirklich das Gefühl, dass meine Vorgesetzten mich als die zukünftige Era von Ingenieuren sahen, sei es am Lincoln Lab oder einfach in der Branche insgesamt.“

Madeline Miller, Mahnckes Praktikumsbetreuerin, sagt: „Ivys Praktikum fiel mit einer Reihe strenger Feldtests am Ende eines ehrgeizigen Programms zusammen. Wir haben sie im übertragenen Sinne direkt ins Wasser geworfen, und sie schwamm nicht nur, sondern spielte auch eine wesentliche Rolle bei der Fähigkeit unseres Programms, mehrere Ziele zu erreichen.“

Lincoln Laboratory Sommerforschungsprogramm läuft von Mitte Mai bis August. Bewerbungen sind ab sofort möglich.

Video von Tim Briggs/MIT Lincoln Laboratory | 2 Minuten, 59 Sekunden

Im vergangenen Jahr ist die Suche nach „AI -Videomacher“ um über 200percentgestiegen. Dies ist kein Schock, da Schöpfer überall nach schnelleren, intelligenteren Möglichkeiten suchen, Ideen in Grafik zu verwandeln. In der Tat conflict die Idee eines solchen AI -Instruments, allen kreative Freiheit zu bieten, sei es mit einem Video -Hintergrund oder nicht. In diese Welle kommt Luma Ai Ray3, das neueste Modell der Videogeneration von Luma Labs.

Ray3 als „visueller Gedankenpartner“ positioniert und hilft den Erstellern, Storyboard, und ihre Movies in einer einzigen Schnittstelle zu verfeinern. Zumindest zielt das Unternehmen gemäß seiner Startankündigung an. Das System von Ray3 für Video und Photon für Bilder angetrieben und zielt darauf ab, die Videoerstellung von Experimenten bis hin zur Ausführung in Minuten zu treiben.

Ich habe mich am neuen Ray3 versuchten. Hier teile ich alles darüber, meine Erfahrung und wie Sie es selbst ausprobieren können. Lesen Sie weiter!

Was ist Luma ai ray3?

Im Kern ist Luma Ai Ray3 das neueste Improve des Videogenerationsmodells von Luma Labs, das die Grenzen von Ray2 überschreitet. Im Gegensatz zu früheren Iterationen, die sich hauptsächlich auf kurze Clips konzentrierten, führt Ray3 eine einheitliche kreative Ebene ein: Sie können visuelle Ausgänge ideieren, experimentieren und direkte visuelle Ausgänge leiten, ohne die Schnittstelle zu verlassen.

Das System kombiniert zwei Motoren unter einem Dach – Ray3 für Video und Photon für Bilder. Diese Paarung bedeutet, dass Sie sich zwischen Stillbildern und Bewegungen fließend bewegen können und sie als Teile desselben kreativen Prozesses behandeln können.

Das interessanteste Function, das Ray3 mit sich bringt, ist jedoch seine referenzgetriebene Konsistenz. Mit dem neuen AI-Video-Gen-Modell können Sie Stile oder Charaktere über mehrere Aufnahmen hinweg sperren, etwas andere KI -Videomaschinen Ich kämpfe immer noch mit.

Schlüsselmerkmale von Luma Ai Ray3

Abgesehen von der referenzgetriebenen Videomobilien verfügt Ray3 über eine Vielzahl neuer Funktionen. Hier ist ein tiefer Eintauchen in all dies.

1. Bretter für strukturierte Kreativität

Ray3 führt mehrere Boards vor – Kunstboard, Storyboard und Moodboard. Diese Schöpfer lassen rohe Ideen in strukturierte Grafik organisieren. Anstatt direkt in Video zu springen, können Sie das Erscheinungsbild gestalten, bevor Sie sich zur Era verpflichten.

2. Modifizieren Sie mit natürlicher Sprache

Benötigen Sie schnelle Änderungen? Geben Sie einfach Anweisungen wie „Make It Anime“ ein und das Modell bearbeitet Ihr Bild oder Video entsprechend. Dies überbrückt die Lücke zwischen professionellen Bearbeitungswerkzeugen und der alltäglichen kreativen Sprache.

3.. Ändern Sie mit visuellen Hinweisen

Einer der neuesten Funktionen, die ich persönlich in einem KI -Videomobiler, Ray3, gesehen habe, können Sie ein Video ändern, indem Sie ihm visuelle Hinweise hinzufügen. Das KI -Modell kann diese Hinweise interpretieren und Änderungen an Ihrem Video entsprechend vornehmen.

4. Referenz für Stil und Charakterkonsistenz

Eine der leistungsstärksten Ergänzungen: Referenzbasierte Era. Durch das Hochladen einer visuellen Referenz kann Ray3 konsistente Stile, Umgebungen oder sogar wiederkehrende Zeichen über mehrere Ausgänge hinweg aufrechterhalten. Den meisten KI -Videodiener fehlt immer noch diese Fähigkeit.

5. Keyframe Management

Direktoren denken oft in Keyframes, und Ray3 umfasst das. Durch die Definition eines Begin- und Endrahmens können Sie die KI die Zwischenbewegung ausfüllen lassen und eine Steuerungsschicht und die Vorhersehbarkeit zu generativem Video hinzufügen.

6. Brainstorming und kreative Anfrage

Jenseits der Videogenerierung dient Ray3 als Ideenpartner. Das Abfragesystem kann grobe Eingabeaufforderungen in detaillierte kreative Richtungen erweitern und kreative Blöcke verhindern.

7. Share & Remix

Jedes Projekt wird mit einer integrierten „hinter den Kulissen“ geliefert. Andere Ersteller können Ihren Prozess sehen, Ihre Ausgaben remixen und gemeinsam aufbauen, wodurch Ray3 genauso zu einem Neighborhood -Device wie einer Produktionsmotor ist.

8. HDR -Era

Ray3 behauptet, das weltweit erste Modell zu sein, das HDR-Movies in Studioqualität durch native Hochdynamik-Farbgenerierung liefern kann. Das AI -Videotool kann atemberaubende HDR -Movies aus Texteingabeaufforderungen, SDR -Bildern sowie SDR -Movies generieren. Darüber hinaus kann es diese sogar als 16-Bit-EXR für die nahtlose Integration in Professional-Workflows exportieren.

Wie funktioniert es?

Die meisten KI -Videomaschinen (siehe die High 10 hier) Erzeugen Sie isoliert Clips, aber Luma AI Ray3 kombiniert mehrere Modelle und Steuerelemente zu einer Pipeline. Im Kern arbeiten zwei Motoren zusammen:

• Ray3 (Videomodell): Erzeugt Bewegungssequenzen, interpretiert Aufforderungen und behandelt Übergänge zwischen Frames.
• Photon (Bildmodell): Erstellt hochwertige Standbilder, Referenzen und Ausgangspunkte, die direkt in die Videoerstellung fließen können.
• So entfaltet sich der Prozess, wenn Sie Ray3 verwenden:
• Aufforderung oder Referenzierung: Sie beginnen entweder mit einer Textaufforderung („Make It Anime“) oder einer visuellen Referenz (ein Bild, einen Stil oder ein Zeichen).
• Szenengeneration: Photon erzeugt die Stills, während Ray3 sie in eine reibungslose Bewegung animiert und Beleuchtung, Texturen und Kameraeffekte anwendet.
• Keyframe -Richtung: Wenn Sie einen Begin- und Endrahmen bereitstellen, füllt Ray3 die In-Between aus und simuliert, wie ein Regisseur Aufnahmen plant.
• Änderungen und Modifikationen: Sie können sofort mit natürlicher Sprache, von Fashion Swaps bis hin zu Umweltveränderungen, iterieren, ohne die herkömmliche Bearbeitungssoftware zu berühren.
• Kollaborationsschicht: Ihre Ausgänge und Prozesse können von anderen Schöpfer auf der Plattform gemeinsam genutzt, remix oder erweitert werden.

So greifen Sie auf Luma Ai Ray3 zu

Im Second ist Dream Machine sowohl im Net als auch im iOS verfügbar. Ray3 scheint jedoch derzeit in einem Versuchsmodus auf beiden zu sein.

Ray3 AI Video Maker: Praxis-On

Wir haben den Ray3 für ein neuartiges Video um ein mystisches Thema mit der folgenden Eingabeaufforderung ausprobiert:

Erzeugen Sie eine kreppende filmische Sequenz eines einsamen Wanderers – einer hohen, getarnten Figur mit leuchtenden bernsteinfarbenen Augen – und überqueren einen endlosen Ozean von Wolken auf einer schwimmenden Obsidianbrücke. Jeder Schritt sendet schwache Lichtwellen durch die Brücke, als ob er lebendig wäre. Die Kamera gleitet nach außen, um kolossale himmlische Wesen zu enthüllen, die aus lebendigem Sternenlicht geschnitzt sind und wie alte Erziehungsberechtigte am Himmel aufgehängt sind.

Ihre Silhouetten erstrecken sich über den Himmel, gekrönt mit Halos umkreislaufender Monde. Während sich der Reisende vorwärts bewegt, drehen die Wesen langsam den Kopf und beleuchten den Weg mit Kaskaden aus goldenem kosmischem Feuer.

Der Reisende hält am Rande der Brücke an, der Umhang aufweist, während die Szene in einer Symphonie von Auroras, Schießstars und resonanten kosmischen Humme ausbricht. Die Stimmung ist episch, surreal und beeindruckend-ein visuelles Wunder, das Fantasie, Sci-Fi und Traume Myths kombiniert.

Hier ist die Ausgabe, die das KI -Werkzeug erzeugt hat:

Wie Sie sehen können, ist das Video in Bezug auf Qualität ziemlich außergewöhnlich. Es schaffte es, sich ein ganz neues Szenario vorzustellen, wie in der Eingabeaufforderung erwähnt, und fand ein ziemlich nuanciertes und genaues Video entsprechend. Es versuchte sogar, die feineren Particulars in die Eingabeaufforderung zu integrieren, wie die Beleuchtung zu den Füßen der Figur, während er auf der Brücke geht, sowie seine bernsteinroten Augen.

Trotzdem kann ich auch einige Inkonsistenzen im Video sehen. Einige der Objekte am anderen Ende verändern im gesamten Video zufällig die Formen, während die gezeigten himmlischen Wesen völlig zufällige Handlungen durchführen. Sogar die Kapuzenfigur läuft etwas seltsam, und sein Arm verschwindet nach einem Punkt völlig aus der Sicht.

Ray3 AI Video Maker: Meine Erfahrung

Ich habe auch mehrere andere Movies ausprobiert, wobei ich einfache Eingabeaufforderungen für die Textgenerierung sowie einige mit Referenzbildern verwendet habe. Während Ray3 in der Lage ist, den allgemeinen Zweck des Movies ziemlich intestine zu ergreifen, scheitert es meistens in den Nuancen der Dinge und die feineren Particulars. Ein Video eines Kampfflugzeugstrahls, der über Noida fliegt, stellte sich beispielsweise als völlig seltsame Ausgabe heraus. Die gesamte Aufnahme conflict wackelig und der Jet veränderte die Kind in der Mitte des Movies. Gleiches gilt für ein Video eines indischen Vater-Sohn-Duos, das Billiards (Pool) spielt. Die Bälle auf dem Billardtisch schienen außerhalb der Luft zu erscheinen und verschwinden dann genauso abrupt.

Ich habe einige Nachforschungen darüber gemacht, wie Luma Labs am besten die Verwendung von Ray3 vorschlägt. Laut dem Unternehmen funktioniert das Modell am besten mit „kurzen, natürlichen Sprache, einfachen Eingabeaufforderungen. Während Ray3 versucht, so genau wie möglich zur Eingabeaufforderung zu sein, ist es mit einfachen und kürzeren Aufforderungen, die sehr spezifisch sind, am wohlsten. Dies bedeutet auch, dass das Modell auch besser für Movies um Objekte und Umgebungen geeignet ist, die zuvor vorgesehen sind.

Wo es glänzt, ist die einfachste Animationen um ein Referenzbild. Laden Sie einfach das Bild hoch, das Sie animieren möchten, und es gibt Ihnen eine hochwertige Videoausgabe, um gleich, auch ohne die Aufforderung erforderlich. Wenn Sie ein Bild eines Hundes hochladen, animieren Sie ihn, wenn der Hund seinen Kopf schüttelt oder mit seinem Schwanz wedelt. Keine Aufforderung erforderlich. Falls Änderungen vorliegen, können Sie dasselbe durch Comply with-up-Eingabeaufforderungen erwähnen, und Ray3 erledigt diese ebenfalls. Ziemlich einfach und sehr praktisch.

Abschluss

Während Ray3 beeindruckend ist, habe ich das Gefühl, dass es noch einen langen Weg als idealer KI -Videohersteller hat. Die Liste der neuen Funktionen, die es jetzt bietet, ist zweifellos äußerst praktisch. Animieren eines Bildes, Hinzufügen eines Keyframe oder sogar das Ändern eines Movies mit natürlicher Sprache oder visuellen Hinweisen sind in vielerlei Hinsicht Gamechanger. Wie seine Fähigkeit, HDR -Movies in der kostenpflichtigen Model zu finden.

Aber um es ein perfektes KI -Videogenerierungs -Device zu nennen, wird es eine Weile geben.

Videoinhalte sind ein wesentliches Medium für die Kommunikation in der digitalen Welt. Ob für Bildungszwecke, Unterhaltung oder Advertising, Video hat eine einzigartige Fähigkeit, das Publikum zu engagieren. Allerdings können nicht alle Zuschauer zu jeder Zeit Audio hören, weshalb Untertitel entscheidend sind. Eine effektive Möglichkeit, Movies zugänglicher und durchsuchbarer zu gestalten, ist die Transkription. Zu Video in Textual content konvertierenautomatisierte Transkriptionswerkzeuge können viel Zeit und Mühe sparen und die Erstellung von Untertiteln nahtlos und effizient machen.

Video -Transkription verstehen

Video -Transkription ist der Prozess der Konvertierung der gesprochenen Sprache in einem Video in geschriebenen Textual content. Dies kann manuell oder durch automatisierte Werkzeuge erfolgen. Der Transkriptionsprozess kann zeitaufwändig sein, insbesondere für lange Movies, aber es ist wichtig, um genaue Untertitel zu erstellen. Durch die Transkription des Movies können Sie sicherstellen, dass Ihr Publikum die vollständige Nachricht erhält, unabhängig davon, ob sie das Audio hören können oder nicht.
Eine der effizientesten Möglichkeiten, Movies in Textual content umzuwandeln, ist die Verwendung automatisierter Transkriptionstools. Diese Instruments stützen sich auf die KI- und Spracherkennungstechnologie, um den Audio -Monitor des Movies zu analysieren und einen entsprechenden Textual content zu generieren. Während sich diese Instruments im Laufe der Jahre erheblich verbessert haben, benötigen sie möglicherweise noch eine kleine Feinabstimmung, um die höchste Genauigkeit zu gewährleisten.

Vorteile der automatischen Video -Transkription

Die automatische Video -Transkription bietet zahlreiche Vorteile. Hier sind einige wichtige Vorteile:

• Zeiteffizienz: Die manuelle Transkription kann extrem zeitaufwändig sein, insbesondere für längere Movies. Automatische Transkription kann viel schneller zu Textual content erzeugen, sodass Sie sich auf andere Aufgaben konzentrieren können.
• Genauigkeit: Eine hochwertige Transkriptionssoftware kann Textual content produzieren, die quick so genau sind wie menschliche Transkriptionisten, insbesondere mit klarem Audio.
• Kostengünstig: Die automatisierte Transkription ist oft viel billiger als die Einstellung eines professionellen Transkribers.
• Verbesserte Zugänglichkeit: Untertitel ermöglichen es einem breiteren Publikum, sich mit Ihren Videoinhalten zu beschäftigen, einschließlich Personen mit Hörstörungen oder solchen in soliden sensiblen Umgebungen.

So konvertieren Sie Movies mit automatisierten Instruments in Textual content in Textual content

Befolgen Sie die folgenden Schritte, um Movies mit automatisierten Transkriptionstools in Textual content in Textual content umzuwandeln:

1. Wählen Sie das richtige Werkzeug: Es stehen mehrere Transkriptionstools zur Verfügung, wie z. B. Any2Text, Rev und Trint. Erforschen Sie diese Optionen, um die zu finden, die Ihren Anforderungen in Bezug auf Funds, Funktionen und Benutzerfreundlichkeit entspricht.
2. Laden Sie das Video hoch: Wenn Sie ein Device ausgewählt haben, laden Sie Ihre Videodatei auf die Plattform hoch. Das Device beginnt automatisch mit der Verarbeitung des Audio, um die Transkription zu generieren.
3. Überprüfen Sie den Textual content: Nachdem das Device das Video beendet hat, überprüfen Sie den Textual content auf Fehler oder Ungenauigkeiten. Während KI -Instruments sehr fortgeschritten sind, kann es immer noch Fehler geben, insbesondere mit komplexen Wörtern, Akzenten oder Hintergrundgeräuschen.
4. Bearbeiten und formatieren Sie den Textual content: Korrigieren Sie alle Fehler und passen Sie den Textual content an, um sicherzustellen, dass er mit dem Videoinhalt ausgerichtet ist. Mit vielen Transkriptionstools können Sie den Textual content direkt auf der Plattform formatieren.
5. Exportieren Sie die Untertitel: Nachdem Sie die Transkription bearbeitet haben, können Sie sie als Untertiteldatei exportieren. Die häufigsten Untertitelformate sind SRT und VTT, die Ihrem Video -Participant oder der Bearbeitungssoftware problemlos hinzugefügt werden können.

Tipps für bessere Transkriptionen

Um die bestmöglichen Ergebnisse bei der Verwendung automatisierter Transkriptionstools zu gewährleisten, denken Sie an diese Tipps:

• Klares Audio: Die Qualität des Audios ist für eine genaue Transkription von entscheidender Bedeutung. Stellen Sie sicher, dass das Video klare, hochwertige Klang hat, um Fehler in der Transkription zu minimieren.
• Verwenden Sie eine einfache Sprache: Je komplexer die Sprache oder das Jargon ist, desto schwieriger kann es für die Verständnis von AI -Transkriptionstools sein. Verwenden Sie nach Möglichkeit eine einfache und klare Sprache in Ihrem Video.
• Hintergrundrauschen begrenzen: Hintergrundrauschen kann den Transkriptionsprozess beeinträchtigen. Versuchen Sie, irrelevante Sounds während der Aufnahme zu minimieren.
• Korrekturlesen: Überprüfen Sie immer die Transkription, bevor Sie sie verwenden, um Untertitel zu erstellen. Automatisierte Instruments können bestimmte Wörter oder Phrasen falsch interpretieren, sodass das Korrekturlesen für die Aufrechterhaltung der Genauigkeit unerlässlich ist.

Das Erstellen von Untertiteln automatisch mit Video-Transkriptionstools ist eine effiziente und kostengünstige Möglichkeit, um Ihre Videoinhalte zugänglicher und ansprechender zu gestalten. Wenn Sie die in diesem Artikel beschriebenen Schritte befolgen, können Sie Video problemlos in Textual content umwandeln und die Anzeigeerfahrung für Ihr Publikum verbessern. Mit den richtigen Instruments kann Ihr Inhalt für eine breitere Palette von Zuschauern zugänglich sein und Ihre Reichweite und Ihr Engagement verbessern.
Denken Sie daran, dass der Schlüssel zur erfolgreichen Video -Transkription in der Qualität Ihres Audios und des von Ihnen gewählten Instruments liegt. Mit ein wenig Liebe zum Element können Sie genaue und hilfreiche Untertitel erstellen, die Ihren Videoinhalten einen Mehrwert verleihen.

Im Web gibt es eine Flut von Lehrvideos, die neugierigen Zuschauern alles Mögliche beibringen, vom Backen des perfekten Pfannkuchens bis zur Durchführung eines lebensrettenden Heimlich-Manövers.

Es kann jedoch mühsam sein, genau zu bestimmen, wann und wo in einem langen Video eine bestimmte Aktion stattfindet. Um den Prozess zu rationalisieren, versuchen Wissenschaftler, Computern beizubringen, diese Aufgabe auszuführen. Im Idealfall könnte ein Benutzer einfach die Aktion beschreiben, nach der er sucht, und ein KI-Modell würde zu ihrer Place im Video springen.

Um maschinellen Lernmodellen diese Fähigkeit beizubringen, sind allerdings in der Regel große Mengen teurer Videodaten erforderlich, die sorgfältig von Hand beschriftet wurden.

Ein neuer, effizienterer Ansatz von Forschern am MIT und dem MIT-IBM Watson AI Lab trainiert ein Modell für die Durchführung dieser als räumlich-zeitliche Erdung bezeichneten Aufgabe, indem ausschließlich Movies und deren automatisch generierte Transkripte verwendet werden.

Die Forscher bringen einem Modell auf zwei verschiedene Arten bei, ein unbeschriftetes Video zu verstehen: indem es kleine Particulars betrachtet, um herauszufinden, wo sich Objekte befinden (räumliche Informationen), und indem es das Gesamtbild betrachtet, um zu verstehen, wann die Aktion stattfindet (zeitliche Informationen).

Im Vergleich zu anderen KI-Ansätzen identifiziert ihre Methode Aktionen in längeren Movies mit mehreren Aktivitäten genauer. Interessanterweise stellten sie fest, dass das gleichzeitige Coaching mit räumlichen und zeitlichen Informationen ein Modell besser in der Lage macht, jede einzelne Info zu identifizieren.

Neben der Optimierung von On-line-Lern- und virtuellen Schulungsprozessen könnte diese Technik auch im Gesundheitswesen von Nutzen sein, um beispielsweise in Movies von Diagnoseverfahren schnell wichtige Momente zu finden.

„Wir lösen die Herausforderung, räumliche und zeitliche Informationen gleichzeitig zu kodieren, und betrachten es stattdessen als zwei Experten, die für sich arbeiten. Das stellt sich als eine explizitere Artwork heraus, die Informationen zu kodieren. Unser Modell, das diese beiden getrennten Zweige kombiniert, führt zu der besten Leistung“, sagt Brian Chen, Hauptautor einer Papier zu dieser Technik.

Chen, ein Absolvent der Columbia College im Jahr 2023, der diese Forschung als Gaststudent am MIT-IBM Watson AI Lab durchgeführt hat, wird an der Arbeit von James Glass unterstützt, einem leitenden Wissenschaftler, Mitglied des MIT-IBM Watson AI Lab und Leiter der Spoken Language Techniques Group im Laptop Science and Synthetic Intelligence Laboratory (CSAIL); Hilde Kuehne, Mitglied des MIT-IBM Watson AI Lab, die auch mit der Goethe-Universität Frankfurt verbunden ist; und anderen am MIT, der Goethe-Universität, dem MIT-IBM Watson AI Lab und der High quality Match GmbH. Die Forschung wird auf der Konferenz für Laptop Imaginative and prescient und Mustererkennung vorgestellt.

Globales und lokales Lernen

Normalerweise bringen Forscher ihren Modellen die räumlich-zeitliche Erdung mithilfe von Movies bei, in denen Menschen die Begin- und Endzeiten bestimmter Aufgaben notiert haben.

Die Generierung dieser Daten ist nicht nur teuer, sondern es kann für Menschen auch schwierig sein, genau zu bestimmen, was sie beschriften sollen. Wenn es sich bei der Aktion um „einen Pfannkuchen backen“ handelt, beginnt diese Aktion dann, wenn der Koch anfängt, den Teig zu mischen, oder wenn er ihn in die Pfanne gießt?

„Diesmal könnte es bei der Aufgabe ums Kochen gehen, das nächste Mal könnte es darum gehen, ein Auto zu reparieren. Es gibt so viele verschiedene Bereiche, die die Leute annotieren können. Aber wenn wir alles ohne Beschriftungen lernen können, ist das eine allgemeinere Lösung“, sagt Chen.

Für ihren Ansatz verwenden die Forscher unbeschriftete Lehrvideos und dazugehörige Texttranskripte von einer Web site wie YouTube als Trainingsdaten. Diese müssen nicht speziell aufbereitet werden.

Sie teilen den Trainingsprozess in zwei Teile auf. Zum einen bringen sie einem maschinellen Lernmodell bei, das gesamte Video anzuschauen, um zu verstehen, welche Aktionen zu bestimmten Zeiten stattfinden. Diese hochrangigen Informationen werden als globale Darstellung bezeichnet.

Im zweiten Schritt bringen sie dem Modell bei, sich auf einen bestimmten Bereich in Teilen des Movies zu konzentrieren, in dem etwas passiert. In einer großen Küche muss sich das Modell beispielsweise nur auf den Holzlöffel konzentrieren, mit dem ein Koch Pfannkuchenteig anrührt, und nicht auf die gesamte Theke. Diese feinkörnigen Informationen werden als lokale Darstellung bezeichnet.

Die Forscher haben eine zusätzliche Komponente in ihr Konzept integriert, um Abweichungen zwischen Erzählung und Video auszugleichen. Beispielsweise spricht der Koch zuerst über das Backen des Pfannkuchens und führt die Aktion später aus.

Um eine realistischere Lösung zu entwickeln, konzentrierten sich die Forscher auf ungeschnittene Movies, die mehrere Minuten lang sind. Im Gegensatz dazu trainieren die meisten KI-Techniken mit ein paar Sekunden langen Clips, die jemand so zugeschnitten hat, dass nur eine Aktion zu sehen ist.

Ein neuer Maßstab

Als die Forscher ihren Ansatz jedoch evaluieren wollten, konnten sie keinen effektiven Maßstab finden, um ein Modell anhand dieser längeren, ungeschnittenen Movies zu testen – additionally erstellten sie einen.

Um ihren Benchmark-Datensatz aufzubauen, entwickelten die Forscher eine neue Annotationstechnik, die sich intestine zum Identifizieren mehrstufiger Aktionen eignet. Sie ließen die Benutzer die Schnittpunkte von Objekten markieren, etwa den Punkt, an dem eine Messerschneide eine Tomate schneidet, anstatt ein Kästchen um wichtige Objekte zu zeichnen.

„Dies ist klarer definiert und beschleunigt den Annotationsprozess, was den Arbeitsaufwand und die Kosten reduziert“, sagt Chen.

Wenn mehrere Personen Punktanmerkungen zum selben Video vornehmen, können Aktionen, die sich über einen bestimmten Zeitraum hinweg ereignen, wie z. B. das Eingießen von Milch, besser erfasst werden. Nicht alle Annotatoren markieren exakt denselben Punkt im Flüssigkeitsfluss.

Als die Forscher ihren Ansatz anhand dieses Benchmarks testeten, stellten sie fest, dass er Aktionen präziser lokalisieren konnte als andere KI-Techniken.

Ihre Methode konnte sich auch besser auf Interaktionen zwischen Menschen und Objekten konzentrieren. Wenn die Aktion beispielsweise darin besteht, „einen Pfannkuchen zu servieren“, konzentrieren sich viele andere Ansätze möglicherweise nur auf Schlüsselobjekte, wie etwa einen Stapel Pfannkuchen auf einer Theke. Ihre Methode konzentriert sich stattdessen auf den tatsächlichen Second, in dem der Koch einen Pfannkuchen auf einen Teller wirft.

Als nächstes wollen die Forscher ihren Ansatz verbessern, sodass die Modelle automatisch erkennen können, wenn Textual content und Erzählung nicht übereinstimmen, und den Fokus von einer Modalität auf die andere verlagern können. Außerdem wollen sie ihren Rahmen auf Audiodaten ausweiten, da es normalerweise starke Korrelationen zwischen Aktionen und den Geräuschen gibt, die Objekte erzeugen.

„Die KI-Forschung hat unglaubliche Fortschritte bei der Entwicklung von Modellen wie ChatGPT gemacht, die Bilder verstehen. Aber unsere Fortschritte beim Verstehen von Movies hinken weit hinterher. Diese Arbeit stellt einen bedeutenden Schritt in diese Richtung dar“, sagt Kate Saenko, Professorin am Institut für Informatik der Boston College, die an dieser Arbeit nicht beteiligt conflict.

Diese Forschung wird zum Teil vom MIT-IBM Watson AI Lab finanziert.