China tritt in generativen KI rapide vor und baut auf Erfolgen wie auf Deepseek Modelle und Kimi K1.5 in Sprachmodellen. Jetzt führt es die Visionsdomäne mit Omnihuman Und Goku Excelling in 3D -Modellierung und Videosynthese. Mit Step-Video-T2V stellt China direkt High-Textual content-zu-Video-Modelle heraus, wie SoraAnwesend Veo 2und der von Stepfun AI entwickelte Movie Gen., Step-Video-T2V, ist ein 30B-Parameter-Modell, das eine hochwertige, 204-Rahmen-Movies erzeugt. Es nutzt eine Video-Vae, zweisprachige Encoder und einen 3D-Angehörigen, um einen neuen Normal für Videogenerierung festzulegen. Befürchtet es die Kernherausforderungen von Textual content-to-Video? Lassen Sie uns eintauchen.
Herausforderungen in Textual content-zu-Video-Modellen
Während Textual content-to-Video-Modelle einen langen Weg zurückgelegt haben, stehen sie dennoch mit grundlegenden Hürden aus:
- Komplexe Aktionssequenzen – Aktuelle Modelle haben Schwierigkeiten, realistische Movies zu erzeugen, die komplizierte Motion -Sequenzen folgen, wie z.
- Physik und Kausalität -Die meisten diffusionsbasierten Modelle simulieren die reale Welt nicht effektiv. Objektwechselwirkungen, Schwerkraft und physische Gesetze werden oft übersehen.
- Anweisung folgt – Modelle verpassen häufig die wichtigsten Particulars in den Benutzeraufforderungen, insbesondere im Umgang mit seltenen Konzepten (z. B. einem Pinguin und einem Elefanten im selben Video).
- Rechenkosten -Hochauflösende, langdauer Movies erzeugen Extrem ressourcenintensivEinschränkung der Zugänglichkeit für Forscher und Schöpfer.
- Bildunterschrift und Ausrichtung – Videomodelle stützen sich auf massiv halluzinierter Inhalt.
Wie löst diese Probleme diese Probleme?
Stiefvideo-T2V nimmt diese Herausforderungen mit Mehrere Innovationen:
- Tiefe Kompression Video-vae: Erreicht 16 × 16 räumliche und 8 -fache temporale Kompressionerheblich reduzierende Rechenanforderungen bei der Aufrechterhaltung einer hohen Videoqualität.
- Zweisprachige Textcodierer: Integriert Hunyuan-clip und step-llmdamit das Modell Eingabeaufforderungen effektiv in beiden verarbeiten kann Chinesisch und Englisch.
- 3D Vollbeziehung dit: Anstelle der traditionellen räumlich-zeitlichen Aufmerksamkeit verbessert sich dieser Ansatz Bewegungskontinuität und Szenenkonsistenz.
- Video-DPO (Direktpräferenzoptimierung): Eingebaut menschliche Rückkopplungsschleifen Um Artefakte zu reduzieren, den Realismus zu verbessern und generierte Inhalte mit den Benutzererwartungen auszurichten.
Modellarchitektur
Die Stiefvideo-T2V-Modellarchitektur ist um eine dreiteilige Pipeline strukturiert, um Textaufforderungen effektiv zu verarbeiten und hochwertige Movies zu generieren. Das Modell integriert einen zweisprachigen Textcodierer, einen Variations-Autocoder (Video-VAE) und einen Diffusionstransformator (DIT) mit 3D-Aufmerksamkeit, wodurch es von herkömmlichen Textual content-zu-Video-Modellen abhebt.
1. Textcodierung mit zweisprachiger Verständnis
In der Eingangsphase beschäftigt Step-Video-T2V Zwei leistungsstarke zweisprachige Textcodierer:
- Hunyuan-Clip: Ein visionsprachiges Modell optimiert für Semantische Ausrichtung zwischen Textual content und Bildern.
- Stieflinge: Ein großes Sprachmodell spezialisiert auf Komplexe Anweisungen verstehen in beiden Chinesisch und Englisch.
Diese Encoder verarbeiten die Benutzeraufforderung und konvertieren es in einen sinnvollen latente DarstellungSicherstellen, dass das Modell den Anweisungen genau befolgt.
2. Variationsautoencoder (Video-vae) zur Komprimierung
Das Erzeugen langer, hochauflösender Movies ist rechnerisch teuer. Stiefvideo-T2V geht dieses Downside mit a Tiefe Kompressionsvariation AutoCoder (Video-vae) Das reduziert die Videodaten effizient:
- Räumliche Kompression (16 × 16) Und Zeitkomprimierung (8x) Reduzieren Sie die Videogröße und erhalten Sie die Bewegungsdetails.
- Dies ermöglicht längere Sequenzen (204 Frames) mit niedrigere Berechnungskosten als frühere Modelle.
3.. Diffusionstransformator (DIT) mit 3D -Aufmerksamkeit
Der Kern von Stiefvideo-T2V ist seine Diffusionstransformator (DIT) mit 3D -Aufmerksamkeitwas die Bewegung der Bewegung und die Szenenkohärenz erheblich verbessert.
Der mit Block der DIT besteht aus mehreren Komponenten, die den Videogenerierungsprozess verfeinern:
Schlüsselkomponenten jedes Transformatorblocks
- Übereinstimmung: Sicheret Bessere Textual content-zu-Video-Ausrichtung Durch die Konditionierung der generierten Frames der Texteinbettung.
- Selbstbekämpfung (mit Seil-3d): Verwendet Rotationspositionskodierung (Seil-3D) zu verbessern räumlich-zeitliches Verständnissicherstellen, dass sich Objekte auf natürliche Weise über Frames bewegen.
- QK-Norm (Normalisierung von Abfragetasten): Verbessert die Stabilität von Aufmerksamkeitsmechanismen und reduziert Inkonsistenzen bei der Objektpositionierung.
- Gate -Mechanismen: Diese adaptive Tore den Informationsfluss regulieren, verhindern Überanpassung auf bestimmte Muster und Verbesserung der Verallgemeinerung.
- Skalierungs-/Schaltvorgänge: Normalisieren und feinstimmen Sie Zwischendarstellungen, um reibungslose Übergänge zwischen Videorahmen zu gewährleisten.
4. Normalisierung der adaptiven Schicht (Adaln-Single)
- Das Modell enthält auch Adaptive Schichtnormalisierung (Adaln-Single)was Aktivierungen dynamisch basierend auf dem anpasst Zeitschritt
- Dies gewährleistet zeitliche Konsistenz über die Videosequenz.
Wie funktioniert Stiefvideo-T2V?
Der STEP-VIDEO-T2V Modell ist ein hochmoderne Textual content-to-Video-KI-System Dies erzeugt hochwertige bewegungsreiche Movies, die auf Textbeschreibungen basieren. Der Arbeitsmechanismus beinhaltet mehrere ausgefeilte KI -Techniken, um eine reibungslose Bewegung, die Einhaltung von Aufforderungen und die realistische Ausgabe zu gewährleisten. Lassen Sie es uns Schritt für Schritt aufschlüsseln:
1. Benutzereingabe (Textcodierung)
- Das Modell beginnt um Benutzereingabe verarbeitenDies ist eine Textaufforderung, die das gewünschte Video beschreibt.
- Dies geschieht mit Verwendung Zweisprachige Textcodierer (z.B, Hunyuan-clip und step-llm).
- Der Zweisprachige Fähigkeit sorgt dafür sowohl Englisch als auch Chinesisch kann genau verstanden werden.
2. Latente Darstellung (Komprimierung mit Videovae)
- Die Videogenerierung ist rechenintensiv, sodass das Modell a verwendet Variationsautocoder (VAE) spezialisiert für die Videokomprimierung, genannt Video-vae.
- Funktion von Video-vae:
- Komprimiert Videorahmen in a niedrigerdimensionaler latenter Raumerheblich reduzieren Rechenkosten.
- Behält wichtige Aspekte der Videoqualitätsqualitätwie zum Beispiel Bewegungskontinuität, Texturen und Objektdetails.
- Verwendet a 16 × 16 räumliche und 8 -fache temporale Kompressiondas Modell effizient machen und gleichzeitig die Hochtreue beibehalten.
3.. Denoising -Prozess (Diffusionstransformator mit 3D -Aufmerksamkeit)
- Nach dem Erhalt der latenten Darstellung ist der nächste Schritt der Denoising -Prozesswas die Videorahmen verfeinert.
- Dies geschieht mit a Diffusionstransformator (DIT)ein fortschrittliches Modell zur Erzeugung hochrealistischer Movies.
- Schlüsselinnovation:
- Der Diffusionstransformator gilt 3d volle Aufmerksamkeitein starker Mechanismus, auf den sich konzentriert räumliche, zeitliche und Bewegungsdynamik.
- Die Verwendung von Flussanpassung hilft Verbessern Sie die Bewegungskonsistenz über Frames hinweg, um glattere Videoübergänge sicherzustellen.
4. Optimierung (Feinabstimmung und Video-DPO-Coaching)
Das generierte Video wird in einer Optimierungsphase unterzogen, was es mehr macht genau, kohärent und visuell ansprechend. Dies beinhaltet:
- Feinabstimmung des Modells mit hochwertigen Daten, um die Fähigkeit zu verbessern, komplexe Eingabeaufforderungen zu befolgen.
- Video-DPO (Direktpräferenzoptimierung) Coaching, das einbezieht menschliches Suggestions Zu:
- Reduzieren Sie unerwünschte Artefakte.
- Verbessern Sie den Realismus in Bewegung und Texturen.
- Richten Sie die Videogenerierung auf die Erwartungen der Benutzer aus.
5. Endausgabe (hochwertiges 204-Body-Video)
- Das letzte Video ist 204 Frames langwas bedeutet, dass es a liefert bedeutende Dauer für das Geschichtenerzählen.
- Hochauflösende Erzeugung Gewährleistet ein knackiges Bild und ein klares Objekttrending.
- Starker Bewegungsrealismus bedeutet, dass das Video unterhält glatte und natürliche Bewegungum es für komplexe Szenen wie menschliche Gesten, Objektinteraktionen und dynamische Hintergründe geeignet zu machen.
Benchmarking gegen Konkurrenten
Step-Video-T2V wird bewertet Stiefvideo-T2V-EvalA 128-prompt-Benchmark Abdeckung Sport, Essen, Landschaft, Surrealismus, Menschen und Animation. Im Vergleich zu führenden Modellen liefert es liefert Hochmoderne Leistung in Bewegungsdynamik und Realismus.
- Übertrifft Hunyuanvideo in der gesamten Videoqualität und der Glätte.
- Rivalen Movie Gen Video Verzögerungen in feinkörniger Ästhetik aufgrund begrenzter hochwertiger Daten.
- Schlägt Runway Gen-3 Alpha In Bewegung Konsistenz, aber leicht zurückbleiben in der filmischen Anziehungskraft.
- Herausforderungen High chinesische kommerzielle Modelle (T2VTOPA und T2VTOPB) Die ästhetische Qualität ist jedoch aufgrund einer geringeren Auflösung (540p gegenüber 1080p) zu kurz.
Leistungsmetriken
STEP-VIDEO-T2V führt ein Neue Bewertungskriterien:
- Anweisung folgt – misst, wie intestine das generierte Video mit der Eingabeaufforderung ausgerichtet ist.
- Bewegungsglättigkeit – bewertet den natürlichen Wirkungsfluss im Video.
- Körperliche Plausibilität – Bewertet, ob Bewegungen den Gesetzen der Physik folgen.
- Ästhetische Anziehungskraft – beurteilt die künstlerische und visuelle Qualität des Movies.
In menschlichen Bewertungen, Stiefvideo-T2V übertrifft die Konkurrenten in Bewegung und physische Plausibilität konsequentwas es zu einem der fortschrittlichsten Open-Supply-Modelle macht.
Wie greife ich mit Stufenvideo-T2V zu?
Schritt 1: Besuchen Sie die offizielle Web site Hier.
Schritt 2: Melden Sie sich mit Ihrer Handynummer an.
Notiz: Derzeit sind Registrierungen nur für eine begrenzte Anzahl von Ländern geöffnet. Leider ist es in Indien nicht erhältlich, additionally konnte ich mich nicht anmelden. Sie können es jedoch versuchen, wenn Sie sich in einer unterstützten Area befinden.
Schritt 3: Fügen Sie Ihre Eingabeaufforderung hinzu und generieren Sie erstaunliche Movies!
Beispiel für Vides, die durch Schritt-Video-T2V erstellt wurden
Hier sind einige Movies, die durch dieses Device generiert werden. Ich habe diese von ihrer offiziellen Seite genommen.
Van Gogh in Paris
Immediate: “Auf den Straßen von Paris sitzt Van Gogh vor einem Café und malt eine Nachtszene mit einem Zeichenbrett in der Hand. Die Kamera wird in einem mittleren Schuss gedreht und zeigt seinen fokussierten Ausdruck und seinen sich schnell bewegenden Pinsel. Die Straßenlaternen und Fußgänger im Hintergrund sind leicht verschwommen und verwenden eine flache Feldtiefe, um sein Bild hervorzuheben. Im Laufe der Zeit wechselt der Himmel von der Abenddämmerung bis zu Nacht, und die Sterne erscheinen allmählich. Die Kamera zieht sich langsam zurück, um den Vergleich zwischen seiner fertigen Arbeit und der echten Nachtszene zu sehen. “
Millennium Falcon Journey
Immediate: “Im riesigen Universum reist der Millennium Falcon in Star Wars über die Sterne. Die Kamera zeigt das Raumschiff, das in ferner Aussicht zwischen den Sternen fliegt. Die Kamera folgt schnell der Flugbahn des Raumfahrzeugs und zeigt ihr Hochgeschwindigkeitshuttle. Die Kamera betritt das Cockpit und konzentriert sich auf die Gesichtsausdrücke von Han Solo und Chewbacca, die die Instrumente nervös bedienen. Die Lichter am Armaturenbrett flackern und der sternenklare Himmel geht schnell außerhalb des Bullauge. “
Abschluss
STEP-VIDEO-T2V ist noch nicht außerhalb Chinas verfügbar. Sobald es öffentlich ist, werde ich meine Bewertung testen und teilen. Dennoch signalisiert es einen großen Fortschritt in der generativen KI Chinas und beweist, dass seine Labors neben Openai und DeepMind die Zukunft der multimodalen KI formen. Der nächste Schritt für die Videogenerierung erfordert eine bessere Anweisung, Physiksimulation und reichhaltigere Datensätze. Step-Video-T2V ebnet den Weg für Open-Supply-Videomodelle und stärkt globale Forscher und Schöpfer. Chinas KI-Dynamik deutet auf realistischere und effizientere Textual content-zu-Video-Innovationen vor
Hallo, ich bin Nitika, ein technisch versierter Content material-Ersteller und Vermarkter. Kreativität und neue Dinge lernen natürlich für mich. Ich habe Fachkenntnisse bei der Erstellung von ergebnisgesteuerten Inhaltsstrategien. Ich bin mit web optimization -Administration, Key phrase -Operationen, Webinhalten, Kommunikation, Inhaltsstrategie, Bearbeitung und Schreiben intestine vertraut.