Das Qwen-Angebot von Alibaba hat sich in den letzten Wochen rasant weiterentwickelt. Wir haben es kürzlich gesehen Qwen3-Coder-Subsequent Ansprache von Entwicklern mit einem KI-Codierungsassistenten. Es folgte Qwen-Bild 2.0was die Bildgenerierungsqualität der Plattform noch weiter steigerte. Jede Veröffentlichung stärkte eine bestimmte Fähigkeit innerhalb des Ökosystems. Aufbauend auf dieser Entwicklung kommt nun die Qwen 3.5-Familie mit zwei neuen AI-Modellen – ihrem ersten Modell mit offenem Gewicht: dem Qwen3.5 397B-A17B und dem Qwen3.5-Plus.

Unter den beiden ist das erstere, additionally der Qwen3.5 397B-A17B, das Flaggschiffmodell, während der Qwen3.5-Plus das gehostete Modell ist, das über Alibaba Cloud Mannequin Studio verfügbar ist. Auf beide Modelle kann jetzt im Qwen Chat zugegriffen werden.

Nach Angaben von Alibaba konzentriert sich die Qwen 3.5-Familie auf stärkeres Denken, Kodierung, Agentenfähigkeiten, multimodales Verständnis und verbesserte Effizienz. Noch wichtiger ist, dass es einen breiteren Vorstoß von Alibaba hin zu KI-Systemen widerspiegelt, die komplexe, mehrstufige Aufgaben mit größerer Autonomie bewältigen können. Wenn man es genau betrachtet, ist das Modell mehr als nur ein Improve – es ist ein Sign dafür, wohin die Reise der Qwen-Familie geht.

In diesem Artikel besprechen wir, was in Qwen 3.5 neu ist, wo es im Wettbewerb steht und was unsere praktischen Checks über seine Leistung in der Praxis verraten. Lasst uns gleich einsteigen.

Was ist Qwen 3.5?

Qwen 3.5 ist nicht nur „das nächste Qwen-Modell“. Alibaba hat die Qwen 3.5-Serie offiziell durch Open-Supply-Veröffentlichung des ersten Modells eingeführt und es offiziell „Qwen3.5-397B-A17B“ genannt.

Hier nun der wichtigste Teil, soweit es seine Funktionsweise betrifft: Das Modell verfügt über insgesamt 397 Milliarden Parameter, verwendet jedoch nicht jedes Mal alle davon. Dank einer spärlichen Mischung aus Experten (MoE)-Setup aktiviert es nur 17B Parameter professional Vorwärtsdurchlauf. Das ist eine schicke Artwork zu sagen: großes Gehirn, aber es „weckt“ nur die Teile auf, die es braucht, sodass die Schlussfolgerung schnell und kosteneffizient bleibt.

Noch wichtiger ist, dass es sich hier um einen Einheimischen handelt Imaginative and prescient-Sprach-Modell. Das bedeutet, dass es darauf ausgelegt ist, Textual content und Bilder zusammen zu verarbeiten, und nicht erst im Nachhinein. Alibaba behauptet, dass es bei Benchmark-Bewertungen in den Bereichen Argumentation, Codierung, Agentenfähigkeiten und multimodales Verständnis gute Leistungen erbringt.

Und es gibt auch ein ganz „reales“ Improve: Die Sprachunterstützung steigt von 119 auf 201 Sprachen und Dialekte, was wichtig ist, wenn Sie world ausgerichtete Apps erstellen.

Parallel dazu hat Alibaba auch Qwen3.5-Plus angekündigt, eine gehostete Model, die über Alibaba Cloud Mannequin Studio verfügbar ist. Es bietet standardmäßig ein 1-Millionen-Token-Kontextfenster und enthält integrierte Instruments mit adaptiver Software-Nutzung. Dadurch eignet es sich für Arbeitsabläufe mit langen Kontexten und Automatisierung im Agentenstil.

Das bringt uns zu der Frage: Wie macht Qwen 3.5 das alles? Werfen wir einen Blick unter die Haube, um das zu verstehen.

Unter der Haube: Wie Qwen 3.5 funktioniert

Qwen 3.5 ist nicht nur wegen seiner Größe interessant, sondern auch wegen der Effizienz, mit der es diesen Maßstab nutzt.

Auf der Infrastrukturebene trennt das Modell die Artwork und Weise, wie Visions- und Sprachkomponenten verarbeitet werden, anstatt sie in eine einheitliche Pipeline zu zwingen. Dieser heterogene Aufbau ermöglicht eine effizientere Verarbeitung von Textual content-, Bild- und Videoeingaben und ermöglicht einen Trainingsdurchsatz von nahezu 100 % selbst bei gemischten multimodalen Daten.

Die Effizienz wird weiter gesteigert durch spärliche Aktivierungen. Dies ermöglicht die parallele Berechnung verschiedener Komponenten. Wenn man dazu noch eine native FP8-Pipeline hinzufügt, die niedrige Präzision anwendet, wo dies sicher ist, und gleichzeitig eine höhere Präzision in sensiblen Schichten beibehält, reduziert das System den Aktivierungsspeicher um etwa 50 % und verbessert gleichzeitig die Geschwindigkeit.

Alibaba hat außerdem ein skalierbares asynchrones Reinforcement-Studying-Framework entwickelt, um das Modell kontinuierlich zu verfeinern. Durch die Trennung von Trainings- und Inferenz-Workloads verbessert das System die Hardwareauslastung, gleicht die Final dynamisch aus und erholt sich schnell nach Ausfällen. Techniken wie spekulative Dekodierung, Rollout-Wiedergabe und Multi-Flip-Rollout-Sperre verbessern den Durchsatz und die Stabilität weiter, insbesondere bei Workflows im Agentenstil.

Vorschulung: Kraft, Effizienz und Vielseitigkeit

Qwen 3.5 wurde mit einem klaren Fokus auf drei Dinge vorab trainiert: Leistung, Effizienz und Vielseitigkeit.

Es wurde auf einer deutlich größeren Mischung aus visuellen und Textdaten trainiert als Qwen 3, mit einer stärkeren Abdeckung von Mehrsprachigkeit, MINT und Argumentation. Obwohl das Modell jeweils nur 17B Parameter aktiviert, erreicht es Berichten zufolge die Leistung viel größerer Systeme mit Billionen Parametern.

Architektonisch baut es auf dem auf Qwen3-Subsequent-Designwobei MoE mit höherer Sparsität mit hybriden Aufmerksamkeitsmechanismen kombiniert wird. Dies ermöglicht erheblich schnellere Decodierungsgeschwindigkeiten bei gleichbleibender Leistung.

Das Modell ist außerdem von Natur aus multimodal und verbindet Textual content und Imaginative and prescient bereits zu Beginn des Trainings. Die Sprachabdeckung wird von 119 auf 201 Sprachen und Dialekte erweitert, während ein größerer Wortschatz von 250.000 Sprachen die Kodierungs- und Dekodierungseffizienz in allen Sprachen verbessert.

Benchmark-Leistung: Wo Qwen 3.5 steht

Benchmarks zeigen uns, wo ein Modell beginnt, sich von der Masse der verfügbaren Optionen abzuheben. Basierend auf den von Alibaba veröffentlichten Bewertungen liefert Qwen3.5-397B-A17B wettbewerbsfähige Leistung in den Bereichen Argumentation, Agenten-Workflows, Codierung und multimodales Verständnis. Hier ist ein Blick auf seine Benchmarks und was sie bedeuten:

Anweisungen befolgen und argumentieren

• IFBench (Anleitung folgt): 76,5 – gehört zu den besten Werten seiner Klasse
• GPQA Diamond (Schlusskraft auf Graduiertenniveau): 88,4 – konkurrenzfähig mit Grenzschlussmodellen

Diese Ergebnisse deuten auf ein ausgeprägtes Verständnis und strukturiertes Denken hin, die für Arbeitsabläufe in der Praxis von entscheidender Bedeutung sind.

Funktionen zur Agenten- und Toolnutzung

• BFCL v4 (Verwendung des Agententools): 72.9
• BrowseComp (Agentische Suche): 78.6
• Terminal-Bench 2 (Agenten-Terminal-Kodierung): 52,5

Qwen 3.5 schneidet besonders intestine bei agentengesteuerten Aufgaben ab und stärkt seine Positionierung für Workflow-Automatisierung und Software-Orchestrierung.

Codierungs- und Entwickler-Workflows

Damit gehört es zu den Modellen, die echte Codierungs- und Debugging-Workflows bewältigen können.

Mehrsprachiges Wissen

Die Bewertung steht im Einklang mit der erweiterten Sprachabdeckung und dem verbesserten Wissensabruf.

Multimodales und visuelles Denken

• MMMU-Professional (Visuelles Denken): 79,0
• OmniDocBench v1.5 (Dokumentverständnis): 90.8
• Video-MME (Video-Argumentation): 87,5
• VITA-Bench (agentische multimodale Interaktion): 49,7

Diese Zahlen unterstreichen eine der größten Stärken von Qwen 3.5: das multimodale Verständnis von Dokumenten, Bildern und Movies.

Verkörpertes und räumliches Denken

Dies spiegelt die Verbesserung der Fähigkeiten in realen und verkörperten Argumentationsszenarien wider.

Was diese Benchmarks wirklich bedeuten

Anstatt eine einzelne Kategorie zu dominieren, zeigt Qwen 3.5 eine ausgewogene Stärke in den Bereichen Argumentation, Agentenausführung, Codierung und multimodales Verständnis. Dieses Gleichgewicht ist wichtig, da moderne KI-Workloads keine Einzelaufgabenprobleme darstellen. Sie umfassen Instruments, Dokumente, Bilder, Code und mehrstufige Arbeitsabläufe, und Qwen 3.5 scheint genau für diese Realität geschaffen zu sein.

Praktisch mit Qwen 3.5

Wir haben einige Checks sowohl mit dem Qwen3.5 397B-A17B als auch mit dem Qwen3.5-Plus durchgeführt. Hier sind die Checks und die Ergebnisse.

Aufgabe 1 – Codierung mit Qwen3.5-Plus

Immediate:

Sie sind ein erfahrener Frontend-Entwickler und UI/UX-Designer.

Erstellen Sie eine moderne, responsive Werbewebsite (Single-Web page-Landingsite) für die folgende Veranstaltung. Die Web site sollte optisch hochwertig, konversionsorientiert und für Registrierungen optimiert sein.

Veranstaltungsdetails:
Titel: iqigai AI Fellowship Problem 2026
Slogan: Indiens größte KI- und Datentechnologiejagd
Präsentiert von: Fractal
Associate: Analytics Vidhya
Registrierungslink:
https://analyticsvidhya.com/datahack/contest/iqigai-genai-fellowship-challenge/?utm_source=social&utm_medium=X&utm_campaign=publish

Einzuschließender Inhalt:
– Schlagzeile: Indiens größte KI- und Datentechnologiejagd ist jetzt stay!
– Beschreibung:
Die iqigai AI Fellowship Problem 2026 ist mehr als ein Hackathon – sie ist eine karrierebestimmende Plattform, auf der die Teilnehmer gegeneinander antreten, landesweit eingestuft werden und unter den High-Arbeitgebern an Sichtbarkeit gewinnen.
– Termine: 20. Januar – 8. März 2026
– Gesamtpreispool: ₹20 Lacs
– High-Preise:
Gewinner – ₹5 Lakhs
1. Zweiter – ₹3 Lakhs
2. Zweiter – ₹2 Lakhs

Web site-Anforderungen:
1. Verwenden Sie HTML, CSS und JavaScript (oder React, falls gewünscht).
2. Vollständig reaktionsfähig (Desktop + Mobilgerät).
3. Moderner Stil mit Farbverlauf/KI-Technologie.
4. Reibungslose Scroll-Navigation.
5. Löschen Sie die CTA-Schaltflächen, die zur Registrierungsseite verlinken.
6. Abschnitte:
– Heldenbereich (große Überschrift + CTA)
– Über die Herausforderung
– Wichtige Highlights / Warum teilnehmen
– Preisbereich (Karten oder visuelle Abzeichen)
– Zeitleiste / Daten
– Name-to-Motion-Banner
– Fußzeile

Designrichtlinien:
– Dunkler Tech-Hintergrund mit Farbverlauf
– Dezente Animationen / Hover-Effekte
– Saubere Typografie
– Karten mit Schatten und abgerundeten Ecken
– Optionale Symbole oder Illustrationen
– Behalten Sie einen professionellen Occasion-Branding-Ton bei

Ausgabeanforderungen:
– Stellen Sie vollständigen ausführbaren Code bereit
– Organisieren Sie übersichtlich in Dateien
– Kommentieren Sie wichtige Teile
– Fügen Sie KEINEN Platzhalter „lorem ipsum“ ein
– Sorgen Sie für eine produktionsreife Struktur

Generieren Sie jetzt den vollständigen Web site-Code.

Ausgabe:

Aufgabe 2 – Textual content-zu-Bild mit Qwen3.5-Plus

Immediate:

Erstellen Sie eine filmische Verwandlungsszene im Anime-Stil mit Vegeta aus Dragon Ball Tremendous, der Extremely Ego freischaltet – stellen Sie ein dunkles kosmisches Schlachtfeld dar, während sein Körper zerstörerisches, gottähnliches Ki ausstrahlt, seine Muskeln sich anspannen und seine Haltung sich in wildes Selbstvertrauen verändert, sein Haar tiefviolett wird und seine Augen magenta leuchten, umgeben von einer wütenden, flammenähnlichen violetten Aura, die knistert und die Umgebung verzerrt; Fangen Sie die Essenz einer God-of-Destruction-Denkweise ein, in der die Macht durch Kampfintensität und Schaden wächst, und betonen Sie wilden Stolz, chaotische Energiewellen, zertrümmertes Gelände und dramatische Beleuchtung – ultradetailliert, hoher Kontrast, dynamische Kamerawinkel, Bewegungsunschärfe und explosive Anime-Schattierung, die überwältigende zerstörerische Dominanz und unaufhaltsame Eskalation vermitteln.

Ausgabe:

Aufgabe 3 – Bild-zu-Video mit Qwen3.5-Plus

Klicken Sie einfach auf die Possibility „Video erstellen“ im Bild

Ausgabe:

Aufgabe 4 – Textual content-zu-Bild mit Qwen3.5 Open Weight

Immediate:

„Slash and Burn“ könnte ein Geist oder eine Naturgewalt sein, die den Kreislauf von Zerstörung und Erneuerung verkörpert. Es könnte als feuriges, elementares Wesen erscheinen, das alles auf seinem Weg verzehrt, nur damit neues Leben aus der Asche entsteht. Dieses Wesen könnte als Gottheit der Transformation und Wiedergeburt verehrt oder gefürchtet werden. Signatur unten hyperlinks „sapope“

Ausgabe:

Aufgabe 5 – Bild-zu-Video mit Qwen3.5 Open Weight

Klicken Sie einfach auf die Possibility „Video erstellen“ im Bild

Ausgabe:

Abschlussvideo:

Abschluss

Die Qwen 3.5-Familie mit Qwen3.5 Open ist ein Schritt hin zu einem leistungsfähigeren, einheitlichen KI-System. Mit seiner hybriden MoE-Architektur, dem nativen multimodalen Design, der erweiterten Sprachabdeckung und der starken Leistung in Bezug auf Argumentation, Codierung und Dokumentenverständnis-Benchmarks optimiert Alibaba eindeutig für reale Arbeitslasten.

Was am meisten auffällt, ist die Ausgewogenheit. Anstatt bei einer begrenzten Aufgabe zu glänzen, zeigt Qwen 3.5 konsistente Stärke bei Agenten-Workflows, multimodalem Denken und Effizienz im großen Maßstab. Während sich die KI von Chat-Schnittstellen zu ausführungsgesteuerten Systemen verlagert, werden Modelle, die auf Vielseitigkeit und Durchsatz ausgelegt sind, immer wichtiger. Mit den Benchmark-Leistungen und den Ergebnissen, die wir in unseren praktischen Checks sehen, positioniert sich Qwen 3.5 fest in dieser Zukunft.

Die meisten KI-Assistenten bleiben immer noch beim Gespräch stehen. Sie beantworten Fragen, vergessen hinterher alles und tun eigentlich nie etwas für einen.

Clawdbot ändert das.

Anstatt in einem Chat-Fenster zu leben, läuft Clawdbot auf Ihrem eigenen Pc, bleibt on-line, merkt sich vergangene Interaktionen und führt echte Aufgaben aus. Es stellt eine direkte Verbindung zu Messaging-Plattformen wie WhatsApp und Telegram her, plant Aktionen, führt Befehle aus und folgt ihnen wie ein digitaler Operator und nicht wie ein Chatbot.

In diesem Artikel werfen wir einen tiefen Einblick in Clawdbot, jetzt Moltbot genannt. Wir untersuchen, wie es unter der Haube funktioniert, wie es installiert und verwendet wird, seine Architektur, reale Anwendungsfälle und die Risiken, die mit der Ausführung eines leistungsstarken, selbst gehosteten KI-Agenten verbunden sind.

Was ist Clawdbot (oder Moltbot)?

Clawdbot ist ein Open-Supply-KI-Assistent, der lokal als persistenter persönlicher Agent ausgeführt wird. Während das Projekt ursprünglich unter dem Namen Clawdbot gestartet warfare, ist Moltbot nun sein offizieller Identify. Es operiert an der Schnittstelle von drei Bereichen:

• KI-Agenten
• Lokale Automatisierungstools
• Messaging-basierte Schnittstellen

Da Clawdbot vollständig auf benutzereigenen Systemen läuft, behalten Entwickler die volle Kontrolle über Daten, Ausführung und Modellauswahl, ohne auf cloudbasierte Plattformen angewiesen zu sein.

Was macht Clawdbot oder Moltbot?

• Selbstgehostet und lokal zuerst: Läuft vollständig auf einer benutzergesteuerten Infrastruktur und bietet die volle Kontrolle über Daten, Ausführung und Konfiguration ohne Cloud-Abhängigkeit.
• Persistent und immer aktiv: Arbeitet kontinuierlich im Hintergrund, verfolgt laufende Aufgaben und behält den Kontext über mehrere Gespräche und Sitzungen hinweg bei.
• Nachrichtenbasierte Interaktion: Integriert sich direkt in Plattformen wie WhatsApp, Telegram und Discord und ermöglicht so eine natürliche Kommunikation ohne separate Benutzeroberfläche.
• Langzeitgedächtnis: Behält den Benutzerkontext und die Präferenzen im Laufe der Zeit bei und ermöglicht so personalisierte, kontextbezogene Antworten.
• Lokale Aufgabenausführung: Führt Shell-Befehle aus, verwaltet Dateien, automatisiert Skripte und führt Webaktionen direkt auf dem lokalen System über die Ausführungsschicht aus.
• Modellunabhängiges Design: Unterstützt mehrere KI-Modelle wie Claude, GPT und Gemini, sodass Benutzer je nach Kosten-, Leistungs- und Datenschutzanforderungen eine Auswahl treffen können.
• Erweiterbar und modular: Verwendet eine modulare Architektur, die den Aufbau benutzerdefinierter Fähigkeiten, Instruments und Integrationen erleichtert.

Architektur von Clawdbot

1. Messaging-Gateway: Bespricht Kommunikation und fungiert als Schnittstelle zwischen verschiedenen Plattformen für Kommunikation und Authentifizierung.
2. Agentenkern: Interpretiert Absichten, plant Aktionen auf modulierte Weise, erinnert sich an vergangene Ereignisse und orchestriert Überlegungen zur Ausführung.
3. Speichersystem: Ein dauerhaftes, strukturiertes Gedächtnis wird durch Sequenzen und verteilte Speichervektoren aufrechterhalten.
4. Ausführungsschicht: Stellt die Schnittstelle zum Ausführen der Aufgabe mit dem Betriebssystem bereit.

Lesen Sie auch: Vollständiger Leitfaden zum Aufbau skalierbarer Multi-Agent-Systeme mit AgentScope

Erste Schritte mit Clawdbot

Clawdbot ist für technische Benutzer konzipiert, die mit Befehlszeilentools vertraut sind.

1. Die Voraussetzungen für die Ausführung von Clawdbot sind:

• Node.js (v22+)
• Terminalzugang
• API-Schlüssel für einen LLM-Anbieter
• Konto für die Messaging-Plattform

2. Sie können Clawdbot mit dem folgenden Befehl installieren:

npm set up -g clawdbot@newest 

3. Verwenden Sie für die Ersteinrichtung Ihrer Umgebung den folgenden Befehl:

clawdbot onboard --install-daemon 



Dieser Befehl führt Sie durch die Konfiguration des Modellanbieters, des Arbeitsbereichs, des Gateway-Dienstes und der Messaging-Integrationen. Sie werden zu einer Reihe von Einrichtungsoptionen aufgefordert. Überprüfen Sie jeden Schritt sorgfältig und aktivieren Sie nur das, was Ihren Anforderungen entspricht.

Aufbau eines persönlichen KI-Forschungsassistenten mit Clawdbot

In dieser Aufgabe verwenden wir Clawdbot, um tägliche Zusammenfassungen der KI-Forschung zu erstellen und zu verfolgen.

Aufgaben-Workflow

Benutzernachricht:

Bitte versorgen Sie mich jeden Morgen mit einer Zusammenfassung der neuesten Nachrichten und Updates zur KI-Forschung.

Clawdbot-Aktionen:

• Identifiziert die Absicht für tägliche Zusammenfassungen
• Speichert die Anfrage im persistenten Speicher
• Erstellt eine geplante Aufgabe
• Ruft KI-Forschungsaktualisierungen ab, fasst sie zusammen und liefert sie
• Sendet täglich eine Nachricht mit dem zusammengefassten Inhalt

Was dies zeigt

• Anhaltende Erinnerung
• Geplante Aufgabenausführung
• Der Nutzen von Clawdbot geht über die einfache Nachrichtenübermittlung hinaus

Ausgabe:

Risiken bei der Verwendung von Clawdbot

Die Hauptrisiken der Verwendung Clawdbot ergeben sich aus seinen leistungsstarken Fähigkeiten und dem erforderlichen Zugriffsniveau.

• Sicherheitsrisiko: Die Gewährung eines umfassenden Systemzugriffs ohne angemessene Kontrollen kann zu ernsthaften Sicherheitsrisiken führen.
• Immediate-Injection-Attacken: Schädliche Eingaben können unbeabsichtigte Aktionen auslösen und das Systemverhalten beeinträchtigen.
• Betriebsaufwand: Das Ausführen eines persistenten Agenten erfordert eine kontinuierliche Überwachung, Wartung und Systemverwaltung.
• Komplexität für technisch nicht versierte Benutzer: Clawdbot geht derzeit davon aus, dass er mit Terminalbefehlen, APIs und Systemkonfiguration vertraut ist.

Um diese Risiken zu reduzieren, sollten Unternehmen Sandboxing, Zulassungslisten und strenge Zugriffskontrollmechanismen implementieren.

Vorteile der Verwendung von Clawdbot

• Volle Datenkontrolle: Clawdbot behält die Daten vollständig unter der Kontrolle des Benutzers und ermöglicht so einen datenschutzorientierten KI-Workflow.
• Echte KI-Agentur: Es kann schlussfolgern, Gedächtnis bewahren und Maßnahmen ergreifen, was Kernmerkmale von Agenten-KI-Systemen sind.
• Hoch erweiterbar: Dank seiner modularen Architektur ist es einfach, benutzerdefinierte Instruments zu erstellen und in bestehende Arbeitsabläufe zu integrieren.
• Kostenflexibilität: Benutzer können je nach Leistung, Kosten und Datenschutzanforderungen zwischen cloudbasierten oder lokalen Modellen wählen.
• Echte Automatisierung: Clawdbot schließt die Lücke zwischen KI-Intelligenz und realer Ausführung.

Anwendungsfälle aus der Praxis

• Persönliche Produktivitätsautomatisierung: Automatisiert die Aufgabenverfolgung, Nachverfolgungen, tägliche Erinnerungen und Echtzeit-Updates über Messaging-Plattformen.
• Automatisierter KI-Forschungsassistent: Überwacht mehrere Informationsquellen, fasst neue Forschungsergebnisse zusammen und liefert maßgeschneiderte Updates basierend auf Benutzerpräferenzen.
• Automatisierungstools für Softwareentwickler: Automatisiert lokale Aufgaben, unterstützt routinemäßige Entwicklungsabläufe und ermöglicht eine schnelle Dateianalyse und -zusammenfassung, um Zeit zu sparen.
• KI-Assistenten für Entwicklerorganisationen: Ermöglicht Groups den Einsatz interner KI-Assistenten auf privater Infrastruktur und liefert relevante Erkenntnisse, ohne wise Daten extern preiszugeben.
• Plattform zum Experimentieren mit KI-Agenten: Bietet Entwicklern und Forschern eine praktische Umgebung zum Erstellen, Testen und Verfeinern von Agenten-KI-Systemen mit Speicher- und Ausführungsfunktionen.

Abschluss

Clawdbot ist ein echtes Beispiel für Agenten-KI. Mit persistentem Speicher, lokaler Ausführung und einer nachrichtenbasierten Schnittstelle setzt es künstliche Intelligenz über einfache Konversationen hinaus in reale Aktionen um.

Während die Konfiguration von Clawdbot technische Vertrautheit erfordert, bietet sie Entwicklern, Forschern und KI-Enthusiasten einen zukunftsweisenden Ausblick darauf, wie eigenständige autonome Agenten in Zukunft funktionieren werden. Es dient sowohl als praktisches Werkzeug als auch als Lernplattform für den Aufbau der nächsten Era von Agenten-KI-Systemen.




Gen AI-Praktikant bei Analytics Vidhya
Abteilung für Informatik, Vellore Institute of Know-how, Vellore, Indien

Derzeit arbeite ich als Gen AI-Praktikant bei Analytics Vidhya, wo ich zu innovativen KI-gesteuerten Lösungen beitrage, die Unternehmen in die Lage versetzen, Daten effektiv zu nutzen. Als Informatikstudent im Abschlussjahr am Vellore Institute of Know-how bringe ich solide Grundlagen in Softwareentwicklung, Datenanalyse und maschinellem Lernen in meine Rolle ein.

Kontaktieren Sie mich gerne unter (e-mail protected)

OpenAI wurde offiziell veröffentlicht Soraam dritten Tag ihrer „12 Days of OpenAI“-Reihe. Nach Monaten der Spannung seit seiner ersten Ankündigung im April 2024 hat sich Sora als großer Sprung im Bereich KI-generierter Videoinhalte erwiesen. OpenAI hat das Sora Turbo-Modell veröffentlicht, die beschleunigte Excessive-Finish-Model des ursprünglichen Sora-Modells. Schauen wir uns die neu hinzugefügten Funktionen an und probieren Sie es aus!

Unser Weihnachtsgeschenk an Sie: Sora ist da. https://t.co/UhdmYuGHtT pic.twitter.com/ljoruQsfO0

— OpenAI (@OpenAI) 9. Dezember 2024

Was ist Sora?

Sora ist ein Textual content-zu-Video-Generator das nutzt fortgeschrittene Diffusionsmodelle Und Transformatorarchitekturen um Movies basierend auf schriftlichen Beschreibungen zu erstellen. Diese Movies werden erstellt, indem man mit Rauschen beginnt und es in mehreren Schritten schrittweise verfeinert. Dieser Diffusionsprozess ermöglicht es dem Modell, realistische, kohärente Videosequenzen aus einer Vielzahl von Texteingaben zu erstellen.

Aufbauend auf den früheren Erfolgen von OpenAI mit GPT, DALL·EUnd CLIPstellt Sora einen großen Fortschritt dar, indem es Benutzern ermöglicht, Movies von Grund auf zu erstellen oder bestehende auf der Grundlage von Texteingabeaufforderungen zu erweitern. Ob es darum geht, ein völlig neues Video zu erstellen oder ein Bild zu animieren, Soras Fähigkeit, visuell überzeugende Erzählungen direkt aus natürlicher Sprache zu erstellen, ist beispiellos.

Funktionen von OpenAI Sora

• Movies aus Textual content generieren: Erstellen Sie Movies aus einfachen Textaufforderungen.
• Vorhandene Movies erweitern: Bestehende Movies fortsetzen oder ändern.
• Bilder animieren: Erwecken Sie Standbilder mit Animationen zum Leben.
• Bewältigen Sie komplexe Szenen: Behalten Sie die Kontinuität über mehrere Frames hinweg bei.
• Skalieren und anpassen: Erstellen Sie Movies in verschiedenen Formaten und Längen.
• Transformationsvideos: Ändern Sie vorhandene Movies basierend auf Textaufforderungen.

Wichtige Verbesserungen

• Realistische Physik: Natürlichere Objektbewegung.
• Längere Movies: Erstellen Sie Movies mit einer Länge von bis zu 20 Sekunden.
• Verbesserte Beleuchtung: Optisch ansprechendere Movies mit dynamischen Lichteffekten.

OpenAI Sora auf die Probe stellen

Immediate: Erstellen Sie ein Video über einen weißen Hund, der mit einem Kätzchen spielt

Immediate: Erstellen Sie ein Video von einem tanzenden Hund am Strand.

Storyboard-Eingabeaufforderung

Immediate:

• Eine anschauliche Animation zeigt die Aufnahme eines psychotropen Moleküls, dargestellt als kleines, leuchtendes Partikel, das in den Mund gelangt. Der Hintergrund ist eine stilisierte Darstellung des menschlichen Verdauungssystems, wobei die wirbelnden Farben den Beginn einer komplexen Reise andeuten.
• Das Molekül wandert durch den Blutkreislauf, umgeben von roten und weißen Blutkörperchen. Es wird als helles, leuchtendes Teilchen dargestellt, das sich schnell durch ein Netzwerk von Blutgefäßen bewegt.
• Das Molekül erreicht die Blut-Hirn-Schranke, dargestellt als schimmernde Wand, durchdringt diese und dringt in das Gehirn ein. Die Szene wird komplexer, da Neuronen und Synapsen aufleuchten, wenn das Molekül mit ihnen interagiert.

Immediate:

1. In einem heat erleuchteten Kinderzimmer sitzen ein kleiner Junge und ein kleines Mädchen in einer gemütlichen provisorischen Jurte aus karierten Decken und Kissen. Sie tragen verspielte Hüte und Filzstiefel und sind vom sanften Schein der Lampen umgeben. Die Kinder kichern, während sie mit einem Spielzeug-Rentier spielen, und ihre Augen funkeln vor Fantasie.
2. Die Kinder schließen fest die Augen, ein Gefühl der Vorfreude liegt in der Luft.
3. Wenn sie ihre Augen öffnen, verwandeln sie sich in Erwachsene und stehen vor einer modernen Hotellandschaft in Jakutien, umgeben von echten Jurten und einer riesigen, verschneiten Winterlandschaft.

Beobachtung: Beim Erstellen der Movies mit dem ChatGPT Plus Das Konto hat mich viel Zeit gekostet, ich sehe, dass es viel Raum für Verbesserungen gibt.

Wie greife ich auf Sora zu?

Sora ist über die neue Web site erreichbar – sora.com. Sie können Ihre ChatGPT-Pläne verwenden, um Zugriff auf das Modell zu erhalten:

• ChatGPT Plus-Konto: Dieser Plan gibt Ihnen 50 Generationen professional Monat. Diese könnten mit der Anzahl der Textual content-zu-Video-Erstellungen oder anderen spezifischen Aufgaben professional Monat zusammenhängen.
• OpenAI Professional-Konto: Das bietet unbegrenzte Generationen im langsamen Warteschlangenmodus, plus 500 schnellere Generationen professional Monat. Der Schwerpunkt dieser Stufe scheint darauf zu liegen, mehr Flexibilität zu bieten, mit der Possibility, Aufgaben für eine bestimmte Anzahl von Generationen schneller zu verarbeiten, während andere Aufgaben möglicherweise in die Warteschlange gestellt und langsamer verarbeitet werden.
• Verfügbarkeit: Der Dienst steht dem nicht zur Verfügung Großbritannien und EU Dies kann aus rechtlichen, behördlichen oder datenschutzrechtlichen Gründen (z. B. DSGVO) erfolgen. Diese Einschränkung könnte in Zukunft aufgehoben werden, wenn das Unternehmen auf weitere Regionen expandiert.

OpenAI Sora-Funktionen

Separates Produkt

• Sora ist ein eigenständiges Produkt, das nicht in ChatGPT oder andere OpenAI-Plattformen integriert ist.
• Erreichbar über Sora.comwo kürzlich erstellte und kuratierte Movies angezeigt werden.

Videoerstellung und -bearbeitung

• Generieren Sie Movies aus Eingabeaufforderungen: Benutzer können Movies basierend auf Textaufforderungen erstellen.
• Bilder hochladen: Benutzer können auch Bilder hochladen, mit denen Sora Movies erstellen kann.
• Remix-Funktion: Ermöglicht Benutzern, Änderungen an vorhandenen Movies vorzunehmen, indem die gewünschten Änderungen beschrieben werden.
  • Stärkeeinstellung: Steuert, wie drastisch das Video verändert wird, wobei höhere Einstellungen zu stärkeren künstlerischen Veränderungen führen.
• Videobearbeitung: Sora kann auch Movies bearbeiten, die ursprünglich mit dem Device generiert wurden.

Bild-Add und -Verbesserung

• Bilder hochladen: Sie können damit beginnen, ein Bild hochzuladen, um ein Video zu erstellen. Dieses Bild kann als Foundation dienen und Sie können es mit weiteren Elementen, Textual content oder Animationen erweitern.
• Textbeschreibung: Sie können das Bild auch mit Textual content beschreiben. Je detaillierter Ihre Beschreibung, desto konkreter folgt die Videoerstellung Ihren Anweisungen. Bei weniger detaillierten Beschreibungen füllt das Device die Lücken mit allgemeiner Kreativität und Particulars.

Themen (Voreinstellungen)

• SORA bietet verschiedene Voreinstellungen, mit denen das Gesamtthema des Movies definiert werden kann. Einige Beispiele sind:
  • Ballonwelt: Diese Voreinstellung könnte eine skurrile oder traumhafte Atmosphäre schaffen.
  • Cease-Movement: Eine Voreinstellung, die den Cease-Movement-Animationsstil emuliert und Ihrem Video Bild für Bild ein handgefertigtes Aussehen verleiht.

Auswahl des Seitenverhältnisses

• Sie können das Seitenverhältnis für Ihr Video auswählen. Zu den gängigen Optionen gehören:
  • 16:9 (Breitbild): Excellent für die meisten Movies, insbesondere für YouTube, Breitbildfilme usw.
  • 1:1 (Quadrat): Geeignet für Social-Media-Beiträge wie Instagram.
  • 9:16 (Vertikal): Perfekt für Plattformen wie TikTok oder Instagram Tales.

Videodauer

• Sie können die Dauer Ihres Movies auf bis zu einstellen 20 Sekundenwas Ihnen Flexibilität bei der Menge der enthaltenen Inhalte gibt.

Textual content- und Bildintegration

• Die Plattform ermöglicht die Kombination von Textual content und Bildern für den kreativen Ausdruck:
  • Erstellen Sie durch Hochladen von Bildern: Sie laden ein Bild hoch, das als Grundlage für Ihr Video dient, und erweitern oder animieren es dann mit zusätzlichen Inhalten.
  • Textbasierte Erstellung: Sie können Szenen oder Bilder mit Textual content beschreiben. Je spezifischer der Textual content, desto mehr folgt das Video Ihrer Richtung. Beispielsweise wird das Video durch eine detaillierte Beschreibung angeleitet, die genauen Elemente wiederzugeben, die Sie erwähnen.

Storyboard (Erweiterte Erstellung)

• Für komplexere Videoprojekte, Storyboard Im Modus können Sie die Videoerstellung entlang einer Zeitleiste steuern. Dies bietet:
  • Kontrolle über die Reihenfolge: Sie können die Reihenfolge der Elemente (Textual content, Bilder und Movies) festlegen.
  • Erweiterte Bearbeitung: Es ermöglicht eine präzisere Anpassung und Abfolge von Szenen.
  • Multimedia-Integration: Sie können Bilder, Textual content und Videoclips kombinieren, um eine Erzählung oder eine komplexe visuelle Geschichte zu erstellen.

Videoqualität und Auflösung

• Auflösungsoptionen: Erzeugt Movies bis zu 1080p Auflösung.
  • 1080p-Filmmaterial dauert 8x länger zu generieren im Vergleich zu 480p, was die schnellste Possibility ist.
  • 720p dauert 4x länger als 480p.
  • 480p ist am schnellsten.
• Durchschnittliche Generationszeit: A ein paar Minuten für ein 1080p-Video (je nach Benutzernachfrage und Datenverkehr).

Kurzgesagt,

SORA ist eine versatile, benutzerfreundliche Plattform zur Videoerstellung mit leistungsstarken Anpassungsoptionen. Du kannst:

• Laden Sie Bilder hoch oder beschreiben Sie Szenen mit Textual content.
• Wählen Sie aus verschiedenen Themenvoreinstellungen wie Balloon World oder Cease Movement.
• Steuern Sie das Seitenverhältnis und die Videodauer.
• Verwenden Sie den Storyboard-Modus für erweiterte Videobearbeitung und -sequenzierung.

Diese Kombination von Funktionen macht es Benutzern leicht, ansprechende, professionell aussehende Movies zu erstellen, selbst mit minimalen technischen Kenntnissen.

Diese Funktionen machen Sora zu einem leistungsstarken, aber immer noch unvollkommenen Device zum Generieren kreativer Videoinhalte, insbesondere für nicht fotorealistische, stilisierte Projekte.

Soras technische Grundlagen

Sora basiert im Wesentlichen auf dem Diffusionsmodelleine Technik, die mit zufälligem Rauschen beginnt und es iterativ zu einem zusammenhängenden Video verfeinert. Dieser Prozess spiegelt die Custom wider Bild-zu-Bild Diffusionsmodelle funktionieren, jedoch mit der zusätzlichen Komplexität von Videosequenzen.

Der Schlüssel zu Soras Innovation liegt in der Verwendung von Patch-basierte Darstellung sowohl für Bilder als auch für Movies. Ähnlich wie Token in GPT werden Movies und Bilder in Sora in kleinere „Datenfelder“ zerlegt. Dadurch kann das Modell große und komplexe visuelle Daten effizienter verarbeiten und Movies mit unterschiedlicher Dauer und Auflösung generieren.

Darüber hinaus baut Sora auf dem auf Recaptioning-Technik verwendet in DALL·E 3was es ihm ermöglicht, sehr aussagekräftige Untertitel für seine Trainingsdaten zu generieren. Diese Fähigkeit ermöglicht es dem Modell, Textaufforderungen genau zu folgen, was zu Movies führt, die den Benutzeranweisungen treu bleiben und besser auf die Eingabebeschreibung abgestimmt sind.

Lesen Sie auch: Was ist der Sora Diffusion Transformer (DiT) von OpenAI?

Ethische Überlegungen von OpenAI Sora

Folgendes erwartet Sora von Ihnen:

1. Zustimmung: Laden Sie Medien mit Personen nur mit deren ausdrücklicher Erlaubnis hoch und stellen Sie sicher, dass Personen unter 18 Jahren über die entsprechende Einwilligung verfügen.
2. Gewalt und explizite Themen: Laden Sie keine Inhalte hoch, die Gewalt, explizite Themen oder Inhalte für Erwachsene darstellen.
3. Rechte an Medien: Stellen Sie sicher, dass Sie über die erforderlichen Eigentumsrechte oder Rechte zum Hochladen der von Ihnen freigegebenen Medien verfügen.
4. Konsequenzen: Der Missbrauch der Plattform durch Verstöße gegen diese Regeln kann zur Sperrung oder Sperrung des Kontos ohne Rückerstattung führen.

Wichtige Erkenntnisse

Sora von OpenAI ist ein Textual content-zu-Video-Generator mit Funktionen wie Themen, Storyboard-Modus und Auflösungen von bis zu 1080p. Es weist jedoch erhebliche Einschränkungen auf. Movies sind auf 20 Sekunden begrenzt, was für längere Erzählungen möglicherweise nicht geeignet ist. Das Rendern mit hoher Auflösung (z. B. 1080p) ist zeitintensiv und verlangsamt die Generierung im Vergleich zu niedrigeren Auflösungen erheblich. Derzeit ist Sora im Vereinigten Königreich/in der EU aufgrund regulatorischer Probleme nicht verfügbar, was den Zugang einschränkt. Darüber hinaus schränken ethische Richtlinien die Nutzung ein und bei Verstößen besteht die Gefahr einer Kontosperrung. Sora ist leistungsstark, entwickelt sich jedoch weiter und bietet Raum für technische Verbesserungen und Verbesserungen bei der Zugänglichkeit. Außerdem ist die Generierungsgeschwindigkeit ziemlich langsam, was auf die hochauflösenden Movies zurückzuführen ist. Ich hoffe jedoch, dass es sich mit der Zeit verbessern wird, da OpenAI das Modell und die zugrunde liegende Infrastruktur weiter optimiert. Zukünftige Updates können zu schnelleren Generierungsgeschwindigkeiten führen, ohne die Qualität hochauflösender Movies zu beeinträchtigen, wodurch der Prozess effizienter und benutzerfreundlicher wird.

Abschluss

Soras letzte Veröffentlichung ist ein bemerkenswerter Meilenstein in der Entwicklung der künstlichen Intelligenz und vereint die neuesten Fortschritte in Verarbeitung natürlicher Sprache (NLP), Pc Imaginative and prescientUnd tiefes Lernen um hochwertige Kurzvideos direkt aus Textaufforderungen zu generieren. Die potenziellen Auswirkungen dieser Technologie sind weitreichend und reichen von der Kreativbranche bis hin zu Bildung, Advertising und darüber hinaus.

Die Imaginative and prescient von OpenAI für das Modell ist weitreichend, mit dem ultimativen Ziel, Systeme zu schaffen, die die reale Welt simulieren können, was uns der Verwirklichung einen Schritt näher bringt Künstliche Allgemeine Intelligenz (AGI). Mit der Weiterentwicklung von Sora werden seine Fähigkeiten wahrscheinlich erweitert und erweiterte Funktionen wie Echtzeit-Videogenerierung, interaktives Storytelling und sogar die Integration mit virtueller und erweiterter Realität umfassen.

Hast du es versucht? Teilen Sie mir Ihre Meinung im Kommentarbereich unten mit!