Deepseek Janus Professional 1B, der am 27. Januar 2025 eingeführt wurde, ist ein fortschrittliches multimodales KI -Modell, das für die Verarbeitung und Generierung von Bildern aus textlichen Eingabeaufforderungen erstellt wurde. Mit seiner Fähigkeit, Bilder basierend auf Textual content zu verstehen und zu erstellen, liefert diese 1-Milliarden-Parameterversion (1B) eine effiziente Leistung für eine Vielzahl von Anwendungen, einschließlich der Erzeugung und des Bildverständnisses von Textual content zu Picture. Darüber hinaus erzeugt es detaillierte Bildunterschriften aus Fotos und macht es zu einem vielseitigen Werkzeug für kreative und analytische Aufgaben.

Lernziele

• Analyse seiner Architektur und wichtigen Merkmale, die seine Fähigkeiten verbessern.
• Erkundung des zugrunde liegenden Designs und deren Auswirkungen auf die Leistung.
• Eine Schritt-für-Schritt-Anleitung zum Aufbau eines RAG-Methods (Retrieval-Augmented Era).
• Nutzung des Deepseek Janus Professional 1-Milliarde-Modells für reale Anwendungen.
• Verstehen, wie Deepseek Janus Professional KI-gesteuerte Lösungen optimiert.

Dieser Artikel wurde als Teil der veröffentlicht Information Science Blogathon.

Was ist Deepseek Janus Professional?

Deepseek Janus Professional ist ein multimodales KI -Modell, das Textual content- und Bildverarbeitung integriert und Bilder aus Texteingabeaufforderungen verstehen und generiert. Die 1-Milliarden-Parameterversion (1B) ist für die effiziente Leistung für Anwendungen wie die Erzeugung von Textual content-zu-Picture-Erzeugung und Bildverständnis ausgelegt.

Unter Deepseeks Janus Professional -Serie sind die verfügbaren primären Modelle verfügbar „Janus Professional 1b“ und „Janus Professional 7b“, Dies unterscheidet sich hauptsächlich in ihrer Parametergröße, wobei das 7B-Modell signifikant größer ist und eine verbesserte Leistung bei Aufgaben zur Erzeugung von Textual content-zu-Picture-Erzeugung bietet; Beide gelten als multimodale Modelle, die sowohl visuelles Verständnis als auch Textgenerierung basierend auf dem visuellen Kontext behandeln können.

Schlüsselmerkmale und Designaspekte von Janus Professional 1b

• Architektur: Janus Professional verwendet eine einheitliche Transformatorarchitektur, entkoppelt jedoch visuelle Codierung in separate Wege, um die Leistung sowohl in Bezug auf Bildverständnis als auch bei den Erstellungsaufgaben zu verbessern.
• Fähigkeiten: Es zeichnet sich in Aufgaben aus, die sich sowohl auf das Verständnis von Bildern als auch auf die Erzeugung neuer anhand von Texteingaben beziehen. Es unterstützt 384 × 384 Bildeingaben.
• Bild -Encoder: Für Bildverständnisaufgaben verwendet Janus Siglip, um Bilder zu codieren. Siglip ist ein Bildbettungsmodell, das Clips Framework verwendet, die Verlustfunktion jedoch durch einen paarweisen Sigmoidverlust ersetzt. Für die Bildgenerierung verwendet Janus einen vorhandenen Encoder von Llamagen, einem autoregressiven Bildgenerierungsmodus. Llamagen ist eine Familie von Bild-Generalmodellen, die das nächste Paradigma von Großsprachenmodellen auf eine visuelle Era anwendet
• Open Supply: Es ist auf GitHub unter der MIT -Lizenz verfügbar, wobei die Modellnutzung der Deepseek -Modelllizenz geregelt ist.

Lesen Sie auch: Wie kann man Deepseek Janus Professional 7b zugreifen?

Entkoppelte Architektur für Bildverständnis und Era

Janus-Professional unterscheidet sich von früheren multimodalen Modellen, indem sie separate, spezialisierte Wege für die visuelle Codierung verwenden, anstatt sich auf einen einzelnen visuellen Encoder für das Bildverständnis und die Erzeugung zu verlassen.

• Bildverständnis Encoder. Dieser Weg extrahiert semantische Merkmale aus Bildern.
• Bildgenerierung Encoder. Dieser Weg synthetisiert Bilder basierend auf Textbeschreibungen.

Diese entkoppelte Architektur erleichtert aufgabenspezifische Optimierungen und mildern Konflikte zwischen Interpretation und kreativer Synthese. Die unabhängigen Encoder interpretieren Eingabefunktionen, die dann von einem einheitlichen autoregressiven Transformator verarbeitet werden. Dies ermöglicht es sowohl multimodaler Verständnis als auch Generationskomponenten, ihre am besten geeigneten Codierungsmethoden unabhängig auszuwählen.

Lesen Sie auch: Wie Deepseeks Janus Professional stapelt sich gegen Dall-e 3?

Schlüsselmerkmale der Modellarchitektur

1. Twin-Pathway-Architektur für visuelles Verständnis und Era

• Visueller Verständnisweg: Für multimodale Verständnisaufgaben verwendet Janus Professional Siglip-L als visuelles Encoder, das Bildeingaben von bis zu 384 × 384 Auflösung unterstützt. Diese hochauflösende Unterstützung ermöglicht es dem Modell, weitere Bilddetails zu erfassen und so die Genauigkeit des visuellen Verständnisses zu verbessern.
• Visuelle Generierungsweg: Bei Aufgaben der Bildgenerierung verwendet Janus Professional Llamagen -Tokenizer mit einer Downsampling -Fee von 16, um detailliertere Bilder zu generieren.

2. Einheitliche Transformatorarchitektur

Ein gemeinsam genutztes Transformator -Rückgrat wird für die Fusion von Textual content- und Bildfunktionen verwendet. Die unabhängigen Codierungsmethoden zum Umwandeln der Roheingaben in Funktionen werden von einem einheitlichen autoregressiven Transformator verarbeitet.

3.. Optimierte Trainingsstrategie

Im vergangenen Januar-Coaching gab es einen dreistufigen Trainingsprozess für das Modell. Die erste Stufe konzentrierte sich auf das Coaching der Adapter und des Bildkopfes. In der zweiten Stufe wurde mit einheitlichen Vorbereitungen umgegangen, in denen alle Komponenten mit Ausnahme des Verständniscodierers und des Generationscodierers ihre Parameter aktualisiert haben. Stufe III umfasste die übersichtliche Feinabstimmung und baute auf Stufe II auf, indem sie die Parameter des Verständniscodierers während des Trainings weiter entschlossen.

Dies wurde in Janus Professional verbessert:

• Durch Erhöhen der Trainingsschritte in Stufe I und ermöglicht ausreichend Coaching im Bildnetz -Datensatz.
• Darüber hinaus wurden in der Stufe II für das Coaching für Textual content-zu-Picture-Era die Bilddaten vollständig fallen gelassen. Stattdessen wurden normale Textual content-zu-Picture-Daten verwendet, um das Modell zu trainieren, um Bilder basierend auf dichten Beschreibungen zu generieren. Es wurde festgestellt, dass dies die Trainingseffizienz und die Gesamtleistung verbessert.

Lassen Sie uns nun einen multimodalen Lappen mit Deepseek Janus Professional bauen:

Multimodaler Lappen mit Deepseek Janus Professional 1B Modell

In den folgenden Schritten erstellen wir ein multimodales Lag -System, um Bilder basierend auf dem Deepseek Janus Professional 1B -Modell abzufragen.

Schritt 1. Installieren Sie die erforderlichen Bibliotheken

!pip set up byaldi ollama pdf2image
!sudo apt-get set up -y poppler-utils
!git clone https://github.com/deepseek-ai/Janus.git
!pip set up -e ./Janus

Schritt 2. Modell zum Speichern von Bildeinbettungen

import os
from pathlib import Path
from byaldi import RAGMultiModalModel
import ollama
# Initialize RAGMultiModalModel
model1 = RAGMultiModalModel.from_pretrained("vidore/colqwen2-v0.1")

Byaldi gibt ein benutzerfreundliches Framework für die Einrichtung multimodaler Lappensysteme. Wie aus dem obigen Code hervorgeht, laden wir ColqWen2, ein Modell, das für eine effiziente Dokumentindexierung mithilfe visueller Funktionen entwickelt wurde.

Schritt 3. Laden Sie das Bild PDF

# Use ColQwen2 to index and retailer the presentation
index_name = "image_index"
model1.index(input_path=Path("/content material/PublicWaterMassMailing.pdf"),
    index_name=index_name,
    store_collection_with_index=True, # Shops base64 pictures together with the vectors
    overwrite=True
)

Wir benutzen das PDF Um in den nächsten Schritten ein Lappensystem aufzubauen und aufzubauen. Im obigen Code speichern wir das Bild PDF zusammen mit den Vektoren.

Schritt 4. Abfragen und Abrufen von gespeicherten Bildern

question = "What number of shoppers drive greater than 50% income?"
returned_page = model1.search(question, ok=1)(0)
import base64
# Instance Base64 string (truncated for brevity)
base64_string = returned_page('base64')

# Decode the Base64 string
image_data = base64.b64decode(base64_string)
with open('output_image.png', 'wb') as image_file:
    image_file.write(image_data)

Die relevante Seite von den Seiten des PDF wird basierend auf der Abfrage abgerufen und als output_image.png gespeichert.

Schritt 5. Janus Professional -Modell laden

import os
os.chdir(r"/content material/Janus")

from janus.fashions import VLChatProcessor
from transformers import AutoConfig, AutoModelForCausalLM
import torch
from janus.utils.io import load_pil_images
from PIL import Picture

processor= VLChatProcessor.from_pretrained("deepseek-ai/Janus-Professional-1B")
tokenizer = processor.tokenizer
vl_gpt = AutoModelForCausalLM.from_pretrained(
    "deepseek-ai/Janus-Professional-1B", trust_remote_code=True
)

dialog = (
    {
        "function": "<|Person|>",
        "content material": f"<image_placeholder>n{question}",
        "pictures": ('/content material/output_image.png'),
    },
    >", "content material": "",
)

# load pictures and put together for inputs
pil_images = load_pil_images(dialog)
inputs = processor(conversations=dialog, pictures=pil_images)

# # run picture encoder to get the picture embeddings
inputs_embeds = vl_gpt.prepare_inputs_embeds(**inputs)

• VlchatProcessor.from_Pretrained („Deepseek-AI/Janus-pro-1b“) lädt einen vorabreichenden Prozessor zum Umgang mit multimodalen Eingängen (Bilder und Textual content). Dieser Prozessor verarbeitet und erstellt Eingabedaten (wie Textual content und Bilder) für das Modell.
• Der Tokenizer wird aus dem VlchatProcessor extrahiert. Es wird den Texteingang token und den Textual content in ein für das Modell geeignetes Format konvertieren.
• AUMODELCAUSALLM.FROM_PRETRAUE („Deepseek-AI/Janus-Professional-1b“) lädt das vorgebildete Janus-Professional-Modell, insbesondere für die kausale Sprachmodellierung.
• Auch, ein multimodales Gesprächsformat wird eingerichtet, wo der Benutzer sowohl Textual content als auch ein Bild eingibt.
• Der load_pil_images (Gespräch) ist eine Funktion, die wahrscheinlich die im Konversationsobjekt aufgeführten Bilder lädt und sie in PIL -Bildformat umwandelt, das üblicherweise für die Bildverarbeitung in Python verwendet wird.
• Der Prozessor Hier ist eine Instanz eines multimodalen Prozessors (der VlchatProcessor Aus dem Deepseek Janus Professional -Modell), der sowohl Textual content- als auch Bilddaten als Eingabe nimmt.
• prepe_inputs_embeds (Eingänge) ist eine Methode, die die verarbeiteten Eingänge annimmt (Eingänge enthalten sowohl den Textual content als auch das Bild) und die für das Modell erforderlichen Einbettungen vorbereitet, um eine Antwort zu erzeugen.

Schritt 6. Ausgangsgenerierung

outputs =  vl_gpt.language_model.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True,
)

reply = tokenizer.decode(outputs(0).cpu().tolist(), skip_special_tokens=True)
print(reply)

Der Code generiert eine Antwort aus dem Deepseek Janus Professional 1B -Modell unter Verwendung der vorbereiteten Eingabempfetten (Textual content und Bild). Es verwendet mehrere Konfigurationseinstellungen wie Polsterung, Begin-/Finish -Token, maximale Token -Länge und ob Caching und Probenahme. Nachdem die Antwort generiert wurde, dekodiert sie die Token-IDs mit dem Tokenizer wieder in den menschlichen Lesbarungstext. Die dekodierte Ausgabe wird in der Antwortvariablen gespeichert.

Der gesamte Code ist darin vorhanden Colab Pocket book.

Ausgabe für die Abfrage

Ausgabe für eine andere Frage

„Was conflict die Einnahmen in Frankreich?“

Die obige Antwort ist nicht genau, obwohl die relevante Seite vom ColqWen2 Retriever abgerufen wurde, konnte das Deepseek Janus Professional 1B -Modell die genaue Antwort von der Seite nicht generieren. Die genaue Antwort sollte $ 2b betragen.

Ausgabe für eine andere Frage

„“ Was conflict die Anzahl der Werbeaktionen seit Beginn des Geschäftsjahres20? „

Die obige Antwort ist korrekt, da sie mit dem im PDF genannten Textual content übereinstimmt.

Schlussfolgerungen

Zusammenfassend stellt das Deepseek Janus Professional 1B -Modell einen signifikanten Fortschritt in der multimodalen KI dar, mit seiner entkoppelten Architektur, die sowohl das Bildverständnis als auch die Erzeugungsaufgaben optimiert. Janus Professional bietet durch die Verwendung separater visueller Encoder für diese Aufgaben und die Verfeinerung seiner Trainingsstrategie eine verbesserte Leistung bei der Erzeugung und Bildanalyse von Textual content zu Picture. Dieser modern Ansatz (Multimodal Rag mit Deepseek Janus Professional), kombiniert mit seiner Open-Supply-Zugänglichkeit, macht es zu einem leistungsstarken Werkzeug für verschiedene Anwendungen im visuellen Verständnis und der Erstellung von KI-gesteuertem.

Key Takeaways

1. Multimodale KI mit zwei Wegen: Janus Professional 1B integriert sowohl die Textual content- als auch die Bildverarbeitung und verwendet separate Encoder für das Bildverständnis (Siglip) und die Bildgenerierung (Lamagen), wodurch die aufgabenspezifische Leistung verbessert wird.
2. Entkoppelte Architektur: Das Modell trennt die visuelle Codierung in unterschiedliche Wege und ermöglicht die unabhängige Optimierung für das Verständnis und die Erzeugung von Bildempfängern und minimiert so Konflikte bei Verarbeitungsaufgaben.
3. Unified Transformator Rückgrat: Eine gemeinsam genutzte Transformatorarchitektur verschmilzt die Merkmale von Textual content und Bildern und optimiert die multimodale Datenfusion für eine effektivere KI -Leistung.
4. Verbesserte Trainingsstrategie: Der optimierte Trainingsansatz von Janus Professional enthält erhöhte Schritte in der Stufe I und die Verwendung von speziellen Textual content-zu-Picture-Daten in Stufe II, die die Schulungseffizienz und die Ausgangsqualität erheblich steigern.
5. Open-Supply-Zugänglichkeit: Janus Professional 1B ist unter der MIT-Lizenz auf GitHub verfügbar und fördert die weit verbreitete Verwendung und Anpassung in verschiedenen AI-gesteuerten Anwendungen.

Die in diesem Artikel gezeigten Medien sind nicht im Besitz von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Häufig gestellte Fragen

Q1. Was ist Deepseek Janus Professional 1b?

Ans. Deepseek Janus Professional 1B ist ein multimodales KI -Modell, mit dem sowohl Textual content- Es verfügt über 1 Milliarde Parameter für eine effiziente Leistung bei Aufgaben wie Textual content-zu-Picture-Erzeugung und Bildverständnis.

Q2. Wie funktioniert die Architektur von Janus Professional 1b?

Ans. Janus Professional verwendet eine einheitliche Transformatorarchitektur mit entkoppelter visueller Codierung. Dies bedeutet, dass es separate Wege zum Bildverständnis und -erzeugungswegen verwendet und die aufgabenspezifische Optimierung für jede Aufgabe ermöglicht.

Q3. Wie unterscheidet sich der Trainingsprozess von Janus Professional von früheren Versionen?

Ans. Janus Professional verbessert frühere Trainingsstrategien, indem sie die Trainingsschritte erhöht, den ImageNet-Datensatz zugunsten spezialisierter Textual content-zu-Im-Im—Daten fallen und sich auf eine bessere Feinabstimmung für verbesserte Effizienz und Leistung konzentriert.

This fall. Welche Artwork von Anwendungen kann von der Verwendung von Janus Professional 1b profitieren?

Ans. Janus Professional 1b ist besonders nützlich für Aufgaben, die Textual content-zu-Picture-Generierung, Bildverständnis und multimodale AI-Anwendungen betreffen, die sowohl Bild- als auch Textverarbeitungsfunktionen erfordern

Q5. Wie vergleicht sich Janus-Professional mit anderen Modellen wie Dall-E 3?

Ans. Janus-Professional-7b übertrifft laut Deepseek Dall-e 3 in Benchmarks wie Geneval und DPG-Bench. Janus-Professional trennt das Verständnis/die Erzeugung, skaliert Daten/Modelle für die stabile Bildgenerierung und hält eine einheitliche, versatile und kostengünstige Struktur. Während beide Modelle die Erzeugung von Textual content-zu-Picture-Generationen ausführen, bietet Janus-Professional auch Bildunterschriften an, die Dall-E 3 nicht tut.

In den letzten zwei Wochen ist es Deepseek, wenn etwas neben den Crash -Aktienmärkten oder dem neuen US -Präsidenten in die Schlagzeilen geschafft hat. Eine chinesische KI -Firma hat nach dem anderen eine große LLM auf den Markt gebracht. Es hat sein hochmodernes Bildgenerierungsmodell-Janus Professional-7b-gestartet. Dieser neueste Begin hat bereits besser als OpenAs Dall-E 3 und stabile Diffusion über verschiedene Benchmarks geführt. Das Beste daran? Es ist Open Supply! In diesem Weblog werden wir Deepseeks Janus Professional 7b gegen Dall-E 3 von Deepseek testen-lasst uns herausfinden, welches Bildgenerierungsmodell besser ist.

Was ist Deepseek Janus Professional?

Janus-Professional wurde von Deepseek AI entwickelt und ist ein fortschrittliches multimodales großes Sprachmodell (LLM). Es ist eine verbesserte Model des vorherigen Janus -Modells.

• Janus Professional verfügt über eine entkoppelte Architektur, was bedeutet, dass sie für Aufgaben optimiert ist, die multimodales Verständnis und Textual content-zu-Picture-Erzeugung beinhalten.
• Das Modell wurde über einen dreistufigen Prozess in einer Mischung aus multimodalen, textuellen und synthetischen ästhetischen Daten geschult, um eine überlegene Leistung zu gewährleisten.
• Dieses Open-Supply-Modell zeichnet sich in den folgenden dichten und komplexen Aufforderungen aus.
• Derzeit ist das Modell in zwei Versionen erhältlich: Janus-pro-1b Und Janus-pro-7bPräsentation seiner Skalierbarkeit für verschiedene Anwendungsfälle.

Janus Professional: Leistungsbewertung

Das Janus Professional -Modell wurde streng über 20 verschiedene Benchmarks getestet, und die Ergebnisse sind wie folgt:

Textual content-to-Picture-Era

• Geneal: Erzielte 0,80, übertrieben Dall-e 3 (0,67) und stabiles Diffusion 3-Medium (0,74).
• DPG-Bench: Erreichte 84,19 Gesamtgenauigkeit und unterstreicht die Fähigkeit, dichte und nuancierte Eingaben zu bewältigen.

Multimodales Verständnis

• MMMU (Multimodales Maschinenverständnis): Erreicht 41,0 Genauigkeit, übertreffen Tokenflow-XL (38,7).
• Mme (Multimodale Bewertung): Zeigten signifikante Gewinne in Bezug auf Argumentation und Kontextverständnis.

Janus-pro: Coaching und Architektur

Janus-PRO umfasst einen dreistufigen Schulungsprozess mit einer Architektur, die entkoppelte Komponenten für multimodale und Textual content-zu-Im-Im-Im-Im-Im-Im-Picture-Aufgaben integriert:

Trainingsphase

1. Stufe 1 – Vorbereitungen der Adapter:
   • Konzentriert sich auf Vorbereitungsbildadapter und Köpfe mit Datensätzen wie ImageNet.
   • Erweiterte Schulungsschritte sorgen für eine bessere Modellierung von Pixelabhängigkeiten.
2. Stufe 2 – Unified Pretcraining:
   • Integriert multimodale Daten, um das Modell für verschiedene Aufgaben vorzubereiten und Abhängigkeiten von Einzelzweck-Datensätzen zu beseitigen.
3. Stufe 3-Überlebte Feinabstimmung:
   • Verfeinert das Modell mit einem kalibrierten Datenverhältnis von 5: 1: 4 (multimodale, text- und text-im-Picture-Daten).
   • Verfeinert das Modell mit einem kalibrierten Datenverhältnis von 5: 1: 4 (multimodale, text- und text-im-Picture-Daten).

Architekturübersicht

• Twin -Encoder: Janus-Professional verwendet separate Encoder für multimodales Verständnis und Textual content-zu-Picture-Erzeugung, minimiert Störungen und Optimierung der aufgabenspezifischen Leistung.
• Zentrales Dekodierungsmodul: Ein gemeinsamer Decoder kombiniert Erkenntnisse beider Encoder, um präzise Ausgänge über Bereiche hinweg zu liefern.
• Parametereffizienz: Die skalierbare Architektur mit Versionen wie 1B- und 7B -Parametern gewährleistet die Anpassungsfähigkeit an verschiedene Rechenanforderungen.

Janus professional 7b gegen dall-e 3

Ich werde Deepseeks Janus Professional 7 B-Model von OpenAIs Dall-E 3-Modell für verschiedene Bildgenerierung und Bildanalyse-Aufgaben testen.

• Im Second ist Janus Professional 7b im Umarmungsgesicht erhältlich und Sie können darauf zugreifen Hier.
• Da ChatGPT derzeit Dall-E 3 für alle Aufgaben zur Bildung von Bild und Analyse verwendet, werde ich nur über Chatgpt auf Dall-E 3 zugreifen.

Fangen wir an!

Aufgabe 1: Raten Sie den Gewinner an

Eingabeaufforderung: „Basierend auf der Punktzahl im Bild hat welches Group eine höhere Wahrscheinlichkeit, dieses Spiel zu gewinnen?“

Antwort:

Janus pro-7b

“Basierend auf der Punktzahl im Bild hat das Group Ind (Indien) eine höhere Wahrscheinlichkeit, dieses Spiel zu gewinnen. IND hat 157/4, was bedeutet, dass sie einen Vorsprung von 157 Läufen mit 4 verbleibenden Pforten haben. Das Group von der anderen Seite, das mit dem Schlagwert, befindet sich derzeit auf 123/6, was bedeutet”

Dall-e 3

“Die in diesem Bild angezeigte Punktzahl zeigt, dass Indien gegen Südafrika bei 137/1 in 12,5 Overs schlägt. Dies weist auf eine starke Place für Indien hin, da:

1. Laufrate: Indien erzielt einen hohen Preis, ungefähr 10,7 Läufe professional Over, was für ein T20 -Match hervorragend ist.
2. Pforten in der Hand: Nur 1 Wicket in dieser Section verlieren bedeutet, dass Indien eine gute Plattform hat, um in den verbleibenden Overs weiter zu beschleunigen.

Sofern Südafrika nicht bereits ein sehr hohes Ziel veröffentlicht hat, ist Indiens Place dominant. Ohne das Ziel oder den Kontext des Spiels (z. B. erste Innings oder Verfolgungsjagd) zu kennen, kann jedoch nicht eine endgültige Wahrscheinlichkeit berechnet werden. Basierend auf diesen Informationen hat Indien eine höhere Gewinnwahrscheinlichkeit. ““

Beobachtung:

Modellvergleich: Janus pro-7b gegen dall-e3

Modell	Leistung
Janus pro-7b	Das Modell identifizierte die Groups genau und gab die richtige Gewinnwahrscheinlichkeit, aber es wurde die im Bild genannten Ergebnisse falsch gelesen. Insgesamt struggle seine Analyse fehlerhaft.
Dall-e3	Das Modell hat nicht nur die Groups und die Punktzahl korrekt identifiziert. Es gab die korrekten Gewinnchancen, die auf den Informationen basieren, die im Bild bereitgestellt wurden.

Dall-E 3 im Gegensatz zu Janus Professional-7b hat die Punktzahl richtig gelesen und erwähnte auch, dass es aufgrund mangelnder vollständiger Informationen keine genaue Vorhersage der Gewinnwahrscheinlichkeit ergeben kann. Damit hat Dall-E 3 dafür den Ball aus dem Park geschlagen!

Gewinner: Dall-e 3

Aufgabe 2: Erzählen Sie mir die Geschichte „Again“

Eingabeaufforderung: „Erklären Sie die Hintergrundgeschichte hinter diesem Bild“

Antwort:

Janus pro-7b

„Dieses Bild zeigt einen Charakter, der einen fortgeschrittenen Anzug trägt, der einen hochtechnischen gepanzerten Handschuh mit einem leuchtenden Component an der Hand enthält und an die Technologie erinnert, die häufig mit Superhelden in der Populärkultur verbunden ist. Der Charakter trägt auch ein Bruststück mit komplizierten und komplexen Designs, was auf eine fortschrittliche Technologie hindeutet und möglicherweise als Stromquelle oder als Schutzvorrichtung dient.

Der visuelle Stil und die Elemente des Bildes sind typisch für Science -Fiction- und Superheldenfilme, bei denen Charaktere oft übermenschliche Fähigkeiten besitzen und spezielle Anzüge oder Rüstung tragen, um ihre Kräfte zu verbessern und sich selbst zu schützen.

Dieses besondere Bild ist wahrscheinlich eine Szene aus einem Movie, in dem sich der Charakter in einen Kampf verwickelt oder ihre Kräfte anhand der Intensität der Aktion und der dramatischen Beleuchtung einsetzt. Das leuchtende Component in der Hand legt die Verwendung einer Artwork Energiemanipulation nahe, die ein gemeinsames Thema in Superhelden -Erzählungen ist. „

Dall-e 3

Beobachtung:

Janus pro-7b	Dall-e3
Das Modell enthält eine detaillierte Beschreibung des Bildes, kann jedoch nicht die Hintergrundgeschichte hinter dem Bild geben.	Das Modell identifiziert das Bild korrekt als Teil des Snippets eines Marvel -Movies, und basierend darauf gibt das Modell eine kurze und genaue Hintergrundgeschichte. Es identifiziert den Hauptcharakter im Bild korrekt und gibt auch die Bedeutung der Szene an.

Janus Professional-7b gab eine detaillierte Bildbeschreibung an, in der die Feinheiten auflisteten, die auf die starken Bildanalysefunktionen hinweist, aber es konnte die Hintergrundgeschichte nicht dahinter gesteckt wurden. Dall-E 3 identifizierte das Bild schnell, gab seine Hintergrundgeschichte und lieferte sogar die Bedeutung der Szene. Damit ist Dall-E 3 ein klarer Gewinner.

Gewinner: Dall-e 3

Aufgabe 3: Generieren Sie ein Bild

Eingabeaufforderung: „Erzeugen Sie ein Bild eines Mädchens mit tiefblauen Augen und blonden Haaren, die direkt in einen Spiegel schauen, mit einer Hand unter ihrem Gesicht und der anderen ruht auf ihrer Seite und stehen unter dem Licht eines flackernden Blubs.“

Antwort:

Janus pro-7b

Dall-e 3

Beobachtung:

Janus pro-7b	Dall-e3
Das Modell generiert das Bild gemäß der Eingabeaufforderung. Es erfasst alle Particulars der Eingabeaufforderung und im Spiegel, es zeigt auch eine Reflexion der Glühbirne. Das Bild schien etwas animiert zu sein.	Das Modell erzeugt ein detailliertes, makelloses Bild, das alle Nuancen der Eingabeaufforderung erfasst. Das Bild gab das Gefühl eines Science-Fiction-Movies.

Beide Modelle haben in dieser Aufgabe beeindruckende Bilder generiert. Auf den ersten Blick konnte ich keinen Fehler in einem der beiden Bilder erkennen. Aber während ich tief schaue, kann ich in dem von Janus Professional-7b erzeugten Bild leicht Unschärfe um die Glühbirne sehen, während das von Dall-E 3 erzeugte Bild ziemlich immersiv und aufdringlich detailliert ist.

Gewinner: Dall-e 3

Aufgabe 4: Meme Speak

Eingabeaufforderung: „Erklären Sie dieses Mem“

Antwort:

Janus pro-7b:

“1. linke Seite (Telefone in den 1990er Jahren):

• Zeigt einen muskulösen Doge (eine beliebte Web -Meme -Figur) mit dem Wort „Nokia“, das auf seinen Körper geschrieben wurde.
• Bildunterschriften:
  • „Ich bin das stärkste Materials, das dem Menschen bekannt ist.“
  • „Meine Batterieleistung ist unbegrenzt.“
• Diese Hinweise auf Nokia -Telefone aus den neunziger Jahren, bekannt für ihre Langlebigkeit, lange Akkulaufzeit und robuste Verarbeitungsqualität.

2. Rechte Seite (Telefone im Jahr 2020):

• Zeigt ein kleineres, trauriges Doge mit einem Apple -Emblem auf seinem Körper.
• Bildunterschriften:
  • „Bitte berühre mich nicht oder ich werde knacken.“
  • „Ich wurde seit 3 ​​Stunden nicht angeklagt, ich werde sterben.“
• Diese Verweise auf moderne Smartphones, insbesondere auf iPhones, die häufig wegen ihrer Zerbrechlichkeit, häufigen Batterie -Abfluss und häufiger Ladebedarf kritisiert werden.

Bedeutung:

Das Meme kontrastiert humorvoll die Haltbarkeit und Robustheit von Telefonen aus den 1990er Jahren mit der Zerbrechlichkeit und häufigen Batterieabfluss moderner Smartphones. Es unterstreicht die wesentlichen Änderungen der Technologie- und Benutzererwartungen im Laufe der Jahre, wobei die Telefone aus den 90er Jahren als zuverlässiger und weniger anspruchsvoller angesehen werden.

Abschluss:

Das Meme ist eine spielerische Kritik an modernen Smartphones, die sich über ihre wahrgenommene Zerbrechlichkeit und häufige Ladebedürfnisse lustig macht, im Gegensatz zu den robusten und lang anhaltenden Telefonen der Vergangenheit.

Lassen Sie mich wissen, wenn Sie weitere Klarstellung möchten! “

Dall-e 3

Beobachtung:

Janus pro-7b	Dall-e3
Das Modell erklärt das Mem korrekt und erklärt beide Seiten. Es bietet weiter einen Kontext des Bildes und schließt es dann kurz.	Das Modell gibt eine leicht detaillierte Erklärung des Meme mit einer ziemlich ausführlichen Nachricht am Ende.

Beide Modelle gaben genaue Beschreibungen des Meme an, aber das Ergebnis von Janus Professional -7b ist knackiger und klarer.

Gewinner: Janus Professional-7b

Janus Professional 7b gegen Dall-E 3: Endes Urteil

Aufgabe	Gewinner
Ratet den Gewinner	Dall-e3
Erzähl mir die „Rücken“ -Schory	Dall-e3
Ein Bild erstellen	Dall-e3
Meme Speak	Janus pro-7b

Abschluss

Deepseeks Janus Professional-7b ist eine großartige Ergänzung zur Welt der Bildgenerierung und der multimodalen LLM. Während Deepseek Janus Professional-7b weiter verbessert und es in sein breiteres Ökosystem integriert, wird es ein Herausforderer für Branchenführer wie Dall-E 3, stabile Diffusion und Midjourney. Die Open-Supply-Natur von Janus Professional-7b macht es zu einer Auswahl für Forscher und Entwickler, die die fortgeschrittenen Funktionen der Bildgenerierung nutzen möchten.

Bleib dran Analytics Vidhya Weblog Für weitere großartige Inhalte!

Häufig gestellte Fragen

Q1. Was ist Deepseek Janus Professional-7b?

A. Janus Professional-7b ist ein multimodales Großsprachmodell (LLM), das von Deepseek AI entwickelt wurde. Es ist auf die Erzeugung von Textual content zu Picture und das multimodale Verständnis spezialisiert.

Q2. Wie unterscheidet sich Janus Professional-7b von früheren Janus-Modellen?

A. Janus Professional-7b verwendet eine entkoppelte Architektur, wodurch es mit verbesserter Genauigkeit und Skalierbarkeit hocheffizient mit multimodaler Aufgaben und Textual content-zu-im-Im-Im-Im-Immer-Erzeugung umgeht.

Q3. Wie fährt Janus Professional-7b gegen Dall-e 3?

A. Janus pro-7b zeichnet sich in der Bildanalyse aus und liefert detaillierte Antworten, fällt jedoch in einigen realen Anwendungen aus, z.

This fall. Ist Janus Professional-7b Open Supply?

A. Ja, Janus Professional-7b ist Open-Supply und erhältlich auf Plattformen wie dem Hugging Face, wodurch es Entwicklern und Forschern zugänglich ist.

Q5. Hear Sie einige der Benchmarks auf, die zur Bewertung von Janus Professional-7b verwendet wurden.

A. Janus Professional-7b wurde an Benchmarks wie Geneval, DPG-Bench, MMMU und MME getestet, die in bestimmten Aspekten konsequent übertreffen, wie Dall-e 3.

Q6. Kann Janus Professional-7b gute Bilder erzeugen?

A. Ja, Janus Professional-7b generiert nach detaillierten Eingabeaufforderungen erstaunliche Bilder.