Wussten Sie, dass KI-Modelle, die zusammenführende medizinische Daten zusammenführen, die prädiktive Genauigkeit für die Ergebnisse der kritischen Versorgung um 12% oder mehr über Einzelmodalitätsansätze verbessern können? Diese bemerkenswerte Eigenschaft verändert die Entscheidungsfindung im Gesundheitswesen, damit die Pflegekräfte besser informierte Diagnosen und Behandlungspläne erstellen können.

Die Auswirkung künstlicher Intelligenz in der Gesundheitsversorgung verändert weiterhin die allgemeine Richtung der Branche. Jetzt sind die Qualität und Vielfalt der Schulungsdatensätze wichtige Determinanten für die Wirksamkeit eines KI -Techniques.

Was sind multimodale medizinische Datensätze?

Multimodale medizinische Datensätze bringen Informationen von mehreren Datentypen oder Modalitäten zusammen, um ein umfassendes Bild der Patientengesundheit zu liefern, die keine Datenquelle für sich selbst bereitstellen kann. Diese Datensätze können eine Kombination von fünf Arten von Informationen enthalten:

Bei der Integration ermöglichen diese Datenquellen AI -Systemen, Korrelationen über die Variablen hinweg zu untersuchen, um tiefere Erkenntnisse und bessere Vorhersagen zu erhalten als mit einer Artwork von Daten.

Die Bedeutung multimodaler medizinischer Datensätze für die Weiterentwicklung der künstlichen Intelligenz

Verbesserter Kontext und vollständiges Verständnis

Da Gesundheitsdaten heterogen in verschiedenen Systemen und Formaten gespeichert sind, bietet die Integration von Daten aus mehreren Quellen KI -Modelle mit Möglichkeiten, auf ein vollständigeres klinisches Bild zuzugreifen. Beispielsweise können multimodale Modelle sowohl Radiologiebilder als auch klinische Notizen verwenden, um nicht nur zu verstehen, wie sich eine Erkrankung visuell manifestiert, sondern auch, wie Patienten die Erkrankung symptomatisch darstellen.

Bekämpfung der Komplexität der Gesundheitsversorgung

Es ist selten, dass eine medizinische Diagnose oder Behandlungsempfehlung auf einem einzigen Datenpunkt basiert. In der täglichen Praxis synthetisiert eine medizinische Praxis Informationen und Nachweise über mehrere Datenpunkte (Symptome, Assessments und Bilder) hinweg unter Berücksichtigung der Patientengeschichte. Durch die Verwendung multimodaler Datensätze kann künstliche Intelligenz den Entscheidungsprozess, der in der realen Praxis durch Synthese verschiedener Modalitäten verwendet wird, besser widerspiegeln.

Signifikante Verbesserungen der Genauigkeit

Untersuchungen zeigen konsequent, dass multimodale Modelle Modelle mithilfe einer einzelnen Modalität häufig übertreffen. Beispielsweise zeigten die Kombination von Daten mit elektronischen Gesundheitsakten mit medizinischen Bildgebungsdaten prospektiv eine signifikant höhere Vorhersagegenauigkeit der Ergebnisse, z.

Erforschung personalisierter Medizin

Die Fähigkeit von AI, multimodale Datenquellen zu untersuchen, ermöglicht es ihm, subtile Beziehungen aufzudecken, die möglicherweise nicht klinisch unter den Genetik, Lebensstil und Krankheitsmanifestation klinisch offensichtlich sein, die eine wirklich personalisierte Behandlung ermöglichen. Dies ist besonders hilfreich bei verworrenen Erkrankungen, bei denen die Heterogenität der Präsentation noch ausgeprägter sein könnte.

Anwendungen multimodaler medizinischer Datensätze im Gesundheitswesen

Hier sind einige wichtige Anwendungen von medizinischen Datensätzen im Gesundheitswesen:

Herausforderungen bei der Verwendung multimodaler medizinischer Datensätze

Obwohl multimodale medizinische Datensätze ein enormes Versprechen bieten, gibt es immer noch erhebliche Herausforderungen:

• Datenzugriff und Integration: Der Zugang zu einem breiten, vielfältigen Datensatz ist immer noch schwierig, insbesondere bei seltenen Krankheiten. Ebenso stellen heterogene Daten mit unterschiedlichen Formaten, Requirements und Detailmengen technische Schwierigkeiten bei der Harmonisierung und Integration auf.
• Datenschutz- und Sicherheitsprobleme: Die Kombination mehrerer Datenarten erhöht das Risiko einer identifizierenden Patienten, die Schutz und Einhaltung von Datenschutzbestimmungen und -standards (z. B. HIPAA, DSGVO) erfordert.
• Zusammenstellung und Komplexität der Modellinterpretation: Multimodale KI-Modelle sind oft sehr komplex, was es schwierig macht, ihre Entscheidungsbekennung schwierig und einschüchternd zu interpretieren.
• Rechenanforderungen: Die multimodale Datenverarbeitung und -analyse erfordern eine erhebliche Rechenleistung, wodurch die Kosten für die Modellentwicklung und die Bereitstellung in Anwendungen hinzugefügt werden und den Zugriff auf die Verwendung wahrscheinlich reduziert werden.

Wie Shaip diese Herausforderungen angeht

Um die Herausforderungen zu bewältigen, die Modellen und Algorithmen für multimodale medizinische Daten innewohnt, bietet SHAIP die folgenden Lösungen:

Durch die Lösung der oben dargestellten Herausforderungen ermöglicht Shaip Unternehmen, das Potenzial multimodaler medizinischer Datensätze auszuschöpfen und die Entwicklung der KI -Lösung zu beschleunigen, die die Abgabe von Gesundheitsversorgung verändert und zu besseren Patientenergebnissen führt.

Deepseek Janus Professional 1B, der am 27. Januar 2025 eingeführt wurde, ist ein fortschrittliches multimodales KI -Modell, das für die Verarbeitung und Generierung von Bildern aus textlichen Eingabeaufforderungen erstellt wurde. Mit seiner Fähigkeit, Bilder basierend auf Textual content zu verstehen und zu erstellen, liefert diese 1-Milliarden-Parameterversion (1B) eine effiziente Leistung für eine Vielzahl von Anwendungen, einschließlich der Erzeugung und des Bildverständnisses von Textual content zu Picture. Darüber hinaus erzeugt es detaillierte Bildunterschriften aus Fotos und macht es zu einem vielseitigen Werkzeug für kreative und analytische Aufgaben.

Lernziele

• Analyse seiner Architektur und wichtigen Merkmale, die seine Fähigkeiten verbessern.
• Erkundung des zugrunde liegenden Designs und deren Auswirkungen auf die Leistung.
• Eine Schritt-für-Schritt-Anleitung zum Aufbau eines RAG-Methods (Retrieval-Augmented Era).
• Nutzung des Deepseek Janus Professional 1-Milliarde-Modells für reale Anwendungen.
• Verstehen, wie Deepseek Janus Professional KI-gesteuerte Lösungen optimiert.

Dieser Artikel wurde als Teil der veröffentlicht Information Science Blogathon.

Was ist Deepseek Janus Professional?

Deepseek Janus Professional ist ein multimodales KI -Modell, das Textual content- und Bildverarbeitung integriert und Bilder aus Texteingabeaufforderungen verstehen und generiert. Die 1-Milliarden-Parameterversion (1B) ist für die effiziente Leistung für Anwendungen wie die Erzeugung von Textual content-zu-Picture-Erzeugung und Bildverständnis ausgelegt.

Unter Deepseeks Janus Professional -Serie sind die verfügbaren primären Modelle verfügbar „Janus Professional 1b“ und „Janus Professional 7b“, Dies unterscheidet sich hauptsächlich in ihrer Parametergröße, wobei das 7B-Modell signifikant größer ist und eine verbesserte Leistung bei Aufgaben zur Erzeugung von Textual content-zu-Picture-Erzeugung bietet; Beide gelten als multimodale Modelle, die sowohl visuelles Verständnis als auch Textgenerierung basierend auf dem visuellen Kontext behandeln können.

Schlüsselmerkmale und Designaspekte von Janus Professional 1b

• Architektur: Janus Professional verwendet eine einheitliche Transformatorarchitektur, entkoppelt jedoch visuelle Codierung in separate Wege, um die Leistung sowohl in Bezug auf Bildverständnis als auch bei den Erstellungsaufgaben zu verbessern.
• Fähigkeiten: Es zeichnet sich in Aufgaben aus, die sich sowohl auf das Verständnis von Bildern als auch auf die Erzeugung neuer anhand von Texteingaben beziehen. Es unterstützt 384 × 384 Bildeingaben.
• Bild -Encoder: Für Bildverständnisaufgaben verwendet Janus Siglip, um Bilder zu codieren. Siglip ist ein Bildbettungsmodell, das Clips Framework verwendet, die Verlustfunktion jedoch durch einen paarweisen Sigmoidverlust ersetzt. Für die Bildgenerierung verwendet Janus einen vorhandenen Encoder von Llamagen, einem autoregressiven Bildgenerierungsmodus. Llamagen ist eine Familie von Bild-Generalmodellen, die das nächste Paradigma von Großsprachenmodellen auf eine visuelle Era anwendet
• Open Supply: Es ist auf GitHub unter der MIT -Lizenz verfügbar, wobei die Modellnutzung der Deepseek -Modelllizenz geregelt ist.

Lesen Sie auch: Wie kann man Deepseek Janus Professional 7b zugreifen?

Entkoppelte Architektur für Bildverständnis und Era

Janus-Professional unterscheidet sich von früheren multimodalen Modellen, indem sie separate, spezialisierte Wege für die visuelle Codierung verwenden, anstatt sich auf einen einzelnen visuellen Encoder für das Bildverständnis und die Erzeugung zu verlassen.

• Bildverständnis Encoder. Dieser Weg extrahiert semantische Merkmale aus Bildern.
• Bildgenerierung Encoder. Dieser Weg synthetisiert Bilder basierend auf Textbeschreibungen.

Diese entkoppelte Architektur erleichtert aufgabenspezifische Optimierungen und mildern Konflikte zwischen Interpretation und kreativer Synthese. Die unabhängigen Encoder interpretieren Eingabefunktionen, die dann von einem einheitlichen autoregressiven Transformator verarbeitet werden. Dies ermöglicht es sowohl multimodaler Verständnis als auch Generationskomponenten, ihre am besten geeigneten Codierungsmethoden unabhängig auszuwählen.

Lesen Sie auch: Wie Deepseeks Janus Professional stapelt sich gegen Dall-e 3?

Schlüsselmerkmale der Modellarchitektur

1. Twin-Pathway-Architektur für visuelles Verständnis und Era

• Visueller Verständnisweg: Für multimodale Verständnisaufgaben verwendet Janus Professional Siglip-L als visuelles Encoder, das Bildeingaben von bis zu 384 × 384 Auflösung unterstützt. Diese hochauflösende Unterstützung ermöglicht es dem Modell, weitere Bilddetails zu erfassen und so die Genauigkeit des visuellen Verständnisses zu verbessern.
• Visuelle Generierungsweg: Bei Aufgaben der Bildgenerierung verwendet Janus Professional Llamagen -Tokenizer mit einer Downsampling -Fee von 16, um detailliertere Bilder zu generieren.

2. Einheitliche Transformatorarchitektur

Ein gemeinsam genutztes Transformator -Rückgrat wird für die Fusion von Textual content- und Bildfunktionen verwendet. Die unabhängigen Codierungsmethoden zum Umwandeln der Roheingaben in Funktionen werden von einem einheitlichen autoregressiven Transformator verarbeitet.

3.. Optimierte Trainingsstrategie

Im vergangenen Januar-Coaching gab es einen dreistufigen Trainingsprozess für das Modell. Die erste Stufe konzentrierte sich auf das Coaching der Adapter und des Bildkopfes. In der zweiten Stufe wurde mit einheitlichen Vorbereitungen umgegangen, in denen alle Komponenten mit Ausnahme des Verständniscodierers und des Generationscodierers ihre Parameter aktualisiert haben. Stufe III umfasste die übersichtliche Feinabstimmung und baute auf Stufe II auf, indem sie die Parameter des Verständniscodierers während des Trainings weiter entschlossen.

Dies wurde in Janus Professional verbessert:

• Durch Erhöhen der Trainingsschritte in Stufe I und ermöglicht ausreichend Coaching im Bildnetz -Datensatz.
• Darüber hinaus wurden in der Stufe II für das Coaching für Textual content-zu-Picture-Era die Bilddaten vollständig fallen gelassen. Stattdessen wurden normale Textual content-zu-Picture-Daten verwendet, um das Modell zu trainieren, um Bilder basierend auf dichten Beschreibungen zu generieren. Es wurde festgestellt, dass dies die Trainingseffizienz und die Gesamtleistung verbessert.

Lassen Sie uns nun einen multimodalen Lappen mit Deepseek Janus Professional bauen:

Multimodaler Lappen mit Deepseek Janus Professional 1B Modell

In den folgenden Schritten erstellen wir ein multimodales Lag -System, um Bilder basierend auf dem Deepseek Janus Professional 1B -Modell abzufragen.

Schritt 1. Installieren Sie die erforderlichen Bibliotheken

!pip set up byaldi ollama pdf2image
!sudo apt-get set up -y poppler-utils
!git clone https://github.com/deepseek-ai/Janus.git
!pip set up -e ./Janus

Schritt 2. Modell zum Speichern von Bildeinbettungen

import os
from pathlib import Path
from byaldi import RAGMultiModalModel
import ollama
# Initialize RAGMultiModalModel
model1 = RAGMultiModalModel.from_pretrained("vidore/colqwen2-v0.1")

Byaldi gibt ein benutzerfreundliches Framework für die Einrichtung multimodaler Lappensysteme. Wie aus dem obigen Code hervorgeht, laden wir ColqWen2, ein Modell, das für eine effiziente Dokumentindexierung mithilfe visueller Funktionen entwickelt wurde.

Schritt 3. Laden Sie das Bild PDF

# Use ColQwen2 to index and retailer the presentation
index_name = "image_index"
model1.index(input_path=Path("/content material/PublicWaterMassMailing.pdf"),
    index_name=index_name,
    store_collection_with_index=True, # Shops base64 pictures together with the vectors
    overwrite=True
)

Wir benutzen das PDF Um in den nächsten Schritten ein Lappensystem aufzubauen und aufzubauen. Im obigen Code speichern wir das Bild PDF zusammen mit den Vektoren.

Schritt 4. Abfragen und Abrufen von gespeicherten Bildern

question = "What number of shoppers drive greater than 50% income?"
returned_page = model1.search(question, ok=1)(0)
import base64
# Instance Base64 string (truncated for brevity)
base64_string = returned_page('base64')

# Decode the Base64 string
image_data = base64.b64decode(base64_string)
with open('output_image.png', 'wb') as image_file:
    image_file.write(image_data)

Die relevante Seite von den Seiten des PDF wird basierend auf der Abfrage abgerufen und als output_image.png gespeichert.

Schritt 5. Janus Professional -Modell laden

import os
os.chdir(r"/content material/Janus")

from janus.fashions import VLChatProcessor
from transformers import AutoConfig, AutoModelForCausalLM
import torch
from janus.utils.io import load_pil_images
from PIL import Picture

processor= VLChatProcessor.from_pretrained("deepseek-ai/Janus-Professional-1B")
tokenizer = processor.tokenizer
vl_gpt = AutoModelForCausalLM.from_pretrained(
    "deepseek-ai/Janus-Professional-1B", trust_remote_code=True
)

dialog = (
    {
        "function": "<|Person|>",
        "content material": f"<image_placeholder>n{question}",
        "pictures": ('/content material/output_image.png'),
    },
    >", "content material": "",
)

# load pictures and put together for inputs
pil_images = load_pil_images(dialog)
inputs = processor(conversations=dialog, pictures=pil_images)

# # run picture encoder to get the picture embeddings
inputs_embeds = vl_gpt.prepare_inputs_embeds(**inputs)

• VlchatProcessor.from_Pretrained („Deepseek-AI/Janus-pro-1b“) lädt einen vorabreichenden Prozessor zum Umgang mit multimodalen Eingängen (Bilder und Textual content). Dieser Prozessor verarbeitet und erstellt Eingabedaten (wie Textual content und Bilder) für das Modell.
• Der Tokenizer wird aus dem VlchatProcessor extrahiert. Es wird den Texteingang token und den Textual content in ein für das Modell geeignetes Format konvertieren.
• AUMODELCAUSALLM.FROM_PRETRAUE („Deepseek-AI/Janus-Professional-1b“) lädt das vorgebildete Janus-Professional-Modell, insbesondere für die kausale Sprachmodellierung.
• Auch, ein multimodales Gesprächsformat wird eingerichtet, wo der Benutzer sowohl Textual content als auch ein Bild eingibt.
• Der load_pil_images (Gespräch) ist eine Funktion, die wahrscheinlich die im Konversationsobjekt aufgeführten Bilder lädt und sie in PIL -Bildformat umwandelt, das üblicherweise für die Bildverarbeitung in Python verwendet wird.
• Der Prozessor Hier ist eine Instanz eines multimodalen Prozessors (der VlchatProcessor Aus dem Deepseek Janus Professional -Modell), der sowohl Textual content- als auch Bilddaten als Eingabe nimmt.
• prepe_inputs_embeds (Eingänge) ist eine Methode, die die verarbeiteten Eingänge annimmt (Eingänge enthalten sowohl den Textual content als auch das Bild) und die für das Modell erforderlichen Einbettungen vorbereitet, um eine Antwort zu erzeugen.

Schritt 6. Ausgangsgenerierung

outputs =  vl_gpt.language_model.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True,
)

reply = tokenizer.decode(outputs(0).cpu().tolist(), skip_special_tokens=True)
print(reply)

Der Code generiert eine Antwort aus dem Deepseek Janus Professional 1B -Modell unter Verwendung der vorbereiteten Eingabempfetten (Textual content und Bild). Es verwendet mehrere Konfigurationseinstellungen wie Polsterung, Begin-/Finish -Token, maximale Token -Länge und ob Caching und Probenahme. Nachdem die Antwort generiert wurde, dekodiert sie die Token-IDs mit dem Tokenizer wieder in den menschlichen Lesbarungstext. Die dekodierte Ausgabe wird in der Antwortvariablen gespeichert.

Der gesamte Code ist darin vorhanden Colab Pocket book.

Ausgabe für die Abfrage

Ausgabe für eine andere Frage

„Was conflict die Einnahmen in Frankreich?“

Die obige Antwort ist nicht genau, obwohl die relevante Seite vom ColqWen2 Retriever abgerufen wurde, konnte das Deepseek Janus Professional 1B -Modell die genaue Antwort von der Seite nicht generieren. Die genaue Antwort sollte $ 2b betragen.

Ausgabe für eine andere Frage

„“ Was conflict die Anzahl der Werbeaktionen seit Beginn des Geschäftsjahres20? „

Die obige Antwort ist korrekt, da sie mit dem im PDF genannten Textual content übereinstimmt.

Schlussfolgerungen

Zusammenfassend stellt das Deepseek Janus Professional 1B -Modell einen signifikanten Fortschritt in der multimodalen KI dar, mit seiner entkoppelten Architektur, die sowohl das Bildverständnis als auch die Erzeugungsaufgaben optimiert. Janus Professional bietet durch die Verwendung separater visueller Encoder für diese Aufgaben und die Verfeinerung seiner Trainingsstrategie eine verbesserte Leistung bei der Erzeugung und Bildanalyse von Textual content zu Picture. Dieser modern Ansatz (Multimodal Rag mit Deepseek Janus Professional), kombiniert mit seiner Open-Supply-Zugänglichkeit, macht es zu einem leistungsstarken Werkzeug für verschiedene Anwendungen im visuellen Verständnis und der Erstellung von KI-gesteuertem.

Key Takeaways

1. Multimodale KI mit zwei Wegen: Janus Professional 1B integriert sowohl die Textual content- als auch die Bildverarbeitung und verwendet separate Encoder für das Bildverständnis (Siglip) und die Bildgenerierung (Lamagen), wodurch die aufgabenspezifische Leistung verbessert wird.
2. Entkoppelte Architektur: Das Modell trennt die visuelle Codierung in unterschiedliche Wege und ermöglicht die unabhängige Optimierung für das Verständnis und die Erzeugung von Bildempfängern und minimiert so Konflikte bei Verarbeitungsaufgaben.
3. Unified Transformator Rückgrat: Eine gemeinsam genutzte Transformatorarchitektur verschmilzt die Merkmale von Textual content und Bildern und optimiert die multimodale Datenfusion für eine effektivere KI -Leistung.
4. Verbesserte Trainingsstrategie: Der optimierte Trainingsansatz von Janus Professional enthält erhöhte Schritte in der Stufe I und die Verwendung von speziellen Textual content-zu-Picture-Daten in Stufe II, die die Schulungseffizienz und die Ausgangsqualität erheblich steigern.
5. Open-Supply-Zugänglichkeit: Janus Professional 1B ist unter der MIT-Lizenz auf GitHub verfügbar und fördert die weit verbreitete Verwendung und Anpassung in verschiedenen AI-gesteuerten Anwendungen.

Die in diesem Artikel gezeigten Medien sind nicht im Besitz von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Häufig gestellte Fragen

Q1. Was ist Deepseek Janus Professional 1b?

Ans. Deepseek Janus Professional 1B ist ein multimodales KI -Modell, mit dem sowohl Textual content- Es verfügt über 1 Milliarde Parameter für eine effiziente Leistung bei Aufgaben wie Textual content-zu-Picture-Erzeugung und Bildverständnis.

Q2. Wie funktioniert die Architektur von Janus Professional 1b?

Ans. Janus Professional verwendet eine einheitliche Transformatorarchitektur mit entkoppelter visueller Codierung. Dies bedeutet, dass es separate Wege zum Bildverständnis und -erzeugungswegen verwendet und die aufgabenspezifische Optimierung für jede Aufgabe ermöglicht.

Q3. Wie unterscheidet sich der Trainingsprozess von Janus Professional von früheren Versionen?

Ans. Janus Professional verbessert frühere Trainingsstrategien, indem sie die Trainingsschritte erhöht, den ImageNet-Datensatz zugunsten spezialisierter Textual content-zu-Im-Im—Daten fallen und sich auf eine bessere Feinabstimmung für verbesserte Effizienz und Leistung konzentriert.

This fall. Welche Artwork von Anwendungen kann von der Verwendung von Janus Professional 1b profitieren?

Ans. Janus Professional 1b ist besonders nützlich für Aufgaben, die Textual content-zu-Picture-Generierung, Bildverständnis und multimodale AI-Anwendungen betreffen, die sowohl Bild- als auch Textverarbeitungsfunktionen erfordern

Q5. Wie vergleicht sich Janus-Professional mit anderen Modellen wie Dall-E 3?

Ans. Janus-Professional-7b übertrifft laut Deepseek Dall-e 3 in Benchmarks wie Geneval und DPG-Bench. Janus-Professional trennt das Verständnis/die Erzeugung, skaliert Daten/Modelle für die stabile Bildgenerierung und hält eine einheitliche, versatile und kostengünstige Struktur. Während beide Modelle die Erzeugung von Textual content-zu-Picture-Generationen ausführen, bietet Janus-Professional auch Bildunterschriften an, die Dall-E 3 nicht tut.

Haben Sie schon einmal auf die Zutatenliste eines Produkts gestarrt und unbekannte chemische Namen gegoogelt, um herauszufinden, was sie bedeuten? Es ist ein alltäglicher Kampf – die Entschlüsselung komplexer Produktinformationen vor Ort kann überwältigend und zeitaufwändig sein. Herkömmliche Methoden, wie die Suche nach jeder Zutat einzeln, führen oft zu fragmentierten und verwirrenden Ergebnissen. Aber was wäre, wenn es eine intelligentere und schnellere Möglichkeit gäbe, Produktinhaltsstoffe zu analysieren und sofort klare, umsetzbare Erkenntnisse zu gewinnen? In diesem Artikel führen wir Sie durch die Erstellung eines Product Elements Analyzer Zwillinge 2.0Phidata und Tavily Net Search. Lassen Sie uns eintauchen und diese Zutatenlisten ein für alle Mal verstehen!

Lernziele

• Entwerfen Sie eine multimodale KI-Agentenarchitektur mit Phidata und Gemini 2.0 für Imaginative and prescient-Language-Aufgaben.
• Integrieren Sie die Tavily-Websuche in Agenten-Workflows, um den Kontext und den Informationsabruf zu verbessern.
• Erstellen Sie einen Produktinhaltsstoffanalysator-Agenten, der Bildverarbeitung und Websuche für detaillierte Produkteinblicke kombiniert.
• Erfahren Sie, wie Systemaufforderungen und -anweisungen das Agentenverhalten bei multimodalen Aufgaben steuern.
• Entwickeln Sie eine Streamlit-Benutzeroberfläche für Echtzeit-Bildanalyse, Ernährungsdetails und gesundheitsbasierte Vorschläge.

Dieser Artikel wurde im Rahmen der veröffentlicht Knowledge Science-Blogathon.

Was sind multimodale Systeme?

Multimodale Systeme verarbeiten und verstehen mehrere Arten von Eingabedaten – wie Textual content, Bilder, Audio und Video – gleichzeitig. Imaginative and prescient-Sprachmodelle wie Gemini 2.0 Flash, GPT-4o, Claude Sonnet 3.5 und Pixtral-12B zeichnen sich durch das Verständnis der Beziehungen zwischen diesen Modalitäten aus und extrahieren aussagekräftige Erkenntnisse aus komplexen Eingaben.

In diesem Zusammenhang konzentrieren wir uns auf Imaginative and prescient-Language-Modelle, die Bilder analysieren und textliche Erkenntnisse generieren. Diese Systeme werden kombiniert Laptop Imaginative and prescient Und Verarbeitung natürlicher Sprache visuelle Informationen basierend auf Benutzereingaben zu interpretieren.

Multimodale Anwendungsfälle aus der Praxis

Multimodale Systeme verändern Branchen:

• Finanzen: Benutzer können Screenshots von unbekannten Begriffen in On-line-Formularen erstellen und sofort Erklärungen erhalten.
• E-Commerce: Käufer können Produktetiketten fotografieren, um detaillierte Inhaltsstoffanalysen und Gesundheitseinblicke zu erhalten.
• Ausbildung: Schüler können Lehrbuchdiagramme erfassen und vereinfachte Erklärungen erhalten.
• Gesundheitspflege: Patienten können medizinische Berichte oder Rezeptetiketten scannen, um vereinfachte Begriffserklärungen und Dosierungsanweisungen zu erhalten.

Warum multimodaler Agent?

Der Übergang von Single-Mode-KI zu multimodalen Agenten markiert einen großen Sprung in der Artwork und Weise, wie wir mit KI-Systemen interagieren. Das macht multimodale Agenten so effektiv:

• Sie verarbeiten sowohl visuelle als auch textliche Informationen gleichzeitig und liefern so genauere und kontextbezogenere Antworten.
• Sie vereinfachen komplexe Informationen und machen sie für Benutzer zugänglich, die möglicherweise Schwierigkeiten mit technischen Begriffen oder detaillierten Inhalten haben.
• Anstatt manuell nach einzelnen Komponenten zu suchen, können Benutzer ein Bild hochladen und erhalten in einem Schritt eine umfassende Analyse.
• Durch die Kombination von Instruments wie Websuche und Bildanalyse liefern sie umfassendere und zuverlässigere Erkenntnisse.

Analysemittel für Bauproduktbestandteile

Lassen Sie uns die Implementierung eines Product Ingredient Evaluation Agent aufschlüsseln:

Schritt 1: Abhängigkeiten einrichten

• Gemini 2.0 Flash: Bewältigt die multimodale Verarbeitung mit verbesserten Sehfunktionen
• Tavily Search: Bietet Websuchintegration für zusätzlichen Kontext
• Phidata: Orchestriert das Agentensystem und verwaltet Arbeitsabläufe
• Streamlit: Entwicklung des Prototyps zu webbasierten Anwendungen.

!pip set up phidata google-generativeai tavily-python streamlit pillow

Schritt 2: API-Einrichtung und -Konfiguration

In diesem Schritt richten wir die Umgebungsvariablen ein und sammeln die erforderlichen API-Anmeldeinformationen, um diesen Anwendungsfall auszuführen.

from phi.agent import Agent
from phi.mannequin.google import Gemini # wants a api key
from phi.instruments.tavily import TavilyTools # additionally wants a api key

import os
TAVILY_API_KEY = "<replace-your-api-key>"
GOOGLE_API_KEY = "<replace-your-api-key>"
os.environ('TAVILY_API_KEY') = TAVILY_API_KEY
os.environ('GOOGLE_API_KEY') = GOOGLE_API_KEY

Schritt 3: Systemaufforderung und Anweisungen

Um bessere Antworten von Sprachmodellen zu erhalten, müssen Sie bessere Eingabeaufforderungen schreiben. Dazu gehört die klare Definition der Rolle und die Bereitstellung detaillierter Anweisungen in der Systemeingabeaufforderung für das LLM.

Lassen Sie uns die Rolle und Verantwortlichkeiten eines Agenten mit Fachkenntnissen in der Inhaltsstoffanalyse und Ernährung definieren. Die Anweisungen sollten den Agenten anleiten, Lebensmittelprodukte systematisch zu analysieren, Inhaltsstoffe zu bewerten, diätetische Einschränkungen zu berücksichtigen und gesundheitliche Auswirkungen zu bewerten.

SYSTEM_PROMPT = """
You might be an knowledgeable Meals Product Analyst specialised in ingredient evaluation and diet science. 
Your position is to investigate product substances, present well being insights, and determine potential issues by combining ingredient evaluation with scientific analysis. 
You make the most of your dietary information and analysis works to offer evidence-based insights, making complicated ingredient data accessible and actionable for customers.
Return your response in Markdown format. 
"""

INSTRUCTIONS = """
* Learn ingredient checklist from product picture 
* Keep in mind the person might not be educated in regards to the product, break it down in easy phrases like explaining to 10 yr child
* Establish synthetic components and preservatives
* Verify towards main dietary restrictions (vegan, halal, kosher). Embrace this in response. 
* Fee dietary worth on scale of 1-5
* Spotlight key well being implications or issues
* Recommend more healthy options if wanted
* Present transient evidence-based suggestions
* Use Search software for getting context
"""

Schritt 4: Definieren Sie das Agentenobjekt

Der mit Phidata erstellte Agent ist so konfiguriert, dass er Markdown-Formatierungen verarbeitet und auf der Grundlage der zuvor definierten Systemeingabeaufforderung und Anweisungen arbeitet. Das in diesem Beispiel verwendete Argumentationsmodell ist Gemini 2.0 Flash, das im Vergleich zu anderen Modellen für seine überlegene Fähigkeit bekannt ist, Bilder und Movies zu verstehen.

Für die Device-Integration verwenden wir Tavily Search, eine fortschrittliche Websuchmaschine, die relevanten Kontext direkt als Reaktion auf Benutzeranfragen bereitstellt und unnötige Beschreibungen, URLs und irrelevante Parameter vermeidet.

agent = Agent(
    mannequin = Gemini(id="gemini-2.0-flash-exp"),
    instruments = (TavilyTools()),
    markdown=True,
    system_prompt = SYSTEM_PROMPT,
    directions = INSTRUCTIONS
)

Schritt 5: Multimodal – Das Bild verstehen

Nachdem die Agent-Komponenten nun vorhanden sind, besteht der nächste Schritt darin, Benutzereingaben bereitzustellen. Dies kann auf zwei Arten erfolgen: entweder durch Übergabe des Bildpfads oder der URL zusammen mit einer Benutzeraufforderung, die angibt, welche Informationen aus dem bereitgestellten Bild extrahiert werden müssen.

Vorgehensweise: 1 Bildpfad verwenden

agent.print_response(
    "Analyze the product picture",
    pictures = ("pictures/bournvita.jpg"),
    stream=True
)

Ausgabe:

Ansatz: 2 URL verwenden

agent.print_response(
    "Analyze the product picture",
    pictures = ("https://beardo.in/cdn/store/merchandise/9_2ba7ece4-0372-4a34-8040-5dc40c89f103.jpg?v=1703589764&width=1946"),
    stream=True
)

Ausgabe:

Schritt 6: Entwickeln Sie die Net-App mit Streamlit

Nachdem wir nun wissen, wie der Multimodal Agent ausgeführt wird, erstellen wir den UI-Teil mit Streamlit.

import streamlit as st
from PIL import Picture
from io import BytesIO
from tempfile import NamedTemporaryFile

st.title("🔍 Product Ingredient Analyzer")

Um die Leistung zu optimieren, definieren Sie die Agent-Inferenz unter einer zwischengespeicherten Funktion. Der Cache-Dekorator trägt zur Verbesserung der Effizienz bei, indem er die Agent-Instanz wiederverwendet.

Da wir Streamlit verwenden, das die gesamte Seite nach jeder Ereignisschleife oder jedem Widget-Set off aktualisiert, stellt das Hinzufügen von st.cache_resource sicher, dass die Funktion nicht aktualisiert wird, und speichert sie im Cache.

@st.cache_resource
def get_agent():
    return Agent(
        mannequin=Gemini(id="gemini-2.0-flash-exp"),
        system_prompt=SYSTEM_PROMPT,
        directions=INSTRUCTIONS,
        instruments=(TavilyTools(api_key=os.getenv("TAVILY_API_KEY"))),
        markdown=True,
    )

Wenn der Benutzer einen neuen Bildpfad bereitstellt, wird die Funktion „analysate_image“ ausgeführt und führt das in get_agent definierte Agent-Objekt aus. Für die Echtzeiterfassung und die Möglichkeit, Bilder hochzuladen, muss die hochgeladene Datei zur Verarbeitung vorübergehend gespeichert werden.

Das Bild wird in einer temporären Datei gespeichert. Sobald die Ausführung abgeschlossen ist, wird die temporäre Datei gelöscht, um Ressourcen freizugeben. Dies kann mit der Funktion NamedTemporaryFile aus der Tempfile-Bibliothek erfolgen.

def analyze_image(image_path):
    agent = get_agent()
    with st.spinner('Analyzing picture...'):
        response = agent.run(
            "Analyze the given picture",
            pictures=(image_path),
        )
        st.markdown(response.content material)

def save_uploaded_file(uploaded_file):
    with NamedTemporaryFile(dir=".", suffix='.jpg', delete=False) as f:
        f.write(uploaded_file.getbuffer())
        return f.title

Wenn ein Benutzer ein Bild auswählt, weist es für eine bessere Benutzeroberfläche wahrscheinlich unterschiedliche Auflösungen und Größen auf. Um ein konsistentes Format beizubehalten und das Bild richtig anzuzeigen, können wir die Größe des hochgeladenen oder aufgenommenen Bildes ändern, um sicherzustellen, dass es klar auf den Bildschirm passt.

Der LANCZOS-Resampling-Algorithmus ermöglicht eine qualitativ hochwertige Größenänderung, was besonders für Produktbilder von Vorteil ist, bei denen die Textklarheit für die Inhaltsstoffanalyse von entscheidender Bedeutung ist.

MAX_IMAGE_WIDTH = 300

def resize_image_for_display(image_file):
    img = Picture.open(image_file)
    
    aspect_ratio = img.top / img.width
    new_height = int(MAX_IMAGE_WIDTH * aspect_ratio)
    img = img.resize((MAX_IMAGE_WIDTH, new_height), Picture.Resampling.LANCZOS)
    
    buf = BytesIO()
    img.save(buf, format="PNG")
    return buf.getvalue()

Schritt 7: UI-Funktionen für Streamlit

Die Benutzeroberfläche ist in drei Navigationsregisterkarten unterteilt, auf denen der Benutzer seine Interessen auswählen kann:

• Tab-1: Beispielprodukte die Benutzer auswählen können, um die App zu testen
• Tab-2: Laden Sie ein Bild hoch Ihrer Wahl, wenn es bereits gespeichert ist.
• Tab-3: Seize oder Machen Sie ein Dwell-Foto und analysieren Sie das Produkt.

Wir wiederholen den gleichen logischen Ablauf für alle drei Registerkarten:

• Wählen Sie zunächst das gewünschte Bild aus und ändern Sie die Größe, um es auf der Streamlit-Benutzeroberfläche anzuzeigen st.picture.
• Zweitens speichern Sie das Bild in einem temporären Verzeichnis, um es zum Agent-Objekt zu verarbeiten.
• Drittens analysieren Sie das Bild, in dem die Agentenausführung stattfinden wird, mit Gemini 2.0 LLM und dem Tavily Search-Device.

Die Statusverwaltung erfolgt über den Sitzungsstatus von Streamlit, der ausgewählte Beispiele und den Analysestatus verfolgt.

def fundamental():
    if 'selected_example' not in st.session_state:
        st.session_state.selected_example = None
    if 'analyze_clicked' not in st.session_state:
        st.session_state.analyze_clicked = False
    
    tab_examples, tab_upload, tab_camera = st.tabs((
        "📚 Instance Merchandise", 
        "📤 Add Picture", 
        "📸 Take Photograph"
    ))
    
    with tab_examples:
        example_images = {
            "🥤 Power Drink": "pictures/bournvita.jpg",
            "🥔 Potato Chips": "pictures/lays.jpg",
            "🧴 Shampoo": "pictures/shampoo.jpg"
        }
        
        cols = st.columns(3)
        for idx, (title, path) in enumerate(example_images.gadgets()):
            with cols(idx):
                if st.button(title, use_container_width=True):
                    st.session_state.selected_example = path
                    st.session_state.analyze_clicked = False
    
    with tab_upload:
        uploaded_file = st.file_uploader(
            "Add product picture", 
            sort=("jpg", "jpeg", "png"),
            assist="Add a transparent picture of the product's ingredient checklist"
        )
        if uploaded_file:
            resized_image = resize_image_for_display(uploaded_file)
            st.picture(resized_image, caption="Uploaded Picture", use_container_width=False, width=MAX_IMAGE_WIDTH)
            if st.button("🔍 Analyze Uploaded Picture", key="analyze_upload"):
                temp_path = save_uploaded_file(uploaded_file)
                analyze_image(temp_path)
                os.unlink(temp_path) 
    
    with tab_camera:
        camera_photo = st.camera_input("Take an image of the product")
        if camera_photo:
            resized_image = resize_image_for_display(camera_photo)
            st.picture(resized_image, caption="Captured Photograph", use_container_width=False, width=MAX_IMAGE_WIDTH)
            if st.button("🔍 Analyze Captured Photograph", key="analyze_camera"):
                temp_path = save_uploaded_file(camera_photo)
                analyze_image(temp_path)
                os.unlink(temp_path) 
    
    if st.session_state.selected_example:
        st.divider()
        st.subheader("Chosen Product")
        resized_image = resize_image_for_display(st.session_state.selected_example)
        st.picture(resized_image, caption="Chosen Instance", use_container_width=False, width=MAX_IMAGE_WIDTH)
        
        if st.button("🔍 Analyze Instance", key="analyze_example") and never st.session_state.analyze_clicked:
            st.session_state.analyze_clicked = True
            analyze_image(st.session_state.selected_example)

Wichtige Hyperlinks

• Den vollständigen Code finden Sie hier Hier.
• Ersetzen Sie den Platzhalter „“ durch Ihre Schlüssel.
• Für tab_examples benötigen Sie ein Ordnerbild. Und speichern Sie die Bilder dort. Hier ist die GitHub-URL mit dem Bildverzeichnis Hier.
• Wenn Sie an der Nutzung des Anwendungsfalls interessiert sind, finden Sie hier die bereitgestellte App Hier.

Abschluss

Multimodale KI-Agenten stellen einen größeren Fortschritt dar, wenn es darum geht, wie wir in unserem täglichen Leben mit komplexen Informationen interagieren und diese verstehen können. Durch die Kombination von Bildverarbeitung, natürlichem Sprachverständnis und Websuchfunktionen können diese Systeme, wie der Product Ingredient Analyzer, eine sofortige, umfassende Analyse von Produkten und ihren Inhaltsstoffen liefern und so eine fundierte Entscheidungsfindung für jedermann zugänglicher machen.

Wichtige Erkenntnisse

• Multimodale KI-Agenten verbessern unser Verständnis von Produktinformationen. Sie kombinieren Textual content- und Bildanalyse.
• Mit Phidata, einem Open-Supply-Framework, können wir Agentensysteme erstellen und verwalten. Diese Systeme verwenden Modelle wie GPT-4o und Gemini 2.0.
• Agenten nutzen Instruments wie Imaginative and prescient Processing und Websuche. Dadurch wird ihre Analyse vollständiger und genauer. Da LLMs über begrenzte Kenntnisse verfügen, verwenden Agenten Instruments, um komplexe Aufgaben besser bewältigen zu können.
• Streamlit erleichtert die Erstellung von Net-Apps für LLM-basierte Instruments. Beispiele hierfür sind RAG und multimodale Agenten.
• Gute Systemansagen und Anweisungen leiten den Agenten. Dies gewährleistet nützliche und genaue Antworten.

Häufig gestellte Fragen

Die in diesem Artikel gezeigten Medien sind nicht Eigentum von Analytics Vidhya und werden nach Ermessen des Autors verwendet.