Ein umfassender Leitfaden zur Zero-Shot-Bildklassifizierung

Einführung

Der Artikel untersucht Zero-Shot-Studying, eine maschinelle Lerntechnik, die unbekannte Beispiele klassifiziert, mit Schwerpunkt auf Zero-Shot Bildklassifizierung. Es werden die Mechanismen der Zero-Shot-Bildklassifizierung, Implementierungsmethoden, Vorteile und Herausforderungen, praktische Anwendungen und zukünftige Richtungen erläutert.

Überblick

• Verstehen Sie die Bedeutung des Zero-Shot-Studying beim maschinellen Lernen.
• Untersuchen Sie die Zero-Shot-Klassifizierung und ihre Verwendung in vielen Bereichen.
• Studieren Sie die Zero-Shot-Bildklassifizierung im Element, einschließlich ihrer Funktionsweise und Anwendung.
• Untersuchen Sie die Vorteile und Schwierigkeiten, die mit der Zero-Shot-Bildklassifizierung verbunden sind.
• Analysieren Sie die praktischen Anwendungen und möglichen zukünftigen Entwicklungen dieser Technologie.

Was ist Zero-Shot-Studying?

Eine maschinelle Lerntechnik namens „Zero-Shot-Studying“ (ZSL) ermöglicht es einem Modell, Beispiele einer Klasse zu identifizieren oder zu klassifizieren, die während des Trainings nicht vorhanden waren. Ziel dieser Methode ist es, die Lücke zwischen der enormen Anzahl von Klassen, die in der realen Welt vorhanden sind, und der geringen Anzahl von Klassen, die zum Trainieren eines Modells verwendet werden können, zu schließen.

Schlüsselaspekte des Zero-Shot-Lernens

• Nutzt semantisches Wissen über Klassen.
• verwendet Metadaten oder zusätzliche Informationen.
• Ermöglicht die Generalisierung auf unbekannte Klassen.

Zero Shot-Klassifizierung

Eine besondere Anwendung des Zero-Shot-Studying ist die Zero-Shot-Klassifizierung, bei der es darum geht, Instanzen – auch solche, die im Trainingsset fehlen – in Klassen zu klassifizieren.

Wie funktioniert es?

• Das Modell lernt während des Trainings, Eingabemerkmale einem semantischen Raum zuzuordnen.
• Dieser semantische Raum wird auch auf Klassenbeschreibungen oder Attribute abgebildet.
• Das Modell trifft während der Inferenz Vorhersagen, indem es die Darstellung der Eingabe mit Klassenbeschreibungen vergleicht.

Beispiele für die Zero-Shot-Klassifizierung sind:

• Textklassifizierung: Kategorisierung von Dokumenten in neue Themen.
• Audioklassifizierung: Erkennen unbekannter Klänge oder Musikgenres.
• Das Identifizieren neuer Objektarten in Bildern oder Movies wird als Objekterkennung bezeichnet.

Zero-Shot-Bildklassifizierung

Diese Klassifizierung ist eine spezielle Artwork der Zero-Shot-Klassifizierung, die auf visuelle Daten angewendet wird. Sie ermöglicht es Modellen, Bilder in Kategorien einzuordnen, die sie während des Trainings nicht explizit gesehen haben.

Wichtige Unterschiede zur herkömmlichen Bildklassifizierung:

• Traditionell: Erfordert beschriftete Beispiele für jede Klasse.
• Nullschuss: Kann ohne spezifische Trainingsbeispiele in neue Klassen einteilen.

Wie funktioniert die Zero-Shot-Bildklassifizierung?

• Multimodales Lernen: Zum Trainieren von Zero-Shot-Klassifizierungsmodellen werden häufig große Datensätze mit Textbeschreibungen und Bildern verwendet. Dadurch kann das Modell verstehen, wie visuelle Merkmale und Sprachideen miteinander in Beziehung stehen.
• Ausgerichtete Darstellungen: Mithilfe eines gemeinsamen Einbettungsraums generiert das Modell ausgerichtete Darstellungen von Textual content- und Bilddaten. Diese Ausrichtung ermöglicht es dem Modell, die Entsprechung zwischen Bildinhalt und Textbeschreibungen zu verstehen.
• Inferenzprozess: Das Modell vergleicht während der Klassifizierung die Einbettungen der Kandidatentextbeschriftungen mit der Einbettung des Eingabebildes. Das Kategorisierungsergebnis wird durch Auswahl der Beschriftung mit dem höchsten Ähnlichkeitswert bestimmt.

Implementierung der Zero-Shot-Klassifizierung von Bildern

Zuerst müssen wir Abhängigkeiten installieren:

!pip set up -q "transformers(torch)" pillow

Es gibt zwei Hauptansätze zur Implementierung der Zero-Shot-Bildklassifizierung:

Verwenden einer vorgefertigten Pipeline

from transformers import pipeline
from PIL import Picture
import requests

# Arrange the pipeline
checkpoint = "openai/clipvitlargepatch14"
detector = pipeline(mannequin=checkpoint, process="zeroshotimageclassification")

url = "https://encrypted-tbn0.gstatic.com/pictures?q=tbn:ANd9GcTuC7EJxlBGYl8-wwrJbUTHricImikrH2ylFQ&s"
picture = Picture.open(requests.get(url, stream=True).uncooked)
picture

# Carry out classification
predictions = detector(picture, candidate_labels=("fox", "bear", "seagull", "owl"))
predictions

# Discover the dictionary with the best rating
best_result = max(predictions, key=lambda x: x('rating'))


# Print the label and rating of the most effective outcome
print(f"Label with the most effective rating: {best_result('label')}, Rating: {best_result('rating')}")

Ausgabe :

Manuelle Implementierung

from transformers import AutoProcessor, AutoModelForZeroShotImageClassification
import torch
from PIL import Picture
import requests

# Load mannequin and processor
checkpoint = "openai/clipvitlargepatch14"
mannequin = AutoModelForZeroShotImageClassification.from_pretrained(checkpoint)
processor = AutoProcessor.from_pretrained(checkpoint)

# Load a picture 
url = "https://unsplash.com/photographs/xBRQfR2bqNI/obtain?ixid=MnwxMjA3fDB8MXxhbGx8fHx8fHx8fHwxNjc4Mzg4ODEx&pressure=true&w=640" 
picture = Picture.open(requests.get(url, stream=True).uncooked)
 Picture

# Put together inputs
candidate_labels = ("tree", "automobile", "bike", "cat")
inputs = processor(pictures=picture, textual content=candidate_labels, return_tensors="pt", padding=True)

# Carry out inference
with torch.no_grad():
    outputs = mannequin(**inputs)

logits = outputs.logits_per_image(0)
probs = logits.softmax(dim=1).numpy()

# Course of outcomes
outcome = (
    {"rating": float(rating), "label": label}
    for rating, label in sorted(zip(probs, candidate_labels), key=lambda x: x(0))
)
print(outcome)

# Discover the dictionary with the best rating
best_result = max(outcome, key=lambda x: x('rating'))


# Print the label and rating of the most effective outcome
print(f"Label with the most effective rating: {best_result('label')}, Rating: {best_result('rating')}")

Vorteile der Zero-Shot-Bildklassifizierung

• Flexibilität: Kann Fotos ohne erneutes Coaching in neue Gruppen einordnen.
• Skalierbarkeit: Die Fähigkeit, sich schnell an neue Anwendungsfälle und Domänen anzupassen.
• Reduzierte Abhängigkeit von Daten: Es sind keine umfangreichen beschrifteten Datensätze für jede neue Kategorie erforderlich.
• Natürliche Sprachschnittstelle: Ermöglicht Benutzern die Verwendung von Freitext zum Definieren von Kategorien6.

Herausforderungen und Einschränkungen

• Genauigkeit: Stimmt möglicherweise nicht immer mit der Leistung spezialisierter Modelle überein.
• Mehrdeutigkeit: Es fällt möglicherweise schwer, winzige Unterschiede zwischen verwandten Gruppen zu erkennen.
• Verzerrung: Kann auf in den Trainingsdaten oder Sprachmodellen vorhandene Verzerrungen zurückzuführen sein.
• Rechenressourcen: Da die Modelle kompliziert sind, ist häufig leistungsfähigere Technologie erforderlich.

Anwendungen

• Inhaltsmoderation: Anpassung an neue Formen anstößiger Inhalte
• Elektronischer Handel: Anpassbare Produktsuche und -klassifizierung
• Medizinische Bildgebung: Erkennen seltener Erkrankungen oder Anpassen an neue Diagnosekriterien

Zukünftige Richtungen

• Verbesserte Modellarchitekturen
• Multimodale Fusion
• Fewshot-Lernintegration
• Erklärbare KI für Zero-Shot-Modelle
• Verbesserte Domänenanpassungsfunktionen

Lesen Sie auch: Erstellen Sie Ihr erstes Bildklassifizierungsmodell in nur 10 Minuten!

Abschluss

Eine wichtige Entwicklung in der Computervision und im maschinellen Lernen ist die Zero-Shot-Bildklassifizierung, die auf der allgemeineren Idee des Zero-Shot-Lernens basiert. Indem diese Technologie es Modellen ermöglicht, Bilder in bisher unbekannte Kategorien zu klassifizieren, bietet sie beispiellose Flexibilität und Anpassungsfähigkeit. Zukünftige Forschung sollte noch leistungsfähigere und flexiblere Systeme hervorbringen, die sich leicht an neuartige visuelle Vorstellungen anpassen können und möglicherweise eine breite Palette von Branchen und Anwendungen auf den Kopf stellen.

Häufig gestellte Fragen