Erforschen der Bildhintergrundentfernung mit RMGB v2.0

Bildsegmentierung Modelle haben Möglichkeiten zur Erfüllung von Aufgaben in verschiedenen Dimensionen gebracht. Der Open-Supply-Raum hat verschiedene Laptop-Imaginative and prescient-Aufgaben und ihre Anwendungen überwacht. Die Entfernung des Hintergrunds ist eine weitere Aufgabe zur Bildsegmentierung, die Modelle im Laufe der Jahre weiter untersucht haben.

Das RMGB V2.0 von Bria ist ein hochmodernes Modell, das eine Hintergrundentfernung mit großer Präzision und Genauigkeit durchführt. Dieses Modell ist eine Verbesserung gegenüber der älteren RMGB 1.4 -Model. Dieses Open-Supply-Modell ist mit Genauigkeit, Effizienz und Vielseitigkeit über verschiedene Benchmarks hinweg ausgestattet.

Dieses Modell verfügt über Anwendungen in verschiedenen Bereichen, von Spielen bis hin zu Stockbildgenerierung. Seine Fähigkeiten können auch mit ihren Schulungsdaten und Architektur in Verbindung gebracht werden, sodass sie in verschiedenen Kontexten arbeiten können.

Lernziele

• Verstehen Sie die Fähigkeiten und Fortschritte des RMGB V2.0 -Modells von Braiai.
• Erforschen Sie die Modellarchitektur und wie Birefnet die Hintergrundentfernung verbessert.
• Erfahren Sie, wie Sie RMGB V2.0 für Bildsegmentierungsaufgaben einrichten und ausführen.
• Entdecken Sie reale Anwendungen von RMGB V2.0 in Gaming, E-Commerce und Werbung.
• Analysieren Sie die Leistungsverbesserungen gegenüber RMGB V1.4 in der Kantenerkennung und -genauigkeit.

Dieser Artikel wurde als Teil der veröffentlicht Knowledge Science Blogathon.

Wie funktioniert RGMB?

Dieses Modell hat ein einfaches Arbeitsprinzip. Es nimmt Bilder als Eingabe auf (in verschiedenen Formaten wie JPEG, PNG usw.). Nach der Verarbeitung der Bilder liefern die Modelle eine Ausgabe eines segmentierten Bildbereichs, wodurch der Hintergrund oder den Vordergrund entfernt wird.

RGMB kann auch eine Maske bereitstellen, um das Bild weiter zu verarbeiten oder einen neuen Hintergrund hinzuzufügen.

Efficiency -Benchmark von RGMB v2.0

Die Leistung dieses Modells schlägt seinen Vorgänger-die RGMB V1.4-mit Leistung und Genauigkeit. Die Ergebnisse aus Testen einiger Bilder zeigten, wie der v2.0 einen saubereren Hintergrund darstellte.

Obwohl die frühere Model intestine abschneidet, legt RGMB V2.0 einen neuen Customary für das Verständnis komplexer Szenen und Particulars an den Kanten fest und verbessert die Hintergrundentfernung im Allgemeinen.

Schauen Sie sich diesen Hyperlink an, um die frühere Model mit dem neuesten zu testen Hier.

Modellarchitektur von RGMB v2.0

RMGB wurde von Brai AI entwickelt und basiert auf dem Birefnet -Mechanismus. Dieser Rahmen ist eine Architektur, die hochauflösende Aufgaben ermöglicht, die eine Trennung von Bild-Background beinhalten.

Dieser Ansatz kombiniert die Darstellung komplementäre Darstellung aus zwei Quellen innerhalb eines hochauflösenden Wiederherstellungsmodells. Diese Methode kombiniert das gesamte Szenenverständnis (allgemeine Lokalisierung) mit detaillierten Kanteninformationen (lokal) und ermöglicht eine klare und präzise Grenzerkennung.

RGMB V2.0 verwendet ein zweistufiges Modell, um die Birefnet-Architektur zu nutzen: die Lokalisierungs- und Restaurierungsmodule.

Das Lokalisierungsmodul erzeugt die allgemeine semantische Karte, die die Hauptbereiche des Bildes darstellt. Diese Komponente stellt sicher, dass das Modell die Struktur des Bildes genau darstellt. Mit diesem Framework kann das Modell identifizieren, wo die Place von Objekten im Bild unter Berücksichtigung des Hintergrunds.

Andererseits hilft das Restaurierungsmodul bei den Restaurierungsgrenzen des Objekts im Bild. Es führt diesen Prozess in hoher Auflösung im Vergleich zur ersten Stufe durch, in der die semantische Kartengenerierung in einer niedrigeren Auflösung durchgeführt wird.

Das Wiederherstellungsmodul hat zwei Phasen: Die ursprüngliche Referenz, eine Pixelkarte des Originalbildes, bietet einen Hintergrundkontext. Die zweite Part ist die Gradientenreferenz, die die Particulars der feinen Kanten enthält. Die Gradientenreferenz kann auch bei der Genauigkeit helfen, indem sie Bildern mit scharfen Grenzen und komplexen Farben Kontext geben.

Dieser Ansatz liefert hervorragende Ergebnisse bei der Objekttrennung, insbesondere in hochauflösenden Bildern. Die Brirefnet -Architektur und der Modelltrainingsdatensatz können die besten Ergebnisse für verschiedene Benchmarks liefern.

Wie man dieses Modell ausführt

Sie können dieses Modell auch in Umgebungen mit niedriger Ressourcen inferenzieren. Sie können eine genaue Trennung vollständig durchführen, indem Sie mit einem einfachen Hintergrundbild arbeiten.

Lassen Sie uns darüber eingehen, wie wir das RGMB V2.0 -Modell ausführen können.

Schritt 1: Vorbereitung der Umgebung

pip set up kornia

Die Set up von Konia ist für diese Aufgabe related, da es sich um eine Python -Bibliothek handelt, die für verschiedene Laptop -Imaginative and prescient -Modelle essentiell ist. Konia ist eine differenzierbare Laptop -Imaginative and prescient -Aufgabe, die auf Pytorch basiert und Funktionen für Bildverarbeitung, geometrische Transformationen, Filterung und Deep -Studying -Anwendungen bietet.

Schritt 2: Importierter Bibliotheken importieren

 from PIL import Picture
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from transformers import AutoModelForImageSegmentation

Diese Bibliotheken sind alle für das Ausführen dieses Modells unerlässlich. ‚Pil‘ ist immer praktisch für Bildverarbeitungsaufgaben wie das Laden und Öffnen von Bildern, während ‚Matpotlib‘ perfect zum Anzeigen von Bildern und Zeichnen von Diagrammen ist.

Die „Taschenlampe“ verwandelt die Bilder in ein Format, das mit Deep Studying -Modellen kompatibel ist. Schließlich verwenden wir „AutomodelforimageSmentation“, mit der wir das vorgebildete Modell zur Bildsegmentierung verwenden können.

Schritt 3: Laden des vorgebildeten Modells

mannequin = AutoModelForImageSegmentation.from_pretrained('briaai/RMBG-2.0', trust_remote_code=True)
torch.set_float32_matmul_precision(('excessive', 'highest')(0))
mannequin.to('cuda')
mannequin.eval()

Dieser Code lädt das vorgebrachte Modell für die Entfernung von Hintergrund und wendet dann den ‚Trust_Remote_code = true‘ an, da es die Ausführung des benutzerdefinierten Python-Codes ermöglicht. Die nächste Zeile optimiert die Leistung anhand von Matrix -Multiplikationen.

Schließlich verschieben wir das Modell, um die verfügbare GPU zu verwenden, und bereiten es auf Inferenz vor.

Schritt 4: Bildvorverarbeitung

Dieser Code definiert die Bildverarbeitungsphase, indem das Bild auf 1024 x 1024 gekennzeichnet und in Tensoren konvertiert wird. Wir haben additionally die Pixelwerte in Mittelwert und Standardabweichung.

Die Funktion ‚rework.Conple‘ hilft, den Eingabebetrieb in einer kettenähnlichen Transformation zu verarbeiten, um sicherzustellen, dass sie gleichmäßig verarbeitet wird. Dieser Schritt hält auch die Pixelwerte in einem konsistenten Bereich.

image_size = (1024, 1024)
transform_image = transforms.Compose((
   transforms.Resize(image_size),
   transforms.ToTensor(),
   transforms.Normalize((0.485, 0.456, 0.406), (0.229, 0.224, 0.225))
))

Schritt 5: Laden des Bildes

 picture = Picture.open("/content material/Boy utilizing a pc.jpeg")
input_images = transform_image(picture).unsqueeze(0).to('cuda')

Hier laden wir das Bild und bereiten es für das Modell vor. Zunächst öffnet es das Bild mit ‚Pil.‘ Dann ändert es es und wandelt es in Tensoren um. Dem Bild wird auch eine zusätzliche Batch -Dimension hinzugefügt, bevor es für die GPU in „CUDA“ verschiebt wird, um die Inferenz zu beschleunigen und die Kompatibilität mit dem Modell sicherzustellen.

Schritt 6: Hintergrundentfernung

Dieser Code entfernt den Hintergrund, indem eine Segmentierungsmaske aus den Vorhersagen des Modells generiert und auf das Originalbild angewendet wird.

 with torch.no_grad():
   preds = mannequin(input_images)(-1).sigmoid().cpu()
pred = preds(0).squeeze()
pred_pil = transforms.ToPILImage()(pred)
masks = pred_pil.resize(picture.measurement)
picture.putalpha(masks)

Dieser Code entfernt den Hintergrund, indem er eine Transparenzmaske aus dem Modell abruft. Es führt das Modell ohne Gradientenverfolgung aus, wendet Sigmoid () um Pixelwahrscheinlichkeiten an und verschiebt das Ergebnis in die CPU. Die Maske wird geändert, um dem Originalbild zu entsprechen und als Alpha -Kanal festzulegen, wodurch der Hintergrund clear ist.

Das Ergebnis des Eingangsbildes ist unten, wobei der Hintergrund entfernt und vom primären Objekt (dem Jungen) getrennt ist.

Hier ist das Datei zum Code.

Anwendung des Bildhintergrunds mit RMGB v2.0

Es gibt verschiedene Anwendungsfälle dieses Modells über verschiedene Bereiche hinweg. Einige der gängigen Anwendungen umfassen;

• E-Commerce: Dieses Modell kann nützlich sein, um die E-Commerce-Produktfotografie zu vervollständigen, da Sie den Vordergrund im Bild entfernen und ersetzen können.
• Spiele: Die Entfernung des Hintergrunds spielt eine große Rolle bei der Schaffung von Spielgütern. Dieses Modell kann verwendet werden, um ausgewählte Bilder von anderen Objekten zu trennen.
• Werbung: Sie können die Hintergrundentfernungs- und Ersatzfähigkeiten von RMGB nutzen, um Werbedesigns und Inhalte zu generieren. Diese könnten für Bilder und sogar Grafiken sein.

Abschluss

RMGB wird in verschiedenen Branchen eingesetzt. Die Funktionen dieses Modells haben sich auch von den früheren V1.2 auf den neueren v2.0 verbessert. Die Architektur und Nutzung des Birefnet spielen eine große Rolle in seiner Leistung und Inferenzzeit. Sie können dieses Modell mit verschiedenen Bildtypen sowie der Ausgabe und der Qualität der Leistung untersuchen.

Schlüssel zum Mitnehmen

• Die Verbesserung dieses Modells gegenüber seinen Vorgängern ist ein bemerkenswerter Aspekt der Funktionsweise von RMGB. Kontextverständnis ist ein weiterer Aspekt, der seine verbesserte Leistung hervorhebt.
• Eine Sache, die dieses Modell auszeichnet, ist die vielseitige Anwendung in verschiedenen Bereichen wie Werbung, Spiele und E-Commerce.
• Die bemerkenswerte Funktion dieses Modells ist die einfache Ausführung und Integration. Dies resultiert aus seiner einzigartigen Architektur, die es ermöglicht, in Umgebungen mit geringer Ressourcen mit schneller Inferenzzeit zu laufen.

Ressource

Häufig gestellte Fragen

Die in diesem Artikel gezeigten Medien sind nicht im Besitz von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Hallo! Ich bin David Maigari, ein dynamischer Fachmann mit einer Leidenschaft für technisches Schreiben, Webentwicklung und die KI -Welt. David ist auch ein Fanatic von ML/AI -Innovationen. Greifen Sie auf X (Twitter) unter @maigari_david zu mir