Modelle, LoRA und kreative Möglichkeiten

Einführung

Wie cool wäre es, wenn es eine Plattform gäbe, auf der Ihre kreativen Visionen mit nur wenigen Klicks zum Leben erweckt werden – eine Welt, in der Sie hochmoderne KI-Modelle optimieren können, um atemberaubende Bilder zu erstellen, die einzigartig für Sie sind? Willkommen bei Civitai, einer dynamischen Plattform, die es sich zur Aufgabe gemacht hat, Kreativen durch den Zugriff auf eine riesige und ständig wachsende Bibliothek von Stabile Diffusionsmodelle. Egal, ob Sie Künstler, Designer oder KI-Fanatic sind, Civitai bietet Ihnen die Instruments zum Erkunden, Experimentieren und Zusammenarbeiten mit einer globalen Group. Sind Sie bereit, tiefer in das einzutauchen, was Civitai zur Anlaufstelle für kreative Innovationen macht? Lassen Sie es uns erkunden!

Überblick

1. Civitai ist eine kreative Plattform, auf der Benutzer KI-Modelle optimieren können, um mit Leichtigkeit einzigartige, atemberaubende Bilder zu erstellen.
2. Civitai gibt Entwicklern mehr Möglichkeiten, indem es einen gemeinsamen Raum zum Teilen und Entdecken benutzerdefinierter KI-Modelle bietet.
3. Die Plattform bietet vielfältige KI-generierte Modellesodass Benutzer mühelos einzigartige digitale Inhalte erstellen können.
4. Civitai unterstützt LoRA-Modelle und ermöglicht so eine effiziente Feinabstimmung großer KI-Modelle für bestimmte Aufgaben und Stile.
5. Civitai ist ein innovativer Hub für KI-Enthusiasten, der den Prozess der Erstellung fesselnder KI-gesteuerter Medien vereinfacht.

Was ist Civitai?

Civitai ist eine Plattform, auf der Feinabstimmung Enthusiasten können ihre Kreationen mühelos teilen und sich mit anderen Kreativen vernetzen. Es handelt sich um eine progressive Plattform, die die Erstellung und Erforschung von KI-generierten Medien verbessern soll. Sie bietet eine Umgebung, in der Benutzer benutzerdefinierte Modelle hochladen, teilen und entdecken können, die anhand verschiedener Datensätze trainiert wurden. Diese Modelle, die von KI-Mediensoftware unterstützt werden, dienen als einzigartige Instruments zur Generierung von Originalinhalten. Sie bietet Zugriff auf verschiedene Checkpoint-trainierte Modelle.

Grundlegende Terminologie

1. Modell-Checkpointing: Unter Modell-Checkpointing versteht man das Speichern des Standing eines Machine-Studying-Modells an bestimmten Punkten während des Trainings. Ein Checkpoint enthält die Gewichte, Bias und andere Parameter des Modells, die definieren, wie es Daten verarbeitet. Sie können das Coaching anhalten und später fortsetzen, indem Sie Checkpoints speichern oder diese gespeicherten Zustände (Checkpoints) für Schlussfolgerungen verwenden. Auf Plattformen wie Civitai können Benutzer diese Checkpoints herunterladen, um Inhalte zu generieren oder mit der Feinabstimmung von Modellen fortzufahren.
2. Basismodelle: Basismodelle sind vorab trainierte Machine-Studying-Modelle, die als Ausgangspunkt für weitere Feinabstimmungen dienen. Diese Modelle wurden anhand großer Datensätze trainiert und können spezifische Aufgaben wie die Bildgenerierung ausführen. Bei der Feinabstimmung eines Basismodells wird zusätzliches Coaching durchgeführt, um es an spezifischere Aufgaben oder Datensätze anzupassen, was häufig zu einer verbesserten Leistung führt.
3. LoRA (Low-Rank-Anpassung): LoRA ist eine Technik, mit der große Modelle effizienter feinabgestimmt werden können, indem zusätzliche trainierbare Parameter in Type von Matrizen mit niedrigem Rang eingeführt werden. LoRA passt beim Feinabstimmen nur eine kleine Teilmenge der Parameter an, wodurch der Prozess schneller und weniger ressourcenintensiv wird. LoRA ist besonders nützlich bei der Arbeit mit großen vorab trainierten Modellen wie Steady Diffusion, da Benutzer das Modell mit geringerem Rechenaufwand an neue Aufgaben oder Stile anpassen können.

Lesen Sie auch: Parametereffiziente Feinabstimmung großer Sprachmodelle mit LoRA und QLoRA

Civitai Modelle

Civitai Modell bezieht sich auf eine Algorithmus für maschinelles Lernen trainiert, Kunst oder Medien in einem bestimmten Stil zu produzieren. Um ein Mediengenerierungsmodell zu erstellen, wird ein Datensatz zusammengestellt, der den gewünschten Stil oder das gewünschte Thema repräsentiert, und zum Coaching verwendet. Das Modell generiert dann neue, originelle Medien, indem es Muster und Merkmale aus seinen Trainingsdaten identifiziert. Die Ausgabe ist keine exakte Kopie der Trainingsbeispiele, sondern eine einzigartige Kreation, die vom Datensatz inspiriert ist. Modelle können trainiert werden, um alles von fotorealistischen Bildern und abstrakten Mustern bis hin zu verschiedenen Audioarrangements, Kurzgeschichten oder sogar Movies zu produzieren, wodurch die Erstellung von Inhalten ermöglicht wird, deren manuelle Erstellung schwierig und zeitaufwändig wäre.

Schauen wir uns einige Modelle auf Civitai an:

1. Flussmittel

Dieses mit Checkpoints trainierte Modell ist ein sehr beliebtes Modell auf Civitai und kann heruntergeladen und lokal oder non-obligatory direkt auf der Plattform verwendet werden. Versuchen wir, mithilfe dieses Modells ein Bild zu generieren. stabiles Diffusionsmodell.

Ich habe ein 1024×1024-Bild mit dem Hinweis „Eine Particular person sitzt mit einem Ballon auf einem Baum“ erstellt. Sie können die Anzahl der Bilder auf 1 setzen, wenn Sie weniger Credit oder Buzz, wie sie genannt werden, ausgeben möchten. Nach der Anmeldung werden Ihnen 100 Buzz angeboten.

Notiz:

Mit der Choice „Erstellen“ auf Civitai können Benutzer Bilder mithilfe von KI-Modellen erstellen. Dabei kann es zu Einschränkungen hinsichtlich der Anzahl der Credit kommen. Wenn Sie das Modell jedoch herunterladen und lokal oder auf einem Dienst verwenden, der es unterstützt, sollten Sie auf keine Einschränkungen durch Civitai stoßen.

2. Photon_v1

Schauen wir uns ein weiteres stabiles Diffusions-Checkpoint-Modell auf Civitai an. Laden wir das Modell herunter und verwenden es dieses Mal. Wir brauchen ein Grafikkarte dafür, additionally werde ich für die Demo Google Colab verwenden.

Wir verwenden die stabile Diffusions-WebUI mit Automated 1111: Hyperlink

Beachten Sie, dass Zusammenarbeit bietet in der kostenlosen Model nur eingeschränkte Unterstützung für Automatic1111. Daher kann es schwierig werden, da die Verbindung zum Pocket book nach 5 Minuten Nutzung getrennt wird und Sie eine Warnung erhalten, wie „Sie führen möglicherweise unzulässigen Code aus.“ Wenn Ihr Pc über eine gute GPU verfügt, empfehle ich Ihnen, dies lokal durchzuführen.

Schauen wir uns den Code an.

Achten Sie darauf, den Laufzeittyp zu ändern und GPU auszuwählen:

1. Schritt 1: Klonen Sie das Automatic1111-Repository.

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

2. Schritt 2: Installieren Sie die Anforderungen aus der Textdatei.

!pip set up -r /content material/stable-diffusion-webui/necessities.txt

3. Schritt 3: Laden Sie das Modell herunter, laden Sie es auf Ihr Google Drive hoch und mounten Sie dann das Laufwerk.

Laden wir das Photon-Modell (v1) von Civitai herunter: Civitai Photon

Notiz: Sie können oben hyperlinks auf Ihrem Pocket book auf die Choice „Laufwerk mounten“ klicken.

4. Schritt 4: Verschieben wir die Datei vom Laufwerk in dieses Verzeichnis:

“/content material/stable-diffusion-webui/fashions/Steady-diffusion”

!mv /content material/drive/MyDrive/photon_v1.safetensors /content material/stable-diffusion-webui/fashions/Steady-diffusion/photon_v1.safetensors

5. Schritt 5: Jetzt können wir launch.py ​​ausführen und –share verwenden, um einen öffentlich zugänglichen Hyperlink zur Net-Benutzeroberfläche zu erhalten.

!python /content material/stable-diffusion-webui/launch.py --share

Wählen Sie photon_v1 im stabilen Diffusionsprüfpunkt aus und beginnen Sie mit der Eingabeaufforderung im Abschnitt text2img. Wie Sie sehen, habe ich „Ein Mann mit Regenschirm“ eingegeben und oben rechts auf „Generieren“ geklickt. Sie können die Einstellungen vor der Generierung gerne anpassen.

Sie können das Bild herunterladen, indem Sie mit der rechten Maustaste darauf klicken. Hier ist das 512 × 512 Bild, das ich erstellt habe.

3. Lora-Modelle in Civitai

Sehen wir uns an, wie die Lora-Modelle von Civitai verwendet werden:

Wir müssen ein Lora-Modell und sein Basismodell herunterladen, sonst können wir es nicht verwenden. Ich demonstriere dies anhand von: Vixons Anime-/Manga-Stile Lora-Modell.

Das Basismodell für dieses Lora-Modell ist das Pony-Modell; laden wir beide Modelle von Civitai herunter.

Pony Diffusion V6 XL: Klicken Sie hier

Sie können die Schritte ausführen, die wir im vorherigen Abschnitt zur Verwendung des Photon_v1-Modells ausgeführt haben. Fahren wir mit den verbleibenden Schritten fort:

1. Schritt 1: Laden Sie sowohl das Basismodell als auch das Lora-Modell herunter, laden Sie sie auf Ihr Google Drive hoch und mounten Sie dann das Laufwerk.
2. Schritt 2: Erstellen Sie ein neues Verzeichnis für das Lora-Modell. Verschieben Sie nun das Lora-Modell in den Lora-Ordner und das Basismodell in den stabilen Diffusionsordner.

!mv /content material/drive/MyDrive/ponyDiffusionV6XL_v6StartWithThisOne.safetensors /content material/stable-diffusion-webui/fashions/Steady-diffusion/ponyDiffusionV6XL_v6StartWithThisOne.safetensors

!mkdir /content material/stable-diffusion-webui/fashions/Lora

!mv /content material/drive/MyDrive/DragonBallZXLP.safetensors /content material/stable-diffusion-webui/fashions/Lora/DragonBallZXLP.safetensors

3. Schritt 3: Starten Sie die WebUI, indem Sie diese Zeile ausführen

!python /content material/stable-diffusion-webui/launch.py --share

Klicken Sie auf die öffentliche URL und Sie werden mit dieser Benutzeroberfläche begrüßt

Klicken Sie nun auf das Dropdown-Menü „Steady Diffusion Checkpoint“ und wählen Sie „Pony“ aus. Klicken wir nun auf den Abschnitt „Lora“ und wählen Sie „Vixons Anime-/Manga-Stile“ aus. Dann kann es losgehen.

Ich habe aufgefordert „ Goku, grüne Haare, Kampf, hohe Qualität, Dragon Ball Z, Aquarell (Medium), traditionelle Medien“, und klickte auf „Generieren“ (ich habe die Triggerwörter für das Modell verwendet, was zu besseren Ergebnissen führt. Sie finden die Triggerwörter auf der Seite des Modells auf Civitai – Klicken Sie hier)

Dies ist das Bild, das ich mit dem Anime-/Manga-Kinds-Lora-Modell von Vixon erstellt habe.

Abschluss

Civitai dient als innovativer Hub für KI-Enthusiasten und Entwickler und bietet eine Plattform für die Verfeinerung und Verbreitung von Modellen wie Steady Diffusion. Ob es um die Gestaltung digitaler Kunst oder das Ausprobieren von LoRA-TechnikenCivitai bietet eine breite Palette an Instruments und Ressourcen, um Kreativität zu inspirieren. Die einfache Möglichkeit, Modelle zu teilen und zu entdecken, fördert eine kollaborative Group für alle, die sich für KI-generierte Medien begeistern. Durch die Nutzung von Civitai können Entwickler neue Möglichkeiten für KI-gesteuerte Inhalte erkunden und so den Prozess der Erstellung einzigartiger und fesselnder Medien vereinfachen.

Häufig gestellte Fragen

Ich bin ein Technikbegeisterter und habe meinen Abschluss am Vellore Institute of Expertise gemacht. Momentan arbeite ich als Knowledge Science-Trainee. Ich interessiere mich sehr für Deep Studying und Generative AI.