Bild von Editor | Chatgpt

# Einführung

Umarmtes Gesicht ist für viele AI -Entwickler und Datenwissenschaftler zum Commonplace geworden, da es die Barriere für die Arbeit mit fortgeschrittener KI drastisch senkt. Anstatt mit KI -Modellen von Grund auf zu arbeiten, können Entwickler auf eine breite Palette von vorbereiteten Modellen ohne Probleme zugreifen. Benutzer können diese Modelle auch mit benutzerdefinierten Datensätzen anpassen und schnell bereitstellen.

Einer der umarmenden Gesichtsgerüst -API -Wrapper ist die Transformatoren -PipelinesEine Reihe von Paketen, die aus dem vorbereiteten Modell, seinem Tokenizer, seiner Vor- und Nachbearbeitung und zugehörigen Komponenten bestehen, um einen KI-Anwendungsfall zu erstellen. Diese Pipelines abstrakten komplexen Code und bieten eine einfache, nahtlose API.

Die Arbeit mit Transformatoren -Pipelines kann jedoch chaotisch werden und kann möglicherweise keine optimale Pipeline ergeben. Aus diesem Grund werden wir fünf verschiedene Möglichkeiten untersuchen, wie Sie Ihre Transformers -Pipelines optimieren können.

Lassen Sie uns darauf eingehen.

# 1. Batch -Inferenzanfragen

Bei Verwendung von Transformatoren -Pipelines verwenden wir häufig die Grafikverarbeitungseinheit (GPU) nicht vollständig. Die Batch -Verarbeitung mehrerer Eingänge kann die GPU -Nutzung erheblich verbessern und die Inferenzeffizienz verbessern.

Anstatt jeweils eine Probe zu verarbeiten, können Sie die Pipeline verwenden batch_size Parameter oder eine Liste von Eingängen übergeben, damit das Modell mehrere Eingänge in einem Vorwärtspass verarbeitet. Hier ist ein Codebeispiel:

from transformers import pipeline

pipe = pipeline(
    job="text-classification",
    mannequin="distilbert-base-uncased-finetuned-sst-2-english",
    device_map="auto"
)

texts = (
    "Nice product and quick supply!",
    "The UI is complicated and gradual.",
    "Assist resolved my subject shortly.",
    "Not well worth the worth."
)

outcomes = pipe(texts, batch_size=16, truncation=True, padding=True)
for r in outcomes:
    print(r)

Durch Batching -Anfragen können Sie einen höheren Durchsatz mit nur minimalen Auswirkungen auf die Latenz erzielen.

# 2. Verwenden Sie eine geringere Präzision und Quantisierung

Viele vorbereitete Modelle versagen inferenz, da Entwicklungs- und Produktionsumgebungen nicht genügend Speicher haben. Eine niedrigere numerische Präzision hilft bei der Verringerung des Speicherverbrauchs und beschleunigt die Schlussfolgerung, ohne viel Genauigkeit zu beeinträchtigen.

Hier finden Sie beispielsweise, wie Sie die halbe Präzision der GPU in einer Transformatoren -Pipeline verwenden:

import torch
from transformers import AutoModelForSequenceClassification

mannequin = AutoModelForSequenceClassification.from_pretrained(
    model_id,
    torch_dtype=torch.float16
)

In ähnlicher Weise können Quantisierungstechniken Modellgewichte komprimieren, ohne die Leistung merklich zu verschlechtern:

# Requires bitsandbytes for 8-bit quantization
from transformers import AutoModelForCausalLM

mannequin = AutoModelForCausalLM.from_pretrained(
    model_id,
    load_in_8bit=True,
    device_map="auto"
)

Durch die Verwendung niedrigerer Präzision und Quantisierung der Produktion wird normalerweise die Pipelines beschleunigt und die Speicherverwendung verringert, ohne die Modellgenauigkeit erheblich zu beeinflussen.

# 3. Wählen Sie effiziente Modellarchitekturen

In vielen Anwendungen benötigen Sie nicht das größte Modell, um die Aufgabe zu lösen. Die Auswahl einer leichteren Transformatorarchitektur, wie z. B. ein destilliertes Modell, ergibt häufig eine bessere Latenz und Durchsatz mit einem akzeptablen Kompromiss der Genauigkeit.

Kompaktmodelle oder destillierte Versionen, wie z. Distilbertbehalten Sie den größten Teil der Genauigkeit des ursprünglichen Modells, jedoch mit weitaus weniger Parametern, was zu einer schnelleren Folgerung führt.

Wählen Sie ein Modell, dessen Architektur für Inferenz optimiert ist und entspricht den Genauigkeitsanforderungen Ihrer Aufgabe.

# 4. Nutzen Sie das Caching

Viele Systemverschwendung berechnen sich, indem sie teure Arbeiten wiederholen. Das Caching kann die Leistung erheblich verbessern, indem die Ergebnisse kostspieliger Berechnungen wiederverwendet werden.

with torch.inference_mode():
    output_ids = mannequin.generate(
        **inputs,
        max_new_tokens=120,
        do_sample=False,
        use_cache=True
    )

Effizientes Caching verkürzt die Rechenzeit und verbessert die Reaktionszeiten und senkt die Latenz in Produktionssystemen.

# 5. Verwenden Sie eine beschleunigte Laufzeit über Optimum (ONNX -Laufzeit)

Viele Pipelines laufen in einem Pytorch Nicht so optimaler Modus, der Python-Overhead- und zusätzliche Speicherkopien hinzufügt. Verwendung Optimum mit Open Neural Community Alternate (ONNX) Laufzeit – über Onnx -Laufzeit – Konvertiert das Modell in einen statischen Graphen- und verschützt, sodass die Laufzeit schnellere Kerne auf einer zentralen Verarbeitungseinheit (CPU) oder einer GPU mit weniger Overhead verwenden kann. Das Ergebnis ist normalerweise eine schnellere Inferenz, insbesondere bei CPU oder gemischter {Hardware}, ohne wie Sie die Pipeline aufrufen.

Installieren Sie die erforderlichen Pakete mit:

pip set up -U transformers optimum(onnxruntime) onnxruntime

Konvertieren Sie dann das Modell mit solchen Code:

from optimum.onnxruntime import ORTModelForSequenceClassification

ort_model = ORTModelForSequenceClassification.from_pretrained(
    model_id,
    from_transformers=True
)

Indem Sie die Pipeline in ONNX -Laufzeit über optimum konvertieren, können Sie Ihren vorhandenen Pipeline -Code beibehalten und gleichzeitig eine geringere Latenz und eine effizientere Schlussfolgerung erhalten.

# Einpacken

Transformers Pipelines ist ein API -Wrapper im umarmenden Gesichtsgerüst, der die Entwicklung der AI -Anwendung erleichtert, indem komplexe Code in einfachere Schnittstellen kondensiert. In diesem Artikel haben wir fünf Tipps untersucht, um die Pipelines der Umarmung von Gesichtstransformatoren zu optimieren, von Batch -Inferenzanfragen über die Auswahl effizienter Modellarchitekturen bis hin zur Nutzung von Caching und darüber hinaus.

Ich hoffe das hat geholfen!

Cornellius Yudha Wijaya ist ein Information Science Assistant Supervisor und Datenautor. Während er in Vollzeit bei Allianz Indonesien arbeitet, liebt er es, Python- und Datentipps über soziale Medien und das Schreiben von Medien zu teilen. Cornellius schreibt über eine Vielzahl von KI- und maschinellen Lernthemen.

Artificiell Intelligens Och Stora Språkmodeller Har Blivit Alt Mer Tillgängliga, Männer att faktiskt Arbeta Med dem Kräver OFTA Spezialistkaper. Transformator Labor Försöker förändra detta Genom att erbjuda en plattform där utvecklare kan experimentera med ai-modeller lokalt utan att Behöva djupa tekniska kunskaper.

Transformator Lab ärr en öppen källkods-plattform som låter vem som helst bygga, finjustera och körra stora spåkmodeller (llm) lokalt på sin egen dator utan att benöva scriva kod. Plattformen som nyligen har fått sted från Mozilla Genom Deras Builders Programm, Riktar Sig bis Utvecklare Som Vill Integrera ai-modeller i Sina produkter utan att Behöva djupgående python-kunskaper eller eller Erfarenhet av maskinlärming.

Grundtanken är Enkel Males Kraftful: Din Dator, Dina Modeller, Dina Regler. I en värld där många ai-tjänster kärver molnanslutning och Betald Prenumeration, Erbjuder Transformator Lab ETT Alternativ Där du Behåller Voller Kontroll över dina ai-modeller.

Multimodalt Strud Och Visualiseringsverktyg

En av de mest spännande Plattformen Stöder Nu -Modeller Som kan Arbeta Med Både Textual content Och Bilder SamtIdig. DETTA Är Särskilt Intellesant Med Tanke På Den Snabba Utvecklings av multimodala ai-modeller som llama-3.2-11b-vision-intruct, Som Har Över 4,9 Miljoner Nedladdningar På umarme Gesichtsgesicht

Enkel Nedladdning AV -Modeller

Med ett enda klick kan du ladda ner hundratals populära modeller som llama3, phi3, phi4, Mistral, Mixtral, Gemma, Befehlsr Och Många Fler Direkt Från umarmtes Gesicht. Inga Krångliga Kommandoradskommandon Eller Manuella Konfigurationer Behövs.

Oavsett Om du Använder Home windows, Macos Eller Linux Kan du Använder Transformator Labor För att arbeta med Språkmodeller. DETTA Gör Plattformen Tillgänglig För Utvecklare Oavsett Deras Preferade Miljö.

Installationsvideo För Transformator Labor

OM du är intesserad av att prova transformator lab

• Besök Den officiella hemsidan (https://transformerlab.ai).
• LADDA NER APPALIKATIONEN För Ditt Operativsystem (Home windows, MacOS Eller Linux).
• Starta Applikationden för attkomma Åt Huvudgränssnittet.
• Navigera Until Fliken ”Lokaler Motor“ Och Klicka På ”Join” För Attalera Nödvänderdiga Bibliotek.
• Den Enkelklicks-Installationsprozessen Förenklar Installationsupplevelsen.

Mer Information: