# Einführung

Ein LLM-Ingenieur ist nicht dasselbe wie ein allgemeiner Ingenieur für maschinelles Lernen. Während ein Ingenieur für maschinelles Lernen Monate damit verbringen könnte, ein neuronales Netzwerk von Grund auf zu trainieren, konzentriert sich die Arbeit eines LLM-Ingenieurs auf die Anpassung, Orchestrierung und Bereitstellung vorab trainierter großer Sprachmodelle (LLMs). Die Aufgabe besteht darin, ein leistungsfähiges Grundmodell in etwas umzuwandeln, das in einem echten Produkt zuverlässig nützliche Arbeit leistet.

Die Nachfrage nach dieser Rolle ist im Jahr 2026 erheblich gestiegen. LLM-Funktionen, die in den Jahren 2023 und 2024 als interne Demoversionen dienten, werden jetzt als Produktionssysteme ausgeliefert, und Unternehmen benötigen Ingenieure, die sie erstellen und warten können. Die erforderlichen Fähigkeiten sind so spezifisch, dass Sie mit einem allgemeinen Hintergrund im Bereich maschinelles Lernen an die Startlinie gelangen, aber nicht viel weiter.

Diese Roadmap deckt fünf Kompetenzbereiche der Reihe nach ab: Grundlagen, Eingabeaufforderung und Werkzeugaufruf, Abruf, Feinabstimmung und Ausrichtung sowie Bereitstellung und Betrieb. Jeder Schritt endet mit einem konkreten Projekt, mit dem Sie noch heute einen Editor öffnen und mit der Erstellung beginnen können. Am Ende haben Sie eine klare Vorstellung davon, was Sie in welcher Reihenfolge lernen müssen.

# Schritt 1: Aufbau des Fundaments

Wenn Sie bereits mit Python arbeiten und über fundierte Kenntnisse des maschinellen Lernens verfügen, können Sie diesen Schritt schnell durchführen. Hier kommt es darauf an, ein Verständnis dafür zu entwickeln, wie sich LLMs auf Token-Ebene verhalten, und nicht darauf, die Aufmerksamkeit wieder von den ersten mathematischen Prinzipien abzulenken.

Sie benötigen ein Verständnis der vier Konzepte auf Arbeitsebene: Token (die Einheiten, die Modelle tatsächlich verarbeiten), Einbettungen (wie Token zu Vektoren im hochdimensionalen Raum werden), Aufmerksamkeit (wie das Modell Beziehungen zwischen Token gewichtet) und den Transformatorblock als sich wiederholende Architektureinheit. Sie müssen diese nicht von Grund auf implementieren. Sie müssen sie intestine genug verstehen, um darüber nachdenken zu können, warum sich ein Modell so verhält, wie es sich verhält.

PyTorch und die Umarmendes Gesicht Ökosystem (insbesondere Transformatoren Und Datensätze) sind die Standardarbeitsumgebung für diese Rolle. Vertrautheit mit beidem wird erwartet.

Projekt: Laden Sie ein kleines offenes Modell Verwenden Sie die Transformers-Bibliothek und führen Sie die Textgenerierung über eine Eingabeaufforderung aus.

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "HuggingFaceTB/SmolLM2-135M-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
mannequin = AutoModelForCausalLM.from_pretrained(model_id)

inputs = tokenizer("Clarify what a transformer is:", return_tensors="pt")
outputs = mannequin.generate(**inputs, max_new_tokens=80)
print(tokenizer.decode(outputs(0), skip_special_tokens=True))

Dadurch erhalten Sie ein konkretes Gefühl für die tokenize-forward-decode-Schleife, bevor Sie irgendetwas darüber schichten.

# Schritt 2: Eingabeaufforderungen entwerfen und Instrument-Aufrufsysteme erstellen

Auffordern ist keine Smooth Talent. Es ist der erste Hebel, nach dem ein LLM-Ingenieur greift, und um es richtig zu machen, ist systematisches Denken erforderlich: strukturierte Systemmeldungen, bewusst platzierte Wenig-Shot-Beispiele und JSON-Ausgabeschemata, die das Modellverhalten auf etwas beschränken, das ein nachgelagertes System zuverlässig analysieren kann.

Die Decke ist genauso wichtig wie der Boden. Eine Eingabeaufforderung allein reicht nicht mehr aus, wenn Sie ein Modell benötigen, das auf den externen Zustand reagiert, und nicht nur auf die Vernunft über den Textual content. Hier kommt der Instrument-Aufruf ins Spiel, und im Jahr 2026 handelt es sich um eine erstklassige Funktion in jeder wichtigen Modell-API und nicht um einen fortgeschrittenen Trick.

Werkzeugaufruf funktioniert, indem es dem Modell eine Reihe von Funktionssignaturen gibt und es basierend auf der Anfrage des Benutzers entscheiden lässt, welche aufgerufen werden soll. Das Modell gibt einen strukturierten Aufruf zurück; Ihr Code führt es aus und gibt das Ergebnis zurück; Das Modell integriert dieses Ergebnis in seine nächste Antwort. Diese Schleife ist der architektonische Kern eines Agentensystems, das Sie in Schritt 3 erweitern.

Eine wissenswerte Richtung: Sobald Sie Testmetriken haben, anhand derer Sie optimieren können, können Sie Frameworks zur programmatischen Immediate-Optimierung verwenden DSPy ermöglicht es Ihnen, die sofortige Konstruktion als Optimierungsproblem und nicht als manuelle Optimierungsaufgabe zu behandeln.

Projekt: Ein Befehlszeilentool, das eine Benutzeranfrage beantwortet, indem es über einen nativen Toolaufruf eine externe Wetter- oder Aktien-API aufruft und dann die Antwort formatiert.

instruments = (
    {
        "identify": "get_weather",
        "description": "Get present climate for a metropolis",
        "input_schema": {
            "sort": "object",
            "properties": {"metropolis": {"sort": "string"}},
            "required": ("metropolis")
        }
    }
)

response = consumer.messages.create(
    mannequin="claude-sonnet-4-20250514",
    max_tokens=512,
    instruments=instruments,
    messages=({"function": "person", "content material": "What's the climate in Bangkok?"})
)

Das Modell gibt a zurück tool_use Inhaltsblock. Ihr Code übernimmt den Versand, ruft die echte API auf und gibt das Ergebnis zurück.

# Schritt 3: Aufbau von Retrieval-Systemen, die über die Grundlagen hinausgehen

Retrieval-Augmented Technology (RAG) ist mittlerweile eine Standardarchitektur für LLM-Anwendungen, die Fragen zu privaten oder häufig aktualisierten Daten beantworten müssen. Bevor Sie etwas Fortgeschrittenes erstellen, machen Sie sich mit der Basispipeline vertraut: Teilen Sie Dokumente in Segmente auf, betten Sie jeden Block in einen Vektor ein, speichern Sie Vektoren in einer Vektordatenbank, rufen Sie die relevantesten Blöcke zum Zeitpunkt der Abfrage ab und fügen Sie sie im Kontextfenster des Modells zusammen.

Das eigentliche Engineering beginnt, sobald das naive Abrufen funktioniert. Bei der Suche nach sparsamen Schlüsselwörtern und bei der dichten Einbettungssuche werden jeweils unterschiedliche Abfragen übersehen. Durch die Kombination als Hybridsuche und die anschließende Anwendung eines Rerankings zur Neuordnung der Ergebnisse nach Relevanz für die spezifische Frage wird die Suchgenauigkeit bei echten Dokumenten zuverlässig erhöht. Semantisches Routing, bei dem ein Klassifikator Abfragen an die entsprechende Quelle sendet, bevor der Abruf beginnt, verarbeitet Systeme mit mehreren Quellen, ohne dass dabei eine einzelne Quelle beeinträchtigt wird.

Häufige Fehlermodi: Zu große Blöcke verwässern das Sign, zu kleine Blöcke verlieren den Kontext und Abruffehler führen zu sicher klingenden falschen Antworten. Um diese zu debuggen, müssen Sie die Abrufqualität getrennt von der Generierungsqualität messen.

Denken Sie hier an den Agenten-Thread aus Schritt 2: Retrieval ist ein Instrument, das ein Agent aufrufen kann, um anhand der Abfrage auszuwählen, wann etwas nachgeschlagen werden soll. Für komplexe non-public Daten mit dichten Entitätsbeziehungen bieten Information-Graph-Ansätze (manchmal auch GraphRAG genannt) eine tiefergehende, erkundungswürdige Possibility.

Die Optionen für den Vektorspeicher reichen von lokal (FAISS, Chroma) zu verwaltet (Weben, Tannenzapfen). LangChain, LamaIndexUnd LangGraph sind die primären Orchestrierungs-Frameworks.

Projekt: Ein Dokument-Antwortsystem, das Selbstreflexion nutzt, um die Abfrage neu zu schreiben, wenn der erste Abrufversuch Ergebnisse mit geringer Konfidenz liefert.

from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings

embedder = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(docs, embedder)
retriever = vectorstore.as_retriever(search_kwargs={"ok": 5})
outcomes = retriever.invoke("What are the contract renewal phrases?")

Bewerten Sie nach dem Abrufen die Ergebnisse. Wenn die Konfidenz unter dem Schwellenwert liegt, schreiben Sie die Abfrage mit dem Modell neu und rufen Sie sie vor der Generierung erneut ab.

# Schritt 4: Feinabstimmung und Ausrichtung der Modelle

Auffordern und Abrufen lösen die meisten Probleme. Eine Feinabstimmung ist dann angebracht, wenn Sie ein Modell benötigen, um konsistent ein bestimmtes Format, einen Ton oder ein bestimmtes Domänenvokabular zu übernehmen, das durch Eingabeaufforderungen nicht zuverlässig durchgesetzt werden kann, oder wenn Sie die Inferenzkosten reduzieren müssen, indem Sie das Verhalten in einem kleineren Modell destillieren.

Parametereffiziente Methoden sind der Standardausgangspunkt. Mit Low-Rank Adaptation (LoRA) und seiner quantisierten Variante QLoRA können Sie einen kleinen Satz von Adaptergewichten auf einem eingefrorenen Basismodell trainieren und so erhebliche Verhaltensänderungen zu einem Bruchteil der Rechenkosten einer vollständigen Feinabstimmung erzielen. Der PEFT Und TRL Bibliotheken im Hugging Face-Ökosystem beherrschen beides.

Direct Choice Optimization (DPO) ist heute eine gängige Methode, um das Modellverhalten an bevorzugten Ergebnissen auszurichten, ohne die Komplexität des Reinforcement Studying from Human Suggestions (RLHF). Es basiert auf Paaren bevorzugter und abgelehnter Vervollständigungen und hat PPO-basierte Ansätze zur Ton- und Stilausrichtung weitgehend ersetzt.

In die Kuratierung von Datensätzen wird tatsächlich die meiste Entwicklungszeit investiert. Ein fein abgestimmtes Modell ist nur so intestine wie seine Trainingsbeispiele, und die Erstellung sauberer, repräsentativer Präferenzpaare dauert länger als der Trainingslauf selbst.

Die Evaluierung ist hier eine erstklassige technische Aufgabe: das Erstellen programmatischer Evaluierungssätze, das Schreiben von Testsuiten, die das Ausgabeformat und die sachliche Einhaltung überprüfen, und die Implementierung von Leitplanken, die Fehlermodi erkennen, bevor sie Benutzer erreichen. Ragas Und Phönix sind praktische Werkzeuge sowohl für die Bewertung als auch für die Beobachtbarkeit.

Projekt: Optimieren Sie ein kleines offenes Modell so, dass es einem bestimmten Unternehmenston entspricht, und messen Sie dann die Einhaltung anhand einer Grundlinie mithilfe eines programmatischen Evaluators.

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM

base_model = AutoModelForCausalLM.from_pretrained("HuggingFaceTB/SmolLM2-360M")
lora_config = LoraConfig(r=16, lora_alpha=32, target_modules=("q_proj", "v_proj"))
mannequin = get_peft_model(base_model, lora_config)
mannequin.print_trainable_parameters()

Die Ausgabe zeigt etwa 1–2 % der gesamten Parameter, die als trainierbar markiert sind, was charakteristisch für eine effiziente LoRA-Konfiguration ist.

# Schritt 5: Bereitstellung und Betrieb von LLM-Anwendungen

Ein Modell lokal zum Laufen zu bringen und es für den Produktionsverkehr bereitzustellen, sind unterschiedliche technische Probleme. Open-Weights-Modelle erfordern eine Inferenzinfrastruktur, die Batchverarbeitung (die gleichzeitige Bearbeitung mehrerer Anforderungen zur Maximierung der GPU-Auslastung) und Quantisierung (Verringerung der numerischen Präzision, um den Speicherbedarf zu verringern und den Durchsatz zu erhöhen) übernimmt. vLLM ist die Standardwahl für durchsatzoptimiertes Servieren; Ollama kümmert sich um lokale Entwicklung und Checks. Bits und Bytes deckt die 4-Bit- und 8-Bit-Quantisierung ab.

LLMOps ist die operative Ebene: Verfolgung der Token-Nutzung professional Anfrage, Protokollierung von Ein- und Ausgaben für Debugging und Compliance, Versionierung von Eingabeaufforderungen neben dem Anwendungscode, damit Sie früheres Verhalten reproduzieren können, und Überwachung von Kosten und Latenz im Laufe der Zeit. Dies sind die Praktiken, die einen funktionierenden Prototyp von einem wartbaren Produktionssystem trennen. Gewichte und Voreingenommenheiten kümmert sich um die Experimentverfolgung; Phoenix deckt die Produktionsbeobachtbarkeit ab.

Behalten Sie diese Arbeit auf der Anwendungsebene. Der Schwerpunkt liegt hier auf der Zuverlässigkeit und dem Kostenprofil Ihrer Anwendung und ihrer Codebasis, nicht auf dem organisationsweiten Infrastrukturdesign.

Projekt: Binden Sie das Abrufsystem aus Schritt 3 hinter eine schlanke API und fügen Sie einen Telemetrie-Logger hinzu, der die Token-Anzahl, die Latenz und die geschätzten Kosten professional Anruf verfolgt.

from fastapi import FastAPI
import time

app = FastAPI()

@app.submit("/question")
async def query_endpoint(query: str):
    begin = time.time()
    response = rag_chain.invoke(query)
    latency_ms = (time.time() - begin) * 1000
    log_telemetry(query, response, latency_ms)
    return {"reply": response, "latency_ms": latency_ms}

Das frühzeitige Hinzufügen strukturierter Telemetrie zahlt sich aus: Kostenüberraschungen und Latenzregressionen sind viel einfacher zu erkennen, wenn Sie über Basisdaten verfügen.

# Empfohlene Lernressourcen

Kurse und Tutorials:

Bücher:

• Praktische große Sprachmodelle von Jay Alammar und Maarten Grootendorst
• Erstellen Sie ein großes Sprachmodell (von Grund auf) von Sebastian Raschka

Dokumentation, die es wert ist, mit einem Lesezeichen versehen zu werden: Die Hugging Face PEFT-DokumenteDie LangGraph-Tutorials auf Agentenschleifen und die vLLM-Bereitstellungshandbuch.

# Letzte Gedanken

Diese fünf Schritte bilden einen Stapel, bei dem jede Schicht von der darunter liegenden abhängt. Grundlagen vermitteln Ihnen das Vokabular, um über das Verhalten von Modellen nachzudenken. Eingabeaufforderungen und Toolaufrufe stellen Ihnen die primäre Schnittstelle zur Modellfunktion dar. Retrieval verbindet Modelle mit externem Wissen. Durch Feinabstimmung und Ausrichtung können Sie das Modellverhalten an spezifische Anforderungen anpassen. Durch die Bedienung und den Betrieb läuft alles zuverlässig unter Final.

Ein realistischer Zeitrahmen für jemanden mit Erfahrung im Bereich maschinelles Lernen sind drei bis sechs Monate konzentrierter Arbeit, um Vertrauen in allen fünf Bereichen aufzubauen, wobei das erste Projekt lange vorher ausgeliefert werden sollte. In dieser Rolle ist das Portfolio wichtiger als Zertifikate. Eine öffentliche Demo eines funktionierenden Retrieval-Methods oder eines fein abgestimmten Modells mit dokumentierten Evaluierungsergebnissen demonstriert die Kompetenz direkter als jeder Kursabschluss.

Wenn Ihr Interesse eher auf Systemdesign, Infrastruktur und Organisationsarchitektur als auf die Entwicklung auf Codeebene gerichtet ist, sollten Sie die Arbeit als KI-Architekt erkunden. Die beiden Rollen haben dieselben Grundlagen, weichen jedoch nach Schritt 1 stark voneinander ab.

Beginnen Sie nur dann mit Schritt 1, wenn Sie ihn benötigen. Versenden Sie dann etwas Kleines von Ende zu Ende, bevor Sie sich intensiv mit einem einzelnen Bereich befassen.

Vinod Chugani ist ein KI- und Datenwissenschaftspädagoge, der die Lücke zwischen neuen KI-Technologien und der praktischen Anwendung für Berufstätige schließt. Zu seinen Schwerpunkten zählen Agentische KI, Anwendungen für maschinelles Lernen und Automatisierungsworkflows. Durch seine Arbeit als technischer Mentor und Ausbilder hat Vinod Datenprofis bei der Kompetenzentwicklung und bei Karriereübergängen unterstützt. Er bringt analytisches Fachwissen aus dem quantitativen Finanzwesen in seinen praxisorientierten Lehransatz ein. Sein Inhalt betont umsetzbare Strategien und Rahmenbedingungen, die Fachleute sofort anwenden können.

Bild vom Autor

# Einführung

Für einen LLM-Ingenieur kann sich das Ökosystem aus Instruments und Bibliotheken zunächst überwältigend anfühlen. Wenn Sie sich jedoch mit den richtigen Python-Bibliotheken vertraut machen, wird Ihnen die Arbeit erheblich erleichtert. Über die Kenntnis der Python-Grundlagen hinaus müssen Sie mit Bibliotheken und Frameworks vertraut sein, die Ihnen beim Erstellen, Feinabstimmen und Bereitstellen von LLM-Anwendungen helfen.

In diesem Artikel erkunden wir zehn Python-Bibliotheken, -Instruments und -Frameworks, die Ihnen dabei helfen:

• Zugriff auf und Arbeiten mit Fundamentmodellen
• Erstellen von LLM-basierten Anwendungen
• Implementierung der Retrieval-Augmented Technology (RAG)
• Modelle effizient optimieren
• Bereitstellung und Bereitstellung von LLMs in der Produktion
• Erstellen und Überwachen von KI-Agenten

Fangen wir an.

# 1. Hugging Face Transformers

Bei der Arbeit mit LLMs Umarmende Gesichtstransformatoren ist die Anlaufstelle für den Zugriff auf Tausende vorab trainierter Modelle. Diese Bibliothek bietet eine einheitliche API für die Arbeit mit verschiedenen Transformatorarchitekturen.

Aus diesem Grund ist die Transformers-Bibliothek für LLM-Ingenieure unerlässlich:

• Bietet Zugriff auf Tausende vorab trainierter Modelle über das Umarmender Gesichtshub für allgemeine Aufgaben wie Texterstellung, Klassifizierung und Beantwortung von Fragen
• Bietet eine konsistente Schnittstelle über verschiedene Modellarchitekturen hinweg, was das Experimentieren mit verschiedenen Modellen erleichtert, ohne Code neu schreiben zu müssen
• Enthält integrierte Unterstützung für Tokenisierung, Modellladen und Inferenz mit nur wenigen Codezeilen
• Unterstützt beides PyTorch Und TensorFlow Backends, die Ihnen Flexibilität bei der Wahl des Frameworks geben

Der Hugging Face LLM-Kurs ist eine umfassende kostenlose Ressource, die Ihnen dabei hilft, viel Übung im Umgang mit der Transformers-Bibliothek zu sammeln.

# 2. LangChain

LangChain ist zum beliebtesten Framework für die Erstellung von Anwendungen geworden, die auf Sprachmodellen basieren. Es vereinfacht den Prozess der Erstellung komplexer LLM-Workflows durch die Bereitstellung modularer Komponenten, die nahtlos zusammenarbeiten.

Zu den wichtigsten Funktionen, die LangChain nützlich machen, gehören:

• Vorgefertigte Ketten für gängige Muster wie Fragenbeantwortung, Zusammenfassung und Konversationsagenten, damit Sie schnell loslegen können
• Integration mit Dutzenden von LLM-Anbietern, Vektordatenbanken und Datenquellen über eine einheitliche Schnittstelle
• Unterstützung für fortgeschrittene Techniken wie das ReAct-Muster, Selbstkritik und mehrstufiges Denken
• Integrierte Speicherverwaltung zur Aufrechterhaltung des Konversationskontexts über mehrere Interaktionen hinweg

DeepLearning.AI bietet mehrere Kurzkurse zu LangChain an, darunter LangChain für die LLM-Anwendungsentwicklung Und LangChain: Chatten Sie mit Ihren Daten. Diese praxisorientierten Kurse bieten praktische Beispiele, die Sie sofort anwenden können.

# 3. Pydantische KI

Pydantische KI ist ein Python-Agent-Framework, das vom Pydantic-Crew entwickelt wurde. Es wurde mit dem Schwerpunkt auf Typsicherheit und Validierung entwickelt und zeichnet sich als eines der zuverlässigsten Frameworks für die Bereitstellung von Agentensystemen in Produktionsqualität aus.

Hier sind die Funktionen, die Pydantic AI nützlich machen:

• Erzwingt strikte Typsicherheit während des gesamten Agentenlebenszyklus
• Das Framework ist modellunabhängig und unterstützt sofort eine Vielzahl von Anbietern
• Bietet native Unterstützung für Mannequin Context Protocol (MCP), Agent2Agent (A2A) und UI-Ereignis-Streaming-Requirements, sodass Agenten in externe Instruments integrieren, mit anderen Agenten zusammenarbeiten und interaktive Anwendungen steuern können
• Beinhaltet eine integrierte dauerhafte Ausführung, die es Agenten ermöglicht, sich nach API-Fehlern und Anwendungsneustarts wiederherzustellen
• Wird mit einem speziellen Bewertungssystem geliefert und ist in integriert Pydantisches Holzfeuer für die Beobachtbarkeit

Erstellen Sie mit Pydantic AI produktionsbereite KI-Agenten in Python Und Multi-Agent-Muster – Pydantic AI sind beides nützliche Ressourcen.

# 4. LamaIndex

LamaIndex ist tremendous nützlich für die Verbindung von LLMs mit externen Datenquellen. Es wurde speziell für den Aufbau von Retrieval-Augmented Technology (RAG)-Systemen und Agenten-Dokumentverarbeitungs-Workflows entwickelt.

Hier erfahren Sie, warum LlamaIndex für RAG- und Agenten-RAG-Anwendungen nützlich ist:

• Bietet Datenkonnektoren zum Laden von Dokumenten aus verschiedenen Quellen, einschließlich Datenbanken, APIs, PDFs und Cloud-Speicher
• Bietet ausgefeilte Indizierungsstrategien, die für verschiedene Anwendungsfälle optimiert sind, von einfachen Vektorspeichern bis hin zu hierarchischen Indizes
• Enthält integrierte Abfrage-Engines, die das Abrufen mit LLM-Argumentation kombinieren, um genaue Antworten zu erhalten
• Übernimmt automatisch Chunking, Einbettung und Metadatenverwaltung und vereinfacht so RAG-Pipelines

Der Starter-Tutorial (Verwendung von OpenAI) in der LlamaIndex Python-Dokumentation ist ein guter Ausgangspunkt. Erstellen von Agentic RAG mit LlamaIndex von DeepLearning.AI ist auch eine nützliche Ressource.

# 5. Unfault

Die Feinabstimmung von LLMs kann speicherintensiv und langsam sein, und das ist der Grund Unfault kommt ins Spiel. Diese Bibliothek beschleunigt den Feinabstimmungsprozess und reduziert gleichzeitig den Speicherbedarf. Dies ermöglicht die Feinabstimmung größerer Modelle auf Shopper-{Hardware}.

Was Unsloth nützlich macht:

• Erreicht Trainingsgeschwindigkeiten, die bis zu 2–5 Mal schneller sind als herkömmliche Feinabstimmungsansätze, und verbraucht dabei deutlich weniger Speicher
• Vollständig kompatibel mit Hugging Face Transformers und kann als Ersatz verwendet werden
• Unterstützt gängige effiziente Feinabstimmungsmethoden wie LoRA und QLoRA sofort einsatzbereit
• Funktioniert mit einer Vielzahl von Modellarchitekturen, einschließlich Llama, Mistral und Gemma

Feinabstimmung für Anfänger Und Leitfaden zur Feinabstimmung von LLMs Beides sind praktische Leitfäden.

# 6. VLLM

Beim Einsatz von LLMs in der Produktion sind Inferenzgeschwindigkeit und Speichereffizienz von entscheidender Bedeutung. vLLM ist eine leistungsstarke Inferenz-Engine, die den Bereitstellungsdurchsatz im Vergleich zu Standardimplementierungen verbessert.

Hier erfahren Sie, warum vLLM für Produktionsbereitstellungen unerlässlich ist:

• Verwendungsmöglichkeiten PagedAchtungein Algorithmus, der die Speichernutzung während der Inferenz optimiert und so höhere Stapelgrößen ermöglicht
• Unterstützt kontinuierliches Batching, wodurch die GPU-Auslastung durch dynamisches Gruppieren von Anforderungen maximiert wird
• Bietet OpenAI-kompatible API-Endpunkte und erleichtert so den Wechsel von OpenAI zu selbstgehosteten Modellen
• Erzielt einen deutlich höheren Durchsatz als Basisimplementierungen

Beginnen Sie mit dem vLLM-Schnellstartanleitung und prüfen vLLM: Einfache Bereitstellung und Bereitstellung von LLMs für eine Komplettlösung.

# 7. Ausbilder

Die Arbeit mit strukturierten Ergebnissen von LLMs kann eine Herausforderung sein. Lehrer ist eine Bibliothek, die Pydantic-Modelle nutzt, um sicherzustellen, dass LLMs ordnungsgemäß formatierte, validierte Daten zurückgeben, was die Erstellung zuverlässiger Anwendungen erleichtert.

Zu den Hauptfunktionen von Teacher gehören:

• Automatische Validierung von LLM-Ausgaben anhand von Pydantic-Schemas, um Typsicherheit und Datenkonsistenz zu gewährleisten
• Unterstützung für komplexe verschachtelte Strukturen, Aufzählungen und benutzerdefinierte Validierungslogik
• Wiederholungslogik mit automatischer Eingabeaufforderungsverfeinerung, wenn die Validierung fehlschlägt
• Integration mit mehreren LLM-Anbietern, einschließlich OpenAI, Anthropic und lokalen Modellen

Lehrer für Anfänger ist ein guter Ausgangspunkt. Der Kochbuchsammlung für Lehrer liefert mehrere praktische Beispiele.

# 8. LangSmith

Da LLM-Anwendungen immer komplexer werden, werden Überwachung und Fehlerbehebung immer wichtiger. LangSmith ist eine Observability-Plattform, die speziell für LLM-Anwendungen entwickelt wurde. Es hilft Ihnen, Ihre Systeme zu verfolgen, zu debuggen und auszuwerten.

Was LangSmith für Produktionssysteme wertvoll macht:

• Vollständige Nachverfolgung von LLM-Aufrufen mit Anzeige von Eingaben, Ausgaben, Latenz und Token-Nutzung in Ihrer gesamten Anwendung
• Datensatzverwaltung zur Auswertung, sodass Sie Änderungen anhand historischer Beispiele testen können
• Anmerkungstools zum Sammeln von Suggestions und zum Erstellen von Bewertungsdatensätzen
• Integration mit LangChain und anderen Frameworks

LangSmith 101 für KI-Beobachtbarkeit | Vollständige Komplettlösung von James Briggs ist eine gute Referenz.

# 9. FastMCP

Mannequin Context Protocol (MCP)-Server ermöglichen LLMs die standardisierte Verbindung mit externen Instruments und Datenquellen. FastMCP ist ein Python-Framework, das die Erstellung von MCP-Servern vereinfacht und es so einfach macht, LLMs Zugriff auf Ihre benutzerdefinierten Instruments, Datenbanken und APIs zu gewähren.

Was FastMCP für die LLM-Integration besonders nützlich macht:

• Bietet eine einfache, von FastAPI inspirierte Syntax zum Definieren von MCP-Servern mit minimalem Boilerplate-Code
• Bewältigt die gesamte Komplexität des MCP-Protokolls automatisch, sodass Sie sich auf die Implementierung Ihrer Device-Logik konzentrieren können
• Unterstützt die Definition von Instruments, Ressourcen und Eingabeaufforderungen, die LLMs dynamisch erkennen und verwenden können
• Integriert sich mit Claude Desktop und andere MCP-kompatible Shoppers zum sofortigen Testen

Beginnen Sie mit Schnellstart zu FastMCP. Für Lernressourcen, die über die Dokumentation hinausgehen, FastMCP – der beste Weg, einen MCP-Server mit Python zu erstellen ist auch eine gute Einleitung. Obwohl nicht spezifisch für FastMCP, MCP Agentic AI Crashkurs mit Python von Krish Naik ist eine ausgezeichnete Ressource.

# 10. CrewAI

Der Aufbau von Multiagentensystemen wird immer beliebter und nützlicher. CrewAI bietet ein intuitives Framework für die Orchestrierung von KI-Agenten, die zusammenarbeiten, um komplexe Aufgaben zu erledigen. Der Fokus liegt auf Einfachheit und Produktionsreife.

Aus diesem Grund ist CrewAI für fortgeschrittenes LLM-Engineering wichtig:

• Ermöglicht die Bildung von Groups spezialisierter Agenten mit definierten Rollen, Zielen und Hintergrundgeschichten, die autonom zusammenarbeiten
• Unterstützt sequentielle und hierarchische Aufgabenausführungsmuster und ermöglicht so eine versatile Workflow-Gestaltung
• Enthält integrierte Instruments für die Websuche, Dateivorgänge und die Erstellung benutzerdefinierter Instruments, die Agenten verwenden können
• Erledigt die Agentenzusammenarbeit, Aufgabendelegierung und Ausgabeaggregation automatisch mit minimaler Konfiguration

Der CrewAI-Ressourcen Die Seite enthält nützliche Fallstudien, Webinare und mehr. Multi-KI-Agentensysteme mit CrewAI von DeepLearning.AI Bietet praktische Implementierungsbeispiele und reale Projektmuster.

# Zusammenfassung

Diese Bibliotheken und Frameworks können nützliche Ergänzungen zu Ihrer Python-Toolbox sein, wenn Sie LLM-Anwendungen erstellen. Sie werden zwar nicht alle davon in jedem Projekt verwenden, aber wenn Sie mit jedem vertraut sind, werden Sie ein vielseitigerer und effektiverer LLM-Ingenieur.

Um Ihr Verständnis zu vertiefen, sollten Sie in Betracht ziehen, Finish-to-Finish-Projekte zu erstellen, die mehrere dieser Bibliotheken kombinieren. Hier sind einige Projektideen, die Ihnen den Einstieg erleichtern sollen:

• Erstellen Sie ein RAG-System mit LlamaIndex, Chroma und Pydantic AI für die Beantwortung von Dokumentfragen mit typsicheren Ausgaben
• Erstellen Sie MCP-Server mit FastMCP, um Claude mit Ihren internen Datenbanken und Instruments zu verbinden
• Erstellen Sie mit CrewAI und LangChain ein Multi-Agenten-Forschungsteam, das bei der Analyse von Markttrends zusammenarbeitet
• Optimieren Sie ein Open-Supply-Modell mit Unsloth und stellen Sie es mithilfe von vLLM mit strukturierten Ausgaben über Teacher bereit

Viel Spaß beim Lernen und Bauen!

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Neighborhood zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.

Bild vom Autor

# Einführung

Ich weiß, dass viele Menschen sich eingehend mit LLMs befassen möchten, und obwohl Kurse und Artikel großartig sind, um sich ein breiteres Wissen anzueignen, muss man für ein tieferes Verständnis unbedingt auf Bücher zurückgreifen. Was mir persönlich an Büchern auch gefällt, ist ihre Struktur. Ihre Reihenfolge ist intuitiver und kohärenter als bei Kursen, die manchmal den Eindruck erwecken, dass sie überfüllt sind. Mit dieser Motivation starten wir eine neue Serie für unsere Leser, um 5 KOSTENLOSE, aber absolut lohnende Bücher für verschiedene Rollen zu empfehlen. Wenn Sie additionally ernsthaft verstehen möchten, wie große Sprachmodelle (LLMs) wirklich funktionieren, finden Sie hier meine Empfehlungen 5 KOSTENLOSE Bücher mit dem du beginnen solltest.

# 1. Grundlagen großer Sprachmodelle

Veröffentlicht Anfang 2025, Grundlagen großer Sprachmodelle ist eines der am besten strukturierten und konzeptionell klarsten Bücher, das für jeden geschrieben wurde, der tatsächlich verstehen möchte, wie LLMs aufgebaut, trainiert und ausgerichtet werden. Die Autoren (Tong Xiao und Jingbo Zhu) sind beide bekannte Persönlichkeiten in der Verarbeitung natürlicher Sprache (NLP). Anstatt jede neue Architektur oder jeden neuen Pattern im Eiltempo durchzugehen, erläutern sie sorgfältig die Kernmechanismen moderner Modelle wie GPT, BERT und LLaMA.

Das Buch betont grundlegendes Denken: Was Pre-Coaching eigentlich bedeutet, wie generative Modelle intern funktionieren, warum Aufforderungsstrategien wichtig sind und was „Ausrichtung“ wirklich bedeutet, wenn Menschen versuchen, das Maschinenverhalten zu verfeinern. Ich denke, es ist eine durchdachte Steadiness zwischen Theorie und Umsetzung, die sowohl für Studenten als auch für Praktiker gedacht ist, die vor Beginn des Experiments eine solide konzeptionelle Grundlage aufbauen möchten.

// Überblick über die Gliederung

1. Vortraining (Überblick, verschiedene Paradigmen, Bert, praktische Aspekte der Anpassung und Anwendung vorab trainierter Modelle usw.)
2. Generative Modelle (Decoder-only-Transformatoren, Datenaufbereitung, verteiltes Coaching, Skalierungsgesetze, Speicheroptimierung, Effizienzstrategien usw.)
3. Eingabeaufforderung (Grundsätze eines guten Eingabeaufforderungsdesigns, fortgeschrittene Eingabeaufforderungsmethoden, Techniken zur Optimierung von Eingabeaufforderungen)
4. Ausrichtung (LLM-Ausrichtung und RLHF, Anweisungsoptimierung, Belohnungsmodellierung, Präferenzoptimierung)
5. Inferenz (Anleitung zu Dekodierungsalgorithmen, Bewertungsmetriken, effiziente Inferenzmethoden)

# 2. Sprach- und Sprachverarbeitung

Wenn Sie NLP und LLMs tiefgreifend verstehen möchten, Sprach- und Sprachverarbeitung von Daniel Jurafsky und James H. Martin ist eine der besten Quellen. Der Entwurf der 3. Auflage (Veröffentlichung vom 24. August 2025) wurde vollständig aktualisiert, um modernes NLP abzudecken, einschließlich Transformers, LLMs, automatischer Spracherkennung (Whisper) und Textual content-to-Speech-Systemen (EnCodec & VALL-E). Jurafsky und Martin sind führend in der Computerlinguistik und ihr Buch wird an Spitzenuniversitäten häufig verwendet.

Es bietet einen klaren, strukturierten Ansatz von den Grundlagen wie Token und Einbettungen bis hin zu fortgeschrittenen Themen wie LLM-Schulung, Ausrichtung und Konversationsstruktur. Der PDF-Entwurf ist frei verfügbar und somit sowohl praktisch als auch zugänglich.

// Überblick über die Gliederung

• Band I: Große Sprachmodelle
  • Kapitel 1–2: Einführung, Wörter, Token und Unicode-Handhabung
  • Kapitel 3–5: N-Gramm-LMs, logistische Regression zur Textklassifizierung und Vektoreinbettungen
  • Kapitel 6–8: Neuronale Netze, LLMs und Transformatoren – einschließlich Sampling- und Trainingstechniken
  • Kapitel 9–12: Optimierung nach dem Coaching, maskierte Sprachmodelle, IR & RAG und maschinelle Übersetzung
  • Kapitel 13: RNNs und LSTMs (optionale Reihenfolge für Lernsequenzmodelle)
  • Kapitel 14–16: Phonetik, Sprachmerkmalsextraktion, automatische Spracherkennung (Whisper) und Textual content-to-Speech (EnCodec & VALL-E)
• Band II: Kommentieren der sprachlichen Struktur
  • Kapitel 17–25: Sequenzkennzeichnung, POS & NER, CFGs, Abhängigkeitsanalyse, Informationsextraktion, semantische Rollenkennzeichnung, Lexika, Koreferenzauflösung, Diskurskohärenz und Konversationsstruktur

# 3. So skalieren Sie Ihr Modell: Eine Systemansicht von LLMs auf TPUs

Das Coaching von LLMs kann schwierig sein, da die Zahl riesig ist, die {Hardware} komplex ist und es schwierig ist, zu erkennen, wo die Engpässe liegen. So skalieren Sie Ihr Modell: Eine Systemansicht von LLMs auf TPUs verfolgt einen sehr praktischen, systemorientierten Ansatz, um die Leistungsseite von LLMs zu erklären, beispielsweise wie Tensor Processing Items (TPUs) (und GPUs) unter der Haube funktionieren, wie diese Geräte kommunizieren und wie LLMs tatsächlich auf echter {Hardware} laufen. Es behandelt auch Parallelitätsstrategien sowohl für das Coaching als auch für die Inferenz, um Modelle in großen Größen effizient zu skalieren.

Diese Ressource zeichnet sich dadurch aus, dass die Autoren selbst bei Google an produktionstauglichen LLM-Systemen gearbeitet haben und daher ihre Erkenntnisse weitergeben.

// Überblick über die Gliederung

• Teil 0: Rooflines (Hardwareeinschränkungen verstehen: Flops, Speicherbandbreite, Speicher)
• Teil 1: TPUs (wie TPUs für Multi-Chip-Coaching zusammenarbeiten und sich vernetzen)
• Teil 2: Sharding (Matrixmultiplikation, TPU-Kommunikationskosten)
• Teil 3: Transformer-Mathematik (Berechnung von Flops, Bytes und anderen kritischen Metriken)
• Teil 4: Schulung (Parallelitätsstrategien: Datenparallelität, Totally-Sharded-Information-Parallelität (FSDP), Tensor-Parallelität, Pipeline-Parallelität)
• Teil 5: Coaching von LLaMA (praktische Beispiele für das Coaching von Lama 3 auf TPU v5p; Überlegungen zu Kosten, Sharding und Größe)
• Teil 6: Inferenz (Latenzüberlegungen, effiziente Abtastung und Beschleunigernutzung)
• Teil 7: Bereitstellung von LLaMA (Bereitstellung von Lama 3-70b-Modellen auf TPU v5e; KV-Caches, Batchgrößen, Sharding und Produktionslatenzschätzungen)
• Teil 8: Profiling (praktische Optimierung mit XLA-Compiler und Profiling-Instruments)
• Teil 9: JAX (TPUs effizient programmieren mit JAX)

# 4. Große Sprachmodelle verstehen: Auf dem Weg zu einer strengen und gezielten Interpretierbarkeit mithilfe von Sondierungsklassifikatoren und Selbstrationalisierung

Große Sprachmodelle verstehen: Auf dem Weg zu einer strengen und gezielten Interpretierbarkeit mithilfe von Sondierungsklassifikatoren und Selbstrationalisierung ist kein typisches Lehrbuch. Es handelt sich um eine Doktorarbeit von Jenny Kunz von der Universität Linköping, die jedoch einen so einzigartigen Aspekt von LLMs abdeckt, dass sie einen Platz in dieser Liste verdient. Sie erforscht, wie große Sprachmodelle funktionieren und wie wir sie besser verstehen können.

LLMs schneiden bei vielen Aufgaben sehr intestine ab, es ist jedoch nicht klar, wie sie ihre Vorhersagen treffen. Diese Arbeit untersucht zwei Möglichkeiten, diese Modelle zu verstehen: die Betrachtung der internen Schichten mithilfe von Sondierungsklassifikatoren und die Untersuchung der Erklärungen, die Modelle für ihre Vorhersagen generieren. Sie untersucht auch Modelle, die mit ihren Vorhersagen Freitexterklärungen generieren, und untersucht, welche Eigenschaften dieser Erklärungen tatsächlich nachgelagerte Aufgaben unterstützen und welche mit der menschlichen Instinct übereinstimmen. Diese Arbeit ist nützlich für Forscher und Ingenieure, die an der Schaffung transparenterer und verantwortungsvollerer KI-Systeme interessiert sind.

// Überblick über die Gliederung

1. LLM-Schichten mit Sondierungsklassifikatoren verstehen (Analyse der in jeder Schicht des Modells gespeicherten Informationen, Überprüfung der Einschränkungen vorhandener Sondierungsmethoden, Erstellung strengerer Sondierungstests unter Verwendung von Datenänderungen, Entwicklung neuer Methoden zur Messung von Unterschieden im Wissen der Schichten)
2. Erklären von Vorhersagen mit selbstrationalisierenden Modellen (Generieren von Texterklärungen zusammen mit Modellvorhersagen, Vergleichen von Erklärungen mit menschlichen Bewertungen und der Aufgabenleistung, Untersuchen, welche Eigenschaften Erklärungen für Aufgaben nützlich und leicht verständlich machen, Kommentieren von Erklärungen für menschenähnliche Merkmale und deren Auswirkungen auf verschiedene Benutzer)

# 5. Große Sprachmodelle in der Cybersicherheit: Bedrohungen, Gefährdung und Schadensbegrenzung

LLMs sind sehr leistungsstark, können aber auch Risiken mit sich bringen, etwa die Preisgabe privater Informationen, die Unterstützung bei Phishing-Angriffen oder die Einführung von Code-Schwachstellen. Große Sprachmodelle in der Cybersicherheit: Bedrohungen, Gefährdung und Schadensbegrenzung erklärt diese Risiken und zeigt Wege auf, sie zu reduzieren. Es behandelt reale Beispiele, darunter Social Engineering, die Überwachung der LLM-Einführung und die Einrichtung sicherer LLM-Systeme.

Diese Ressource ist einzigartig, da sie sich auf LLMs im Bereich Cybersicherheit konzentriert, ein Thema, das in den meisten LLM-Büchern nicht behandelt wird. Es ist sehr nützlich für alle, die sowohl die Gefahren als auch die Schutzmaßnahmen im Zusammenhang mit LLMs verstehen möchten.

// Überblick über die Gliederung

• Teil I: Einführung (Funktionsweise und Einsatz von LLMs, Grenzen von LLMs und Bewertung ihrer Aufgaben)
• Teil II: LLMs in der Cybersicherheit (Risiken des Verlusts privater Informationen, Phishing- und Social-Engineering-Angriffe, Schwachstellen durch Codevorschläge, LLM-gestützte Einflussoperationen und Webindizierung)
• Teil III: Verfolgung und Prognose der Exposition (Developments bei der Einführung von LLM und Risiken, Investitions- und Versicherungsaspekte, Urheberrecht und rechtliche Fragen, Überwachung neuer Forschungsergebnisse zu LLMs)
• Teil IV: Schadensbegrenzung (Sicherheitserziehung und -bewusstsein, Schulungsmethoden zum Schutz der Privatsphäre, Abwehrmaßnahmen gegen Angriffe und gegnerische Nutzung, LLM-Detektoren, Purple Teaming und Sicherheitsstandards)
• Teil V: Schlussfolgerung (die doppelte Rolle von LLMs bei der Verursachung von Bedrohungen und der Bereitstellung von Abwehrmaßnahmen, Empfehlungen für den sicheren Einsatz von LLMs)

# Zusammenfassung

Alle fünf dieser Bücher nähern sich LLMs aus sehr unterschiedlichen Blickwinkeln: Theorie, Linguistik, Systeme, Interpretierbarkeit und Sicherheit. Zusammengenommen bilden sie einen vollständigen Lernpfad für jeden, der sich ernsthaft mit dem Erlernen großer Sprachmodelle beschäftigt. Wenn Ihnen dieser Artikel gefallen hat, teilen Sie mir im Kommentarbereich unten mit, welche Themen Sie weiter vertiefen möchten.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Era Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Range in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.