ich habe ziemlich viel über RAG geschrieben, angefangen mit dem Per Anhalter durch RAG mit ChatGPT-API und LangChainund dann verschiedene Themen im Zusammenhang mit RAG und KI erkunden, z Chunking, Hybridsuche, Neuordnung, Kontextbezogenes Abrufenund a dreiteilige Serie zur Bewertung der Retrievalqualität. Mit anderen Worten: Wir haben auf der RAG-Seite viel abgedeckt.

Worüber wir nicht so explizit gesprochen haben, ist die andere wichtige Technik, zu der Menschen greifen, wenn sie eine LLM-App für eine bestimmte Domäne verbessern möchten. Das heißt Feinabstimmung. Und insbesondere haben wir nicht darüber gesprochen, was passiert, wenn man die beiden nebeneinander legt und versucht herauszufinden, welches man tatsächlich braucht.

Wenn Sie suchen „RAG vs. Feinabstimmung„On-line finden Sie viele Inhalte, die dies als einen Wettbewerb mit einem Gewinner behandeln. Für einige gewinnt RAG, weil die Einrichtung billiger ist, für andere gewinnt die Feinabstimmung, weil sie bessere Ergebnisse liefert usw. Das Drawback bei dieser Formulierung ist, dass sie grundsätzlich irreführend ist, da es sich bei RAG und Feinabstimmung nicht um konkurrierende Techniken handelt, sondern um Techniken, die unterschiedliche Probleme auf verschiedenen Ebenen einer KI-Anwendung lösen. Um eine gute Entscheidung zu treffen, ist es notwendig zu verstehen, was jeder einzelne tatsächlich tut.

Additionally schauen wir mal rein!

DataCream ist ein Publication über KI, Daten und Technologie. Wenn Sie sich für diese Themen interessieren, Abonnieren Sie hier!

Was ist RAG und was macht es eigentlich?

Wenn Sie diese Serie verfolgt haben, haben Sie bereits ein solides Gespür für RAG. Aber sagen wir es noch einmal, denn die genaue Definition ist wichtig für den Vergleich mit der anschließenden Feinabstimmung.

RAG (Retrieval-Augmented Technology) ist additionally eine Technik, die die Reaktion eines LLM verbessert, indem relevante externe Informationen zum Zeitpunkt der Inferenz abgerufen und in die Eingabeaufforderung eingefügt werden. Das Modell selbst wird in keiner Weise verändert. Was sich ändert, ist das, was es als Eingabe betrachtet.

Die Pipeline sieht in etwa so aus:

• Zunächst werden externe Dokumente (die Wissensbasis, die wir nutzen möchten) in Vektoreinbettungen verarbeitet und in einer Vektordatenbank gespeichert.
• Wenn ein Benutzer eine Abfrage sendet, wird die Abfrage auch in eine Einbettung umgewandelt und die semantisch ähnlichsten Dokumentblöcke werden aus der Datenbank abgerufen.
• Diese Blöcke werden dann zusammen mit der Anfrage des Benutzers an das LLM übergeben, sodass das Modell eine Antwort generieren kann, die auf diesem spezifischen abgerufenen Kontext basiert.

Und das ist es.

Hier ist ein minimales RAG-Beispiel mit der OpenAI-API:

from openai import OpenAI
import numpy as np

consumer = OpenAI(api_key="your_api_key")

# our tiny data base
paperwork = (
    "pialgorithms is an AI-powered doc administration platform.",
    "pialgorithms permits groups to look, extract, and automate doc workflows.",
    "pialgorithms was based in Athens, Greece.",
)

# embed the data base
def embed(texts):
    response = consumer.embeddings.create(
        mannequin="text-embedding-3-small",
        enter=texts
    )
    return (r.embedding for r in response.information)

doc_embeddings = embed(paperwork)

# embed the consumer question and retrieve probably the most related chunk
question = "The place is pialgorithms primarily based?"
query_embedding = embed((question))(0)

# cosine similarity
def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

similarities = (cosine_similarity(query_embedding, doc_emb) for doc_emb in doc_embeddings)
best_match = paperwork(np.argmax(similarities))

# inject retrieved context into the immediate
response = consumer.chat.completions.create(
    mannequin="gpt-4o-mini",
    messages=(
        {
            "position": "system",
            "content material": f"Reply the consumer's query utilizing solely the next context:nn{best_match}"
        },
        {
            "position": "consumer",
            "content material": question
        }
    )
)

print(response.decisions(0).message.content material)
# pialgorithms relies in Athens, Greece.

Nehmen wir uns einen Second Zeit, um zu verstehen, was hier wirklich passiert. Natürlich hat das Mannequin keine Ahnung, was Pialgorithmen stammt aus seinem Coaching, aber da wir den richtigen Dokumentblock abgerufen und in die Eingabeaufforderung eingefügt haben, kann das Modell genau antworten. Das Wissen kommt zum Zeitpunkt der Abfrage von außerhalb des Modells und das Modell selbst bleibt unberührt.

Dies ist der Kern dessen, was RAG tut: Es gewährt dem Modell zum Zeitpunkt der Inferenz dynamisch Zugriff auf externes Wissen, auf das es nie trainiert wurde.

Und basierend auf der Artwork und Weise, wie es funktioniert, schneidet RAG bei bestimmten Arten von Aufgaben intestine ab, wie zum Beispiel:

• Beantwortung von Fragen zu Dokumenten, Wissensdatenbanken oder Daten, die das Modell noch nie gesehen hat
• Ohne Umschulung auf dem Laufenden bleiben, da die Wissensbasis jederzeit selbstständig aktualisiert werden kann
• Bereitstellung nachvollziehbarer, zitierfähiger Antworten, da Sie genau wissen, welcher Dokumentabschnitt abgerufen wurde
• Sicherer Umgang mit privaten oder geschützten Informationen, ohne diese Informationen in das Modell einzubeziehen

Auf der anderen Seite wird RAG Folgendes nicht tun: Es wird das Verhalten, den Ton, den Argumentationsstil oder die Aufgabenleistung des Modells nicht ändern. Wenn Ihr Modell dazu neigt, ausführlicher zu sein, wird RAG es nicht prägnanter machen. Wenn Probleme mit einem bestimmten Ausgabeformat auftreten, kann RAG das Drawback nicht beheben.

Was ist Feinabstimmung und was bewirkt sie eigentlich?

Unter Feinabstimmung versteht man den Prozess, bei dem ein vorab trainiertes Modell mit einem neuen, aufgabenspezifischen Datensatz weiter trainiert und aktualisiert wird Gewichte dabei. Anders ausgedrückt: Während RAG die Eingaben des Modells ändert, verändert die Feinabstimmung das Modell selbst.

Genauer gesagt, ein Basismodell wie GPT-4o-mini wird anhand eines umfangreichen allgemeinen Datensatzes vorab trainiert. Bei der Feinabstimmung wird dieses Modell verwendet und eine zusätzliche, kürzere Trainingsschleife für bestimmte Beispiele ausgeführt, die für unseren spezifischen Anwendungsfall related sind. Diese Beispiele liegen typischerweise in Kind von Eingabe-Ausgabe-Paaren vor. Auf diese Weise werden die Gewichte des Modells angepasst, sodass Ausgaben erzeugt werden, die eher diesen Beispielpaaren ähneln.

So würde eine Feinabstimmungsaufgabe mithilfe der OpenAI-API aussehen:

from openai import OpenAI
import json

consumer = OpenAI(api_key="your_api_key")

# Step 1: put together coaching information as a JSONL file
# every instance is a dialog with a desired output
training_examples = (
    {
        "messages": (
            {"position": "system", "content material": "You're a concise technical assistant. All the time reply in a single sentence."},
            {"position": "consumer", "content material": "What's a vector database?"},
            {"position": "assistant", "content material": "A vector database shops and retrieves information as high-dimensional numerical vectors, enabling quick semantic similarity search."}
        )
    },
    {
        "messages": (
            {"position": "system", "content material": "You're a concise technical assistant. All the time reply in a single sentence."},
            {"position": "consumer", "content material": "What's chunking in RAG?"},
            {"position": "assistant", "content material": "Chunking is the method of splitting massive paperwork into smaller items earlier than embedding them, in order that they match inside mannequin context limits and enhance retrieval precision."}
        )
    },
    # in observe you'll need no less than 50-100 examples
)

# save as JSONL
with open("training_data.jsonl", "w") as f:
    for instance in training_examples:
        f.write(json.dumps(instance) + "n")

# add the coaching file
with open("training_data.jsonl", "rb") as f:
    training_file = consumer.recordsdata.create(file=f, function="fine-tune")

# create the fine-tuning job
fine_tune_job = consumer.fine_tuning.jobs.create(
    training_file=training_file.id,
    mannequin="gpt-4o-mini-2024-07-18"
)
print(fine_tune_job.id)

Sobald die Feinabstimmungsaufgabe abgeschlossen ist, gibt OpenAI eine eindeutige Modellkennung für Ihr neu optimiertes Modell im Format zurück ft:base-model:your-org:your-suffix:unique-id. Dies ist jetzt ein eigenständiges Modell, das getrennt von der Foundation in Ihrem OpenAI-Konto lebt gpt-4o-mini.

An printwir würden zurückkommen id Für dieses fein abgestimmte Modell sieht es etwa so aus:

ft:gpt-4o-mini-2024-07-18:your-org:your-suffix:abc123

Wir können es dann genau wie jedes andere Modell aufrufen, indem wir einfach diesen Bezeichner im übergeben mannequin Parameter:

# as soon as the job is full, use the fine-tuned mannequin
response = consumer.chat.completions.create(
    mannequin="ft:gpt-4o-mini-2024-07-18:your-org:your-suffix:abc123",
    messages=(
        {"position": "consumer", "content material": "What's immediate caching?"}
    )
)
print(response.decisions(0).message.content material)

Der Unterschied besteht darin, dass dieses Modell das Verhalten, auf das wir es trainiert haben, bereits verinnerlicht hat: In unserem Beispiel antwortet es nun konsistent in einem prägnanten Satz, ohne dass wir es bei jeder Systemaufforderung dazu anweisen müssen. Das sind die Dinge, in denen Feinabstimmung wirklich intestine ist: konsistente Formatierung, spezifischer Ton, Einhaltung einer bestimmten Ausgabestruktur oder verbesserte Leistung bei einem ganz bestimmten Aufgabentyp. Und das ist im Wesentlichen die Aufgabe der Feinabstimmung.

Beachten Sie, wie Die Feinabstimmung hat keinen Einfluss auf die Integration spezifischer Informationen in das Modell. Anders als man intuitiv annehmen könnte, führt die Feinabstimmung eines Modells anhand der Dokumente Ihres Unternehmens nicht dazu, dass das Modell diese Informationen „erlernt“ und Fragen dazu zuverlässig beantworten kann. Es kann tatsächlich dazu führen, dass sich das Modell hier und da bestimmte Fakten aus Trainingsbeispielen merkt, aber dieses Auswendiglernen ist brüchig und unzuverlässig. Das wahrscheinlichste Ergebnis wäre, dass ein Modell über Themen halluziniert, die in den Trainingsbeispielen auftauchen, und nicht, dass sich ein Modell genau an bestimmte Particulars erinnert, die in diesen Beispielen auftauchen. Wenn Sie additionally den Abruf von Wissen benötigen, ist RAG das richtige Werkzeug, nicht die Feinabstimmung.

Genauer gesagt funktioniert die Feinabstimmung bei Folgendem tatsächlich intestine:

• Dem Modell ein einheitliches Ausgabeformat, einen einheitlichen Ton oder einen einheitlichen Stil „beibringen“.
• Verbessern der Leistung bei einem bestimmten, engen Aufgabentyp (z. B. immer gültiges JSON generieren, immer in drei Aufzählungspunkten zusammenfassen usw.)
• Reduzierung des Bedarfs an langen, sich wiederholenden Systemaufforderungen durch die Integration dieser Anweisungen in das Modell
• Anpassung des Modells an domänenspezifische Sprache oder Terminologie, damit es das richtige Vokabular versteht und verwendet

Dennoch funktioniert die Feinabstimmung nicht so intestine in:

• Durch die Hinzufügung verlässlichen Faktenwissens kann sich das Modell genau erinnern
• Das Modell mit sich ändernden Informationen auf dem neuesten Stand halten
• Bereitstellung nachvollziehbarer, zitierfähiger Antworten

Wann verwenden wir additionally jedes und wann verwenden wir beide?

Nachdem wir nun verstanden haben, was jede Technik tatsächlich bewirkt, ist das „RAG vs. FeinabstimmungDie Antwort auf diese Frage wird viel einfacher, da es sich in den meisten Fällen überhaupt nicht um eine „gegen“-Frage handelt.

RAG und Feinabstimmung erfolgen auf verschiedenen Ebenen einer KI-Anwendung. RAG arbeitet auf der Wissensebene, d. h. es steuert, auf welche Informationen das Modell Zugriff hat. Auf der anderen Seite erfolgt die Feinabstimmung auf der Verhaltensebene, das heißt, sie definiert die Artwork und Weise, wie das Modell die bereitgestellten Informationen verarbeitet und Antworten generiert. Diese beiden Ebenen sind unabhängig voneinander, was bedeutet, dass Sie RAG, Feinabstimmung oder beides verwenden können, je nachdem, was Sie erreichen möchten.

Hier ist additionally ein praktischer Entscheidungsrahmen für die Entscheidung, was verwendet werden soll:

Das Szenario, in dem wir sowohl RAG als auch Feinabstimmung verwenden, ist in realen Produktionssystemen tatsächlich das häufigste. Der einfachste Weg, die beiden in Einklang zu bringen, ist dieser: Feinabstimmung des Verhaltens, Verwendung von RAG für Wissen.

Stellen Sie sich zum Beispiel vor, wir entwickeln einen Kundensupport-Assistenten für ein Softwareprodukt und benötigen ihn für Folgendes:

1. Antworten Sie immer in einem bestimmten Ton und Format, im Einklang mit unserer Softwaremarke
2. Verfügen Sie über genaue und aktuelle Kenntnisse der Dokumentation unseres Produkts

Für eine solche Aufgabe müssten wir sowohl RAG als auch Feinabstimmung nutzen. Eine Feinabstimmung würde insbesondere die erste Anforderung erfüllen, indem es dem Modell ermöglicht, aus Beispielen idealer Antworten des Kundensupports zu lernen und ihm den richtigen Ton, den richtigen Detaillierungsgrad und das richtige Ausgabeformat beizubringen. Die zweite Anforderung würde durch RAG abgedeckt: Zum Zeitpunkt der Inferenz werden die relevantesten Informationen aus der Produktdokumentation abgerufen und in die Eingabeaufforderung eingefügt, sodass das Modell zuverlässige Antworten liefern kann, die auf der Dokumentation basieren.

In der Praxis können wir additionally Feinabstimmung und RAG kombinieren, indem wir ein feinabgestimmtes Modell auf die gleiche Weise aufrufen, wie wir jedes andere Modell aufrufen würden, aber auch abgerufenen Kontext in die Systemeingabeaufforderung einfügen, genau wie wir es in einer Customary-RAG-Pipeline tun würden.

# combining fine-tuned mannequin with RAG
response = consumer.chat.completions.create(
    mannequin="ft:gpt-4o-mini-2024-07-18:your-org:support-style:abc123",  # fine-tuned for tone/format
    messages=(
        {
            "position": "system",
            "content material": f"You're a useful help assistant for pialgorithms. "
                       f"Use solely the next documentation to reply:nn{retrieved_context}"  # RAG context
        },
        {
            "position": "consumer",
            "content material": user_question
        }
    )
)

Durch die Feinabstimmung weiß das Modell, wie es angemessen reagieren soll, und RAG sagt ihm, was es sagen soll. Es handelt sich additionally nicht um die Frage „Feinabstimmung vs. RAG“, sondern vielmehr ergänzen sich Feinabstimmung und RAG und bewirken unterschiedliche Aufgaben.

In meinen Gedanken

Was ich an der Debatte zwischen RAG und Feinabstimmung am interessantesten finde, ist, wie oft sie als Frage formuliert wird, welche Technik besser ist, während die nützlichere Frage darin besteht, welches Drawback Sie eigentlich lösen möchten.

RAG und Feinabstimmung adressieren verschiedene Fehlermodi eines Foundation-LLM. Wenn ein Basismodell scheitert, weil es etwas nicht weiß, handelt es sich um ein Wissensproblem, und RAG löst es. Wenn ein Basismodell ausfällt, weil es sich inkonsistent verhält oder Ausgaben im falschen Format erzeugt, handelt es sich um ein Verhaltensproblem, das durch Feinabstimmung gelöst werden kann. Wenn Ihr Modell aus beiden Gründen gleichzeitig ausfällt, benötigen Sie möglicherweise tatsächlich beides.

Danke fürs Lesen!

---

Wenn du es bis hierher geschafft hast, Vielleicht finden Sie Pialgorithmen nützlich: eine von uns entwickelte Plattform, die Groups dabei hilft, organisatorisches Wissen sicher an einem Ort zu verwalten.

---

Hat Ihnen dieser Beitrag gefallen? Begleiten Sie mich auf Unterstapel und LinkedIn

---

Alle Bilder vom Autor, sofern nicht anders angegeben.

Wir haben viel über beliebte Techniken zur Optimierung der Leistung und Kosten von KI-Anwendungen gesprochen, z Antwort-Streaming oder sofortiges Caching. Heute möchte ich über etwas anderes, aber ebenso Wichtiges für die Entwicklung echter KI-Apps sprechen. Das heißt, strukturierte, maschinenlesbare Ausgaben.

Bisher haben wir uns in den meisten Beispielen, die ich geteilt habe, mit Freitextantworten eines KI-Modells befasst. Der Benutzer stellt eine Frage, das Modell antwortet in natürlicher Sprache und wir zeigen dem Benutzer diese Antwort einfach auf irgendeine Weise an. Ziemlich einfach und unkompliziert. Aber was passiert, wenn das Modell Daten in einem bestimmten Format (z. B. einem JSON-Objekt) zurückgeben muss, damit wir sie später programmgesteuert weiterverarbeiten können? Was wäre, wenn wir das Modell benötigen, um bestimmte Felder aus einem Textual content oder Bild zu extrahieren, einen Datenbankeintrag zu füllen oder basierend auf seiner Antwort eine Folgeaktion auszulösen? In solchen Fällen ist es nicht sehr praktisch, eine Textwand wiederherzustellen.

Glücklicherweise gibt es für dieses Downside mehrere Lösungen. Es gibt zwei Hauptansätze, um strukturierte, maschinenlesbare Ausgaben von einem LLM zu erhalten: JSON-Modus Und Funktionsaufruf (auch Werkzeuggebrauch genannt). Diese beiden werden oft miteinander verwechselt (was zu erwarten ist, da es sich bei beiden um strukturierte Ausgaben handelt), aber sie dienen ganz unterschiedlichen Zwecken. Darüber hinaus hat OpenAI eine strengere Variante des Funktionsaufrufs namens „Perform Calling“ eingeführt Strukturierte Ausgabenwas die Schemadurchsetzung, wie wir sehen werden, noch einen Schritt weiter bringt. In diesem Beitrag werfen wir einen genaueren Blick auf alle drei, verstehen, wie sie unter der Haube funktionieren, und finden heraus, wann sie jeweils zu verwenden sind.

Additionally schauen wir mal rein!

---

1. Was ist der JSON-Modus?

JSON-Modus ist der einfachere Ansatz, um maschinenlesbare Ausgaben eines LLM zu erzielen. Es handelt sich im Wesentlichen um einen Parameter, den Sie in einer API-Anfrage festlegen können, um das Modell anzuweisen stets Gibt ein gültiges JSON-Objekt zurück. Und das ist wirklich alles! Diese Einfachheit hat jedoch ihren Preis, da es keine Garantien für die Struktur oder das Schema des JSON gibt (denken Sie daran, dass wir kein Schema, keine Feldnamen, keine Typen oder ähnliches definiert haben), sondern lediglich dafür, dass es sich um ein gültiges, analysierbares JSON handelt.

Wenn wir beispielsweise die OpenAI-API in Python verwenden, können wir den JSON-Modus aktivieren, indem wir den Parameter hinzufügen response_format={"sort": "json_object"} zu unserem Aufruf zum Mannequin. Genauer gesagt würde es etwa so aussehen:

from openai import OpenAI

shopper = OpenAI(api_key="your_api_key")

response = shopper.chat.completions.create(
    mannequin="gpt-4o-mini",
    response_format={"sort": "json_object"},
    messages=(
        {
            "function": "system",
            "content material": "You're a useful assistant. All the time reply in JSON format."
        },
        {
            "function": "person",
            "content material": "Extract the identify, age, and metropolis from this textual content: 'Maria is 32 years previous and lives in Athens.'"
        }
    )
)

print(response.decisions(0).message.content material)

Und die Antwort würde in etwa so aussehen:

{
  "identify": "Maria",
  "age": 32,
  "metropolis": "Athens"
}

Und voilà! Mit nur einer einfachen Parameteränderung erhalten wir jedes Mal ein gültiges JSON zurück. Kein String-Parsing oder seltsame Regex-Hacks erforderlich.

Allerdings gibt es einen Haken. Der JSON-Modus garantiert, dass die Ausgabe erfolgt gültiges JSONaber das tut es nicht eine bestimmte Struktur garantieren. Wenn wir dasselbe Beispiel mehrmals ausführen, erhalten wir möglicherweise jedes Mal leicht unterschiedliche Feldnamen oder eine leicht unterschiedliche Struktur. Beispielsweise könnte ein Lauf zurückkehren "identify" und noch eins "full_name". Das ist ein Downside, wenn wir versuchen, bestimmte Felder zuverlässig programmgesteuert zu extrahieren.

Eine andere Sache ist, dass sie jenseits der Einstellung liegt response_format={"sort": "json_object"}empfiehlt es sich, das Modell auch immer explizit anzuweisen, in JSON in der Systemeingabeaufforderung zu antworten. Beachten Sie, dass wir im obigen Beispiel auch hinzugefügt haben „Immer im JSON-Format antworten“ in der Systemaufforderung. Ohne dies gibt das Modell möglicherweise manchmal, aber nicht immer, einen gültigen JSON-Code zurück, da sein Verhalten möglicherweise unvorhersehbar wird.

---

2. Was ist Funktionsaufruf?

Funktionsaufruf (oder Werkzeugverwendung) ist ein fortgeschrittenerer Ansatz, um strukturierte, maschinenlesbare Ausgaben von einem LLM zu erhalten. Anstatt das Modell einfach aufzufordern, seine Antwort als JSON zu formatieren, definieren wir eine bestimmte Schema. Das heißt, wir definieren explizit eine formale Beschreibung der Struktur, der die Ausgabe folgen soll, und auf diese Weise ist das Modell stärker darauf beschränkt, Daten zurückzugeben, die genau diesem Schema entsprechen. Mit anderen Worten: Beim Funktionsaufruf definieren wir im Voraus, welche Felder wir erwarten, welche Typen diese Felder haben sollten, welche erforderlich sind und welche nicht und so weiter.

So würde das gleiche Extraktionsbeispiel mit Funktionsaufrufen aussehen:

from openai import OpenAI
import json

shopper = OpenAI(api_key="your_api_key")

# outline the schema of the output we anticipate
instruments = (
    {
        "sort": "operate",
        "operate": {
            "identify": "extract_person_info",
            "description": "Extract private data from a textual content",
            "parameters": {
                "sort": "object",
                "properties": {
                    "identify": {
                        "sort": "string",
                        "description": "The complete identify of the particular person"
                    },
                    "age": {
                        "sort": "integer",
                        "description": "The age of the particular person"
                    },
                    "metropolis": {
                        "sort": "string",
                        "description": "The town the particular person lives in"
                    }
                },
                "required": ("identify", "age", "metropolis")
            }
        }
    }
)

response = shopper.chat.completions.create(
    mannequin="gpt-4o-mini",
    instruments=instruments,
    tool_choice={"sort": "operate", "operate": {"identify": "extract_person_info"}},
    messages=(
        {
            "function": "person",
            "content material": "Extract the identify, age, and metropolis from this textual content: 'Maria is 32 years previous and lives in Athens.'"
        }
    )
)

# parse the structured output
tool_call = response.decisions(0).message.tool_calls(0)
end result = json.masses(tool_call.operate.arguments)
print(end result)

Und die Ausgabe würde so aussehen:

{
  "identify": "Maria",
  "age": 32,
  "metropolis": "Athens"
}

Die Ausgabe für dieses Beispiel mit Funktionsaufrufen ist identisch mit der, die wir im JSON-Modus erhalten haben. Der Hauptunterschied besteht jedoch darin, dass die Ausgabe im Gegensatz zum JSON-Modus beim Funktionsaufruf konsistent ist. es wird stets Folgen Sie dem genau definierten Schema mit konsistenten Feldnamen, Typen und allen anderen Attributen, die wir darauf definieren.

---

DataCream ist ein Publication mit Geschichten und Tutorials zu KI, Daten und Technologie. Wenn Sie sich für diese Themen interessieren, Abonnieren Sie hier!

---

Bonus: Etwas mehr zum Funktionsaufruf

Bevor wir zu strukturierten Ausgaben übergehen, lohnt es sich, eine Pause einzulegen und die ursprüngliche Motivation und Verwendung des Funktionsaufrufs genauer zu erläutern, der weit über das bloße Erhalten strukturierter Ausgaben hinausgeht. Im Wesentlichen ist das Konzept des Funktionsaufrufs die Grundlage für Agenten-KI-Workflows. Genauer gesagt ist es in einem Agenten-Setup das LLM nicht nur antworten auf die Frage eines Benutzers, sondern es ist so entscheiden Welche Aktion als Nächstes ausgeführt werden soll, basierend auf der Eingabe des Benutzers.

Stellen wir uns zum Beispiel einen Kundendienstassistenten vor, der je nach den Fragen des Benutzers entweder eine Bestellung nachschlagen, eine Rückerstattung veranlassen oder an einen menschlichen Agenten eskalieren kann. Mit Funktionsaufrufen können wir alle drei dieser Kandidatenaktionen als „Werkzeuge“ (Funktionen) definieren, und die Ausgabe des Modells definiert basierend auf der Eingabe, welche aufgerufen werden soll und mit welchen Argumenten.

instruments = (
    {
        "sort": "operate",
        "operate": {
            "identify": "lookup_order",
            "description": "Lookup the standing of a buyer order",
            "parameters": {
                "sort": "object",
                "properties": {
                    "order_id": {"sort": "string", "description": "The order ID"}
                },
                "required": ("order_id")
            }
        }
    },
    {
        "sort": "operate",
        "operate": {
            "identify": "issue_refund",
            "description": "Concern a refund for a buyer order",
            "parameters": {
                "sort": "object",
                "properties": {
                    "order_id": {"sort": "string"},
                    "purpose": {"sort": "string"}
                },
                "required": ("order_id", "purpose")
            }
        }
    }
)

response = shopper.chat.completions.create(
    mannequin="gpt-4o-mini",
    instruments=instruments,
    messages=(
        {"function": "person", "content material": "I need a refund for order #12345, it arrived damaged."}
    )
)

tool_call = response.decisions(0).message.tool_calls(0)
print(tool_call.operate.identify)       # "issue_refund"
print(tool_call.operate.arguments)  # '{"order_id": "12345", "purpose": "arrived damaged"}'

Das API-Antwortobjekt sieht additionally etwa so aus:

ChatCompletionMessage(
    content material=None,
    function='assistant',
    tool_calls=(
        ChatCompletionMessageToolCall(
            id='call_abc123',
            sort='operate',
            operate=Perform(
                identify='issue_refund',
                arguments='{"order_id": "12345", "purpose": "arrived damaged"}'
            )
        )
    )
)

Und die print-Anweisungen würden hypothetisch Folgendes ausgeben:

issue_refund
{"order_id": "12345", "purpose": "arrived damaged"}

Additionally, was passiert hier? Das Modell gibt a zurück tool_calls Objekt anstelle einer regulären Textantwort (sehen Sie sich an, wiecontent material Ist None). Im Inneren tool_calls Objekt können wir sehen, dass sich das Modell für den Aufruf entschieden hat issue_refund (nicht lookup_order) und füllte die Argumente selbstständig basierend auf den Aussagen des Benutzers aus. Anschließend analysieren wir diese Argumente und führen die eigentliche Rückerstattungslogik in unserem System aus.

Beachten Sie, dass das Modell nicht nur die angeforderten Daten zurückgegeben hat, sondern vielmehr entschieden Welche der Kandidatenaktionen am besten geeignet ist, trägt dann die entsprechenden Argumente in die Antwort ein. Auf diese Weise können wir diese Argumente dann nutzen und tatsächlich die entsprechende Aktion in unserem System ausführen. Darin liegt die wahre Stärke des Funktionsaufrufs und deshalb ist er eine so grundlegende Komponente in Agenten-KI-Anwendungen.

Aber kommen wir jetzt zurück zu den maschinenlesbaren Ausgaben und werden in einem anderen Beitrag mehr über agentische KI-Workflows und Funktionsaufrufe sprechen.

---

3. Was ist mit strukturierten Ausgaben?

Eine strengere Variante des Funktionsaufrufs ist Strukturierte Ausgaben. Auch wenn der Funktionsaufruf das Modell dazu anleitet, eine Ausgabe nach einem definierten Schema bereitzustellen, ist dies nicht der Fall Wirklich stark eingeschränkt. In der Praxis bedeutet dies, dass es dennoch zu einigen Abweichungen von diesem definierten Schema kommen kann. Solche Abweichungen können sein:

• Ein als erforderlich markiertes Feld, das tatsächlich weggelassen wird, wenn das Modell Schwierigkeiten hat, seinen Wert herauszufinden
• Zusätzliche Felder, die in unserem Schema nicht definiert sind, werden hinzugefügt
• Ein Feld definiert als integer kommt als String zurück "32" anstatt 32

…und so weiter.

Dies liegt daran, dass beim Funktionsaufruf das Modell vorhanden ist versuchen dem Schema zu folgen, aber dies ist immer noch eine Finest-Effort-Era. Wie bei jeder LLM-Ausgabe besteht die Ausgabe hier immer noch im Wesentlichen aus Token, die einzeln vorhergesagt werden, wobei das Schema nur ein starker Hinweis ist. Es besteht immer noch eine gute Likelihood, dass diese Token-für-Token-Generierung irgendwo auf der Route entgleist und Ausgaben erzeugt, die vom definierten Schema abweichen.

---

Strukturierte Ausgaben hingegen gehen beim Funktionsaufruf noch einen Schritt weiter, indem sie garantieren, dass jedes Feld im definierten Schema immer genau wie definiert in der Ausgabe erscheint, ohne Überraschungen, ohne fehlende oder zusätzliche Felder. Das Hauptunterscheidungsmerkmal ist, dass OpenAI verwendet wird eingeschränkte Dekodierung hinter den Kulissen. Dies bedeutet, dass das Modell bei jedem Token-Schritt nur Token generieren darf, die die Ausgabe gemäß dem Schema gültig halten. Mit anderen Worten: Das Schema wird auf Generierungsebene erzwungen, anstatt nur über die Systemeingabeaufforderung angefordert zu werden.

Die strukturierten Ausgänge von OpenAI können durch einfache Einstellung aktiviert werden strict: true in der Funktionsdefinition:

instruments = (
    {
        "sort": "operate",
        "operate": {
            "identify": "extract_person_info",
            "strict": True,  # allows Structured Outputs
            "parameters": {
                "sort": "object",
                "properties": {
                    "identify": {"sort": "string"},
                    "age": {"sort": "integer"},
                    "metropolis": {"sort": "string"}
                },
                "required": ("identify", "age", "metropolis"),
                "additionalProperties": False
            }
        }
    }
)

Aber auch dies hat seinen Preis. Strukturierte Ausgaben sind auf GPT-4o und späteren Modellen verfügbar, wobei ältere Modelle auf den JSON-Modus zurückgreifen. Nicht jede JSON-Struktur wird unterstütztund es kann etwas langsamer sein, da OpenAI die Ergebnisse vorverarbeitet.

Dennoch ist es die strengste und sicherste Methode, ein bestimmtes Schema für die Modellausgaben ohne Spielraum für Abweichungen durchzusetzen. Für Produktionssysteme, bei denen Zuverlässigkeit und Konsistenz wirklich wichtig sind, ist dies im Allgemeinen die sicherste Choice.

---

Aber ist das nicht alles dasselbe?

Der JSON-Modus, Funktionsaufrufe und strukturierte Ausgaben scheinen möglicherweise dasselbe zu bewirken, da sie alle im Wesentlichen JSON aus dem Modell zurückerhalten. Dennoch unterscheiden sie sich, wie wir bereits gesehen haben, deutlich darin, was sie garantieren und wofür sie konzipiert sind. Insbesondere:

• Durchsetzung des Schemas: Der JSON-Modus gibt ein gültiges JSON zurück, jedoch ohne strukturelle Garantien. Funktionsaufrufe geben einen gültigen JSON-Code zurück, der einem definierten Schema entspricht und bestimmten Feldnamen, Typen und erforderlichen Feldern folgt. Abweichungen sind jedoch weiterhin möglich. Structured Outputs geht noch einen Schritt weiter und erzwingt dieses Schema auf Generierungsebene, wodurch Abweichungen unmöglich werden.
• Anwendungsfall: Der JSON-Modus ist für Fälle gedacht, in denen wir eine maschinenlesbare Antwort benötigen, aber mit einem variablen Format leben können. Funktionsaufrufe wurden in erster Linie für Fälle entwickelt, in denen das Modell eine Aktion auslösen oder Argumente an ein externes Instrument übergeben muss. Dies ist im Wesentlichen der allgemeine Fall maschinenlesbarer Ausgaben. Strukturierte Ausgaben sind Funktionsaufrufe mit einer Zuverlässigkeitsgarantie und eignen sich daher splendid für Produktionspipelines, bei denen wir Konsistenz bei den Ausgaben benötigen.
• Einfache Einrichtung: Der JSON-Modus ist die einfachste einzurichtende Choice. nur eine einzelne Parameteränderung ohne Schemadefinition. Auf der anderen Seite müssen wir für Funktionsaufrufe und strukturierte Ausgaben auch über das JSON-Schema nachdenken und es einrichten.

Allerdings OpenAI selbst empfiehlt, wann immer möglich, immer strukturierte Ausgaben anstelle des JSON-Modus zu verwendenals allgemeine Faustregel.

---

In meinen Gedanken

Das Erhalten maschinenlesbarer Ausgaben von LLMs und die Wahl des geeigneten Ansatzes dafür kann einen großen Unterschied in der Zuverlässigkeit und Wartbarkeit jeder KI-Anwendung machen. Freitext-Antworten eignen sich hervorragend für Konversationsschnittstellen, aber sobald unser LLM eine Komponente in einem größeren System ist (z. B. Daten weiterleiten, Aktionen auslösen, Datenbanken füllen usw.), sind strukturierte Antworten unerlässlich. JSON-Modus, Funktionsaufrufe und strukturierte Ausgaben können solche Ausgaben bereitstellen, jeweils mit unterschiedlicher Strenge. Wie bei vielen Entscheidungen in der KI-Technik hängt die richtige Wahl davon ab, was Sie bauen und wie viel Variabilität Sie tolerieren können.

---

Wenn du es bis hierher geschafft hast, Vielleicht finden Sie Pialgorithmen nützlich – eine von uns entwickelte Plattform, die Groups dabei hilft, organisatorisches Wissen sicher an einem Ort zu verwalten.

---

Hat Ihnen dieser Beitrag gefallen? Begleiten Sie mich Unterstapel und LinkedIn

---

Alle Bilder vom Autor, sofern nicht anders angegeben.

Aktie

Submit


Aktie

In diesem Artikel erfahren Sie, wie sich Vektordatenbanken und Graph-RAG als Speicherarchitekturen für KI-Agenten unterscheiden und wann jeder Ansatz besser passt.

Zu den Themen, die wir behandeln werden, gehören:

• Wie Vektordatenbanken semantisch ähnliche unstrukturierte Informationen speichern und abrufen.
• Wie der Graph RAG Entitäten und Beziehungen für einen präzisen Multi-Hop-Abruf darstellt.
• Wie Sie zwischen diesen Ansätzen wählen oder sie in einer hybriden Agent-Speicher-Architektur kombinieren können.

In diesem Sinne kommen wir gleich zur Sache.

Einführung

KI-Agenten brauchen Langzeitgedächtnis in komplexen, mehrstufigen Arbeitsabläufen wirklich nützlich sein. Ein Agent ohne Speicher ist im Wesentlichen eine zustandslose Funktion, die ihren Kontext bei jeder Interaktion zurücksetzt. Während wir uns hin zu autonomen Systemen bewegen, die dauerhafte Aufgaben verwalten (z. B. Codierungsassistenten, die die Projektarchitektur verfolgen, oder Rechercheagenten, die fortlaufende Literaturrecherchen erstellen), wird die Frage, wie Kontext gespeichert, abgerufen und aktualisiert werden soll, von entscheidender Bedeutung.

Derzeit ist der Industriestandard für diese Aufgabe die Vektordatenbank, die dichte Einbettungen für die semantische Suche verwendet. Da jedoch der Bedarf an komplexeren Überlegungen wächst, gewinnt Graph RAG, eine Architektur, die Wissensgraphen mit großen Sprachmodellen (LLMs) kombiniert, als strukturierte Speicherarchitektur an Bedeutung.

Auf den ersten Blick sind Vektordatenbanken superb für einen breiten Ähnlichkeitsabgleich und den Abruf unstrukturierter Daten, während Graph-RAG sich hervorragend eignet, wenn Kontextfenster begrenzt sind und Multi-Hop-Beziehungen, sachliche Genauigkeit und komplexe hierarchische Strukturen erforderlich sind. Diese Unterscheidung unterstreicht den Fokus von Vektordatenbanken auf flexibles Matching im Vergleich zur Fähigkeit von Graph-RAG, durch explizite Beziehungen zu argumentieren und die Genauigkeit unter strengeren Einschränkungen zu bewahren.

Um ihre jeweiligen Rollen zu verdeutlichen, untersucht dieser Artikel die zugrunde liegende Theorie, praktische Stärken und Grenzen beider Ansätze für das Agentengedächtnis. Auf diese Weise bietet es einen praktischen Rahmen als Leitfaden für die Auswahl des einzusetzenden Techniques oder der Kombination von Systemen.

Vektordatenbanken: Die Grundlage des semantischen Agentengedächtnisses

Vektordatenbanken stellen Erinnerungen als dichte mathematische Vektoren oder Einbettungen dar, die sich im hochdimensionalen Raum befinden. Ein Einbettungsmodell ordnet Textual content, Bilder oder andere Daten Arrays von Floats zu, wobei der geometrische Abstand zwischen zwei Vektoren ihrer semantischen Ähnlichkeit entspricht.

KI-Agenten verwenden diesen Ansatz hauptsächlich zum Speichern unstrukturierter Texte. Ein häufiger Anwendungsfall ist das Speichern des Gesprächsverlaufs, sodass der Agent sich daran erinnern kann, was ein Benutzer zuvor gefragt hat, indem er seine Speicherbank nach semantisch verwandten vergangenen Interaktionen durchsucht. Agenten nutzen außerdem Vektorspeicher, um relevante Dokumente, API-Dokumentation oder Codeausschnitte basierend auf der impliziten Bedeutung der Eingabeaufforderung eines Benutzers abzurufen. Dies ist ein weitaus robusterer Ansatz als die Verwendung exakter Schlüsselwortübereinstimmungen.

Vektordatenbanken sind eine gute Wahl für den Agentenspeicher. Sie bieten eine schnelle Suche, sogar über Milliarden von Vektoren hinweg. Entwickler finden sie außerdem einfacher einzurichten als strukturierte Datenbanken. Um einen Vektorspeicher zu integrieren, teilen Sie den Textual content auf, generieren Einbettungen und indizieren die Ergebnisse. Diese Datenbanken handhaben auch Fuzzy-Matching intestine und berücksichtigen Tippfehler und Umschreibungen, ohne dass strenge Abfragen erforderlich sind.

Die semantische Suche hat jedoch Grenzen für das erweiterte Agentengedächtnis. Vektordatenbanken können oft nicht einer mehrstufigen Logik folgen. Wenn ein Agent beispielsweise die Verbindung zwischen Entität A und Entität C finden muss, aber nur über Daten verfügt, die zeigen, dass A eine Verbindung zu B und B eine Verbindung zu C herstellt, können bei einer einfachen Ähnlichkeitssuche wichtige Informationen fehlen.

Diese Datenbanken haben auch Probleme beim Abrufen großer Textmengen oder beim Umgang mit verrauschten Ergebnissen. Mit dichten, miteinander verbundenen Fakten (von Softwareabhängigkeiten bis hin zu Unternehmensorganigrammen) können sie verwandte, aber irrelevante Informationen zurückgeben. Dadurch kann das Kontextfenster des Agenten mit weniger nützlichen Daten überfüllt sein.

Graph RAG: Strukturierter Kontext und relationales Gedächtnis

Diagramm RAG Behebt die Einschränkungen der semantischen Suche durch die Kombination von Wissensgraphen mit LLMs. In diesem Paradigma ist das Gedächtnis als diskrete Einheiten strukturiert, die als Knoten dargestellt werden (z. B. eine Particular person, ein Unternehmen oder eine Technologie), und die expliziten Beziehungen zwischen ihnen werden als Kanten dargestellt (z. B. „arbeitet an“ oder „verwendet“).

Agenten, die Graph RAG verwenden, erstellen und aktualisieren ein strukturiertes Weltmodell. Während sie neue Informationen sammeln, extrahieren sie Entitäten und Beziehungen und fügen sie dem Diagramm hinzu. Beim Durchsuchen des Speichers folgen sie expliziten Pfaden, um den genauen Kontext abzurufen.

Die Hauptstärke von graph RAG ist seine Präzision. Da der Abruf expliziten Beziehungen und nicht nur semantischer Nähe folgt, ist das Fehlerrisiko geringer. Wenn im Diagramm keine Beziehung besteht, kann der Agent sie nicht allein aus dem Diagramm ableiten.

Graph RAG zeichnet sich durch komplexes Denken aus und ist superb für die Beantwortung strukturierter Fragen. Um die direkten Untergebenen eines Managers zu finden, der ein Price range genehmigt hat, verfolgen Sie einen Pfad durch die Organisation und die Genehmigungskette – eine einfache Diagrammdurchquerung, aber eine schwierige Aufgabe für die Vektorsuche. Ein weiterer großer Vorteil ist die Erklärbarkeit. Der Abrufpfad ist eine klare, überprüfbare Folge von Knoten und Kanten, kein undurchsichtiger Ähnlichkeitswert. Dies ist wichtig für Unternehmensanwendungen, die Compliance und Transparenz erfordern.

Auf der anderen Seite bringt Graph RAG eine erhebliche Implementierungskomplexität mit sich. Es erfordert robuste Pipelines zur Entitätsextraktion, um Rohtext in Knoten und Kanten zu analysieren, was häufig sorgfältig abgestimmte Eingabeaufforderungen, Regeln oder spezielle Modelle erfordert. Entwickler müssen außerdem eine Ontologie oder ein Schema entwerfen und pflegen, das starr und schwer weiterzuentwickeln sein kann, wenn neue Domänen entdeckt werden. Auch das Kaltstartproblem ist deutlich zu erkennen: Im Gegensatz zu einer Vektordatenbank, die sofort nützlich ist, wenn Sie Textual content einbetten, erfordert das Befüllen eines Wissensgraphen einen erheblichen Vorabaufwand, bevor er komplexe Abfragen beantworten kann.

Das Vergleichsrahmenwerk: Wann welches zu verwenden ist

Bedenken Sie beim Entwerfen des Speichers für einen KI-Agenten, dass Vektordatenbanken hervorragend mit unstrukturierten, hochdimensionalen Daten umgehen können und sich intestine für die Ähnlichkeitssuche eignen, wohingegen Graph-RAG für die Darstellung von Entitäten und expliziten Beziehungen von Vorteil ist, wenn diese Beziehungen von entscheidender Bedeutung sind. Die Auswahl sollte von der inhärenten Struktur der Daten und den erwarteten Abfragemustern abhängen.

Vektordatenbanken eignen sich superb für rein unstrukturierte Daten – Chatprotokolle, allgemeine Dokumentation oder umfangreiche Wissensdatenbanken, die aus Rohtext erstellt werden. Sie eignen sich hervorragend, wenn die Abfrage darauf abzielt, umfassende Themen zu untersuchen, z. B. „Finden Sie Konzepte, die X ähnlich sind“ oder „Was haben wir zu Thema Y besprochen?“ Aus Sicht des Projektmanagements bieten sie niedrige Einrichtungskosten und eine gute allgemeine Genauigkeit, was sie zur Standardwahl für Prototypen im Frühstadium und allgemeine Assistenten macht.

Umgekehrt ist Graph RAG für Daten mit inhärenter Struktur oder halbstrukturierten Beziehungen vorzuziehen, wie z. B. Finanzunterlagen, Codebasisabhängigkeiten oder komplexe Rechtsdokumente. Es ist die geeignete Architektur, wenn Abfragen präzise, ​​kategorische Antworten erfordern, wie zum Beispiel „Wie genau hängt X mit Y zusammen?“ oder „Was sind die Abhängigkeiten dieser spezifischen Komponente?“ Die höheren Einrichtungskosten und der laufende Wartungsaufwand eines Graph-RAG-Techniques werden durch seine Fähigkeit gerechtfertigt, eine hohe Präzision bei bestimmten Verbindungen zu liefern, bei denen die Vektorsuche halluzinieren, übergeneralisieren oder fehlschlagen würde.

Die Zukunft des Superior Agent Reminiscence liegt jedoch nicht in der Wahl des einen oder anderen, sondern in einer hybriden Architektur. Führende Agentensysteme kombinieren zunehmend beide Methoden. Ein gängiger Ansatz verwendet eine Vektordatenbank für den ersten Abrufschritt und führt eine semantische Suche durch, um die relevantesten Einstiegsknoten innerhalb eines umfangreichen Wissensgraphen zu finden. Sobald diese Einstiegspunkte identifiziert sind, geht das System zur Graphendurchquerung über und extrahiert den genauen relationalen Kontext, der mit diesen Knoten verbunden ist. Diese Hybridpipeline vereint die breite, unscharfe Erinnerung von Vektoreinbettungen mit der strengen, deterministischen Präzision der Graphdurchquerung.

Abschluss

Vektordatenbanken bleiben aufgrund ihrer einfachen Bereitstellung und starken semantischen Matching-Funktionen der praktischste Ausgangspunkt für den Allzweck-Agentenspeicher. Für viele Anwendungen, von Kundensupport-Bots bis hin zu einfachen Codierungsassistenten, bieten sie eine ausreichende Kontextabfrage.

Da wir jedoch auf autonome Agenten drängen, die zu unternehmenstauglichen Arbeitsabläufen fähig sind und aus Agenten bestehen, die über komplexe Abhängigkeiten nachdenken, sachliche Genauigkeit gewährleisten und ihre Logik erklären müssen, erweist sich Graph RAG als eine entscheidende Lösung.

Entwickler sind intestine beraten, einen mehrschichtigen Ansatz zu wählen: Starten Sie den Agentenspeicher mit einer Vektordatenbank, um eine grundlegende Gesprächsgrundlage zu schaffen. Wenn die Argumentationsanforderungen des Agenten wachsen und sich den praktischen Grenzen der semantischen Suche nähern, führen Sie gezielt Wissensgraphen ein, um hochwertige Entitäten und zentrale Betriebsbeziehungen zu strukturieren.

Aktie

Submit


Aktie

. Sie lösen ein echtes Downside und sind in vielen Fällen die richtige Wahl für RAG-Systeme. Aber hier ist die Sache: Nur weil Sie Einbettungen verwenden, heißt das nicht, dass Sie es sind brauchen eine Vektordatenbank.

Wir haben einen wachsenden Development beobachtet, bei dem jede RAG-Implementierung mit dem Einbinden einer Vektor-DB beginnt. Das magazine für große, persistente Wissensdatenbanken sinnvoll sein, ist aber nicht immer der effizienteste Weg, insbesondere wenn Ihr Anwendungsfall dynamischer oder zeitkritischer ist.

Bei Planck nutzen wir Einbettungen, um LLM-basierte Systeme zu verbessern. In einer unserer realen Anwendungen haben wir uns jedoch dafür entschieden vermeiden eine Vektordatenbank und verwendete stattdessen a einfacher Schlüsselwertspeicherwas sich als viel besser herausstellte.

Bevor ich näher darauf eingehe, wollen wir uns eine einfache, verallgemeinerte Model unseres Szenarios ansehen, um zu erklären, warum.

Foo-Beispiel

Stellen wir uns ein einfaches RAG-System vor. Ein Benutzer lädt einige Textdateien hoch, möglicherweise einige Berichte oder Besprechungsnotizen. Wir teilen diese Dateien in Blöcke auf, generieren Einbettungen für jeden Block und verwenden diese Einbettungen, um Fragen zu beantworten. Der Benutzer stellt in den nächsten Minuten eine Handvoll Fragen und geht dann. Zu diesem Zeitpunkt sind sowohl die Dateien als auch ihre Einbettungen unbrauchbar und können bedenkenlos verworfen werden.

Mit anderen Worten, die Daten sind vergänglichwird der Benutzer nur a fragen paar Fragenund wir wollen sie beantworten so schnell wie möglich.

Halten Sie nun einen Second inne und fragen Sie sich:

Wo soll ich diese Einbettungen speichern?

---

Der Instinkt der meisten Menschen ist: „Ich habe Einbettungen, additionally brauche ich eine Vektordatenbank“, aber halten Sie einen Second inne und denken Sie darüber nach, was tatsächlich hinter dieser Abstraktion passiert. Wenn Sie Einbettungen an eine Vektor-Datenbank senden, werden diese nicht nur „gespeichert“. Es erstellt einen Index, der die Suche nach Ähnlichkeiten beschleunigt. Von dieser Indexierungsarbeit kommt ein Großteil der Magie, aber auch ein Großteil der damit verbundenen Kosten.

In einer langlebigen, großen Wissensdatenbank ist dieser Kompromiss absolut sinnvoll: Sie zahlen einmalig (oder inkrementell, wenn sich Daten ändern) die Indizierungskosten und verteilen diese Kosten dann auf Millionen von Abfragen. In unserem Foo-Beispiel ist das nicht der Fall. Wir machen das Gegenteil: Wir fügen ständig kleine, einmalige Chargen von Einbettungen hinzu, beantworten eine winzige Anzahl von Anfragen professional Cost und werfen dann alles weg.

Die eigentliche Frage lautet additionally nicht: „Soll ich eine Vektordatenbank verwenden?“ Aber „Lohnt sich die Indexierungsarbeit?„Um das zu beantworten, können wir uns einen einfachen Benchmark ansehen.

Benchmarking: No-Index-Abruf vs. indizierter Abruf

Dieser Abschnitt ist eher technischer Natur. Wir schauen uns den Python-Code an und erklären die zugrunde liegenden Algorithmen. Wenn die genauen Implementierungsdetails für Sie nicht related sind, können Sie gerne mit dem fortfahren Ergebnisse Abschnitt.

Wir wollen zwei Systeme vergleichen:

1. Keine Indizierung überhaupt, behält Einbettungen einfach im Speicher und scannt sie direkt.
2. Eine Vektordatenbankwobei wir im Voraus eine Indizierungskosten zahlen, um jede Abfrage schneller zu machen.

Betrachten Sie zunächst den Ansatz „Kein Vektor-DB“. Wenn eine Abfrage eingeht, berechnen wir Ähnlichkeiten zwischen der Abfrageeinbettung und allen gespeicherten Einbettungen und wählen dann das High-Ok aus. Das ist einfach Ok-Nächste Nachbarn ohne Index.

import numpy as np

def run_knn(embeddings: np.ndarray, query_embedding: np.ndarray, top_k: int) -> np.ndarray:
    sims = embeddings @ query_embedding
    return sims.argsort()(-top_k:)(::-1)

Der Code verwendet das Skalarprodukt als Proxy für Kosinusähnlichkeit (unter der Annahme normalisierter Vektoren) und sortiert die Ergebnisse, um die besten Übereinstimmungen zu finden. Es ist im wahrsten Sinne des Wortes einfach scannt alle Vektoren und wählt die nächstgelegenen aus.

Schauen wir uns nun an, was eine Vektor-DB normalerweise tut. Unter der Haube basieren die meisten Vektordatenbanken auf einer ungefährer Index des nächsten Nachbarn (ANN). ANN-Methoden tauschen ein wenig Genauigkeit gegen eine deutliche Steigerung der Suchgeschwindigkeit ein, und einer der am häufigsten verwendeten Algorithmen hierfür ist HNSW. Wir werden das verwenden hnswlib Bibliothek zur Simulation des Indexverhaltens.

import numpy as np
import hnswlib

def create_hnsw_index(embeddings: np.ndarray, num_dims: int) -> hnswlib.Index:
    index = hnswlib.Index(house='cosine', dim=num_dims)
    index.init_index(max_elements=embeddings.form(0))
    index.add_items(embeddings)
    return index

def query_hnsw(index: hnswlib.Index, query_embedding: np.ndarray, top_k: int) -> np.ndarray:
    labels, distances = index.knn_query(query_embedding, ok=top_k)
    return labels(0)

Um zu sehen, wo der Kompromiss landet, können wir einige zufällige Einbettungen generieren, sie normalisieren und messen, wie lange jeder Schritt dauert:

import time
import numpy as np
import hnswlib
from tqdm import tqdm

def run_benchmark(num_embeddings: int, num_dims: int, top_k: int, num_iterations: int) -> None:
    print(f"Benchmarking with {num_embeddings} embeddings of dimension {num_dims}, retrieving top-{top_k} nearest neighbors.")

    knn_times: listing(float) = ()
    index_times: listing(float) = ()
    hnsw_query_times: listing(float) = ()

    for _ in tqdm(vary(num_iterations), desc="Working benchmark"):
        embeddings = np.random.rand(num_embeddings, num_dims).astype('float32')
        embeddings = embeddings / np.linalg.norm(embeddings, axis=1, keepdims=True)
        query_embedding = np.random.rand(num_dims).astype('float32')
        query_embedding = query_embedding / np.linalg.norm(query_embedding)

        start_time = time.time()
        run_knn(embeddings, query_embedding, top_k)
        knn_times.append((time.time() - start_time) * 1e3)

        start_time = time.time()
        vector_db_index = create_hnsw_index(embeddings, num_dims)
        index_times.append((time.time() - start_time) * 1e3)

        start_time = time.time()
        query_hnsw(vector_db_index, query_embedding, top_k)
        hnsw_query_times.append((time.time() - start_time) * 1e3)

    print(f"BENCHMARK RESULTS (averaged over {num_iterations} iterations)")
    print(f"(Naive KNN) Common search time with out indexing: {np.imply(knn_times):.2f} ms")
    print(f"(HNSW Index) Common index building time: {np.imply(index_times):.2f} ms")
    print(f"(HNSW Index) Common question time with indexing: {np.imply(hnsw_query_times):.2f} ms")

run_benchmark(num_embeddings=50000, num_dims=1536, top_k=5, num_iterations=20)

Ergebnisse

In diesem Beispiel verwenden wir 50.000 Einbettungen mit 1.536 Dimensionen (entsprechend OpenAIs). text-embedding-3-small) und rufen Sie die High-5-Nachbarn ab. Die genauen Ergebnisse variieren je nach Konfiguration, aber das Muster, das uns wichtig ist, ist dasselbe.

Ich empfehle Ihnen, den Benchmark mit Ihren eigenen Zahlen durchzuführen. Dies ist der beste Weg, um zu sehen, wie sich die Kompromisse in Ihrem spezifischen Anwendungsfall auswirken.

Im Durchschnitt dauert die naive KNN-Suche 24,54 Millisekunden professional Abfrage. Die Erstellung des HNSW-Index für dieselben Einbettungen dauert etwa 277 Sekunden. Sobald der Index erstellt ist, dauert jede Abfrage etwa 0,47 Millisekunden.

Daraus können wir den Break-Even-Punkt abschätzen. Der Unterschied zwischen naivem KNN und indizierten Abfragen beträgt 24,07 ms professional Abfrage. Das bedeutet, dass Sie es brauchen 11.510 Abfragen, bevor die bei jeder Abfrage eingesparte Zeit den Zeitaufwand für die Indexerstellung ausgleicht.

Darüber hinaus liegt der Break-Even-Punkt auch bei unterschiedlichen Werten für die Anzahl der Einbettungen und High-k bei Tausenden von Abfragen und bleibt in einem recht engen Bereich. Es kommt nicht vor, dass sich die Indizierung bereits nach ein paar Dutzend Abfragen auszahlt.

Vergleichen Sie das nun mit dem Foo-Beispiel. Ein Benutzer lädt eine kleine Menge Dateien hoch und stellt ein paar Fragen, nicht Tausende. Das System erreicht nie den Punkt, an dem sich der Index auszahlt. Stattdessen verzögert der Indexierungsschritt lediglich den Second, in dem das System die erste Frage beantworten kann, und erhöht die betriebliche Komplexität.

Für diese Artwork von kurzlebigem, benutzerspezifischem Kontext ist der einfache In-Reminiscence-KNN-Ansatz nicht nur einfacher zu implementieren und zu betreiben, sondern auch durchgängig schneller.

Wenn In-Reminiscence-Speicher keine Possibility ist, weil das System verteilt ist oder weil wir den Standing des Benutzers einige Minuten lang beibehalten müssen, können wir a verwenden Schlüsselwertspeicher wie Redis. Wir können eine eindeutige Kennung für die Benutzeranfrage als Schlüssel und alle Einbettungen als Wert speichern.

Dadurch erhalten wir eine leichte Lösung mit geringer Komplexität, die für unseren Anwendungsfall intestine geeignet ist kurzlebige Kontexte mit wenigen Abfragen.

Beispiel aus der Praxis: Warum wir uns für einen Schlüsselwertspeicher entschieden haben

Bei PlanckWir beantworten versicherungstechnische Fragen zu Unternehmen. Eine typische Anfrage beginnt mit einem Firmennamen und einer Firmenadresse, die wir dann abrufen Echtzeitdaten Informationen zu diesem bestimmten Unternehmen, einschließlich seiner On-line-Präsenz, Registrierungen und anderen öffentlichen Aufzeichnungen. Diese Daten werden zu unserem Kontext und wir verwenden LLMs und Algorithmen, um darauf basierende Fragen zu beantworten.

Das Wichtigste ist, dass wir jedes Mal, wenn wir eine Anfrage erhalten, eine Generierung durchführen ein neuer Kontext. Wir verwenden vorhandene Daten nicht wieder, sie werden bei Bedarf abgerufen und bleiben für related höchstens ein paar Minuten.

Wenn Sie an den früheren Benchmark zurückdenken, sollte dieses Muster bereits Ihren „Dies ist kein Vektor-DB-Anwendungsfall“-Sensor auslösen.

Jedes Mal, wenn wir eine Anfrage erhalten, generieren wir neue Einbettungen für kurzlebige Daten, die wir wahrscheinlich nur ein paar hundert Mal abfragen werden. Die Indizierung dieser Einbettungen in einer Vektor-DB führt zu unnötiger Latenz. Im Gegensatz dazu können wir mit Redis Bewahren Sie die Einbettungen sofort auf Und Führen Sie eine schnelle Ähnlichkeitssuche im Anwendungscode durch nahezu ohne Indexierungsverzögerung.

Deshalb haben wir uns entschieden Redis anstelle einer Vektordatenbank. Während Vektor-DBs hervorragend dazu geeignet sind, große Mengen an Einbettungen zu verarbeiten und schnelle Abfragen nach dem nächsten Nachbarn zu unterstützen, führen sie ein Indizierungsaufwandund in unserem Fall lohnt sich dieser Mehraufwand nicht.

Abschließend

Wenn Sie Millionen von Einbettungen speichern und Arbeitslasten mit hohen Abfragen in einem gemeinsamen Korpus unterstützen müssen, wäre eine Vektor-Datenbank die bessere Lösung. Und ja, es gibt definitiv Anwendungsfälle, die eine Vektor-Datenbank wirklich benötigen und von ihr profitieren.

Aber nur weil Sie Einbettungen verwenden oder Der Aufbau eines RAG-Programs bedeutet nicht, dass Sie standardmäßig eine Vektor-Datenbank verwenden sollten.

Jede Datenbanktechnologie hat ihre Stärken und Nachteile. Die beste Wahl beginnt mit einem tiefen Verständnis Ihrer Daten und Ihres Anwendungsfalls. anstatt gedankenlos dem Development zu folgen.

Wenn Sie additionally das nächste Mal eine Datenbank auswählen müssen, halten Sie einen Second inne und fragen Sie: Entscheide ich mich aufgrund objektiver Kompromisse für die richtige Datenbank oder entscheide ich mich einfach für die trendigste und glänzendste Wahl?

of the Universe (hergestellt von einem der berühmtesten Sänger aller Zeiten) sagt Folgendes:

Ich wünschte, ich könnte zurückgehen
Und diese Jahre verändern
Ich erlebe Veränderungen

Black Sabbath – Änderungen

Dieses Lied ist unglaublich kraftvoll und erzählt davon, wie sich das Leben direkt vor Ihren Augen so schnell verändern kann.

In diesem Lied geht es um ein gebrochenes Herz und eine Liebesgeschichte. Es erinnert mich jedoch auch an viele Veränderungen, die mein Job als Knowledge Scientist in den letzten 10 Jahren meiner Karriere durchgemacht hat:

• Als ich anfing, Physik zu studieren, dachte ich nur an Optimus Prime, wenn jemand „Transformer“ sagte. Für mich drehte sich alles um maschinelles Lernen Lineare Regression, SVM, Random Forest usw… (2016)
• Als ich meinen Grasp in Massive Knowledge und Physik komplexer Systeme machte, hörte ich zum ersten Mal von „BERT“ und verschiedene Deep-Studying-Technologien, die damals sehr vielversprechend schienen. Die ersten GPT-Modelle kamen heraus und sie sahen sehr interessant aus, auch wenn niemand erwartet hatte, dass sie so leistungsfähig wären wie heute. (2018-2020)
• Schneller Vorlauf zu meinem Leben als Vollzeit-Datenwissenschaftler. Wenn Sie heute nicht wissen, wofür GPT steht, und es noch nie gelesen haben „Aufmerksamkeit ist alles, was Sie brauchen“ Ihre Chancen, ein Vorstellungsgespräch im Bereich Knowledge Science System Design zu bestehen, sind sehr gering. (2021 – heute)

Wenn Leute behaupten, dass sich die Werkzeuge und der Alltag einer Particular person, die mit Daten arbeitet, erheblich von der vor 10 (oder sogar 5) Jahren unterscheidet, stimme ich voll und ganz zu. Was Ich stimme nicht zu Damit verbunden ist die Idee, dass die in der Vergangenheit verwendeten Instruments gelöscht werden sollten, nur weil jetzt alles mit GPT, LLMs oder Agentic AI lösbar zu sein scheint.

Das Ziel dieses Artikels ist es, eine einzelne Aufgabe zu betrachten, nämlich Klassifizierung der Liebes-/Hass-/neutralen Absicht eines Tweets. Insbesondere werden wir es mit tun traditionelles maschinelles Lernen, Deep Studying, Und Große Sprachmodelle.

Wir werden dies praxisnah mit Python durchführen und beschreiben, warum und wann die einzelnen Ansätze verwendet werden sollten. Hoffentlich erfahren Sie nach diesem Artikel:

1. Der Werkzeuge Die in den frühen Tagen verwendeten Methoden sollten dennoch berücksichtigt, studiert und manchmal übernommen werden.
2. Latenz, Genauigkeit und Kosten sollte bei der Auswahl des besten Algorithmus für Ihren Anwendungsfall evaluiert werden
3. Änderungen in der Welt der Knowledge Scientists sind notwendig und sollten ohne Angst angenommen werden

Fangen wir an!

1. Der Anwendungsfall

Der Fall, mit dem wir uns befassen, ist etwas, das in Knowledge Science/KI-Anwendungen tatsächlich sehr verbreitet ist: Stimmungsanalyse. Das bedeutet, dass wir aus einem gegebenen Textual content das „Gefühl“ hinter dem Autor dieses Textes extrapolieren möchten. Dies ist sehr nützlich, wenn Sie das Suggestions zu einer bestimmten Rezension eines Objekts, eines Movies, eines von Ihnen empfohlenen Artikels usw. einholen möchten.

In diesem Blogbeitrag verwenden wir ein sehr „berühmtes“ Beispiel einer Sentimentanalyse: was das Gefühl hinter einem Tweet klassifiziert. Da ich mehr Kontrolle wollte, werden wir nicht mit organischen Tweets arbeiten, die aus dem Web stammen (wo die Bezeichnungen unsicher sind). Stattdessen verwenden wir Inhalte, die von generiert wurden Große Sprachmodelle das wir kontrollieren können.

Diese Technik ermöglicht es uns auch, den Schwierigkeitsgrad und die Vielfalt des Issues abzustimmen und zu beobachten, wie verschiedene Techniken reagieren.

• Einfacher Fall: Die Liebes-Tweets klingen wie Postkarten, die Hass-Tweets sind unverblümt und die neutralen Nachrichten handeln von Wetter und Kaffee. Wenn ein Modell hier Probleme hat, stimmt etwas anderes nicht.

• Schwierigerer Fall: immer noch Liebe, Hass, impartial, aber jetzt bringen wir Sarkasmus, gemischte Töne und subtile Hinweise ein, die Aufmerksamkeit auf den Kontext erfordern. Wir haben auch weniger Daten, um einen kleineren Datensatz zum Trainieren zu haben.

• Additional harter Koffer: Wir gehen zu fünf Emotionen über: Liebe, Hass, Wut, Ekel, Neid, daher muss das Modell umfangreichere, vielschichtigere Sätze analysieren. Darüber hinaus haben wir 0 Einträge zum Trainieren der Daten: Wir können kein Coaching durchführen.

Ich habe die Daten generiert und jede der Dateien in einem bestimmten öffentlichen Ordner abgelegt GitHub-Ordner Ich habe für dieses Projekt erstellt (Daten).

Unser Ziel ist es, ein intelligentes Klassifizierungssystem aufzubauen, das dies effizient erfassen kann Gefühl hinter den Tweets. Aber wie machen wir das? Lass es uns herausfinden.

2. Systemdesign

Ein Bild, dessen Betrachtung immer äußerst hilfreich ist, ist das Folgende:

Genauigkeit, kostenUnd Skala bilden in einem maschinellen Lernsystem ein Dreieck. Sie können nur zwei gleichzeitig vollständig optimieren.

Sie können ein sehr genaues Modell haben, das sich sehr intestine mit Millionen von Einträgen skalieren lässt, aber es wird nicht schnell sein. Sie können ein schnelles Modell haben, das mit Millionen von Einträgen skaliert, aber es wird nicht so genau sein. Sie können ein genaues und schnelles Modell erhalten, aber es lässt sich nicht sehr intestine skalieren.

Diese Überlegungen werden vom konkreten Downside abstrahiert, helfen aber dabei, welches ML-Systemdesign erstellt werden soll. Wir werden darauf zurückkommen.

Außerdem sollte die Leistung unseres Modells proportional zur Größe unseres Trainingssatzes sein. Im Allgemeinen versuchen wir zu vermeiden, dass der Trainingssatzfehler auf Kosten einer Erhöhung des Testsatzes (der berühmten) abnimmt Überanpassung).

Wir wollen nicht im Bereich der Unter- oder Überanpassung liegen. Lassen Sie mich erklären, warum.

Vereinfacht ausgedrückt liegt eine Unteranpassung vor, wenn Ihr Modell zu einfach ist, um das tatsächliche Muster in Ihren Daten zu erkennen. Es ist, als würde man versuchen, eine gerade Linie durch eine Spirale zu zeichnen. Überanpassung ist das Gegenteil. Das Modell lernt die Trainingsdaten, einschließlich des gesamten Rauschens, zu intestine, sodass es bei bereits gesehenen Daten intestine abschneidet, bei neuen Daten jedoch schlecht. Der Candy Spot ist der Mittelweg, bei dem Ihr Modell die Struktur versteht, ohne sie sich zu merken.

Auch hierauf kommen wir zurück.

3. Einfacher Fall: Traditionelles maschinelles Lernen

Wir beginnen mit dem freundlichsten Szenario: einem hochstrukturierten Datensatz von 1.000 Tweets, die wir generiert und gekennzeichnet haben. Die drei Klassen (positiv, impartial, negativ) sind absichtlich ausbalanciert, die Sprache ist sehr explizit und jede Zeile befindet sich in einer sauberen CSV-Datei.

Beginnen wir mit einem einfachen Import-Codeblock.

Mal sehen, wie der Datensatz aussieht:

Nun gehen wir davon aus, dass dies der Fall ist wird nicht skaliert für Millionen von Zeilen (da der Datensatz zu strukturiert ist, um vielfältig zu sein). Wir können jedoch eine sehr schnelle und genaue Methode für diesen kleinen und spezifischen Anwendungsfall entwickeln. Beginnen wir mit der Modellierung. Drei Hauptpunkte, die es zu beachten gilt:

1. Wir machen es Zug-/Testaufteilung mit 20 % des Datensatzes im Testsatz.
2. Wir werden a verwenden TF-IDF Ansatz, um die Einbettungen der Wörter zu erhalten. TF-IDF steht für Time period Frequency–Inverse Doc Frequency. Dabei handelt es sich um eine klassische Technik, die Textual content in Zahlen umwandelt, indem jedem Wort eine Gewichtung zugewiesen wird, die darauf basiert, wie wichtig es in einem Dokument im Vergleich zum gesamten Datensatz ist.
3. Wir werden diese Technik mit zwei ML-Modellen kombinieren: Logistische Regression Und Unterstützen Sie Vektormaschinenaus scikit-lernen. Die logistische Regression ist einfach und interpretierbar und wird häufig als solide Grundlage für die Textklassifizierung verwendet. Assist Vector Machines konzentrieren sich darauf, die beste Grenze zwischen Klassen zu finden und funktionieren normalerweise sehr intestine, wenn die Daten nicht zu verrauscht sind.

Und die Leistung ist bei beiden Modellen im Grunde perfekt.

In diesem sehr einfachen Fall, in dem wir über einen konsistenten Datensatz mit 1.000 Zeilen verfügen, ist ein herkömmlicher Ansatz ausreichend. Es sind keine Milliarden von Parametermodellen wie GPT erforderlich.

4. Harter Fall: Deep Studying

Der zweite Datensatz ist immer noch synthetisch, soll aber absichtlich stören. Die Etiketten bleiben Liebe, Hass und impartial, doch die Tweets basieren auf Sarkasmus, gemischtem Ton und hinterhältigen Komplimenten. Darüber hinaus ist der Trainingspool kleiner, während der Validierungsanteil groß bleibt, sodass die Modelle mit weniger Beweisen und mehr Mehrdeutigkeit arbeiten.

Jetzt, da wir diese Unklarheit haben, müssen wir die größeren Geschütze herausnehmen. Es gibt Deep-Studying-Einbettungsmodelle, die eine hohe Genauigkeit beibehalten und sich in diesen Fällen dennoch intestine skalieren lassen (denken Sie an das Dreieck und das Fehler-Komplexitäts-Diagramm!). Insbesondere lernen Deep-Studying-Einbettungsmodelle die Bedeutung von Wörtern aus ihrem Kontext, anstatt sie als isolierte Token zu behandeln.

Für diesen Blogbeitrag verwenden wir BERTeines der bekanntesten Einbettungsmodelle überhaupt. Importieren wir zunächst einige Bibliotheken:

… und einige Helfer.

Dank dieser Funktionen können wir unser Einbettungsmodell schnell im Vergleich zum TF-IDF-Ansatz bewerten.

Wie wir sehen können, ist das TF-IDF-Modell bei den positiven Etiketten extrem leistungsschwach, während es bei Verwendung des Einbettungsmodells (BERT) eine hohe Genauigkeit beibehält.

5. Additional harter Fall: LLM Agent

Okay, jetzt machen wir es SEHR schwierig:

1. Wir haben nur 100 Reihen.
2. Wir gehen davon aus Wir kennen die Etiketten nichtwas bedeutet, dass wir kein Modell für maschinelles Lernen trainieren können.
3. Wir haben fünf Schlagworte: Neid, Hass, Liebe, Ekel, Wut.

Da wir nichts trainieren können, unsere Klassifizierung aber dennoch durchführen möchten, müssen wir eine Methode anwenden, die die Klassifizierungen irgendwie bereits enthält. Große Sprachmodelle sind das beste Beispiel für eine solche Methode.

Beachten Sie, dass die Verwendung von LLMs für die anderen beiden Fälle so wäre, als würde man eine Fliege mit einer Kanone abschießen. Aber hier macht es durchaus Sinn: Die Aufgabe ist eine Herausforderung und wir haben keine Möglichkeit, irgendetwas Intelligentes zu tun, weil wir unser Modell nicht trainieren können (wir haben nicht den Trainingssatz).

In diesem Fall verfügen wir über Genauigkeit im großen Maßstab. Allerdings benötigt die API etwas Zeit, sodass wir ein bis zwei Sekunden warten müssen, bis die Antwort zurückkommt (Denken Sie an das Dreieck!).

Lassen Sie uns einige Bibliotheken importieren:

Und das ist der Klassifizierungs-API-Aufruf:

Und wir können sehen, dass das LLM eine erstaunliche Klassifizierungsarbeit leistet:

6. Schlussfolgerungen

Im letzten Jahrzehnt hat sich die Rolle des Datenwissenschaftlers ebenso dramatisch verändert wie die Technologie selbst. Dies könnte zu der Idee führen, einfach die leistungsstärksten verfügbaren Instruments zu verwenden, aber das ist in vielen Fällen NICHT der beste Weg.

Anstatt zuerst nach dem größten Modell zu greifen, haben wir ein Downside anhand einer einfachen Linse getestet: Genauigkeit, Latenz und Kosten.

Insbesondere haben wir Schritt für Schritt Folgendes getan:

• Wir haben unseren Anwendungsfall als Tweet-Sentiment-Klassifizierung definiert, mit dem Ziel, Liebe, Hass oder neutrale Absichten zu erkennen. Wir haben drei Datensätze mit zunehmendem Schwierigkeitsgrad entworfen: einen sauberen, einen sarkastischen und einen ohne Coaching.

• Wir haben den einfachen Fall mithilfe von TF-IDF mit logistischer Regression und SVM angegangen. Die Tweets waren klar und direkt und beide Modelle schnitten nahezu perfekt ab.

• Wir gingen zum schwierigen Fall über, wo Sarkasmus, gemischter Ton und subtiler Kontext die Aufgabe komplexer machten. Wir haben BERT-Einbettungen verwendet, um die Bedeutung einzelner Wörter zu erfassen.

• Schließlich haben wir für den besonders schwierigen Fall ohne Trainingsdaten ein großes Sprachmodell verwendet, um Emotionen direkt durch Zero-Shot-Lernen zu klassifizieren.

Jeder Schritt zeigte, wie das richtige Werkzeug vom Downside abhängt. Traditionelles ML ist schnell und zuverlässig, wenn die Daten strukturiert sind. Deep-Studying-Modelle helfen, wenn sich die Bedeutung zwischen den Zeilen verbirgt. LLMs sind leistungsstark, wenn Sie keine Bezeichnungen haben oder eine umfassende Verallgemeinerung benötigen.

7. Bevor Sie losfahren!

Nochmals vielen Dank für Ihre Zeit. Es bedeutet viel

Mein Identify ist Piero Paialunga und ich bin dieser Typ hier:

Ich komme ursprünglich aus Italien und habe einen Doktortitel. aus dem Universität von Cincinnatiund arbeite als Datenwissenschaftler bei The Commerce Desk in New York Metropolis. Ich schreibe darüber KI, maschinelles Lernen und die sich entwickelnde Rolle von Datenwissenschaftlern sowohl hier auf TDS als auch auf LinkedIn. Wenn Ihnen der Artikel gefallen hat und Sie mehr über maschinelles Lernen erfahren und meine Studien verfolgen möchten, können Sie:

A. Folge mir weiter Linkedinwo ich alle meine Geschichten veröffentliche
B. Folge mir weiter GitHubwo Sie meinen gesamten Code sehen können
C. Bei Fragen können Sie mir eine E-Mail senden an piero.paialunga@hotmail

Bild vom Autor

Sie und Ihr Unternehmen sind „datengesteuert“, oder? Das bedeutet sicherlich, die ausgefeilteste Technologie für den Umgang mit Daten einzusetzen. Das Vorhandensein einer Datenbank und deren Abfrage mit SQL scheint in dieser Welt eine Mindestanforderung zu sein.

Was aber, wenn es Fälle gibt, in denen eine einfache Tabellenkalkulation eine sorgfältig geschriebene Abfrage um Längen übertrifft? Hier sind einige Situationen aus dem wirklichen Leben.

Bild vom Autor

1. Ihre Daten sind klein und/oder einmalig

Beispiele für solche Daten sind:

• Eine CSV von einem Anbieter
• Ein Finanzmodell mit einigen hundert Zeilen
• Eine einfache Budgetprognose
• Ein Aufgaben-Tracker

Bild vom Autor

Es wäre quick bizarr, solche Daten in eine Datenbank zu laden und ein paar Abfragen auszuführen. Es ist übertrieben. Öffnen Sie es in Excel oder Google Sheets, und Sie können schnell filtern, sortieren und Berechnungen und Transformationen durchführen. Sie würden wahrscheinlich immer noch Tabellen, Indizes und Schemata in einer Datenbank einrichten.

2. Sie benötigen Geschwindigkeit und Null-Setup

Wenn Sie noch keine relationale Datenbank haben, erfordert deren Einrichtung Folgendes:

• Eine laufende Datenbank, lokal oder in der Cloud
• Definierte Tabellen und Datentypen
• Richtige Berechtigungen

Mit Tabellenkalkulationen? Nichts davon. Selbst wenn eine Set up erforderlich ist, geht es viel schneller. Sie müssen jedoch wahrscheinlich nichts installieren, da Ihr Pc wahrscheinlich mit einem vorinstallierten Tabellenkalkulationsprogramm geliefert wird, oder Sie können problemlos eine Cloud-Model verwenden.

Bild vom Autor

Klicken Sie einfach auf die Datei und legen Sie los – vor allem, wenn Sie nur sehen möchten, was darin enthalten ist, oder ein paar schnelle Berechnungen durchführen möchten.

3. Sie müssen zusammenarbeiten

Datenbanken können die Zusammenarbeit bewältigen, sie erfordern jedoch das Festlegen von Berechtigungen, das Definieren von Rollen und SQL-Kenntnisse.

Beispielsweise ist die Zusammenarbeit in Google Sheets viel einfacher:

• Teilen Sie einen Hyperlink mit Ihren Mitarbeitern
• Kommentare hinzufügen
• Verfolgen Sie Dateiänderungen

Bild vom Autor

Wenn Ihre Mitarbeiter außerhalb des Datenteams sind (z. B. Finanzen, Advertising and marketing, Betrieb), verwenden sie wahrscheinlich kein SQL – bei Tabellenkalkulationen spielt das keine Rolle.

4. Sie möchten Daten visualisieren und präsentieren

SQL dient der Abfrage und Datenanalyse, ist jedoch nicht für die Präsentation Ihrer Ergebnisse geeignet. Normalerweise exportieren Sie die Ausgabe Ihrer Abfragen an einen anderen Ort. Ironischerweise sind es oft Tabellenkalkulationen, die wir vermeiden wollten.

Wenn die Visualisierung und Präsentation von Daten wichtig ist und Sie die Analyse relativ einfach in einer Tabellenkalkulation durchführen können, dann wählen Sie diese gegenüber SQL. Tabellenkalkulationen sind sowohl Berechnungs- als auch Präsentationswerkzeuge.

Bild vom Autor

Normalerweise bevorzugen Sie Tabellenkalkulationen gegenüber SQL, wenn Sie Folgendes benötigen:

• Diagramme für eine Präsentation
• Pivot-Tabellen für Führungskräfte
• Ein Finanzprognosemodell

5. Ihre Arbeit ist iterativ und chaotisch

Beispiele für solche Arbeiten sind das Erstellen von Modellen, das Brainstorming von Szenarien und das Testen von Annahmen. Hier würde ich Tabellenkalkulationen verwenden.

Bild vom Autor

Sie können sie verwenden, um:

• Brainstormen Sie Finanzszenarien -> kopieren Sie das Blatt, optimieren Sie ein paar Zellen und sehen Sie sofort die Ergebnisse
• Annahmen testen -> zwei Formeln schreiben, vergleichen, die schwächere löschen; Keine Schemamigration erforderlich
• Schnelle Was-wäre-wenn-Modelle -> Erstellen Sie eine grobe Model in einer Tabelle, bevor Sie sie in SQL formalisieren
• Advert-hoc-Anmerkungen -> Farbcodierung, Kommentare hinterlassen, Daten hervorheben
• Formeliteration -> einfach =SUM(A1:A52) in =AVERAGE(A1:A52) ändern; Es ist nicht erforderlich, Abfragen neu zu schreiben oder die Syntax zu validieren

6. Ihre Zielgruppe spricht kein SQL

Unternehmensleiter, Projektmanager und externe Kunden öffnen weitaus eher eine Tabellenkalkulation als eine Datenbank.

Bild vom Autor

Mit Tabellenkalkulationen erhalten sie etwas, das sie lesen, optimieren und teilen können, ohne eine Programmiersprache zu lernen, die sie nicht lernen wollten.

7. Sie berücksichtigen Kosten und Zugang

Die Pflege relationaler Datenbanken in Produktionsumgebungen kann kostspielig sein; Denken Sie an Cloud-Speicher, Rechenressourcen und Verwaltungszeit.

Bild vom Autor

Tabellenkalkulationen sind kostenlos oder quick kostenlos. Wenn Ihr Datensatz und Ihre Analyse relativ einfach mit einer Tabellenkalkulation verarbeitet werden können, vermeidet die Wahl dieser anstelle von SQL den Mehraufwand.

8. Sie benötigen eine schnelle Dateneingabe

Datenbanken sind nicht für eine einfache manuelle zeilenweise Eingabe konzipiert. Sie müssten entweder eine Abfrage schreiben oder Daten aus einer Tabellenkalkulation importieren.

Bild vom Autor

Das direkte Eingeben von Daten in eine Tabelle ist einfacher, wenn Sie beispielsweise Folgendes tun möchten:

• Zeichnen Sie Besprechungsnotizen auf
• Sammeln Sie mehrere Vertriebskontakte
• Verfolgen Sie Aufgaben oder Fristen

Abschluss

Der beste Weg ist natürlich die Kombination von Tabellenkalkulationen und SQL. Letzteres dient der Verarbeitung, Transformation und Analyse umfangreicher Daten, insbesondere wenn es sich dabei um sich wiederholende Aufgaben handelt. Dann lohnt es sich, eine logische Abfrage zu erstellen und diese bei Bedarf einfach erneut auszuführen. Wenn Sie gerade erst anfangen oder eine Auffrischung benötigen, ist dies hier SQL-Spickzettel ist eine großartige Ressource für Kernkonzepte, die Sie tatsächlich verwenden werden.

Tabellenkalkulationen sind besser, wenn Sie Agilität, schnelles Verständnis von Daten, einfachere Analysen, schnelle Datenvisualisierungen und gemeinsame Nutzung suchen.

Nate Rosidi ist Datenwissenschaftler und in der Produktstrategie tätig. Er ist außerdem außerordentlicher Professor für Analytik und Gründer von StrataScratch, einer Plattform, die Datenwissenschaftlern hilft, sich mit echten Interviewfragen von Prime-Unternehmen auf ihre Interviews vorzubereiten. Nate schreibt über die neuesten Developments auf dem Karrieremarkt, gibt Ratschläge zu Vorstellungsgesprächen, stellt Knowledge-Science-Projekte vor und behandelt alles rund um SQL.

Bild von Autor | Chatgpt

# Einführung

In den letzten Jahren, Großsprachige Modelle (LLMs) sind in der KI-Landschaft und in den Medienkanälen nahezu allgegenwärtige Protagonisten geworden-manchmal als All-in-One-Lösung für jedes Drawback angepriesen. Das könnte eine leichte Übertreibung von meiner Seite sein. Dennoch ist es wahr, dass LLMs in der überwiegenden Mehrheit der realen Anwendungen, die KI- oder datengesteuerte Systeme erfordern, zunehmend als unverzichtbare Werkzeuge angesehen werden.

Dieser Artikel zielt darauf ab, das Gespräch über LLMs wieder auf die Erde zu führen. Wir werden nicht nur die breite Palette von Anwendungsfällen untersuchen, in denen LLMs einen echten Wert hinzufügen können, sondern auch die Einschränkungen, mit denen sie ausgesetzt sind. Das Verständnis dieser Grenzen ist entscheidend, da nicht jede Herausforderung am besten mit einem LLM angegangen wird. In einigen Szenarien kann es sogar unnötige Risiken oder Komplexitäten einführen.

# High -Anwendungsfälle, in denen LLMs einen echten Wert hinzufügen

LLMs sind Meisterwerke für natürliche Sprachverarbeitung (NLP), die sich bei den Aufgaben des Sprachverständnisses und der Sprachgenerierung hervorheben. Das folgende Diagramm listet einige der häufigsten Aufgaben zum Verständnis und zur Erzeugung von Sprachen auf und stellt jede Aufgabe unter den primären (aber nicht unbedingt unbedingt die einzige) „Sprachkompetenz“, die für die Übernahme erforderlich ist. Zusammenfassend des Textes oder Übersetzen von Textual content beinhaltet beispielsweise in der Regel viel Sprachverständnis. Letztendlich erfordert es auch Funktionen für Sprachgenerierung, um die Ausgabe zu generieren: eine zusammengefasste oder übersetzte Model des ursprünglichen Eingabetxtes.

Bild des Autors

Während diese Aufgaben die häufigsten Anwendungsfälle für LLMs abdecken, wurde die Diskussion bisher abstrakt. Lassen Sie uns einige reale Situationen untersuchen, in denen LLMs das richtige Werkzeug für den Job sind und das spezifische Sprachverständnis und/oder die in den einzelnen Generationen beteiligten Erzeugungsaufgaben hervorheben:

LLMs sind Meisterwerke für natürliche Sprachverarbeitung (NLP), die sich bei den Aufgaben des Sprachverständnisses und der Sprachgenerierung hervorheben.

// Automatisierter Kundensupport

Dies ist ein hochdarstellender Anwendungsfall in Sektoren wie Einzelhandel und E-Commerce, in dem LLMs einen großen Einfluss haben können. Texte wie Kundenbewertungen oder Anfragen, die über ein Webformular gesendet werden, können von einem LLM analysiert werden, um die Absicht des Benutzers zu verstehen und zu klassifizieren (Lob, Beschwerde, Anfrage usw.), generieren geeignete Antworten und beantworten Kundenfragen. Diese spezifischen Aufgaben, insbesondere die letzten, die sich in Bezug auf Frage-Answere befassen, werden am besten angesprochen, indem ein LLM-basierter virtueller Assistent erstellt wird, der in der Lage ist, eine Vielzahl von Kundenanfragen in der natürlichen Sprache zu verstehen und zu reagieren.

// Zusammenfassung der Dokument

In Bereichen wie Regulation, wissenschaftlicher Forschung und in gewissem Umfang kann es Journalismus nützlich sein, lange und komplexe Textdokumente wie Artikel und Berichte in präzise und lesbare Abstracts zu kondensieren, die die wichtigsten Erkenntnisse und Fakten abdecken. Während diese Verwendung von LLMs die Effizienz mühsamer Anwendungsfälle wie eine wissenschaftliche Literaturübersicht erheblich verbessern kann, ist es wichtig, sich nicht vollständig auf die mit LLM generierten Zusammenfassungen zu verlassen und die Quellen manuell zu überprüfen, die als am relevantesten als am relevantesten in bestimmten Aspekten oder Particulars eingetaucht sind.

// Mehrsprachige Kommunikation

Bei Verwendung zur Übersetzung sind LLMs ein großartiges Instrument, um ein bringliches Verständnis zu ermöglichen. Sie sind nützlich, um das Kundenfeedback in einem E-Commerce-Unternehmen zu verwalten, das in mehreren Ländern tätig ist, personalisierte Unterstützung leistet und Inhalte in mehreren Sprachen im Allgemeinen abwickelt. Wenn LLMs ordnungsgemäß in ausreichenden und vielfältigen Daten ausgebildet werden, können Sie auch mögliche lokale Slang oder Phrasen interpretieren, die auf den ersten Blick möglicherweise nicht verstanden werden.

// Semantische Suche und Frage-Beantwortung

Wenn LLMs in die Generationssysteme von Abrufen integriert werden, die ein tieferes kontextbezogenes Verständnis der Benutzerabfrage erzielen können, können sie mit großer Wirksamkeit verwendet werden, um komplexe, offene Fragen über Datenbanken oder Dokumente zu beantworten und direkte und kontextbezogene Antworten zu liefern.

// Kreative Textgenerierung

Final however not least verfügen LLMs erstaunliche kreative Fähigkeiten, um Textual content mit vielfältigem Stil, Struktur und Absichten zu generieren. Von präzisen und ansprechenden Produktbeschreibungen und narrativen Inhalten mit solider Fließfähigkeit und Ton bis hin zu faszinierenden Gedichten in vielen verschiedenen Stilen kann LLMs eine breite Palette kreativer Textual content erstellen.

# Wann kann man etwas anderes benutzen? Einschränkungen von LLMs

Trotz ihrer großen Fähigkeit, mit einer Vielzahl von Aufgaben des Sprachverständnisses und der Sprachgenerierung umzugehen, die oft sehr schwierig sein könnten, ist es nicht realistisch, sie als All-in-One-Lösung für jede Artwork von Drawback zu betrachten. Viele Anwendungsfälle, die in der Vergangenheit mithilfe herkömmlicher Lösungen für maschinelles Lernen-wie dem Aufbau eines prädiktiven Programs für Klassifizierung, Regression und Prognose-angesprochen wurden, werden nach wie vor am besten angesprochen, indem spezifische Modelle für maschinelles Lernen erstellt werden, die aus domänenspezifischen Daten lernen, um die Zielvorhersageaufgabe auszuführen.

Andere spezifische Aufgaben, die traditionell durch AI-Systeme früherer Technology gelöst wurden, wie regelbasierte Systeme oder logische Argumentationsmodelle, werden in bestimmten Fällen nach wie vor am besten von solchen herkömmlichen Ansätzen angesprochen: Entscheidungsfindung mit geringer Latenz und auf Fakten begründete Argumentationsaufgaben sind ein gutes Beispiel dafür.

Im Folgenden finden Sie eine kurze Liste von Anwendungsfällen, in denen die Funktionen von LLMs begrenzt sind, was den richtigen alternativen Ansatz zur Verwendung hervorhebt:

Bild des Autors

# Zusammenfassung und Abschluss

LLMs Excel in Szenarien, die kreative Textgenerierung erfordern, wichtige komplexe Informationen aus unstrukturierten Textsequenzen extrahieren und Konversationsassistentenanwendungen nutzen. Ihre Effektivität ist jedoch begrenzt für prädiktive Szenarien, die eine hohe Präzision, Echtzeitleistung, domänenspezifische logische Argumentation oder den Zugriff auf bestimmte, proprietäre Daten fordern.

Iván Palomares Carrascosa ist ein Führer, Schriftsteller, Sprecher und Berater in KI, maschinellem Lernen, Deep Studying & LLMs. Er trainiert und führt andere darin, KI in der realen Welt zu nutzen.

Bis zum heutigen Tag erinnere ich mich, dass ich in unserer Kursarbeit wiederkehrende neuronale Netzwerke gestoßen habe. Sequenzdaten erregen Sie zunächst, aber dann setzt Verwirrung bei der Unterscheidung zwischen den mehreren Architekturen ein. Ich fragte meinen Berater: „Soll ich ein LSTM oder eine Gru für dieses NLP -Projekt verwenden?“ Seine vorzeitige „Es kommt darauf an“ nichts, um meine Verwirrung zu beurteilen. Nach vielen Experimenten und unzähligen Projekten hat mein Verständnis in Bezug auf die vorbildlichen Bedingungen für jede Architektur erheblich gereift. Wenn Sie mit einer ähnlichen Entscheidung konfrontiert sind, haben Sie Ihren Platz gefunden. Lassen Sie uns LSTMS und GRUS ausführlich untersuchen, um Ihnen bei der Entscheidung für Ihr nächstes Projekt zu helfen.

LSTM -Architektur: Speicher mit feiner Kontrolle

Langes Kurzzeitgedächtnis (LSTM) Networks entstanden 1997 als Lösung für das verschwindende Gradientenproblem in traditionellen RNNs. Ihre Architektur dreht sich um eine Speicherzelle, die Informationen über lange Zeiträume aufrechterhalten kann, die von drei Toren regiert werden:

1. Vergessen Sie Tor: Entscheidet, welche Informationen aus dem Zellzustand abwerfen sollen
2. Eingabetor: Entscheidet, welche Werte aktualisiert werden sollen
3. Ausgangstor: Steuert, welche Teile des Zellzustands ausgegeben werden

Diese Tore geben LSTMs eine bemerkenswerte Kontrolle über den Informationsfluss und ermöglichen es ihnen, langfristige Abhängigkeiten in Sequenzen zu erfassen.

Gru Architektur: Elegante Einfachheit

Gated Recurrent Items (GRUS), die 2014 eingeführt wurde, rationalisieren das LSTM -Design gleichzeitig und halten Sie einen Großteil seiner Wirksamkeit beibehalten. Grus Function nur zwei Tore:

1. Tor zurücksetzen: Bestimmt, wie man neue Eingaben mit vorherigen Speicher kombiniert
2. Replace Gate: Kontrolliert, welche Informationen von früheren Schritten abgehalten werden sollen und was aktualisiert werden soll

Diese vereinfachte Architektur macht Grus rechnerisch leichter, während er sich gleichzeitig mit dem verschwundenen Gradientenproblem effektiv befasst.

Leistungsvergleiche: Wenn jede Architektur glänzt

Recheneffizienz

Grus gewinnen für:

• Projekte mit begrenzten Rechenressourcen
• Echtzeit-Anwendungen, bei denen Inferenzgeschwindigkeit wichtig ist
• Bereitstellungen für cell oder Edge Computing
• Größere Chargen und längere Sequenzen auf fester {Hardware}

Die Zahlen sprechen für sich: Grus Trainieren Sie in der Regel 20-30% schneller als äquivalente LSTM-Modelle aufgrund ihrer einfacheren internen Struktur und weniger Parametern. Während eines kürzlich durchgeführten Textklassifizierungsprojekts zu Verbraucherüberprüfungen beobachtete ich Trainingszeiten von 3,2 Stunden für ein LSTM -Modell gegenüber 2,4 Stunden für eine vergleichbare GRU für dieselbe {Hardware} – ein sinnvoller Unterschied, wenn Sie mehrere experimentelle Designs durchführen.

Umgang mit langen Sequenzen

LSTMS gewinnen für:

• Sehr lange Sequenzen mit komplexen Abhängigkeiten
• Aufgaben, die eine präzise Speicherkontrolle erfordern
• Probleme, bei denen das Vergessen spezifischer Informationen kritisch ist

Nach meiner Erfahrung mit Finanzzeitreihen, die mehrere Jahre täglicher Daten umfassen, übertrafen LSTMs den Grus, wenn sie Tendencies prognostizierten, die von saisonalen Mustern ab mehr als 6 Monaten abhing. Die separate Speicherzelle in LSTMS bietet eine zusätzliche Kapazität, um wichtige Informationen über längere Zeiträume aufrechtzuerhalten.

Trainingsstabilität

Grus gewinnen für:

• Kleinere Datensätze, bei denen Überanpassung ein Downside darstellt
• Projekte, die eine schnellere Konvergenz erfordern
• Anwendungen, bei denen das Hyperparameter -Tuning -Finances begrenzt ist

Ich habe festgestellt, dass Grus während des Trainings oft schneller konvergiert und manchmal in 25% weniger Epochen als LSTMs eine akzeptable Leistung erzielt. Dies macht experimentelle Zyklen schneller und produktiver.

Modellgröße und Bereitstellung

Grus gewinnen für:

• Umgebungen von Gedächtnisbeschränken
• Modelle, die an Kunden geliefert werden müssen
• Anwendungen mit strengen Latenzanforderungen

Ein produktionsbereites LSTM-Sprachmodell I, das für eine Kundendienstanwendung erstellt wurde, benötigte 42 MB Speicher, während die GRU-Model nur 31 MB benötigte-eine Reduzierung von 26%, die die Bereitstellung für Edge-Geräte erheblich praktischer machte.

Aufgabenspezifische Überlegungen

Verarbeitung natürlicher Sprache

Bei den meisten NLP-Aufgaben mit moderaten Sequenzlängen (20-100 Token) können Grus beim schnelleren Coaching häufig gleich oder besser als LSTMs abschneiden. Bei Aufgaben, die eine sehr lange Dokumentanalyse oder ein komplexes Sprachverständnis beinhalten, können LSTMs jedoch einen Vorteil haben.

Während eines kürzlich durchgeführten Projekts zur Analyse von Sentiment fand mein Staff praktisch identische F1 -Scores zwischen den GRU- und LSTM -Modellen (0,91 gegenüber 0,92), aber der GRu -trainierte in ungefähr 70% der Fälle.

Zeitreihenprognose

Für die Prognose mit mehreren saisonalen Mustern oder sehr langfristigen Abhängigkeiten tendieren LSTMs tendenziell aus. Ihre explizite Speicherzelle hilft, komplexe zeitliche Muster zu erfassen.

In einem Prognoseprognoseprognose für Einzelhandelsbedarf reduzierte LSTMS den Vorhersagefehler um 8% im Vergleich zu Grus bei der Arbeit mit 2+ Jahren täglicher Verkaufsdaten mit wöchentlicher, monatlicher und jährlicher Saisonalität.

Spracherkennung

Bei Spracherkennungsanwendungen mit moderaten Sequenzlängen funktionieren Grus häufig besser, vergleichbar mit LSTMs und gleichzeitig rechnerisch effizienter.

Beim Aufbau eines Schlüsselwort-Recognizing-Methods erreichte meine GRU-Implementierung eine Genauigkeit von 96,2% gegenüber 96,8% für das LSTM, jedoch mit 35% schnellerer Schlussfolgerung-ein Kompromiss, der sich für die Echtzeitanwendung lohnt.

Praktischer Entscheidungsrahmen

Betrachten Sie bei der Entscheidung zwischen LSTMS und GRUS die folgenden Fragen:

1. Ressourcenbeschränkungen: Sind Sie durch Berechnungs-, Speicher- oder Bereitstellungsanforderungen begrenzt?
   • Wenn ja → Grus betrachten
   • Wenn keine → eine der Architektur funktionieren kann
2. Sequenzlänge: Wie lange dauert Ihre Eingabebedingungen?
   • Kurz bis mittel (<100 Schritte) → Grus oft ausreichend
   • Sehr lang (Hunderte oder Tausende von Schritten) → LSTMs können besser abschneiden
3. Problemkomplexität: Battet Ihre Aufgabe sehr komplexe zeitliche Abhängigkeiten?
   • Einfache bis mäßige Komplexität → Grus wahrscheinlich angemessen
   • Hochkomplexe Muster → LSTMs können einen Vorteil haben
4. Datensatzgröße: Wie viel Trainingsdaten haben Sie?
   • Begrenzte Daten → Grus könnten besser verallgemeinern
   • Viele Daten → Beide Architekturen können intestine funktionieren
5. Experimentierbudget: Wie viel Zeit haben Sie für die Modellentwicklung?
   • Begrenzte Zeit → Beginnen Sie mit Grus für eine schnellere Iteration
   • Ausreichende Zeit → Testen Sie beide Architekturen

Hybridansätze und moderne Alternativen

Die LSTM vs. Gru -Debatte verpasst manchmal einen wichtigen Punkt: Sie sind nicht darauf beschränkt, nur eine zu verwenden! In mehreren Projekten habe ich Erfolg mit hybriden Ansätzen gefunden:

• Verwenden von GRU für Codierung und LSTMs für die Dekodierung in Sequenz-zu-Sequenz-Modellen
• Stapeln verschiedener Schichttypen (z. B. Gru -Ebenen für die anfängliche Verarbeitung, gefolgt von einer LSTM -Schicht für die endgültige Speicherintegration)
• Ensemble -Methoden, die Vorhersagen aus beiden Architekturen kombinieren

Es ist auch erwähnenswert NLP Aufgaben, obwohl wiederkehrende Modelle für die Zeitreihenanalyse und Szenarien, in denen Aufmerksamkeitsmechanismen rechenintensiv sind, von hoher Relevanz sind.

Abschluss

Das Verständnis ihrer relativen Stärken sollte Ihnen helfen, das richtige für Ihren Anwendungsfall auszuwählen. Meine Richtlinie wäre, Grus zu verwenden, da sie einfacher und effizienter sind und nur dann zu LSTMs umsteigen, wenn es Hinweise darauf gibt, dass sie die Leistung für Ihre Anwendung verbessern würden.

Oft bewirken gute Function -Engineering, Datenvorverarbeitung und Regularisierungsregelmäßigkeit mehr Einfluss auf die Modellleistung als die bloße Auswahl der Architektur zwischen beiden. Verbringen Sie additionally Ihre Zeit damit, sofortige Fakten zu erhalten, bevor Sie sich Sorgen darüber machen, ob LSTM oder Gru verwendet wird. Beachten Sie in beiden Fällen, wie die Entscheidung getroffen wurde und was die Experimente ergeben. Ihr zukünftiges Selbst (und Teamkollegen) wird es Ihnen danken, wenn Sie Monate später über das Projekt zurückblicken!

Die Massive-Information-Technologie hat zu einer Reihe von Veränderungen in unserem Leben geführt. Ein Thema, über das wir nicht sprechen möchten, ist die wachsende Sorge um den Datenschutz. Wir haben in einem früheren Artikel eine Studie zitiert, die zeigt, dass 93 % der Kunden die Marke wechseln würden, wenn Einer von ihnen schützte seine Privatsphäre besser.

Einer der Gründe dafür, dass unsere Privatsphäre im Zeitalter von Massive Information gefährdet ist, liegt darin, dass wir einen großen Teil davon in den sozialen Medien veröffentlichen. Wir haben einige der Gründe angesprochen, warum dies ein Downside sein kann in einem früheren Artikel.

Soziale Medien ermöglichen es uns, unsere Gedanken und Meinungen im Handumdrehen mit der Welt zu teilen. Aber diese spontanen Tweets oder Posts können Sie Jahre später noch einmal verfolgen. Deshalb ist es wichtig, sorgfältig darüber nachzudenken, was Sie on-line teilen, und Ihre sozialen Profile regelmäßig zu bereinigen.

Reputationsmanagement im Zeitalter von Massive Information

In der heutigen hypervernetzten Welt wissen Sie nie, wann ein potenzieller Arbeitgeber, Kunde oder sogar ein Date Sie on-line finden könnte. Einer Umfrage zufolge 70 % der Arbeitgeber überprüfen mittlerweile während des Einstellungsprozesses die sozialen Profile der Kandidaten. Und ein schlampiger digitaler Fußabdruck könnte Sie Ihren Traumjob kosten.

Wir haben über einige der Vorteile gesprochen Nutzung von Massive Information, um die Risiken benutzergenerierter Inhalte zu mindern. Diese Strategien können auf die Nutzung von Massive Information zur Verwaltung von Social-Media-Profilen wie Twitter-Konten angewendet werden.

Sogar Tweets, die zu diesem Zeitpunkt klug oder harmlos erschienen, können ein Eigenleben entwickeln und sich auf eine Weise verbreiten, die Sie nie beabsichtigt hatten. Die Karrieren von Politikern und Prominenten wurden durch das Wiederauftauchen längst vergessener Beiträge unterbrochen.

Daher ist es klug, Ihre On-line-Status zu verwalten, indem Sie gelegentlich Tweets oder Beiträge löschen, die nicht mehr das widerspiegeln, wer Sie sind oder wie Sie beruflich rüberkommen möchten.

Wann sollten Sie Tweets löschen?

Hier sind einige gute Gründe für eine gelegentliche Säuberung der sozialen Medien:

1. Sie sind nicht mehr related

Die meisten Menschen twittern über aktuelle Ereignisse, Nachrichten, Popkultur, persönliche Updates und andere aktuelle Dinge. Wenn Sie jahrelang veraltete Tweets über vergangene Developments, Beziehungen, Jobs oder Meinungen zurückblättern, kann es so aussehen, als ob Sie in der Vergangenheit feststecken. Machen Sie etwa jedes Jahr einen Feger, um die Dinge frisch zu halten.

2. Sie haben vertrauliche Informationen gepostet

Das versehentliche Tweeten von Insiderinformationen, unveröffentlichten Unternehmensnachrichten oder Kundendaten kann zu rechtlichen oder beruflichen Schwierigkeiten führen. Wenn Sie es schnell bemerken, löschen Sie es sofort.

3. Sie sind peinlich

Wir alle leben Tweet-Occasions oder teilen alberne Witze, die uns im Second intelligent erscheinen. Aber Ihre Teenagerbeiträge oder betrunkenen Karaoke-Prahlereien altern vielleicht nicht so intestine. Wenn es Sie jetzt erschaudern lässt, werden andere wahrscheinlich das Gleiche empfinden. Zeit für eine Löschung.

4. Sie wollen einen Neuanfang

Jobsuche? In die Politik einsteigen? Hatten Sie kürzlich eine große Veränderung in Ihrem Leben? Wenn Sie sich neu erfinden möchten, können Sie mit einer vollständigen Löschung Ihres sozialen Profils völlig neu anfangen.

5. Sie haben einen Troll oder Stalker

Wenn jemand Sie mit böswilligen Antworten und Erwähnungen ins Visier nimmt, reicht es möglicherweise nicht aus, ihn zu blockieren. Versuchen Sie, alle Tweets zu löschen, mit denen sie interagiert haben, sowie alle persönlichen Daten, die sie gegen Sie verwenden könnten. Melden Sie sie auch der sozialen Plattform.

6. Sie schließen ein Konto

Wenn Sie eine Plattform endgültig verlassen, stellen Sie durch das gründliche Löschen Ihrer alten Tweets sicher, dass nichts davon öffentlich bleibt. Beachten Sie jedoch, dass gelöschte Konten manchmal immer noch in den Suchergebnissen angezeigt werden.

So löschen Sie Tweets in großen Mengen

Das Durchsuchen Ihres Tweet-Archivs, um Tweets manuell zu löschen, dauert ewig. Glücklicherweise gibt es einige Abkürzungen:

Verwenden Sie ein Social-Media-Administration-Device

Instruments wie TweetDelete und TweetEraser Damit können Sie Tweets in großen Mengen löschen, basierend auf Alter, Anzahl, Schlüsselwörtern und mehr. Sie können jahrelang alte Tweets sofort löschen und gleichzeitig neuere beibehalten.

Probieren Sie Twitters native Massenlöschung aus

Twitter ermöglicht das Massenlöschen aller Tweets, die älter als ein bestimmtes Datum sind. Aber dieser Alles-oder-Nichts-Ansatz bedeutet, dass Sie auch neuere Tweets verlieren. Vorsichtig verwenden.

Aktivieren Sie das fortlaufende Löschen von Twitter-Timelines

Mit dieser Funktion zum automatischen Löschen können Sie Tweets so einstellen, dass sie sich nach einer festgelegten Anzahl von Tagen selbst zerstören. Es ist großartig, um die Privatsphäre zu wahren und zum regelmäßigen Twittern zu ermutigen. Aber Sie verlieren Tweets, die Sie behalten wollten.

Was passiert, wenn Sie Tweets löschen?

Sie fragen sich, was genau hinter den Kulissen passiert, wenn Sie Tweets löschen? Hier ist die Aufschlüsselung:

Gelöschte Tweets verschwinden von Twitter. Nach dem Löschen werden Tweets nicht mehr in Ihrem Profil, in den Feeds Ihrer Follower oder in der Twitter-Suche angezeigt. Sie werden jedoch möglicherweise immer noch kurzzeitig auf Web sites oder Instruments von Drittanbietern angezeigt, die nicht die API von Twitter verwenden.

Löschungen sind dauerhaft. Versehentlich gelöschte Tweets können weder rückgängig gemacht noch wiederhergestellt werden. Seien Sie additionally vor dem Löschen sicher!

Löschungen könnten Aufmerksamkeit erregen. Bekannte Accounts ziehen oft mehr Aufmerksamkeit auf sich, wenn sie plötzlich alte Tweets löschen. Für Persönlichkeiten des öffentlichen Lebens kann es manchmal besser sein, kontroversen Standpunkten beizustehen, als „zu versuchen, etwas zu verbergen“.

Tweets können intern noch vorhanden sein. Während Ihre gelöschten Tweets aus der öffentlichen Sicht verschwinden, bewahren Twitter und andere Technologieunternehmen die Daten aus Cybersicherheitsgründen wahrscheinlich immer noch intern auf – zumindest vorübergehend.

Google könnte gelöschte Tweets weiterhin zwischenspeichern. In den Google-Suchergebnissen können manchmal Auszüge oder Hyperlinks zu gelöschten Tweets angezeigt werden, bis sie das nächste Mal auf Twitter gecrawlt werden. Dies kommt jedoch nach einer Kontolöschung selten vor.

Dienste Dritter können Tweets speichern. Gelöschte Tweets könnten in Screenshots, in Artikeleinbettungen, auf Analyseplattformen, in Bibliotheksarchiven und an anderen Orten verbleiben, die vor dem Löschen auf die Twitter-API zugegriffen haben. Allerdings wird dies durch Datenaufbewahrungsrichtlinien und regelmäßige Systemaktualisierungen minimiert.

Wenn der Gedanke, dass zukünftige Arbeitgeber oder Termine Ihre alten Beiträge unter die Lupe nehmen, Sie ins Grübeln bringt, sollten Sie vielleicht über Alternativen zu den gängigen sozialen Netzwerken nachdenken.

Vergängliche Plattformen. Apps wie Snapchat, Instagram Tales und der Verschwinden-Modus von Fb Messenger ermöglichen das Teilen temporärer Fotos, Movies und Nachrichten, die innerhalb von 24 Stunden verschwinden. Machen Sie einfach keine Screenshots!

Anonyme Apps. Auf Plattformen wie Whisper und YikYak können Sie Gedanken austauschen und interagieren, ohne dass Benutzernamen oder Profile angehängt sind. Dies ermöglicht mehr Ehrlichkeit bei weniger Kontrolle.

Personal Gruppen und Chat-Instruments. Messaging-Apps wie WhatsApp und Sign bieten verschlüsselte Gruppenchats zum Teilen alberner Memes oder persönlicher Updates in einem vertrauenswürdigen Bereich. Auch professionelle Neighborhood-Instruments wie Slack Work stehen zur Verfügung.

Die Pflege Ihres digitalen Fußabdrucks sollte wie das Zähneputzen sein: Regelmäßige Pflege hält alles sauber! Planen Sie jedes Quartal 15 Minuten ein, um alte Tweets mit neuen Augen zu überprüfen und diejenigen zu beschneiden, die sich negativ auf Chancen oder Beziehungen auswirken könnten.

Social-Media-Instruments von Drittanbietern erleichtern das globale Massenlöschen. Die Erwägung von Alternativen wie anonymen oder kurzlebigen Plattformen kann den zukünftigen Druck verringern.

Denken Sie daran, dass es nicht realistisch ist, von jahrelanger Nutzung sozialer Medien Perfektion zu erwarten. Das Ziel besteht einfach darin, On-line-Personas zu kultivieren, die Ihr bestes Selbst repräsentieren. Mit regelmäßiger digitaler Hygiene können Sie den Second frei teilen, ohne sich um die Vergangenheit sorgen zu müssen.

FAQ

Haben Sie noch Fragen zur Bereinigung Ihrer alten Beiträge? Hier finden Sie Antworten auf einige häufig gestellte Fragen:

Verschwinden gelöschte Tweets wirklich aus dem Web?

Ja, größtenteils. Es können jedoch weiterhin Fragmente in zwischengespeicherten Versionen, Instruments von Drittanbietern, Screenshots und anderswo vorhanden sein. Mit der Zeit verblassen diese Überreste.

Können Sie einen gelöschten Tweet wiederherstellen?

Nein. Im Gegensatz zu Fb gibt es nach dem Löschen eines Tweets keine Möglichkeit, ihn wiederherzustellen. Twitter speichert gelöschte Inhalte nicht und stellt sie auch in Zukunft nicht wieder zur Verfügung.

Hinterlassen gelöschte Tweets Analysedaten?

Nein. Durch das Löschen von Tweets werden diese aus dem Twitter-System gelöscht, einschließlich Kennzahlen wie Impressionen, Engagements und mehr. Allerdings können Analyseplattformen von Drittanbietern aggregierte Metriken speichern.

Kann jemand anderes Ihre gelöschten Retweets oder Antworten noch sehen?

Nein. Wenn Sie einen Tweet löschen – auch Retweets oder Antworten – verschwindet er für alle Benutzer von Twitter. Allerdings behalten die ursprünglichen Autoren ihre ursprünglichen Tweets bei.

Zählen gelöschte Tweets zu Ihrer Gesamtzahl der Tweets?

Nein. Nach dem Löschen tragen Tweets nicht mehr zu Ihren in Profilen angezeigten Zählungen bei. Auch Ihre Medienanzahl kann sinken, wenn Sie Foto- oder Video-Tweets löschen.

Kann man auf Twitter Tweets löschen, die älter als 3200 sind?

Nein. Aufgrund von Systemeinschränkungen ermöglicht die Benutzeroberfläche jeweils nur das Massenlöschen von Tweets unter 3200. Für ältere Tweets müssen Sie Löschtools von Drittanbietern verwenden.

Warnt Twitter die Leute, wenn Sie Tweets massenhaft löschen?

Nein, Twitter benachrichtigt niemanden, wenn Sie Ihre Tweets löschen. Wenn eine große Persönlichkeit des öffentlichen Lebens plötzlich große Mengen löscht, fällt es den Followern möglicherweise immer noch auf, was Fragen aufwirft.