Bild von Autor | Leinwand
Wenn Sie in einem datenbezogenen Bereich arbeiten, sollten Sie sich regelmäßig aktualisieren. Datenwissenschaftler verwenden verschiedene Instruments für Aufgaben wie Datenvisualisierung, Datenmodellierung und sogar Lagersysteme.
So hat AI die Datenwissenschaft von A nach Z geändert. Wenn Sie nach Jobs im Zusammenhang mit Datenwissenschaften suchen, haben Sie wahrscheinlich den Begriff Lag gehört.
In diesem Artikel werden wir Lappen zerlegen. Beginnend mit dem akademischen Artikel, in dem es eingeführt wurde und wie es jetzt verwendet wird, um die Kosten bei der Arbeit mit großsprachigen Modellen (LLMs) zu senken. Aber zuerst behandeln wir die Grundlagen.
Was ist eine retrieval-ausgereifte Technology (LAG)?
Patrick Lewis stellte zum ersten Mal Lag in ein Das Der akademische Artikel zuerst im Jahr 2020. Er kombiniert zwei Schlüsselelemente: einen Retriever und einen Generator.
Die Idee dahinter ist einfach. Anstatt Antworten aus Parametern zu generieren, kann der Lappen relevante Informationen aus dem Dokument sammeln.
Was ist ein Retriever?
Ein Retriever wird verwendet, um relevante Informationen aus dem Dokument zu sammeln. Aber wie?
Betrachten wir das. Sie haben ein massives Excel -Blatt. Nehmen wir an, es sind 20 MB mit Tausenden von Reihen. Sie möchten call_date suchen user_id = 10234.
Dank dieses Retrievers wird Rag nur den entsprechenden Teil durchsuchen, anstatt sich das gesamte Dokument anzusehen.
Aber wie ist das für uns hilfreich? Wenn Sie das gesamte Dokument durchsuchen, geben Sie viele Token aus. Wie Sie wahrscheinlich wissen, wird die API -Verwendung von LLM unter Verwendung von Token berechnet.
Lassen Sie uns besuchen https://platform.openai.com/tokenizer und sehen Sie, wie diese Berechnung erfolgt. Wenn Sie beispielsweise die Einführung dieses Artikels einfügen. Es kostete 123 Token.
Sie müssen dies überprüfen, um die Kosten mithilfe der API von LLM zu berechnen. Wenn Sie beispielsweise in Betracht ziehen, ein Phrase -Dokument zu verwenden, beispielsweise 10 MB, können es Tausende von Token sein. Jedes Mal, wenn Sie dieses Dokument mit der LLM -API, den Kosten -Multiplikaten, hochladen.
Durch die Verwendung von RAG können Sie nur den relevanten Teil des Dokuments auswählen, wodurch die Anzahl der Token reduziert wird, damit Sie weniger bezahlen. Es ist unkompliziert.
Wie macht dieser Retriever das?
Bevor das Abrufen beginnt, werden Dokumente in kleine Stücke und Absätze aufgeteilt. Jeder Chunk wird unter Verwendung eines Einbettungsmodells (OpenAI-Einbettungen, Satzbert usw.) in einen dichten Vektor umgewandelt.
Wenn ein Benutzer eine Operation wie fragt, wie das Anrufdatum ist, vergleicht der Retriever den Abfragevektor mit allen Chunk -Vektoren und wählt die ähnlichsten aus. Es ist brillant, oder?
Was ist ein Generator?
Wie wir oben erläutert haben, übernimmt der Generator, nachdem der Retriever die relevantesten Dokumente gefunden hat. Es generiert eine Antwort mit der Abfrage des Benutzers und einem abgerufenen Dokument.
Durch die Verwendung dieser Methode minimieren Sie auch das Halluzinationsrisiko. Denn anstatt eine Antwort frei aus den Daten zu generieren, auf denen die KI geschult wurde, ergragt das Modell die Antwort auf ein tatsächliches Dokument, das Sie angegeben haben.
Die Kontextfensterentwicklung
Die ersten Modelle wie GPT-2 haben kleine Kontextfenster, um 2048 Token. Aus diesem Grund haben diese Modelle keine Dateien -Hochladenfunktionen. Wenn Sie sich erinnern, bietet ChatGPT nach ein paar Modellen eine Daten -Hochladen -Funktion an, da sich das Kontextfenster weiterentwickelt hat.
Fortgeschrittene Modelle wie GPT-4O haben ein 128K-Token-Grenzwert, das die Funktion zum Hochladen von Daten unterstützt und im Falle des Kontextfensters möglicherweise redundant ist. Aber hier geben die Kostenreduzieranfragen ein.
Einer der Gründe, warum Benutzer Lappen verwenden, ist es, die Kosten zu senken, aber nicht nur das. Da die Nutzungskosten der LLM sinken, führte GPT 4.1 ein Kontextfenster von bis zu 1 Million Token ein, ein fantastischer Anstieg. Jetzt hat sich auch Rag entwickelt.
Branchenbezogene Praxis
Jetzt entwickeln sich LLMs zu Agenten. Sie sollten Ihre Aufgaben automatisieren, anstatt nur Antworten zu generieren. Einige Unternehmen entwickeln Modelle, die sogar Ihre Key phrases und Maus steuern.
In diesen Fällen sollten Sie additionally keine Likelihood auf Halluzination eingehen. Additionally hier kommt Lag in die Szene. In diesem Abschnitt werden wir ein Beispiel aus der realen Welt tief analysieren.
Unternehmen suchen Talente, um Agenten für sie zu entwickeln. Es sind nicht nur große Unternehmen; Selbst mittelgroße oder kleine Unternehmen und Startups suchen nach ihren Optionen. Sie können diese Jobs auf freiberuflichen Web sites finden Upwork Und Fiverr.
Marketingagent
Nehmen wir an, ein mittelgroßes Unternehmen aus Europa möchte, dass Sie einen Agenten erstellen, ein Agent, der Marketingvorschläge für ihre Kunden mithilfe von Unternehmensdokumenten generiert.
Darüber hinaus sollte dieser Agent den Inhalt nutzen, indem sie relevante Hotelinformationen in diesen Vorschlag für Geschäftsereignisse oder Kampagnen aufgenommen hat.
Aber es gibt ein Downside: Der Agent halluziniert häufig. Warum passiert das? Denn anstatt sich nur auf das Dokument des Unternehmens zu verlassen, zieht das Modell Informationen aus seinen ursprünglichen Schulungsdaten. Diese Trainingsdaten können veraltet sein, da diese LLMs, wie Sie wissen, nicht regelmäßig aktualisiert werden.
Infolgedessen fügt KI falsche Hotelnamen oder einfach irrelevante Informationen hinzu. Jetzt bestimmen Sie die Hauptursache des Issues: das Fehlen zuverlässiger Informationen.
Hier kommt Rag ins Spiel. Mithilfe einer Net -Surfen -API haben Unternehmen LLMs verwendet, um zuverlässige Informationen aus dem Net abzurufen und sie zu verweisen, während sie Antworten darauf generieren, wie. Lassen Sie uns diese Eingabeaufforderung sehen.
„Generieren Sie einen Vorschlag, der auf dem Ton von Sprach- und Firmeninformationen basiert, und verwenden Sie die Websuche, um die Hotelnamen zu finden.“
Diese Funktion für Websuche wird zu einer RAG -Methode.
Letzte Gedanken
In diesem Artikel haben wir die Entwicklung von KI -Modellen entdeckt und warum Rag sie benutzt hat. Wie Sie sehen können, hat sich der Grund im Laufe der Zeit geändert, aber das Downside bleibt: die Effizienz.
Auch wenn der Grund Kosten oder Geschwindigkeit ist, wird diese Methode weiterhin in KI-bezogenen Aufgaben verwendet. Und von „KI-bezogen“, schließe ich die Datenwissenschaft nicht aus, weil die Datenwissenschaft, wie Sie wahrscheinlich wissen, auch mit dem bevorstehenden KI-Sommer auch von KI bereits stark beeinflusst wurde.
Wenn Sie ähnliche Artikel befolgen möchten, 700 Fragen zu Interviews im Zusammenhang mit Information Science und über 50 Datenprojekte lösen, besuchen Sie meine Plattform.
Nate Rosidi ist Datenwissenschaftler und in Produktstrategie. Er ist außerdem eine zusätzliche Professorin für Lehranalysen und Gründer von Stratascratch, einer Plattform, die Datenwissenschaftlern hilft, sich auf ihre Interviews mit echten Interviewfragen von High -Unternehmen vorzubereiten. Nate schreibt über die neuesten Tendencies auf dem Karrieremarkt, gibt Interviewberatung, teilt Datenwissenschaftsprojekte und deckt alles SQL ab.