ist eine beliebte Funktion, die Sie in Apps wie ChatGPT und Google Gemini aktivieren können. Es ermöglicht Benutzern, wie gewohnt eine Abfrage zu fragen, und die Anwendung verbringt eine längere Zeit damit, die Frage ordnungsgemäß zu erforschen und eine bessere Antwort zu erhalten als normale LLM -Antworten.

Sie können dies auch auf Ihre eigene Sammlung von Dokumenten anwenden. Angenommen, Sie haben Tausende von Dokumenten interner Unternehmensinformationen. Möglicherweise möchten Sie ein tiefes Forschungssystem erstellen, das Benutzerfragen aufnimmt, alle verfügbaren (internen) Dokumente scannt und eine gute Antwort auf der Grundlage dieser Informationen enthält.

Inhaltsverzeichnis

Warum ein tiefes Forschungssystem aufbauen?

Die erste Frage, die Sie sich stellen könnten, ist:

Warum brauche ich ein tiefes Forschungssystem?

Dies ist eine faire Frage, da es andere Alternativen gibt, die in vielen Situationen lebensfähig sind:

• Füttern Sie alle Daten in ein LLM
• LAPPEN
• Key phrase -Suche

Wenn Sie mit diesen einfacheren Systemen davonkommen können, sollten Sie das quick immer tun. Der von der By am einfachste Ansatz ist einfach, alle Daten in ein LLM zu versetzen. Wenn Ihre Informationen in weniger als 1 Million Token enthalten sind, ist dies definitiv eine gute Possibility.

Wenn der herkömmliche Lappen intestine funktioniert oder relevante Informationen mit einer Key phrase -Suche finden, sollten Sie diese Optionen auch auswählen. Manchmal ist jedoch keine dieser Lösungen stark genug, um Ihr Drawback zu lösen. Vielleicht müssen Sie viele Quellen tief analysieren, und ein Chunk -Abruf von Ähnlichkeit (LAG) ist nicht intestine genug. Oder Sie können keine Key phrase -Suche verwenden, da Sie mit dem Datensatz nicht vertraut sind, um zu wissen, welche Schlüsselwörter verwendet werden sollen. In diesem Fall sollten Sie in Betracht ziehen, ein tiefes Forschungssystem zu verwenden.

So bauen Sie ein tiefes Forschungssystem auf

Sie können das tiefe Forschungssystem natürlich von Anbietern wie OpenAI nutzen, die a Deep Analysis API. Dies kann eine gute Various sein, wenn Sie die Dinge einfach halten möchten. In diesem Artikel werde ich jedoch ausführlicher diskutieren, wie ein tiefes Forschungssystem aufgebaut wird und warum es nützlich ist. Anthropic schrieb einen sehr guten Artikel über ihre Multi -Agent -Forschungssystem (Das ist tiefe Forschung), was ich empfehle, um weitere Particulars zum Thema zu verstehen.

Sammeln und Indizierungsinformationen

Der erste Schritt für alle Informationsfindungssysteme besteht darin, alle Ihre Informationen an einem Ort zu sammeln. Vielleicht haben Sie Informationen in Apps wie:

• Google Drive
• Vorstellung
• Salesforce

Sie müssen diese Informationen dann entweder an einem Ort sammeln (zum Beispiel in PDFs in PDFs konvertieren und im selben Ordner speichern), oder Sie können sich mit diesen Apps verbinden, wie es Chatgpt in seiner Anwendung getan hat.

Nachdem wir die Informationen gesammelt haben, müssen wir sie nun indexieren, um sie leicht verfügbar zu machen. Die beiden Hauptindizes, die Sie erstellen sollten, sind:

• Key phrase -Suchindex. Zum Beispiel BM25
• Vektor -Ähnlichkeitsindex: Teilen Sie Ihren Textual content an, setzen Sie ihn ein und speichern Sie ihn in einem VectordB -ähnlichen Pinecone

Dies macht die Informationen leicht zugänglich aus den Instruments, die ich in der nächsten Sitzung beschreiben werde.

Werkzeuge

Die Agenten werden später Instruments benötigen, um relevante Informationen abzurufen. Sie sollten daher eine Reihe von Funktionen erstellen, die es dem LLM erleichtern, die relevanten Informationen zu holen. Wenn der Benutzer beispielsweise nach einem Verkaufsbericht abfragt, möchte der LLM möglicherweise eine Key phrase -Suche danach durchführen und die abgerufenen Dokumente analysieren. Diese Instruments können so aussehen:

@device 
def keyword_search(question: str) -> str:
    """
    Seek for key phrases within the doc.
    """
    outcomes = keyword_search(question)

    # format responses to make it straightforward for the LLM to learn
    formatted_results = "n".be part of((f"{consequence('file_name')}: {consequence('content material')}" for lead to outcomes))

    return formatted_results


@device
def vector_search(question: str) -> str:
    """
    Embed the question and seek for comparable vectors within the doc.
    """
    vector = embed(question)
    outcomes = vector_search(vector)

    # format responses to make it straightforward for the LLM to learn
    formatted_results = "n".be part of((f"{consequence('file_name')}: {consequence('content material')}" for lead to outcomes))

    return formatted_results

Sie können dem Agenten auch zulassen, dass der Agent zu anderen Funktionen zugänglich ist, z. B.:

• Web -Suche
• Dateiname nur Suche

Und andere potenziell relevante Funktionen

Alles zusammenstellen

Ein tiefes Forschungssystem besteht in der Regel aus einem Orchestrator -Agenten und vielen Subagenten. Der Ansatz ist normalerweise wie folgt:

• Ein Orchestrator -Agent empfängt die Nutzerabfrage und Pläne für die Ansätze
• Viele Subagenten werden gesendet, um relevante Informationen abzurufen und die zusammengefassten Informationen an den Orchestrator zurückzuführen
• Der Orchestrator stellt fest, ob er genügend Informationen enthält, um die Benutzerabfrage zu beantworten. Wenn nein, kehren wir zum letzten Kugelpunkt zurück; Wenn ja, können wir den endgültigen Aufzählungszeichen sorgen
• Der Orchestrator stellt alle Informationen zusammen und gibt dem Benutzer eine Antwort

Darüber hinaus haben Sie möglicherweise eine klärende Frage, wenn die Frage des Benutzers vage ist oder nur um den Umfang der Abfrage des Benutzers einzugrenzen. Sie haben dies wahrscheinlich erlebt, wenn Sie ein tiefes Forschungssystem aus einem Frontier -Labor verwendet haben, in dem das tiefe Forschungssystem immer mit einer klärenden Frage stellt.

Normalerweise ist der Orchestrator ein größeres/besseres Modell, beispielsweise Claude Opus oder GPT-5 mit hoher Argumentation. Die Subagenten sind typischerweise kleiner, wie GPT-4.1 und Claude-Sonett.

Der Hauptvorteil dieses Ansatzes (insbesondere im traditionellen Lappen) besteht darin, dass Sie das System ermöglichen, weitere Informationen zu scannen und zu analysieren und die Wahrscheinlichkeit von fehlenden Informationen zu senken, die für die Reaktion auf die Benutzerabfrage related sind. Die Tatsache, dass Sie mehr Dokumente scannen müssen, macht das System typischerweise auch langsamer. Dies ist natürlich ein Kompromiss zwischen Zeit und Qualität der Antworten.

Abschluss

In diesem Artikel habe ich diskutiert, wie man ein tiefes Forschungssystem aufbaut. Ich habe zunächst die Motivation für den Aufbau eines solchen Programs behandelt und in welchen Szenarien Sie sich stattdessen darauf konzentrieren, einfachere Systeme wie Lappen oder Keywordsuche zu erstellen. Als ich fortsetzte, diskutierte ich die Grundlage für das, was ein tiefes Forschungssystem ist, das im Wesentlichen eine Benutzerabfrage aufnimmt, Pläne für die Beantwortung von Subagenten sendet, um relevante Informationen abzurufen, diese Informationen zu aggregieren und auf den Benutzer zu reagieren.

Finden Sie mich in Socials:

Sich in Verbindung setzen

LinkedIn

X / Twitter

Medium

Sie können auch einige meiner anderen Artikel lesen:

Nachdem ich rohe LLM -Workflows für strukturierte Extraktionsaufgaben entwickelt habe, habe ich im Laufe der Zeit mehrere Fallstricke beobachtet. In einem meiner Projekte entwickelte ich zwei unabhängige Workflows mit Grok und Openai, um zu sehen, welche für die strukturierte Extraktion besser abschnitten. Dies battle, als ich bemerkte, dass beide Fakten an zufälligen Stellen wegließen. Darüber hinaus stimmten die extrahierten Felder nicht mit dem Schema überein.

Um diesen Problemen entgegenzuwirken, habe ich spezielle Bearbeitungs- und Validierungsprüfungen eingerichtet, mit denen das LLM das Dokument erneut besuchen kann (z. Mehrere Validierungsläufe veranlassten mich jedoch, meine API -Grenzen zu übertreffen. Darüber hinaus battle eine schnelle Feinabstimmung ein echter Engpass. Jedes Mal, wenn ich die Aufforderung modifizierte, um sicherzustellen, dass die LLM keine Tatsache verpasst hat, würde ein neues Downside eingeführt. Eine wichtige Einschränkung, die mir auffiel, battle, dass eine LLM zwar intestine für eine Reihe von Eingabeaufforderungen funktioniert hat, der andere jedoch nicht so intestine mit den gleichen Anweisungen abschneiden würde. Diese Probleme veranlassten mich, nach einer Orchestrierungs-Engine zu suchen, die meine Eingabeaufforderungen automatisch fein abteilen könnte, um den Aufforderungstil des LLM zu entsprechen, Faktenauslassungen zu verarbeiten und sicherzustellen, dass meine Ausgabe mit meinem Schema übereinstimmt.

Ich bin kürzlich auf Langextractrad gestoßen und ausprobiert. Die Bibliothek befasste sich mit mehreren Problemen, mit denen ich konfrontiert battle, insbesondere in Bezug auf die Schemaausrichtung und die Vollständigkeit der Tatsache. In diesem Artikel erkläre ich die Grundlagen von Langextract und wie es die rohen LLM -Workflows für strukturierte Extraktionsprobleme erweitern kann. Ich möchte auch meine Erfahrungen mit Langextract mit einem Beispiel teilen.

Warum Langextract?

Es ist eine bekannte Tatsache, dass Sie beim Einrichten eines rohen LLM -Workflows (beispielsweise mit OpenAI, um strukturierte Attribute von Ihrem Korpus zu sammeln), eine Chunking -Strategie festlegen, um die Nutzung der Token zu optimieren. Sie müssten auch eine spezielle Handhabung für fehlende Werte und Formatierungen hinzufügen. Wenn es um eine schnelle Technik geht, müssten Sie mit jeder Iteration Anweisungen zu Ihrer Eingabeaufforderung hinzufügen oder entfernen. In einem Versuch, die Ergebnisse zu optimieren und mit Diskrepanzen umzugehen.

Langextractrad hilft bei der effektiven Orchestrierung von Eingabeaufforderungen und Ausgängen zwischen dem Benutzer und dem LLM. Es hat die Eingabeaufforderung, bevor es an die LLM weitergeleitet wird. In Fällen, in denen der Eingangstext oder die Dokumente groß sind, stößt er die Daten ab und füttert sie dem LLM, wodurch sichergestellt wird, dass wir innerhalb der von jedem Modell vorgeschriebenen Token-Grenzen bleiben (z. B. ~ 8000 Token für GPT-4 gegenüber ~ 10000 Token in Claude). In Fällen, in denen die Geschwindigkeit von entscheidender Bedeutung ist, kann eine Parallelisierung eingerichtet werden. Wo Token -Grenzen eine Einschränkung sind, kann eine sequentielle Ausführung eingerichtet werden. Ich werde versuchen, die Arbeit von Langextract zusammen mit seinen Datenstrukturen im nächsten Abschnitt zu brechen.

Datenstrukturen und Workflow in Langextract

Im Folgenden finden Sie ein Diagramm, das die Datenstrukturen in Langextrakt und den Datenfluss aus dem Eingangsstrom zum Ausgangsstrom zeigt.

Langextract speichert Beispiele als Liste benutzerdefinierter Klassenobjekte. Jedes Beispielobjekt hat eine Eigenschaft namens „Textual content“, nämlich der Beispieltext aus einem Nachrichtenartikel. Eine andere Eigenschaft ist die ‚extraction_class‘, die Kategorie ist, die dem Information -Artikel der LLM während der Ausführung zugewiesen wird. Beispielsweise würde ein Nachrichtenartikel, der über einen Cloud -Anbieter spricht, unter „Cloud -Infrastruktur“ markiert. Die Eigenschaft ‚extraction_text‘ ist die Referenzausgabe, die Sie dem LLM bereitstellen. Diese Referenzausgabe leitet das LLM bei der Abschließung der nächsten Ausgabe, die Sie für einen ähnlichen Nachrichtenausschnitt erwarten würden. Die Eigenschaft ‚text_or_documents‘ speichert den tatsächlichen Datensatz, für den strukturierte Extraktion erforderlich ist (in meinem Beispiel sind die Eingabedokumente Nachrichtenartikel).

Es werden nur wenige Anweisungen zur Aufforderung an das LLM der Wahl (model_id) über Langextract gesendet. Die Funktion von Langextract ‚Core‘ Extract () “ setzt die Eingabeaufforderungen an und übergibt sie an die LLM, nachdem sie die Eingabeaufforderung in intern zu dem schnellen Stil des ausgewählten LLM entspricht und um Modelldiskrepanzen zu verhindern. Das LLM gibt dann das Ergebnis nacheinander (dh ein Dokument gleichzeitig) an langextract zurück, was wiederum das Ergebnis in einem Generatorobjekt ergibt. Das Generatorobjekt ähnelt einem transienten Strom, der den von der LLM extrahierten Wert ergibt. Eine Analogie für einen Generator, der ein vorübergehender Strom ist, wäre ein digitales Thermometer, das Ihnen die aktuelle Lesung bietet, aber keine Lesungen als zukünftige Referenz speichert. Wenn der Wert im Generatorobjekt nicht sofort erfasst wird, geht er verloren.

Beachten Sie, dass die Eigenschaften von ‚max_workers‘ und ‚extraction_pass‘ im Abschnitt „Greatest Practices bei der Verwendung von Langextract“ ausführlich erörtert wurden.

Nachdem wir festgestellt haben, wie Langextract funktioniert und die von ihm verwendeten Datenstrukturen, gehen wir mit dem Anwenden von Langextract in einem realen Szenario fort.

Eine praktische Implementierung von Langextract

Der Anwendungsfall umfasst Nachrichtenartikel aus der „techxplore.com RSS -Feeds“, die sich auf die Technologie -Geschäftsdomäne (https://techxplore.com/feeds/) bezieht. Wir verwenden FeedParser und Trifaltura zur URL -Parsen und Extraktion des Artikeltextes. Eingabeaufforderungen und Beispiele werden vom Benutzer erstellt und an langextract gespeist, wodurch die Orchestrierung durchgeführt wird, um sicherzustellen, dass die Eingabeaufforderung für das verwendete LLM abgestimmt ist. Das LLM verarbeitet die Daten basierend auf den Eingabeaufforderung an Anweisungen zusammen mit den angegebenen Beispielen und gibt die Daten an Langextractrad zurück. Langextract führt erneut die Nachbearbeitung durch, bevor die Ergebnisse dem Endbenutzer angezeigt werden. Im Folgenden finden Sie ein Diagramm, das zeigt, wie Daten aus der Eingangsquelle (RSS -Feeds) in Langextrakt und schließlich über die LLM strukturierte Extraktionen ergeben.

Im Folgenden finden Sie die Bibliotheken, die für diese Demonstration verwendet wurden.

Wir beginnen mit der Zuweisung der Tech Xplore RSS -Feed -URL einer Variablen ‚feed_url‘. Anschließend definieren wir eine „Schlüsselwörter“ -Liste, die Key phrases enthält, die sich auf Technologiegeschäft beziehen. Wir definieren drei Funktionen, um Nachrichtenartikel aus dem Newsfeed zu analysieren und zu kratzen. Die Funktion ‚get_article_urls ()‘ analysiert den RSS -Feed und ruft den Artikel -Titel und die einzelnen Artikel -URL (Hyperlink) ab. FeedParser wird verwendet, um dies zu erreichen. Die Funktion ‚extract_text ()‘ ‚verwendet Trifaltura, um den Artikeltext aus der einzelnen Artikel zu extrahieren, die von FeedParser zurückgegeben wird. Die Funktion ‚filter_articles_by_keywords‘ filtert die abgerufenen Artikel basierend auf der von uns definierten Schlüsselwörterliste.

Nach dem Ausführen des oben genannten erhalten wir die Ausgabe.
„Fanden 30 Artikel im RSS -Feed
Gefilterte Artikel: 15 „

Nachdem die Liste der „filtered_articles“ verfügbar ist, richten wir die Eingabeaufforderung ein. Hier geben wir Anweisungen, damit die LLM die Artwork von Nachrichtenersichten verstehen lässt, an denen wir interessiert sind. Wie im Abschnitt „Datenstrukturen und Workflow in Langextract“ erläutert, richten wir eine Liste benutzerdefinierter Klassen mit ‚Information. Extremptedata ()‘ ein, eine eingebaute Datenstruktur in Langextract. In diesem Fall verwenden wir nur wenige Schüsse, die aus mehreren Beispielen bestehen.

Wir initialisieren eine Liste namens „Ergebnisse“ und schalten dann den Korpus „filtered_articles“ durch und führen den Extraktionsartikel jeweils aus. Die LLM -Ausgabe ist in einem Generatorobjekt erhältlich. Wie bereits erwähnt, wird der Ausgangswert im ‚result_generator‘ als vorübergehender Stream sofort an die Liste der Ergebnisse angehängt. Die ‚Ergebnisse‘ Variable ist eine Liste mit kommentierten Dokumenten.

Wir iterieren die Ergebnisse in einem ‚for Loop‘, um jedes kommentierte Dokument in eine JSONL -Datei zu schreiben. Dies ist zwar ein optionaler Schritt, kann bei Bedarf für die Prüfung einzelner Dokumente verwendet werden. Erwähnenswert ist, dass die offizielle Dokumentation von Langextract ein Dienstprogramm zur Visualisierung dieser Dokumente bietet.

Wir durchlaufen die Liste der „Ergebnisse“, um jede Extraktion von einem kommentierten Dokument einzeln zu sammeln. Eine Extraktion ist nichts anderes als eine oder mehrere Attribute, die uns im Schema angefordert haben. Alle diese Extraktionen werden in der Liste „All_extractions“ gespeichert. Diese Liste ist eine abgeflachte Liste aller Extraktionen des Formulars (Extraktion_1, Extraktion_2, Extraktion_N).

Wir erhalten 55 Extraktionen aus den 15 Artikeln, die zuvor gesammelt wurden.

Der letzte Schritt beinhaltet die Iterierung der Liste „All_extractions“, um jede Extraktion zu sammeln. Das Extraktionsobjekt ist eine benutzerdefinierte Datenstruktur innerhalb von Langextract. Die Attribute stammen aus jedem Extraktionsobjekt. In diesem Fall sind Attribute Wörterbuchobjekte, die den metrischen Namen und den Wert haben. Die Attribute/Metriknamen stimmen mit dem von uns ursprünglich als Teil der Eingabeaufforderung angeforderten Schema überein (siehe die Liste „Attribute“ -Dictionary -Beispiele im Objekt „Information.extraction“). Die endgültigen Ergebnisse werden in einem Datenrahmen verfügbar gemacht, der zur weiteren Analyse verwendet werden kann.

Nachfolgend finden Sie die Ausgabe, die die ersten fünf Zeilen des DataFrame angezeigt –

Greatest Practices für die effektive Verwendung von Langextracting

Wenige Schüsse Aufforderung

Langextract ist so konzipiert, dass er mit einem One-Shot- oder wenigen Schuss-Aufforderungsstruktur funktioniert. Bei wenigen Aufformen müssen Sie eine Eingabeaufforderung und einige Beispiele geben, die die Ausgabe erklären, die Sie erwarten, dass der LLM nachgibt. Dieser Aufforderungstil ist besonders nützlich in komplexen, multidisziplinären Bereichen wie Handel und Export, in denen Daten und Terminologie in einem Sektor stark von denen des anderen unterscheiden können. Hier ist ein Beispiel – ein Nachrichtenausschnitt lautet: „Der Wert von Gold wurde mit X“ und ein weiterer Snippet lautet: „Der Wert einer bestimmten Artwork von Halbleiter ging von Y. Obwohl beide Ausschnitte „Wert“ sagen, bedeuten sie sehr unterschiedliche Dinge. Wenn es um Edelmetalle wie Gold geht, basiert der Wert auf dem Marktpreis professional Einheit, während dies bei Halbleitern die Marktgröße oder den strategischen Wert bedeuten kann. Durch die Bereitstellung domänenspezifischer Beispiele können die LLM dazu beitragen, die Metriken mit der Nuance zu holen, die der Area verlangt. Je mehr die Beispiele desto besser. Ein breites Beispiel -Set kann sowohl das LLM -Modell als auch Langextract dabei helfen, sich an verschiedene Schreibstile (in Artikeln) anzupassen und Missen in der Extraktion zu vermeiden.

Multi-Extraktionspass

Ein Multi-Extraktionspass ist der Akt, dass der LLM den Eingabedatensatz mehr als einmal überprüft hat, um die in Ihrer Ausgabe am Ende des ersten Go fehlenden Particulars auszufüllen. Langextract führt das LLM, um den Datensatz (Eingabe) mehrmals zu überdenken, indem die Eingabeaufforderung während jedes Laufs fein abfasst. Es verwaltet die Ausgabe auch effektiv, indem es die Zwischenausgaben aus den ersten und nachfolgenden Läufen verschmelzen. Die Anzahl der Durchgänge, die hinzugefügt werden müssen, wird unter Verwendung des Parameters ‚extraction_passes‘ im Extract () -Modul bereitgestellt. Obwohl ein Extraktionspass von ‚1‘ hier funktionieren würde, hilft alles, was über ‚2‘ hinausging, eine Ausgabe, die fein abgestimmt und mit der Eingabeaufforderung und dem bereitgestellten Schema ausgerichtet ist. Darüber hinaus stellt ein Multi-Extraktionspass von 2 oder mehr sicher, dass das Ausgabebericht mit dem Schema und den Attributen, die Sie in Ihrer schnellen Beschreibung angegeben haben, entspricht.

Parallelisierung

Wenn Sie große Dokumente haben, die möglicherweise die zulässige Anzahl von Token professional Anfrage konsumieren können, ist es excellent, einen sequentiellen Extraktionsprozess zu erhalten. Ein sequentieller Extraktionsprozess kann aktiviert werden, indem MAX_WORKERS = 1 festgelegt wird. Dies führt dazu, dass Langextract die LLM dazu zwingt, die Eingabeaufforderung auf sequentielle Weise zu verarbeiten, ein Dokument jeweils. Wenn die Geschwindigkeit der Schlüssel ist, kann eine Parallelisierung aktiviert werden, indem max_worker = 2 oder mehr festgelegt wird. Dies stellt sicher, dass für den Extraktionsprozess mehrere Themen verfügbar werden. Darüber hinaus kann das modul für time.sleep () verwendet werden, wenn eine sequentielle Ausführung durchgeführt wird, um sicherzustellen, dass die Anforderungsquoten von LLMs nicht überschritten werden.

Sowohl die Parallelisierung als auch der Multi-Extraktionspass können wie unten festgelegt werden-

Schließende Bemerkungen

In diesem Artikel haben wir gelernt, wie man Langextract für strukturierte Extraktionswendungsfälle verwendet. Inzwischen sollte klar sein, dass ein Orchestrator wie Langextract für Ihr LLM bei der schnellen Feinabstimmung, des Datenbörsens, der Ausrichtung der Ausgabe und der Ausrichtung von Schema helfen kann. Wir haben auch gesehen, wie Langextract intern funktioniert, indem wir nur wenige Schussanforderungen für die ausgewählte LLM verarbeiten und die Rohausgabe vom LLM zu einer schema-ausgerichteten Struktur analysieren.

Umweltwissenschaftler verwenden zunehmend enorme Modelle für künstliche Intelligenz, um Vorhersagen über Veränderungen von Wetter und Klima zu treffen, aber eine neue Studie von MIT -Forschern zeigt, dass größere Modelle nicht immer besser sind.

Das Workforce zeigt, dass in bestimmten Klimamellen viel einfachere, physikbasierte Modelle genauere Vorhersagen erzeugen können als modernste Modelle auf dem neuesten Stand der Technik.

Ihre Analyse zeigt auch, dass eine Benchmarking-Technik, die üblicherweise zur Bewertung von maschinellen Lerntechniken für Klimavorhersagen verwendet wird, durch natürliche Variationen der Daten wie Schwankungen der Wettermuster verzerrt werden kann. Dies könnte dazu führen, dass jemand glauben, dass ein tief lernendes Modell genauere Vorhersagen macht, wenn dies nicht der Fall ist.

Die Forscher entwickelten eine robustere Methode zur Bewertung dieser Techniken, was zeigt, dass einfache Modelle bei der Schätzung der regionalen Oberflächentemperaturen genauer sind. Tiefe lernende Ansätze können jedoch die beste Wahl zur Schätzung der lokalen Niederschläge sein.

Sie verwendeten diese Ergebnisse, um ein Simulationstool zu verbessern, das als a bekannt ist Klimaemulatorwas die Auswirkung menschlicher Aktivitäten auf ein zukünftiges Klima schnell simulieren kann.

Die Forscher sehen ihre Arbeit als „warnende Geschichte“ über das Risiko, große KI -Modelle für die Klimakwissenschaft einzusetzen. Während tiefgreifende Modelle in Bereichen wie der natürlichen Sprache einen unglaublichen Erfolg gezeigt haben, enthält die Klimakwissenschaft eine Reihe von physischen Gesetzen und -näherungen, und die Herausforderung besteht darin, diejenigen in KI-Modelle einzubeziehen.

„Wir versuchen, Modelle zu entwickeln, die nützlich und related für die Dinge, die Entscheidungsträger bei der Entscheidung von Klimarichtlinien in Zukunft benötigen. Es ist zwar attraktiv, das neueste Modell mit großem Image-Lernmodell für ein Klimaproblem zu verwenden. Diese Studie zeigt, dass diese Studie es ist, dass das Drawback mit dem Drawback, in dem sich die Fundamentaler und das Drawback mit dem Drawback einsetzen, und nützlich sind. und die Division of Earth, Atmospheric and Planetary Sciences (EAPs).

Selins Co-Autoren sind die Hauptautorin Björn Lütjens, eine ehemalige EAPS-Postdoc, die heute Forschungswissenschaftler bei IBM Analysis ist. Senior Autor Raffaele Ferrari, der Cecil und der Inexperienced-Professor für Ozeanographie in EAPS und Co-Regisseur des Lorenz Facilities; und Duncan Watson-Parris, Assistenzprofessor an der College of California in San Diego. Selin und Ferrari sind auch Co-Principal-Ermittler der Berechnung der Klimaherausforderung bringen Projekt, aus dem diese Forschung entstanden ist. Der Papier erscheint heute in der Journal of Advances in der Modellierung von Erdsystemen.

Vergleich von Emulatoren

Da das Klima der Erde so komplex ist, kann das Ausführen eines hochmodernen Klimamodells vorhergesagt, wie sich die Umweltfaktoren wie die Temperatur auf die mächtigsten Supercomputer der Welt auswirken können.

Wissenschaftler schaffen häufig Klimaemulatoren, einfachere Annäherungen eines hochmodernen Klimamodells, die schneller und zugänglicher sind. Ein politischer Entscheidungsträger könnte einen Klimaemulator verwenden, um zu sehen, wie different Annahmen bei Treibhausgasemissionen zukünftige Temperaturen beeinflussen und ihnen dabei helfen, Vorschriften zu entwickeln.

Ein Emulator ist jedoch nicht sehr nützlich, wenn er ungenaue Vorhersagen über die lokalen Auswirkungen des Klimawandels macht. Während Deep Studying für die Emulation immer beliebter geworden ist, haben nur wenige Studien untersucht, ob diese Modelle besser abschneiden als bewährte Ansätze.

Die MIT -Forscher führten eine solche Studie durch. Sie verglichen eine herkömmliche Technik, die als lineares Musterskaling (LPS) mit einem tiefen Lernmodell unter Verwendung eines gemeinsamen Benchmark-Datensatzes zur Bewertung von Klimaemulatoren bezeichnet wird.

Ihre Ergebnisse zeigten, dass LPS tiefgreifende Modelle für die Vorhersage nahezu aller getesteten Parameter, einschließlich Temperatur und Niederschlag, übertraf.

„Große KI-Methoden sind für Wissenschaftler sehr ansprechend, aber sie lösen selten ein völlig neues Drawback. Daher ist die Implementierung einer vorhandenen Lösung zuerst erforderlich, um herauszufinden, ob sich der komplexe maschinell-lernende Ansatz tatsächlich verbessert“, sagt Lütjens.

Einige erste Ergebnisse schienen angesichts des Bereichs der Forscher -Domänenwissen zu fliegen schienen. Das leistungsstarke Deep-Studying-Modell hätte bei Vorhersagen über Niederschlag genauer sein müssen, da diese Daten kein lineares Muster folgen.

Sie fanden heraus, dass die hohe Menge an natürlicher Variabilität in Klimamodellläufen dazu führen kann, dass das Deep-Lern-Modell bei unvorhersehbaren langfristigen Oszillationen wie El Niño/La Niña schlecht abschneidet. Dies verzerrt die Benchmarking -Ergebnisse zugunsten von LPS, was diese Oszillationen durchschnittlich erfolgt.

Erstellung einer neuen Bewertung

Von dort aus konstruierten die Forscher eine neue Bewertung mit mehr Daten, die sich mit der natürlichen Klimavariabilität befassen. Mit dieser neuen Bewertung erzielte das Tiefenlernmodell für lokale Niederschläge etwas besser als LPS, aber LPS battle für Temperaturvorhersagen immer noch genauer.

„Es ist wichtig, das Modellierungswerkzeug zu verwenden, das für das Drawback geeignet ist. Zu diesem Zeitpunkt müssen Sie das Drawback jedoch auch in erster Linie auf die richtige Weise einrichten“, sagt Selin.

Basierend auf diesen Ergebnissen haben die Forscher LPS in eine Klimaemulationsplattform einbezogen, um lokale Temperaturänderungen in verschiedenen Emissionsszenarien vorherzusagen.

„Wir setzen uns nicht dafür ein, dass LPS immer das Ziel sein sollte. Es hat immer noch Einschränkungen. Zum Beispiel prognostiziert LPS keine Variabilität oder excessive Wetterereignisse“, fügt Ferrari hinzu.

Sie hoffen vielmehr, dass ihre Ergebnisse die Notwendigkeit betonen, bessere Benchmarking -Techniken zu entwickeln, die ein umfassenderes Bild davon bieten könnten, welche Klimaemulationstechnik für eine bestimmte Scenario am besten geeignet ist.

„Mit einer verbesserten Klimaemulation Benchmark könnten wir komplexere Methoden für maschinelles Lernen anwenden, um Probleme zu untersuchen, die derzeit sehr schwer zu behandeln sind, z. B. die Auswirkungen von Aerosolen oder Schätzungen des extremen Niederschlags“, sagt Lütjens.

Letztendlich können genauere Benchmarking -Techniken sicherstellen, dass die politischen Entscheidungsträger Entscheidungen treffen, die auf den besten verfügbaren Informationen basieren.

Die Forscher hoffen, dass andere auf ihrer Analyse aufbauen, möglicherweise indem sie zusätzliche Verbesserungen der Klimamethoden und Benchmarks untersuchen. Solche Forschungen könnten wirkungsorientierte Metriken wie Dürresindikatoren und Waldbrandrisiken oder neue Variablen wie regionale Windgeschwindigkeiten untersuchen.

Diese Forschung wird zum Teil von Schmidt Sciences, LLC finanziert und ist Teil des Groups der MIT Local weather Grand Challenges, um „Berechnung in die Klimaherausforderung zu bringen“.

Bild von Editor | Chatgpt

# Einführung

Wir waren alle dort: Endlos durch On-line -Outlets scrollen und versuchen, das zu finden perfekt Artikel. In der heutigen blitzschnellen E-Commerce-Welt erwarten wir sofortige Ergebnisse, und genau hier tritt die KI ein, um die Dinge aufzurütteln.

Im Zentrum dieser Revolution steht die Einbettung von Bild. Es ist ein ausgefallener Begriff für eine einfache Idee: Sie können nicht nur nach Schlüsselwörtern, sondern nach ihrer nach Produkten suchen visuelle Ähnlichkeit. Stellen Sie sich vor, Sie finden genau das genaue Kleid, das Sie in den sozialen Medien gesehen haben, indem Sie ein Bild hochladen! Diese Technologie macht On-line -Procuring intelligenter, intuitiver und hilft Unternehmen letztendlich dabei, mehr Umsatz zu erzielen.

Bereit zu sehen, wie es funktioniert? Wir zeigen Ihnen, wie Sie die Kraft der maschinellen Lernfunktionen von BigQuery nutzen können, um Ihre eigene KE-gesteuerte Kleidersuche mit diesen unglaublichen Bildempfetten zu erstellen.

# Die Magie der Bildeinbettungen

Im Wesentlichen ist die Bildeinbettung der Prozess des Umwandelns von Bildern in numerische Darstellungen (Vektoren) in einem hochdimensionalen Raum. Bilder, die semantisch ähnlich sind (z. B. ein blaues Ballkleid und ein dunkelblaues Kleid), haben Vektoren, die in diesem Raum „näher“ sind. Dies ermöglicht leistungsstarke Vergleiche und Suchanfragen, die über einfache Metadaten hinausgehen.

Hier sind ein paar Kleiderbilder, die wir in dieser Demo verwenden, um Einbettungen zu erzeugen.

Die Demo veranschaulicht den Prozess des Erstellens eines Modells für Bildeinbettungen in Google Cloud.

Der erste Schritt besteht darin, ein Modell zu erstellen: Ein Modell namens namens image_embeddings_model wird erstellt, was die Nutzung des multimodalembedding@001 Endpunkt in image_embedding Datensatz.

CREATE OR REPLACE MODEL 
   `image_embedding.image_embeddings_model`
REMOTE WITH CONNECTION `(PROJECT_ID).us.llm-connection`
OPTIONS (
   ENDPOINT = 'multimodalembedding@001'
);

Erstellen einer Objekttabelle: Um die Bilder in BigQuery zu verarbeiten, werden wir eine externe Tabelle erstellen, die genannt wird external_images_table im image_embedding Datensatz, mit dem alle in einem Google Cloud -Speicher -Bucket gespeicherten Bilder verweisen.

CREATE OR REPLACE EXTERNAL TABLE 
   `image_embedding.external_images_table` 
WITH CONNECTION `(PROJECT_ID).us.llm-connection` 
OPTIONS( 
   object_metadata="SIMPLE", 
   uris = ('gs://(BUCKET_NAME)/*'), 
   max_staleness = INTERVAL 1 DAY, 
   metadata_cache_mode="AUTOMATIC"
);

Einbettungen erzeugen: Sobald das Modell und die Objekttabelle vorhanden sind, generieren wir die Einbettungen für die Kleiderbilder mit dem oben erstellten Modell und speichern sie in der Tabelle dress_embeddings.

CREATE OR REPLACE TABLE `image_embedding.dress_embeddings` AS SELECT * 
FROM ML.GENERATE_EMBEDDING( 
   MODEL `image_embedding.image_embeddings_model`, 
   TABLE `image_embedding.external_images_table`, 
   STRUCT(TRUE AS flatten_json_output, 
   512 AS output_dimensionality) 
);

# Entfesseln Sie die Kraft der Vektorsuche

Wenn Bildeinbettungen erzeugt werden, werden wir die Vektorsuche verwenden, um das Kleid zu finden, das wir suchen. Im Gegensatz zu herkömmlichen Suche, die sich auf genaue Schlüsselwort -Übereinstimmungen stützt, findet die Vektorsuche Elemente basierend auf der Ähnlichkeit ihrer Einbettungen. Dies bedeutet, dass Sie nach Bilderbeschreibungen oder sogar anderen Bildern nach Bildern suchen können.

// Kleidersuche per Textual content

Textsuche durchführen: Hier werden wir die verwenden VECTOR_SEARCH Funktion innerhalb von BigQuery, um unter allen Kleidern nach einem „blauen Kleid“ zu suchen. Der Textual content „Blue Costume“ wird in einen Vektor umgewandelt und mit Hilfe der Vektorsuche werden wir ähnliche Vektoren abrufen.

CREATE OR REPLACE TABLE `image_embedding.image_search_via_text` AS 
SELECT base.uri AS image_link, distance 
FROM 
VECTOR_SEARCH( 
   TABLE `image_embedding.dress_embeddings`, 
   'ml_generate_embedding_result', 
   ( 
      SELECT ml_generate_embedding_result AS embedding_col 
      FROM ML.GENERATE_EMBEDDING 
      ( 
         MODEL`image_embedding.image_embeddings_model` , 
            (
               SELECT "Blue costume" AS content material
            ), 
            STRUCT 
         (
            TRUE AS flatten_json_output, 
            512 AS output_dimensionality
         ) 
      )
   ),
   top_k => 5 
)
ORDER BY distance ASC; 
SELECT * FROM `image_embedding.image_search_via_text`;

Ergebnisse: Die Abfrageergebnisse liefern eine image_link und eine Entfernung für jedes Ergebnis. Sie können sehen, dass die Ergebnisse, die Sie erhalten, die am engste Übereinstimmung in Bezug auf die Suchabfrage und die verfügbaren Kleider.

// Kleidersuche über das Bild

Jetzt werden wir untersuchen, wie wir ein Bild verwenden können, um ähnliche Bilder zu finden. Versuchen wir, ein Kleid zu finden, das wie das folgende Bild aussieht:

Externe Tabelle für Testbild: Wir müssen das Testbild im Google Cloud -Speicher -Eimer speichern und eine externe Tabelle erstellen external_images_test_tableum das für die Suche verwendete Testbild zu speichern.

CREATE OR REPLACE EXTERNAL TABLE 
   `image_embedding.external_images_test_table` 
WITH CONNECTION `(PROJECT_ID).us.llm-connection` 
OPTIONS( 
   object_metadata="SIMPLE", 
   uris = ('gs://(BUCKET_NAME)/test-image-for-dress/*'), 
   max_staleness = INTERVAL 1 DAY, 
   metadata_cache_mode="AUTOMATIC"
);

Generieren Sie Einbettung für das Testbild: Jetzt werden wir die Einbettung für dieses einzelne Testbild verwenden ML.GENERATE_EMBEDDING Funktion.

CREATE OR REPLACE TABLE `image_embedding.test_dress_embeddings` AS 
SELECT * 
FROM ML.GENERATE_EMBEDDING
   ( 
      MODEL `image_embedding.image_embeddings_model`, 
      TABLE `image_embedding.external_images_test_table`, STRUCT(TRUE AS flatten_json_output, 
      512 AS output_dimensionality
   ) 
);

Vektorsuche mit Bildeinbettung: Schließlich wird die Einbettung des Testbildes verwendet, um eine Vektorsuche gegen die durchzuführen image_embedding.dress_embeddings Tisch. Der ml_generate_embedding_result aus image_embedding.test_dress_embeddings wird als Einbettung der Abfrage verwendet.

SELECT base.uri AS image_link, distance 
FROM 
VECTOR_SEARCH( 
   TABLE `image_embedding.dress_embeddings`, 
   'ml_generate_embedding_result', 
   ( 
      SELECT * FROM `image_embedding.test_dress_embeddings`
   ),
   top_k => 5, 
   distance_type => 'COSINE', 
   choices => '{"use_brute_force":true}' 
);

Ergebnisse: Die Abfrageergebnisse für die Bildsuche zeigten die visuell ähnlichsten Kleider. Das Prime -Ergebnis warfare white-dress mit einem Abstand von 0,2243, gefolgt von sky-blue-dress mit einer Entfernung von 0,3645 und polka-dot-dress mit einem Abstand von 0,3828.

Diese Ergebnisse zeigen deutlich die Fähigkeit, visuell ähnliche Elemente basierend auf einem Eingabebild zu finden.

// Die Wirkung

Diese Demonstration zeigt effektiv, wie Bildeinbettungen und Vektorsuche in Google Cloud revolutionieren können, wie wir mit visuellen Daten interagieren. Von E-Commerce-Plattformen, die „Store ähnliche“ Funktionen bis hin zu Content material-Administration-Systemen für intelligente Erkennung visueller Asset ermöglichen, sind die Anwendungen groß. Durch die Umwandlung von Bildern in durchsuchbare Vektoren entsperren diese Technologien eine neue Dimension der Suche und machen sie intuitiver, leistungsfähiger und visuell intelligenter.

Diese Ergebnisse können dem Benutzer präsentiert werden, sodass er das gewünschte Kleid schnell finden kann.

# Vorteile der KI -Kleidersuche

1. Verbesserte Benutzererfahrung: Die visuelle Suche bietet eine intuitivere und effizientere Möglichkeit für Benutzer, zu finden, wonach sie suchen
2. Verbesserte Genauigkeit: Bildeinbettungen ermöglichen die Suche nach visueller Ähnlichkeit und liefern relevantere Ergebnisse als herkömmliche keyword-basierte Suche
3. Erhöhter Umsatz: Indem die Kunden es den Kunden erleichtern, die gewünschten Produkte zu finden

# Jenseits der Kleidersuche

Durch die Kombination der Leistung von Bildbettendings mit den robusten Datenverarbeitungsfunktionen von BigQuery können Sie revolutionary KI-gesteuerte Lösungen erstellen, die die Artwork und Weise, wie wir mit visuellen Inhalten interagieren, verändern. Von E-Commerce bis hin zu Inhalts Moderation geht die Kraft von Bildeinbettungen und BigQuery über die Kleidersuche hinaus.

Hier sind einige andere potenzielle Anwendungen:

• E-Commerce: Produktempfehlungen, visuelle Suche nach anderen Produktkategorien
• Modedesign: Trendanalyse, Design Inspiration
• Inhalts Moderation: Identifizierung unangemessener Inhalte
• Erkennung von Urheberrechtsverletzungen: visuell ähnliche Bilder finden, um geistiges Eigentum zu schützen

Erfahren Sie mehr über Einbettungen auf BigQuery Hier und Vektorsuche Hier.

Nivedita Kumari ist eine erfahrene Datenanalyse und KI -Profi mit über 10 Jahren Erfahrung. In ihrer aktuellen Rolle nimmt sie als Datenanalyse -Kundendingenieurin bei Google ständig mit Führungskräften der C -Ebene ein und hilft ihnen bei der Architekten von Datenlösungen und führt sie zu bewährten Verfahren, um Daten und maschinelle Lernlösungen auf Google Cloud zu erstellen. Nivedita hat ihren Grasp in Know-how Administration mit Schwerpunkt auf Datenanalysen von der College of Illinois in Urbana-Champaign durchgeführt. Sie möchte maschinelles Lernen und KI demokratisieren und die technischen Hindernisse abbauen, damit jeder Teil dieser transformativen Technologie sein kann. Sie teilt ihr Wissen und ihre Erfahrung mit der Entwicklergemeinschaft, indem sie Tutorials, Führer, Meinungsstücke und Codierungsdemonstrationen erstellt.
Verbinden Sie sich mit Nivedita auf LinkedIn.

Beiträge dieser Arbeit

Dieses Papier bietet sowohl eine aufschlussreiche Analyse der Trainingsdynamik auf Token-Ebene als auch eine neue Technik namens SLM:

Token -Verlustanalyse:
Sie zeigen, dass ein Großteil der Token nur wenig über die anfängliche Trainingsphase hinausgeht, während eine kleine Untergruppe anhaltend hoher Verlust bleibt.

SLM für fokussiertes Lernen:
Durch die Nutzung eines Referenzmodells, um festzustellen, wie „nützlich“ jedes Token ist Trainingstoken drastisch reduzieren Ohne die Qualität zu beeinträchtigen – in vielen Fällen sogar die nachgelagerte Leistung steigern.

Breite Demonstration der Wirksamkeit:
SLM arbeitet nicht nur auf mathematische Aufgaben, sondern auch in allgemeineren Bereichen mit einem akribisch kuratierten Referenzdatensatz oder einem Referenzmodell aus demselben großen Korpus.

Wohin könnte das als nächstes gehen?

SLM umfasst verschiedene potenzielle Richtungen für zukünftige Forschung. Zum Beispiel:

Weiter aufbauen:
Obwohl sich das Papier hauptsächlich auf Modelle von 1B bis 7B -Parametern konzentriert, bleibt die offene Frage, wie SLM auf der Skala 30B, 70B oder 100B+ funktioniert. Wenn sich der Ansatz auf Token-Ebene intestine verallgemeinert, könnten die Kosteneinsparungen für wirklich huge LLMs enorm sein.

Referenzmodelle über API:
Wenn Sie kuratierte Daten nicht sammeln können, können Sie möglicherweise ein API-basierter Sprachmodell als Referenz verwenden. Dies könnte SLM für kleinere Forschungsteams, denen die Ressourcen für selektives Referenztraining fehlen, praktischer machen.

Verstärkungslernenverlängerungen:
Stellen Sie sich vor, Sie haben SLM mit Verstärkungslernen. Das Referenzmodell könnte als „Belohnungsmodell“ fungieren, und die Token -Auswahl könnte dann durch etwas optimiert werden, das mit politischen Gradienten ähnelt.

Mehrere Referenzmodelle:
Anstelle eines einzelnen RM können Sie trainieren oder versammeln mehrerejeweils konzentriert sich auf eine andere Domäne oder einen anderen Stil. Kombinieren Sie dann ihre Token-Scores, um ein robusteres Multi-Domänen-Filtersystem zu erzeugen.

Ausrichtung und Sicherheit:
Es gibt einen wachsenden Development zur Berücksichtigung der Ausrichtung oder Wahrhaftigkeit. Man könnte ein Referenzmodell trainieren, um intestine unterstützte Aussagen und Null-Out-Token, die sachlich inkorrekt oder schädlich aussehen, höhere Punktzahlen zu verleihen.

Dies weicht etwas von dem ab, was in den Büchern steht.

Optimierer sind ein wesentlicher Bestandteil aller, die im Bereich maschinelles Lernen arbeiten.

Wir alle wissen, dass Optimierer bestimmen, wie das Modell die Verlustfunktion während des Gradientenabstiegs konvergiert. Daher kann die Verwendung des richtigen Optimierers die Leistung und Effizienz des Modelltrainings steigern.

Neben klassischen Artikeln erklären viele Bücher die Prinzipien hinter Optimierern in einfachen Worten.

Ich habe jedoch kürzlich festgestellt, dass die Leistung der Keras 3-Optimierer nicht ganz mit den in diesen Büchern beschriebenen mathematischen Algorithmen übereinstimmt, was mich etwas beunruhigte. Ich hatte Angst, etwas missverstanden zu haben oder dass Updates in der neuesten Model von Keras die Optimierer beeinträchtigen könnten.

Ich habe mir additionally den Quellcode mehrerer gängiger Optimierer in Keras 3 angesehen und ihre Anwendungsfälle noch einmal betrachtet. Jetzt möchte ich dieses Wissen mit Ihnen teilen, um Ihnen Zeit zu sparen und Ihnen zu helfen, Keras 3-Optimierer schneller zu beherrschen.

Wenn Sie mit den neuesten Änderungen in Keras 3 nicht sehr vertraut sind, hier ein kurzer Überblick: Keras 3 integriert TensorFlow, PyTorch und JAX, sodass wir über Keras-APIs problemlos hochmoderne Deep-Studying-Frameworks verwenden können.