Mengen an wichtigen Informationen. Allerdings sind diese Informationen in vielen Fällen tief im Inhalt der Dokumente verborgen und daher für nachgelagerte Aufgaben nur schwer nutzbar. In diesem Artikel bespreche ich, wie Sie konsistent Metadaten aus Ihren Dokumenten extrahieren, und berücksichtige dabei Ansätze zur Metadatenextraktion und die Herausforderungen, denen Sie dabei begegnen werden.

Der Artikel bietet einen übergeordneten Überblick über die Durchführung der Metadatenextraktion für Dokumente und hebt die verschiedenen Überlegungen hervor, die Sie bei der Durchführung der Metadatenextraktion berücksichtigen müssen.

Warum Dokumentmetadaten extrahieren?

Zunächst ist es wichtig zu klären, warum wir Metadaten aus Dokumenten extrahieren müssen. Wenn die Informationen bereits in den Dokumenten vorhanden sind, können wir sie dann nicht einfach mithilfe von RAG oder anderen ähnlichen Ansätzen finden?

In vielen Fällen wäre RAG in der Lage, bestimmte Datenpunkte zu finden, aber das Vorextrahieren von Metadaten vereinfacht viele nachgelagerte Aufgaben. Mithilfe von Metadaten können Sie Ihre Dokumente beispielsweise nach Datenpunkten filtern, wie zum Beispiel:

• Dokumenttyp
• Adressen
• Termine

Wenn Sie außerdem über ein RAG-System verfügen, profitiert dieses in vielen Fällen von zusätzlich bereitgestellten Metadaten. Dies liegt daran, dass Sie dem LLM die zusätzlichen Informationen (die Metadaten) übersichtlicher präsentieren. Angenommen, Sie stellen eine Frage zu Daten. In diesem Fall ist es einfacher, dem Modell einfach die vorextrahierten Dokumentdaten bereitzustellen, anstatt die Daten während der Inferenzzeit vom Modell extrahieren zu lassen. Dies spart sowohl Kosten als auch Latenz und verbessert wahrscheinlich die Qualität Ihrer RAG-Antworten.

So extrahieren Sie Metadaten

Ich hebe drei Hauptansätze zum Extrahieren von Metadaten hervor, von den einfachsten bis zu den komplexesten:

• Regex
• OCR + LLM
• Imaginative and prescient-LLMs

Regex

Regex ist der einfachste und konsistenteste Ansatz zum Extrahieren von Metadaten. Regex funktioniert intestine, wenn Sie vorher das genaue Format der Daten kennen. Wenn Sie beispielsweise Mietverträge bearbeiten und wissen, dass das Datum als TT.MM.JJJJ geschrieben wird, immer direkt nach den Worten „Datum:“, dann ist Regex die richtige Wahl.

Leider ist die Verarbeitung der meisten Dokumente komplexer. Sie müssen sich mit inkonsistenten Dokumenten auseinandersetzen, mit Herausforderungen wie:

• Datumsangaben werden an verschiedenen Stellen im Dokument geschrieben
• Aufgrund der schlechten OCR fehlen im Textual content einige Zeichen
• Datumsangaben werden in verschiedenen Formaten geschrieben (z. B. mm.tt.jjjj, 22. Oktober, 22. Dezember usw.)

Aus diesem Grund müssen wir normalerweise zu komplexeren Ansätzen übergehen, wie OCR + LLM, die ich im nächsten Abschnitt beschreibe.

OCR + LLM

Ein leistungsstarker Ansatz zum Extrahieren von Metadaten ist die Verwendung von OCR + LLM. Dieser Prozess beginnt mit der Anwendung von OCR auf ein Dokument, um den Textinhalt zu extrahieren. Anschließend nehmen Sie den OCR-bearbeiteten Textual content und veranlassen einen LLM, das Datum aus dem Dokument zu extrahieren. Dies funktioniert normalerweise unglaublich intestine, da LLMs den Kontext intestine verstehen können (welches Datum related und welches Datum irrelevant ist) und Datumsangaben in allen möglichen Formaten verstehen können. LLMs werden in vielen Fällen auch in der Lage sein, sowohl europäische (tt.mm.jjjj) als auch amerikanische (mm.tt.jjjj) Datumsstandards zu verstehen.

In einigen Szenarien erfordern die Metadaten, die Sie extrahieren möchten, jedoch visuelle Informationen. In diesen Szenarien müssen Sie die fortschrittlichste Technik anwenden: Imaginative and prescient-LLMs.

Imaginative and prescient-LLMs

Der Einsatz von Imaginative and prescient-LLMs ist der komplexeste Ansatz mit der höchsten Latenz und den höchsten Kosten. In den meisten Szenarien ist die Ausführung von Imaginative and prescient-LLMs weitaus teurer als die Ausführung rein textbasierter LLMs.

Beim Ausführen von Imaginative and prescient-LLMs müssen Sie normalerweise sicherstellen, dass die Bilder eine hohe Auflösung haben, damit das Imaginative and prescient-LLM den Textual content der Dokumente lesen kann. Dies erfordert dann viele visuelle Token, was die Verarbeitung teuer macht. Imaginative and prescient-LLMs mit hochauflösenden Bildern sind jedoch in der Regel in der Lage, komplexe Informationen zu extrahieren, was OCR + LLM nicht leisten kann, beispielsweise die im Bild unten bereitgestellten Informationen.

Imaginative and prescient-LLMs funktionieren auch intestine in Szenarien mit handgeschriebenem Textual content, in denen OCR Probleme bereiten könnte.

Herausforderungen beim Extrahieren von Metadaten

Wie ich bereits erwähnt habe, sind Dokumente komplex und liegen in verschiedenen Formaten vor. Beim Extrahieren von Metadaten aus Dokumenten müssen Sie sich daher mit vielen Herausforderungen auseinandersetzen. Ich werde drei der größten Herausforderungen hervorheben:

• Wann sollte man Imaginative and prescient vs. OCR + LLM verwenden?
• Umgang mit handschriftlichem Textual content
• Umgang mit langen Dokumenten

Wann sollten Imaginative and prescient-LLMs im Vergleich zu OCR + LLM verwendet werden?

Vorzugsweise würden wir Imaginative and prescient-LLMs für die gesamte Metadatenextraktion verwenden. Dies ist jedoch aufgrund der Kosten für den Betrieb von Imaginative and prescient-LLMs in der Regel nicht möglich. Wir müssen daher entscheiden, wann wir Imaginative and prescient-LLMs und wann OCR + LLMs verwenden.

Sie können beispielsweise entscheiden, ob der Metadatenpunkt, den Sie extrahieren möchten, visuelle Informationen erfordert oder nicht. Wenn es sich um ein Datum handelt, funktionieren OCR + LLM in quick allen Szenarien ziemlich intestine. Wenn Sie jedoch wissen, dass Sie es mit Kontrollkästchen wie in der oben erwähnten Beispielaufgabe zu tun haben, müssen Sie Imaginative and prescient-LLMs anwenden.

Umgang mit handschriftlichem Textual content

Ein Drawback bei dem oben genannten Ansatz besteht darin, dass einige Dokumente möglicherweise handgeschriebenen Textual content enthalten, der mit herkömmlicher OCR nicht besonders intestine extrahiert werden kann. Wenn Ihre OCR schlecht ist, wird auch die Leistung des LLM beim Extrahieren von Metadaten schlecht sein. Wenn Sie additionally wissen, dass Sie es mit handschriftlichem Textual content zu tun haben, empfehle ich die Verwendung von Imaginative and prescient-LLMs, da diese meiner Erfahrung nach viel besser mit Handschrift umgehen können. Es ist wichtig zu wissen, dass viele Dokumente sowohl digitalen Textual content als auch Handschrift enthalten.

Umgang mit langen Dokumenten

In vielen Fällen müssen Sie sich auch mit sehr langen Dokumenten befassen. Wenn dies der Fall ist, müssen Sie überlegen, wie weit im Dokument ein Metadatenpunkt vorhanden sein könnte.

Der Grund dafür ist, dass Sie die Kosten minimieren möchten und wenn Sie extrem lange Dokumente verarbeiten müssen, müssen Sie über viele Eingabetokens für Ihre LLMs verfügen, was kostspielig ist. In den meisten Fällen steht die wichtige Data (z. B. das Datum) früh im Dokument, sodass Sie nicht viele Eingabetokens benötigen. In anderen Situationen kann es jedoch sein, dass die relevanten Informationen auf Seite 94 vorhanden sind. In diesem Fall benötigen Sie viele Eingabe-Tokens.

Das Drawback ist natürlich, dass man vorher nicht weiß, auf welcher Seite die Metadaten vorhanden sind. Daher müssen Sie im Wesentlichen eine Entscheidung treffen, z. B. nur die ersten 100 Seiten eines bestimmten Dokuments betrachten und davon ausgehen, dass die Metadaten für quick alle Dokumente auf den ersten 100 Seiten verfügbar sind. In den seltenen Fällen, in denen sich die Daten auf Seite 101 und höher befinden, wird Ihnen ein Datenpunkt entgehen, Sie sparen jedoch erheblich Kosten.

Abschluss

In diesem Artikel habe ich besprochen, wie Sie konsistent Metadaten aus Ihren Dokumenten extrahieren können. Diese Metadaten sind häufig von entscheidender Bedeutung, wenn Sie nachgelagerte Aufgaben wie das Filtern Ihrer Dokumente anhand von Datenpunkten ausführen. Darüber hinaus habe ich drei Hauptansätze zur Metadatenextraktion mit Regex, OCR + LLM und Imaginative and prescient LLMs besprochen und einige Herausforderungen behandelt, denen Sie bei der Metadatenextraktion gegenüberstehen. Ich denke, die Metadatenextraktion bleibt eine Aufgabe, die keinen großen Aufwand erfordert, aber bei nachgelagerten Aufgaben einen großen Mehrwert bieten kann. Ich glaube daher, dass die Metadatenextraktion auch in den kommenden Jahren wichtig bleiben wird, obwohl ich glaube, dass wir bei der Metadatenextraktion immer mehr auf die reine Verwendung von Imaginative and prescient-LLMs anstelle von OCR + LLM umsteigen werden.

Finden Sie mich in den sozialen Netzwerken:

Nehmen Sie Kontakt auf

Abonnieren Sie meinen Publication

LinkedIn

X / Twitter

Medium

Sie können auch einige meiner anderen Artikel lesen:

Nachdem ich rohe LLM -Workflows für strukturierte Extraktionsaufgaben entwickelt habe, habe ich im Laufe der Zeit mehrere Fallstricke beobachtet. In einem meiner Projekte entwickelte ich zwei unabhängige Workflows mit Grok und Openai, um zu sehen, welche für die strukturierte Extraktion besser abschnitten. Dies battle, als ich bemerkte, dass beide Fakten an zufälligen Stellen wegließen. Darüber hinaus stimmten die extrahierten Felder nicht mit dem Schema überein.

Um diesen Problemen entgegenzuwirken, habe ich spezielle Bearbeitungs- und Validierungsprüfungen eingerichtet, mit denen das LLM das Dokument erneut besuchen kann (z. Mehrere Validierungsläufe veranlassten mich jedoch, meine API -Grenzen zu übertreffen. Darüber hinaus battle eine schnelle Feinabstimmung ein echter Engpass. Jedes Mal, wenn ich die Aufforderung modifizierte, um sicherzustellen, dass die LLM keine Tatsache verpasst hat, würde ein neues Downside eingeführt. Eine wichtige Einschränkung, die mir auffiel, battle, dass eine LLM zwar intestine für eine Reihe von Eingabeaufforderungen funktioniert hat, der andere jedoch nicht so intestine mit den gleichen Anweisungen abschneiden würde. Diese Probleme veranlassten mich, nach einer Orchestrierungs-Engine zu suchen, die meine Eingabeaufforderungen automatisch fein abteilen könnte, um den Aufforderungstil des LLM zu entsprechen, Faktenauslassungen zu verarbeiten und sicherzustellen, dass meine Ausgabe mit meinem Schema übereinstimmt.

Ich bin kürzlich auf Langextractrad gestoßen und ausprobiert. Die Bibliothek befasste sich mit mehreren Problemen, mit denen ich konfrontiert battle, insbesondere in Bezug auf die Schemaausrichtung und die Vollständigkeit der Tatsache. In diesem Artikel erkläre ich die Grundlagen von Langextract und wie es die rohen LLM -Workflows für strukturierte Extraktionsprobleme erweitern kann. Ich möchte auch meine Erfahrungen mit Langextract mit einem Beispiel teilen.

Warum Langextract?

Es ist eine bekannte Tatsache, dass Sie beim Einrichten eines rohen LLM -Workflows (beispielsweise mit OpenAI, um strukturierte Attribute von Ihrem Korpus zu sammeln), eine Chunking -Strategie festlegen, um die Nutzung der Token zu optimieren. Sie müssten auch eine spezielle Handhabung für fehlende Werte und Formatierungen hinzufügen. Wenn es um eine schnelle Technik geht, müssten Sie mit jeder Iteration Anweisungen zu Ihrer Eingabeaufforderung hinzufügen oder entfernen. In einem Versuch, die Ergebnisse zu optimieren und mit Diskrepanzen umzugehen.

Langextractrad hilft bei der effektiven Orchestrierung von Eingabeaufforderungen und Ausgängen zwischen dem Benutzer und dem LLM. Es hat die Eingabeaufforderung, bevor es an die LLM weitergeleitet wird. In Fällen, in denen der Eingangstext oder die Dokumente groß sind, stößt er die Daten ab und füttert sie dem LLM, wodurch sichergestellt wird, dass wir innerhalb der von jedem Modell vorgeschriebenen Token-Grenzen bleiben (z. B. ~ 8000 Token für GPT-4 gegenüber ~ 10000 Token in Claude). In Fällen, in denen die Geschwindigkeit von entscheidender Bedeutung ist, kann eine Parallelisierung eingerichtet werden. Wo Token -Grenzen eine Einschränkung sind, kann eine sequentielle Ausführung eingerichtet werden. Ich werde versuchen, die Arbeit von Langextract zusammen mit seinen Datenstrukturen im nächsten Abschnitt zu brechen.

Datenstrukturen und Workflow in Langextract

Im Folgenden finden Sie ein Diagramm, das die Datenstrukturen in Langextrakt und den Datenfluss aus dem Eingangsstrom zum Ausgangsstrom zeigt.

Langextract speichert Beispiele als Liste benutzerdefinierter Klassenobjekte. Jedes Beispielobjekt hat eine Eigenschaft namens „Textual content“, nämlich der Beispieltext aus einem Nachrichtenartikel. Eine andere Eigenschaft ist die ‚extraction_class‘, die Kategorie ist, die dem Information -Artikel der LLM während der Ausführung zugewiesen wird. Beispielsweise würde ein Nachrichtenartikel, der über einen Cloud -Anbieter spricht, unter „Cloud -Infrastruktur“ markiert. Die Eigenschaft ‚extraction_text‘ ist die Referenzausgabe, die Sie dem LLM bereitstellen. Diese Referenzausgabe leitet das LLM bei der Abschließung der nächsten Ausgabe, die Sie für einen ähnlichen Nachrichtenausschnitt erwarten würden. Die Eigenschaft ‚text_or_documents‘ speichert den tatsächlichen Datensatz, für den strukturierte Extraktion erforderlich ist (in meinem Beispiel sind die Eingabedokumente Nachrichtenartikel).

Es werden nur wenige Anweisungen zur Aufforderung an das LLM der Wahl (model_id) über Langextract gesendet. Die Funktion von Langextract ‚Core‘ Extract () “ setzt die Eingabeaufforderungen an und übergibt sie an die LLM, nachdem sie die Eingabeaufforderung in intern zu dem schnellen Stil des ausgewählten LLM entspricht und um Modelldiskrepanzen zu verhindern. Das LLM gibt dann das Ergebnis nacheinander (dh ein Dokument gleichzeitig) an langextract zurück, was wiederum das Ergebnis in einem Generatorobjekt ergibt. Das Generatorobjekt ähnelt einem transienten Strom, der den von der LLM extrahierten Wert ergibt. Eine Analogie für einen Generator, der ein vorübergehender Strom ist, wäre ein digitales Thermometer, das Ihnen die aktuelle Lesung bietet, aber keine Lesungen als zukünftige Referenz speichert. Wenn der Wert im Generatorobjekt nicht sofort erfasst wird, geht er verloren.

Beachten Sie, dass die Eigenschaften von ‚max_workers‘ und ‚extraction_pass‘ im Abschnitt „Greatest Practices bei der Verwendung von Langextract“ ausführlich erörtert wurden.

Nachdem wir festgestellt haben, wie Langextract funktioniert und die von ihm verwendeten Datenstrukturen, gehen wir mit dem Anwenden von Langextract in einem realen Szenario fort.

Eine praktische Implementierung von Langextract

Der Anwendungsfall umfasst Nachrichtenartikel aus der „techxplore.com RSS -Feeds“, die sich auf die Technologie -Geschäftsdomäne (https://techxplore.com/feeds/) bezieht. Wir verwenden FeedParser und Trifaltura zur URL -Parsen und Extraktion des Artikeltextes. Eingabeaufforderungen und Beispiele werden vom Benutzer erstellt und an langextract gespeist, wodurch die Orchestrierung durchgeführt wird, um sicherzustellen, dass die Eingabeaufforderung für das verwendete LLM abgestimmt ist. Das LLM verarbeitet die Daten basierend auf den Eingabeaufforderung an Anweisungen zusammen mit den angegebenen Beispielen und gibt die Daten an Langextractrad zurück. Langextract führt erneut die Nachbearbeitung durch, bevor die Ergebnisse dem Endbenutzer angezeigt werden. Im Folgenden finden Sie ein Diagramm, das zeigt, wie Daten aus der Eingangsquelle (RSS -Feeds) in Langextrakt und schließlich über die LLM strukturierte Extraktionen ergeben.

Im Folgenden finden Sie die Bibliotheken, die für diese Demonstration verwendet wurden.

Wir beginnen mit der Zuweisung der Tech Xplore RSS -Feed -URL einer Variablen ‚feed_url‘. Anschließend definieren wir eine „Schlüsselwörter“ -Liste, die Key phrases enthält, die sich auf Technologiegeschäft beziehen. Wir definieren drei Funktionen, um Nachrichtenartikel aus dem Newsfeed zu analysieren und zu kratzen. Die Funktion ‚get_article_urls ()‘ analysiert den RSS -Feed und ruft den Artikel -Titel und die einzelnen Artikel -URL (Hyperlink) ab. FeedParser wird verwendet, um dies zu erreichen. Die Funktion ‚extract_text ()‘ ‚verwendet Trifaltura, um den Artikeltext aus der einzelnen Artikel zu extrahieren, die von FeedParser zurückgegeben wird. Die Funktion ‚filter_articles_by_keywords‘ filtert die abgerufenen Artikel basierend auf der von uns definierten Schlüsselwörterliste.

Nach dem Ausführen des oben genannten erhalten wir die Ausgabe.
„Fanden 30 Artikel im RSS -Feed
Gefilterte Artikel: 15 „

Nachdem die Liste der „filtered_articles“ verfügbar ist, richten wir die Eingabeaufforderung ein. Hier geben wir Anweisungen, damit die LLM die Artwork von Nachrichtenersichten verstehen lässt, an denen wir interessiert sind. Wie im Abschnitt „Datenstrukturen und Workflow in Langextract“ erläutert, richten wir eine Liste benutzerdefinierter Klassen mit ‚Information. Extremptedata ()‘ ein, eine eingebaute Datenstruktur in Langextract. In diesem Fall verwenden wir nur wenige Schüsse, die aus mehreren Beispielen bestehen.

Wir initialisieren eine Liste namens „Ergebnisse“ und schalten dann den Korpus „filtered_articles“ durch und führen den Extraktionsartikel jeweils aus. Die LLM -Ausgabe ist in einem Generatorobjekt erhältlich. Wie bereits erwähnt, wird der Ausgangswert im ‚result_generator‘ als vorübergehender Stream sofort an die Liste der Ergebnisse angehängt. Die ‚Ergebnisse‘ Variable ist eine Liste mit kommentierten Dokumenten.

Wir iterieren die Ergebnisse in einem ‚for Loop‘, um jedes kommentierte Dokument in eine JSONL -Datei zu schreiben. Dies ist zwar ein optionaler Schritt, kann bei Bedarf für die Prüfung einzelner Dokumente verwendet werden. Erwähnenswert ist, dass die offizielle Dokumentation von Langextract ein Dienstprogramm zur Visualisierung dieser Dokumente bietet.

Wir durchlaufen die Liste der „Ergebnisse“, um jede Extraktion von einem kommentierten Dokument einzeln zu sammeln. Eine Extraktion ist nichts anderes als eine oder mehrere Attribute, die uns im Schema angefordert haben. Alle diese Extraktionen werden in der Liste „All_extractions“ gespeichert. Diese Liste ist eine abgeflachte Liste aller Extraktionen des Formulars (Extraktion_1, Extraktion_2, Extraktion_N).

Wir erhalten 55 Extraktionen aus den 15 Artikeln, die zuvor gesammelt wurden.

Der letzte Schritt beinhaltet die Iterierung der Liste „All_extractions“, um jede Extraktion zu sammeln. Das Extraktionsobjekt ist eine benutzerdefinierte Datenstruktur innerhalb von Langextract. Die Attribute stammen aus jedem Extraktionsobjekt. In diesem Fall sind Attribute Wörterbuchobjekte, die den metrischen Namen und den Wert haben. Die Attribute/Metriknamen stimmen mit dem von uns ursprünglich als Teil der Eingabeaufforderung angeforderten Schema überein (siehe die Liste „Attribute“ -Dictionary -Beispiele im Objekt „Information.extraction“). Die endgültigen Ergebnisse werden in einem Datenrahmen verfügbar gemacht, der zur weiteren Analyse verwendet werden kann.

Nachfolgend finden Sie die Ausgabe, die die ersten fünf Zeilen des DataFrame angezeigt –

Greatest Practices für die effektive Verwendung von Langextracting

Wenige Schüsse Aufforderung

Langextract ist so konzipiert, dass er mit einem One-Shot- oder wenigen Schuss-Aufforderungsstruktur funktioniert. Bei wenigen Aufformen müssen Sie eine Eingabeaufforderung und einige Beispiele geben, die die Ausgabe erklären, die Sie erwarten, dass der LLM nachgibt. Dieser Aufforderungstil ist besonders nützlich in komplexen, multidisziplinären Bereichen wie Handel und Export, in denen Daten und Terminologie in einem Sektor stark von denen des anderen unterscheiden können. Hier ist ein Beispiel – ein Nachrichtenausschnitt lautet: „Der Wert von Gold wurde mit X“ und ein weiterer Snippet lautet: „Der Wert einer bestimmten Artwork von Halbleiter ging von Y. Obwohl beide Ausschnitte „Wert“ sagen, bedeuten sie sehr unterschiedliche Dinge. Wenn es um Edelmetalle wie Gold geht, basiert der Wert auf dem Marktpreis professional Einheit, während dies bei Halbleitern die Marktgröße oder den strategischen Wert bedeuten kann. Durch die Bereitstellung domänenspezifischer Beispiele können die LLM dazu beitragen, die Metriken mit der Nuance zu holen, die der Area verlangt. Je mehr die Beispiele desto besser. Ein breites Beispiel -Set kann sowohl das LLM -Modell als auch Langextract dabei helfen, sich an verschiedene Schreibstile (in Artikeln) anzupassen und Missen in der Extraktion zu vermeiden.

Multi-Extraktionspass

Ein Multi-Extraktionspass ist der Akt, dass der LLM den Eingabedatensatz mehr als einmal überprüft hat, um die in Ihrer Ausgabe am Ende des ersten Go fehlenden Particulars auszufüllen. Langextract führt das LLM, um den Datensatz (Eingabe) mehrmals zu überdenken, indem die Eingabeaufforderung während jedes Laufs fein abfasst. Es verwaltet die Ausgabe auch effektiv, indem es die Zwischenausgaben aus den ersten und nachfolgenden Läufen verschmelzen. Die Anzahl der Durchgänge, die hinzugefügt werden müssen, wird unter Verwendung des Parameters ‚extraction_passes‘ im Extract () -Modul bereitgestellt. Obwohl ein Extraktionspass von ‚1‘ hier funktionieren würde, hilft alles, was über ‚2‘ hinausging, eine Ausgabe, die fein abgestimmt und mit der Eingabeaufforderung und dem bereitgestellten Schema ausgerichtet ist. Darüber hinaus stellt ein Multi-Extraktionspass von 2 oder mehr sicher, dass das Ausgabebericht mit dem Schema und den Attributen, die Sie in Ihrer schnellen Beschreibung angegeben haben, entspricht.

Parallelisierung

Wenn Sie große Dokumente haben, die möglicherweise die zulässige Anzahl von Token professional Anfrage konsumieren können, ist es excellent, einen sequentiellen Extraktionsprozess zu erhalten. Ein sequentieller Extraktionsprozess kann aktiviert werden, indem MAX_WORKERS = 1 festgelegt wird. Dies führt dazu, dass Langextract die LLM dazu zwingt, die Eingabeaufforderung auf sequentielle Weise zu verarbeiten, ein Dokument jeweils. Wenn die Geschwindigkeit der Schlüssel ist, kann eine Parallelisierung aktiviert werden, indem max_worker = 2 oder mehr festgelegt wird. Dies stellt sicher, dass für den Extraktionsprozess mehrere Themen verfügbar werden. Darüber hinaus kann das modul für time.sleep () verwendet werden, wenn eine sequentielle Ausführung durchgeführt wird, um sicherzustellen, dass die Anforderungsquoten von LLMs nicht überschritten werden.

Sowohl die Parallelisierung als auch der Multi-Extraktionspass können wie unten festgelegt werden-

Schließende Bemerkungen

In diesem Artikel haben wir gelernt, wie man Langextract für strukturierte Extraktionswendungsfälle verwendet. Inzwischen sollte klar sein, dass ein Orchestrator wie Langextract für Ihr LLM bei der schnellen Feinabstimmung, des Datenbörsens, der Ausrichtung der Ausgabe und der Ausrichtung von Schema helfen kann. Wir haben auch gesehen, wie Langextract intern funktioniert, indem wir nur wenige Schussanforderungen für die ausgewählte LLM verarbeiten und die Rohausgabe vom LLM zu einer schema-ausgerichteten Struktur analysieren.

Einführung

In der sich ständig weiterentwickelnden Landschaft der Datenverarbeitungdas Extrahieren strukturierter Informationen aus PDFs bleibt auch im Jahr 2024 eine gewaltige Herausforderung. Während zahlreiche Modelle bei Frage-Antwort-Aufgaben hervorragende Ergebnisse liefern, liegt die wahre Komplexität in der Umwandlung unstrukturierter PDF-Inhalte in organisierte, verwertbare Daten. Lassen Sie uns diese Herausforderung untersuchen und herausfinden, wie Indexify und PaddleOCR die Instruments sein können, die wir zum nahtlosen Extrahieren von Textual content aus PDFs benötigen.

Spoiler: Wir haben es tatsächlich gelöst! Hit cmd/strg+F und suchen Sie nach dem Begriff „Highlight“, um herauszufinden, wie!

Die PDF-Extraktion ist in verschiedenen Bereichen von entscheidender Bedeutung. Sehen wir uns einige gängige Anwendungsfälle an:

• Rechnungen und Quittungen: Diese Dokumente weisen sehr unterschiedliche Formate auf und enthalten komplexe Layouts, Tabellen und manchmal handschriftliche Notizen. Eine genaue Analyse ist für die Automatisierung von Buchhaltungsprozessen unerlässlich.
• Akademische Arbeiten und Abschlussarbeiten: Diese enthalten oft eine Mischung aus Textual content, Diagrammen, Tabellen und Formeln. Die Herausforderung besteht darin, nicht nur Textual content, sondern auch mathematische Gleichungen und wissenschaftliche Notation korrekt zu konvertieren.
• Legale Dokumente: Verträge und Gerichtsakten enthalten in der Regel viele Formatierungsnuancen. Die Wahrung der Integrität der ursprünglichen Formatierung beim Extrahieren von Textual content ist für rechtliche Überprüfungen und die Einhaltung von Vorschriften von entscheidender Bedeutung.
• Historische Archive und Manuskripte: Diese stellen aufgrund von Papierverschleiß, Abweichungen in historischen Handschriften und veralteter Sprache besondere Herausforderungen dar. Die OCR-Technologie muss diese Abweichungen für effektive Forschungs- und Archivierungszwecke verarbeiten können.
• Krankenakten und Rezepte: Diese enthalten oft wichtige handschriftliche Notizen und medizinische Terminologie. Die genaue Erfassung dieser Informationen ist für die Patientenversorgung und die medizinische Forschung von entscheidender Bedeutung.

Natürlich! Hier ist der überarbeitete Textual content im Aktiv:

Indexify ist ein Open-Supply-Datenframework, das die Komplexität der Extraktion unstrukturierter Daten aus beliebigen Quellen bewältigt, wie in Abb. 1 dargestellt. Seine Architektur unterstützt:

• Aufnahme von Millionen unstrukturierter Datenpunkte.
• Extraktions- und Indizierungspipelines in Echtzeit.
• Horizontale Skalierung zur Bewältigung wachsender Datenmengen.
• Schnelle Extraktionszeiten (innerhalb von Sekunden nach Einnahme).
• Versatile Bereitstellung auf verschiedenen Hardwareplattformen (GPUs, TPUs und CPUs).

Wenn Sie mehr über Indexify und dessen Einrichtung für die Extraktion erfahren möchten, lesen Sie unseren 2-minütigenErste Schritte‚ Führung.

Das Herzstück von Indexify sind die Extractors (siehe Abb. 2) – Rechenfunktionen, die unstrukturierte Daten transformieren oder Informationen daraus extrahieren. Diese Extractors können so implementiert werden, dass sie auf jeder {Hardware} laufen, wobei eine einzelne Indexify-Bereitstellung Zehntausende von Extractors in einem Cluster unterstützt.

Derzeit unterstützt indexify mehrere Extraktoren für mehrere Modalitäten (siehe Abb. 3). Die vollständige Liste der Indexify-Extraktoren sowie deren Anwendungsfälle finden Sie im Dokumentation.

Der PaddleOCR PDF Extractor, basierend auf der PaddleOCR-Bibliothek, ist ein leistungsstarkes Instrument im Indexify-Ökosystem. Es integriert verschiedene OCR-Algorithmen zur Texterkennung (DB, EAST, SAST) und -erkennung (CRNN, RARE, StarNet, Rosetta, SRN).

Lassen Sie uns die Einrichtung und Verwendung des PaddleOCR Extractor durchgehen:

Hier ist ein Beispiel für die Erstellung einer Pipeline, die Textual content, Tabellen und Bilder aus einem PDF-Dokument extrahiert.

Um dieses Tutorial abzuschließen, müssen Sie drei verschiedene Terminals geöffnet haben:

• Terminal 1, um den Indexify-Server herunterzuladen und auszuführen.
• Terminal 2 zum Ausführen unserer Indexify-Extraktoren, die die strukturierte Extraktion, das Chunking und das Einbetten der aufgenommenen Seiten übernehmen.
• Terminal 3 zum Ausführen unserer Python-Skripte, die beim Laden und Abfragen von Daten von unserem Indexify-Server helfen.

Schritt 1: Starten Sie den Indexify-Server

Beginnen wir zunächst damit, den Indexify-Server herunterzuladen und auszuführen.

Schalter 1

curl https://getindexify.ai | sh
./indexify server -d

Beginnen wir mit der Erstellung einer neuen virtuellen Umgebung, bevor wir die erforderlichen Pakete in unserer virtuellen Umgebung installieren.

Terminal 2

python3 -m venv venv
supply venv/bin/activate
pip3 set up indexify-extractor-sdk indexify

Wir können dann alle verfügbaren Extraktoren mit dem folgenden Befehl ausführen.

!indexify-extractor obtain tensorlake/paddleocr_extractor
!indexify-extractor join-server

Terminal 3

!python3 -m venv venv
!supply venv/bin/activate

Erstellen Sie ein Python-Skript, das den Extraktionsgraphen definiert, und führen Sie es aus. Die Schritte 3 bis 5 in diesem Unterabschnitt sollten Teil derselben Python-Datei sein, die nach der Aktivierung des venv in Terminal 3 ausgeführt werden soll.

from indexify import IndexifyClient, ExtractionGraph
shopper = IndexifyClient()
extraction_graph_spec = """
title: 'pdflearner'
extraction_policies:
   - extractor: 'tensorlake/paddleocr_extractor'
     title: 'pdf_to_text'
"""
extraction_graph = ExtractionGraph.from_yaml(extraction_graph_spec)
shopper.create_extraction_graph(extraction_graph)

Dieser Code richtet ein Extraktionsdiagramm namens „pdflearner“ ein, das den PaddleOCR-Extraktor verwendet, um PDFs in Textual content zu konvertieren.

Schritt 4: Laden Sie PDFs aus Ihrer Anwendung hoch

content_id = shopper.upload_file("pdflearner", "/path/to/pdf.file")

shopper.wait_for_extraction(content_id)

extracted_content = shopper.get_extracted_content(content_id=content_id, graph_name="pdflearner", policy_name="pdf_to_text")
print(extracted_content)

Dieses Snippet lädt eine PDF-Datei hoch, wartet, bis die Extraktion abgeschlossen ist, und ruft dann den extrahierten Inhalt ab und druckt ihn.

Wir glaubten nicht, dass es ein einfacher Prozess sein könnte, in dem man in wenigen Schritten alle Textinformationen sinnvoll extrahieren kann. Additionally testeten wir es mit einer echten Steuerrechnung (siehe Abbildung 4).

(Content material(content_type="textual content/plain", knowledge=b"Type 1040nForms W-2 & W-2G Summaryn2023nKeep on your recordsn Identify(s) Proven on ReturnnSocial Safety NumbernJohn H & Jane Okay Doen321-12-3456nEmployernSPnFederal TaxnState WagesnState TaxnForm W-2nWagesnAcmeware Employern143,433.n143,433.n1,000.nTotals.n143,433.n143,433.n1,000.nForm W-2 SummarynBox No.nDescriptionnTaxpayernSpousenTotalnTotal wages, suggestions and compensation:n1nanW2 field 1 statutory wages reported on Sch CnW2 field 1 inmate or midway home wages .n6ncnAll different W2 field 1 wagesn143,433.n143,433.ndnForeign wages included in whole wagesnen0.n0.n2nTotal federal tax withheldn 3 & 7 Whole social safety wages/suggestions .n143,566.n143,566.n4nTotal social safety tax withheldn8,901.n8,901.n5nTotal Medicare wages and tipsn143,566.n143,566.n6nTotal Medicare tax withheld . :n2,082.n2,082.n8nTotal allotted suggestions .n9nNot usedn10 anTotal dependent care benefitsnbnOffsite dependent care benefitsncnOnsite dependent care benefitsn11n Whole distributions from nonqualified plansn12 anTotal from Field 12n3,732.n3,732.nElective deferrals to certified plansn133.n133.ncnRoth contrib. to 401(ok), 403(b), 457(b) plans .n.n1 Elective deferrals to authorities 457 plansn2 Non-elective deferrals to gov't 457 plans .nenDeferrals to non-government 457 plansnfnDeferrals 409A nonqual deferred comp plan .n6nIncome 409A nonqual deferred comp plan .nhnUncollected Medicare tax :nUncollected social safety and RRTA tier 1njnUncollected RRTA tier 2 . . .nknIncome from nonstatutory inventory optionsnNon-taxable fight paynmnQSEHRA benefitsnTotal different objects from field 12 .nnn3,599.n3,599.n14 an Whole deductible necessary state tax .nbnTotal deductible charitable contributionsncnTotal state deductible worker bills .ndn Whole RR Compensation .nenTotal RR Tier 1 tax .nfnTotal RR Tier 2 tax . -nTotal RR Medicare tax .ngnhnTotal RR Further Medicare tax .ninTotal RRTA suggestions. : :njnTotal different objects from field 14nknTotal sick depart topic to $511 limitnTotal sick depart topic to $200 limitnmnTotal emergency household depart wagesn16nTotal state wages and suggestions .n143,433.n143,433.n17nTotal state tax withheldn1,000.n1,000.n19nTotal native tax withheld .", options=(Characteristic(feature_type="metadata", title="metadata", worth={'sort': 'textual content'}, remark=None)), labels={}))

Obwohl das Extrahieren von Textual content nützlich ist, müssen wir diesen Textual content häufig in strukturierte Daten zerlegen. So können Sie mit Indexify bestimmte Felder aus Ihren PDFs extrahieren (der gesamte Workflow ist in Abbildung 5 dargestellt).

from indexify import IndexifyClient, ExtractionGraph, SchemaExtractorConfig, Content material, SchemaExtractor
shopper = IndexifyClient()
schema = {
    'properties': {
        'invoice_number': {'title': 'Bill Quantity', 'sort': 'string'},
 'date': {'title': 'Date', 'sort': 'string'},
        'account_number': {'title': 'Account Quantity', 'sort': 'string'},
        'proprietor': {'title': 'Proprietor', 'sort': 'string'},
        'deal with': {'title': 'Tackle', 'sort': 'string'},
        'last_month_balance': {'title': 'Final Month Steadiness', 'sort': 'string'},
        'current_amount_due': {'title': 'Present Quantity Due', 'sort': 'string'},
        'registration_key': {'title': 'Registration Key', 'sort': 'string'},
 'due_date': {'title': 'Due Date', 'sort': 'string'}
    },
    'required': ('invoice_number', 'date', 'account_number', 'proprietor', 'deal with', 'last_month_balance', 'current_amount_due', 'registration_key', 'due_date')
    'title': 'Person',
    'sort': 'object'
}
examples = str((
    {
        "sort": "object",
        "properties": {
            "employer_name": {"sort": "string", "title": "Employer Identify"},
            "employee_name": {"sort": "string", "title": "Worker Identify"},
            "wages": {"sort": "quantity", "title": "Wages"},
            "federal_tax_withheld": {"sort": "quantity", "title": "Federal Tax
Withheld"},
 "state_wages": {"sort": "quantity", "title": "State Wages"},
            "state_tax": {"sort": "quantity", "title": "State Tax"}
        },
        "required": ("employer_name", "employee_name", "wages",
"federal_tax_withheld", "state_wages", "state_tax")
    },
    {
        "sort": "object",
        "properties": {
            "booking_reference": {"sort": "string", "title": "Reserving Reference"},
            "passenger_name": {"sort": "string", "title": "Passenger Identify"},
            "flight_number": {"sort": "string", "title": "Flight Quantity"},
            "departure_airport": {"sort": "string", "title": "Departure Airport"},
            "arrival_airport": {"sort": "string", "title": "Arrival Airport"},
            "departure_time": {"sort": "string", "title": "Departure Time"},
            "arrival_time": {"sort": "string", "title": "Arrival Time"}        },
        "required": ("booking_reference", "passenger_name", "flight_number","departure_airport", "arrival_airport", "departure_time", "arrival_time")
    }
))
extraction_graph_spec = """
title: 'invoice-learner'
extraction_policies:
  - extractor: 'tensorlake/paddleocr_extractor'
    title: 'pdf-extraction'
  - extractor: 'schema_extractor'
    title: 'text_to_json'
    input_params:
      service: 'openai'
      example_text: {examples}
content_source: 'invoice-learner'
"""
extraction_graph = ExtractionGraph.from_yaml(extraction_graph_spec)
shopper.create_extraction_graph(extraction_graph)
content_id = shopper.upload_file("invoice-learner", "/path/to/pdf.pdf")
print(content_id)
shopper.wait_for_extraction(content_id)
extracted_content = shopper.get_extracted_content(content_id=content_id, graph_name="invoice-learner", policy_name="text_to_json")
print(extracted_content)

Dieses erweiterte Beispiel zeigt, wie mehrere Extraktoren verkettet werden. Zunächst wird PaddleOCR verwendet, um Textual content aus der PDF-Datei zu extrahieren. Anschließend wird ein Schemaextraktor angewendet, um den Textual content basierend auf dem definierten Schema in strukturierte JSON-Daten zu zerlegen.

Der Schemaextraktor ist interessant, da er es Ihnen ermöglicht, sowohl das Schema zu verwenden als auch das Schema aus dem Sprachmodell Ihrer Wahl abzuleiten, indem Sie Lernen mit wenigen Versuchen.

Wir tun dies, indem wir über den Parameter example_text einige Beispiele übergeben, wie das Schema aussehen soll. Je klarer und ausführlicher die Beispiele sind, desto besser ist das abgeleitete Schema.

Lassen Sie uns die Ausgabe dieses Entwurfs untersuchen:

(Content material(content_type="textual content/plain", knowledge=b'{"Type":"1040","Types W-2 & W-2G Abstract":{"Yr":2023,"Preserve on your information":true,"Identify(s) Proven on Return":"John H & Jane Okay Doe","Social Safety Quantity":"321-12-3456","Employer":{"Identify":"Acmeware Employer","Federal Tax":"SP","State Wages":143433,"State Tax":1000},"Totals":{"Wages":143433,"State Wages":143433,"State Tax":1000}},"Type W-2 Abstract":{"Field No.":{"Description":{"Taxpayer":"John H Doe","Partner":"Jane Okay Doe","Whole":"John H & Jane Okay Doe"}},"Whole wages, suggestions and compensation":{"W2 field 1 statutory wages reported on Sch C":143433,"W2 field 1 inmate or midway home wages":0,"All different W2 field 1 wages":143433,"Overseas wages included in whole wages":0},"Whole federal tax withheld":0,"Whole social safety wages/suggestions":143566,"Whole social safety tax withheld":8901,"Whole Medicare wages and suggestions":143566,"Whole Medicare tax withheld":2082,"Whole allotted suggestions":0,"Whole dependent care advantages":{"Offsite dependent care advantages":0,"Onsite dependent care advantages":0},"Whole distributions from nonqualified plans":0,"Whole from Field 12":{"Elective deferrals to certified plans":3732,"Roth contrib. to 401(ok), 403(b), 457(b) plans":133,"Elective deferrals to authorities 457 plans":0,"Non-elective deferrals to gov't 457 plans":0,"Deferrals to non-government 457 plans":0,"Deferrals 409A nonqual deferred comp plan":0,"Earnings 409A nonqual deferred comp plan":0,"Uncollected Medicare tax":0,"Uncollected social safety and RRTA tier 1":0,"Uncollected RRTA tier 2":0,"Earnings from nonstatutory inventory choices":0,"Non-taxable fight pay":0,"QSEHRA advantages":0,"Whole different objects from field 12":3599},"Whole deductible necessary state tax":0,"Whole deductible charitable contributions":0,"Whole state deductible worker bills":0,"Whole RR Compensation":0,"Whole RR Tier 1 tax":0,"Whole RR Tier 2 tax":0,"Whole RR Medicare tax":0,"Whole RR Further Medicare tax":0,"Whole RRTA suggestions":0,"Whole different objects from field 14":0,"Whole sick depart topic to $511 restrict":0,"Whole sick depart topic to $200 restrict":0,"Whole emergency household depart wages":0,"Whole state wages and suggestions":143433,"Whole state tax withheld":1000,"Whole native tax withheld":0}}, options=(Characteristic(feature_type="metadata", title="textual content", worth={'mannequin': 'gpt-3.5-turbo-0125', 'completion_tokens': 204, 'prompt_tokens': 692}, remark=None)), labels={}))

Ja, das ist schwer zu lesen, deshalb wollen wir das in Abbildung 6 für Sie näher erläutern.

Das bedeutet, dass unsere Textdaten nach diesem Schritt erfolgreich in ein strukturiertes JSON-Format extrahiert wurden. Die Daten können komplex angeordnet, ungleichmäßig verteilt, horizontal, vertikal oder diagonal ausgerichtet sein, große Schriftarten oder kleine Schriftarten verwenden – egal, welches Design sie haben, es funktioniert einfach!

Damit ist das Drawback, das wir uns ursprünglich vorgenommen hatten, praktisch gelöst. Wir können endlich im Tom Cruise-Stil „Mission erfüllt“ schreien!

Während der PaddleOCR-Extraktor für die Textextraktion aus PDFs leistungsstark ist, liegt die wahre Stärke von Indexify in seiner Fähigkeit, mehrere Extraktoren miteinander zu verketten und so anspruchsvolle Datenverarbeitungspipelines zu erstellen. Lassen Sie uns genauer untersuchen, warum Sie möglicherweise zusätzliche Extraktoren verwenden möchten und wie Indexify diesen Prozess nahtlos und effizient macht.

Mit den Extraktionsdiagrammen von Indexify können Sie eine Sequenz von Extraktoren in Streaming-Manier auf aufgenommene Inhalte anwenden. Jeder Schritt in einem Extraktionsdiagramm wird als Extraktionsrichtlinie bezeichnet. Dieser Ansatz bietet mehrere Vorteile:

• Modulare Verarbeitung: Teilen Sie komplexe Extraktionsaufgaben in kleinere, überschaubare Schritte auf.
• Flexibilität: Einfaches Ändern oder Ersetzen einzelner Extraktoren, ohne die gesamte Pipeline zu beeinträchtigen.
• Effizienz: Verarbeiten Sie Daten im Streaming-Verfahren und reduzieren Sie so Latenz und Ressourcennutzung.

Herkunftsverfolgung

Indexify verfolgt die Herkunft transformierter Inhalte und extrahierter Funktionen aus der Quelle. Diese Funktion ist entscheidend für:

• Datenamt: Verstehen Sie, wie Ihre Daten verarbeitet und transformiert wurden.
• Debuggen: Verfolgen Sie Probleme problemlos bis zu ihrer Quelle zurück.
• Einhaltung: Erfüllen Sie gesetzliche Vorschriften, indem Sie eine klare Prüfspur der Datentransformationen pflegen.

Während PaddleOCR sich durch die Textextraktion auszeichnet, können auch andere Extraktoren einen erheblichen Mehrwert für Ihre Datenverarbeitungspipeline darstellen.

Warum Indexify wählen?

Indexify glänzt in Szenarien, in denen:

• Sie haben es mit einer großen Menge an Dokumenten zu tun (> 1000).
• Ihr Datenvolumen wächst mit der Zeit.
• Sie benötigen zuverlässige und verfügbare Aufnahmepipelines.
• Sie arbeiten mit multimodalen Daten oder kombinieren mehrere Modelle in einer einzigen Pipeline.
• Das Benutzererlebnis Ihrer Anwendung hängt von aktuellen Daten ab.

Abschluss

Das Extrahieren strukturierter Daten aus PDFs muss kein Kopfzerbrechen bereiten. Mit Indexify und einer Reihe leistungsstarker Extraktoren wie PaddleOCR können Sie Ihren Workflow optimieren, große Mengen an Dokumenten verarbeiten und mit Leichtigkeit aussagekräftige, strukturierte Daten extrahieren. Egal, ob Sie Rechnungen, akademische Arbeiten oder andere Arten von PDF-Dokumenten verarbeiten, Indexify bietet die Instruments, die Sie benötigen, um unstrukturierte Daten in wertvolle Erkenntnisse umzuwandeln.

Bereit, Ihren PDF-Extraktionsprozess zu optimieren? Probieren Sie Indexify aus und erleben Sie die Leichtigkeit intelligenter, skalierbarer Datenextraktion!

Einführung

LlamaParse ist eine von Llama Index entwickelte Dokumentanalysebibliothek zum effizienten und effektiven Parsen von Dokumenten wie PDFs, PPTs usw.

Das Erstellen von RAG-Anwendungen auf der Grundlage von PDF-Dokumenten stellt für viele von uns eine große Herausforderung dar, insbesondere im Hinblick auf die komplexe Aufgabe der Analyse eingebetteter Objekte wie Tabellen, Abbildungen usw. Aufgrund der Beschaffenheit dieser Objekte haben herkömmliche Analysetechniken häufig Schwierigkeiten, die in ihnen kodierten Informationen richtig zu interpretieren und zu extrahieren.

Als Reaktion auf dieses weit verbreitete Downside hat die Softwareentwicklungs-Neighborhood verschiedene Bibliotheken und Frameworks eingeführt. Beispiele für diese Lösungen sind LLMSherpa und unstructured.io. Diese Instruments bieten robuste und versatile Lösungen für einige der hartnäckigsten Probleme beim Parsen komplexer PDFs.

Die neueste Ergänzung dieser Liste wertvoller Instruments ist LlamaParse. LlamaParse wurde von Llama Index entwickelt, einem der derzeit angesehensten LLM-Frameworks. Aus diesem Grund kann LlamaParse direkt in Llama Index integriert werden. Diese nahtlose Integration stellt einen erheblichen Vorteil dar, da sie den Implementierungsprozess vereinfacht und ein höheres Maß an Kompatibilität zwischen den beiden Instruments gewährleistet. Zusammenfassend lässt sich sagen, dass LlamaParse ein vielversprechendes neues Instrument ist, das das Parsen komplexer PDFs weniger entmutigend und effizienter macht.

Lernziele

1. Erkennen Sie Herausforderungen beim Dokument-Parsing: Verstehen Sie die Schwierigkeiten beim Parsen komplexer PDFs mit eingebetteten Objekten.
2. Einführung in LlamaParse: Erfahren Sie, was LlamaParse ist und wie die nahtlose Integration in Llama Index funktioniert.
3. Setup und Initialisierung: Erstellen Sie ein LlamaCloud-Konto, erhalten Sie einen API-Schlüssel und installieren Sie die erforderlichen Bibliotheken.
4. Implementierung von LlamaParse: Befolgen Sie die Schritte zum Initialisieren des LLM und zum Laden und Analysieren von Dokumenten.
5. Erstellen eines Vektorindexes und Abfragen von Daten: Erfahren Sie, wie Sie einen Vektorspeicherindex erstellen, eine Abfrage-Engine einrichten und spezifische Informationen aus analysierten Dokumenten extrahieren.

Dieser Artikel erschien im Rahmen der Knowledge Science-Blogathon.

Schritte zum Erstellen einer RAG-Anwendung auf PDF-Foundation mit LlamaParse

Schritt 1: API-Schlüssel abrufen

LlamaParse ist Teil der LlamaCloud-Plattform, daher benötigen Sie ein LlamaCloud-Konto, um einen API-Schlüssel zu erhalten.

Zuerst müssen Sie ein Konto erstellen auf LamaCloud und melden Sie sich an, um einen API-Schlüssel zu erstellen.

Schritt 2: Installieren Sie die erforderlichen Bibliotheken

Öffnen Sie nun Ihr Jupyter Pocket book/Colab und installieren Sie die benötigten Bibliotheken. Hier müssen wir nur zwei Bibliotheken installieren: llama-index und Lama-Analyse. Wir werden das Modell von OpenAI zum Abfragen und Einbetten verwenden.

!pip set up llama-index
!pip set up llama-parse

Schritt 3: Umgebungsvariablen festlegen

import os

os.environ('OPENAI_API_KEY') = 'sk-proj-****'

os.environ("LLAMA_CLOUD_API_KEY") = 'llx-****'

Schritt 4: Initialisieren Sie das LLM und das Einbettungsmodell

Hier verwende ich gpt-3.5-turbo-0125 als LLM und OpenAIs text-embedding-3-small als Einbettungsmodell. Wir werden das Einstellungsmodul verwenden, um das Normal-LLM und das Einbettungsmodell zu ersetzen.

from llama_index.llms.openai import OpenAI
from llama_index.embeddings.openai import OpenAIEmbedding
from llama_index.core import Settings

embed_model = OpenAIEmbedding(mannequin="text-embedding-3-small")
llm = OpenAI(mannequin="gpt-3.5-turbo-0125")

Settings.llm = llm
Settings.embed_model = embed_model

Schritt 5: Analysieren Sie das Dokument

Jetzt laden wir unser Dokument und konvertieren es in den Markdown-Typ. Anschließend wird es mit MarkdownElementNodeParser analysiert.

Die von mir verwendete Tabelle stammt aus ncrb.gov.in und ist hier zu finden: https://ncrb.gov.in/accidental-deaths-suicides-in-india-adsi. Es sind Daten auf verschiedenen Ebenen eingebettet.

Unten ist der Schnappschuss der Tabelle, die ich zu analysieren versuche.

from llama_parse import LlamaParse
from llama_index.core.node_parser import MarkdownElementNodeParser


paperwork = LlamaParse(result_type="markdown").load_data("./Table_2021.pdf")

node_parser = MarkdownElementNodeParser(
    llm=llm, num_workers=8
)

nodes = node_parser.get_nodes_from_documents(paperwork)

base_nodes, objects = node_parser.get_nodes_and_objects(nodes)

Schritt 6: Erstellen des Vektorindex und der Abfrage-Engine

Jetzt erstellen wir einen Vektorspeicherindex unter Verwendung der integrierten Implementierung des Lama-Index, um darauf eine Abfrage-Engine zu erstellen. Wir können hierfür auch Vektorspeicher wie Chromadb oder Pinecone verwenden.

from llama_index.core import VectorStoreIndex

recursive_index = VectorStoreIndex(nodes=base_nodes + objects)

recursive_query_engine = recursive_index.as_query_engine(
    similarity_top_k=5
)

Schritt 7: Abfragen des Index

question = 'Extract the desk as a dict and exclude any details about 2020. Additionally embrace % var'
response = recursive_query_engine.question(question)
print(response)

Die obige Benutzerabfrage fragt den zugrunde liegenden Vektorindex ab und gibt die eingebetteten Inhalte im PDF-Dokument im JSON-Format zurück, wie in der Abbildung unten gezeigt.

Wie Sie im Screenshot sehen können, wurde die Tabelle in einem sauberen JSON-Format extrahiert.

Schritt 8: Alles zusammenfügen

from llama_index.llms.openai import OpenAI
from llama_index.embeddings.openai import OpenAIEmbedding
from llama_index.core import Settings
from llama_parse import LlamaParse
from llama_index.core.node_parser import MarkdownElementNodeParser
from llama_index.core import VectorStoreIndex

embed_model = OpenAIEmbedding(mannequin="text-embedding-3-small")
llm = OpenAI(mannequin="gpt-3.5-turbo-0125")

Settings.llm = llm
Settings.embed_model = embed_model

paperwork = LlamaParse(result_type="markdown").load_data("./Table_2021.pdf")

node_parser = MarkdownElementNodeParser(
    llm=llm, num_workers=8
)

nodes = node_parser.get_nodes_from_documents(paperwork)

base_nodes, objects = node_parser.get_nodes_and_objects(nodes)

recursive_index = VectorStoreIndex(nodes=base_nodes + objects)

recursive_query_engine = recursive_index.as_query_engine(
    similarity_top_k=5
)

question = 'Extract the desk as a dict and exclude any details about 2020. Additionally embrace % var'
response = recursive_query_engine.question(question)
print(response)

Abschluss

LlamaParse ist ein effizientes Instrument zum Extrahieren komplexer Objekte aus verschiedenen Dokumenttypen, wie z. B. PDF-Dateien, mit wenigen Codezeilen. Es ist jedoch wichtig zu beachten, dass ein gewisses Maß an Fachwissen im Umgang mit LLM-Frameworks, wie z. B. dem Llama-Index, erforderlich ist, um dieses Instrument vollständig nutzen zu können.

LlamaParse erweist sich bei der Bewältigung von Aufgaben unterschiedlicher Komplexität als wertvoll. Wie jedes andere Instrument im technischen Bereich ist es jedoch nicht völlig fehlerfrei. Daher wird dringend empfohlen, eine gründliche Anwendungsbewertung unabhängig durchzuführen oder verfügbare Bewertungstools zu nutzen. Bewertungsbibliotheken wie Ragas, Truera usw. bieten Metriken zur Bewertung der Genauigkeit und Zuverlässigkeit Ihrer Ergebnisse. Dieser Schritt stellt sicher, dass potenzielle Probleme identifiziert und behoben werden, bevor die Anwendung in eine Produktionsumgebung übertragen wird.

Die zentralen Thesen

• LlamaParse ist ein vom Llama Index-Staff entwickeltes Instrument. Es extrahiert mit nur wenigen Codezeilen komplexe eingebettete Objekte aus Dokumenten wie PDFs.

• LlamaParse bietet sowohl kostenlose als auch kostenpflichtige Pläne an. Mit dem kostenlosen Plan können Sie bis zu 1000 Seiten professional Tag analysieren.
• LlamaParse unterstützt derzeit mehr als 10 Dateitypen (.pdf, .pptx, .docx, .html, .xml und mehr).
• LlamaParse ist Teil der LlamaCloud-Plattform, Sie benötigen daher ein LlamaCloud-Konto, um einen API-Schlüssel zu erhalten.
• Mit LlamaParse können Sie Anweisungen zur Formatierung der Ausgabe in natürlicher Sprache bereitstellen. Es unterstützt sogar die Bildextraktion.

Die in diesem Artikel gezeigten Medien sind nicht Eigentum von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Häufig gestellte Fragen (FAQ)

F1. Was ist der Lama-Index?

A. LlamaIndex ist neben LangChain das führende LLM-Framework zum Erstellen von LLM-Anwendungen. Es hilft beim Verbinden benutzerdefinierter Datenquellen mit großen Sprachmodellen (LLMs) und ist ein weit verbreitetes Instrument zum Erstellen von RAG-Anwendungen.

Frage 2. Was ist LlamaParse?

A. LlamaParse ist ein Angebot von Llama Index, das komplexe Tabellen und Abbildungen aus Dokumenten wie PDF, PPT usw. extrahieren kann. Aus diesem Grund kann LlamaParse direkt in den Llama Index integriert werden, sodass wir es zusammen mit der großen Vielfalt an Agenten und Instruments verwenden können, die der Llama Index bietet.

F3. Wie unterscheidet sich LlamaParse von Llama Index?

A. Llama Index ist ein LLM-Framework zum Erstellen benutzerdefinierter LLM-Anwendungen und bietet verschiedene Instruments und Agenten. LlamaParse ist speziell auf das Extrahieren komplexer eingebetteter Objekte aus Dokumenten wie PDF, PPT usw. ausgerichtet.

F4. Welche Bedeutung hat LlamaParse?

A. Die Bedeutung von LlamaParse liegt in seiner Fähigkeit, komplexe unstrukturierte Daten in Tabellen, Bilder usw. in ein strukturiertes Format umzuwandeln, was in der modernen Welt, in der die meisten wertvollen Informationen in unstrukturierter Type verfügbar sind, von entscheidender Bedeutung ist. Diese Umwandlung ist für Analysezwecke unerlässlich. Beispielsweise wäre es ohne ein solches Instrument eine Herausforderung, die Finanzdaten eines Unternehmens anhand seiner SEC-Anmeldungen zu untersuchen, die etwa 100 bis 200 Seiten umfassen können. LlamaParse bietet eine effiziente Möglichkeit, diese enorme Menge unstrukturierter Daten zu verarbeiten und zu strukturieren, wodurch sie zugänglicher und für Analysen nützlicher werden.

Frage 5. Gibt es Alternativen zu LlamaParse?

A. Ja, LLMSherpa und unstructured.io sind die verfügbaren Alternativen zu LlamaParse.