PDFs – chatgpz.de – KI-Tools & Praxiswissen https://chatgpz.de Unabhängige Tests, Anleitungen und Hintergründe zu KI-Tools. Wed, 08 Apr 2026 06:02:03 +0000 de-DE hourly 1 https://wordpress.org/?v=6.4.2 234900186 Von 4 Wochen auf 45 Minuten: Entwerfen eines Dokumentenextraktionssystems für mehr als 4.700 PDFs https://chatgpz.de/artificial-intelligence/von-4-wochen-auf-45-minuten-entwerfen-eines-dokumentenextraktionssystems-fuer-mehr-als-4-700-pdfs/ https://chatgpz.de/artificial-intelligence/von-4-wochen-auf-45-minuten-entwerfen-eines-dokumentenextraktionssystems-fuer-mehr-als-4-700-pdfs/#respond Wed, 08 Apr 2026 06:02:03 +0000 https://chatgpz.de/artificial-intelligence/von-4-wochen-auf-45-minuten-entwerfen-eines-dokumentenextraktionssystems-fuer-mehr-als-4-700-pdfs/ [ad_1]

und fragte, ob ich dabei helfen könnte, Revisionsnummern aus über 4.700 technischen Zeichnungs-PDFs zu extrahieren. Sie migrierten auf ein neues Asset-Administration-System und benötigten den aktuellen REV-Wert jeder Zeichnung, ein kleines Feld im Titelblock jedes Dokuments. Die Various bestand darin, dass ein Staff von Ingenieuren jedes PDF einzeln öffnete, den Titelblock lokalisierte und den Wert manuell in eine Tabelle eingab. Bei zwei Minuten professional Ziehung sind das etwa 160 Personenstunden. Vier Wochen Ingenieursarbeit. Bei voll ausgelasteten Tarifen von etwa 50 £ professional Stunde sind das über 8.000 £ Arbeitskosten für eine Aufgabe, die über das Ausfüllen einer Tabellenspalte hinaus keinen technischen Mehrwert bringt.

Dies warfare kein KI-Downside. Es handelte sich um ein Systemdesignproblem mit echten Einschränkungen: Funds, Genauigkeitsanforderungen, gemischte Dateiformate und ein Staff, das Ergebnisse benötigte, denen es vertrauen konnte. Die KI warfare eine Komponente der Lösung. Die damit verbundenen technischen Entscheidungen sorgten dafür, dass das System tatsächlich funktionierte.

Die verborgene Komplexität „einfacher“ PDFs

Technische Zeichnungen sind keine gewöhnlichen PDFs. Einige wurden in CAD-Software program erstellt und als textbasierte PDFs exportiert, aus denen Sie Textual content programmgesteuert extrahieren können. Andere, insbesondere ältere Zeichnungen aus den 1990er und frühen 2000er Jahren, wurden von Papieroriginalen gescannt und als bildbasierte PDFs gespeichert. Die gesamte Seite ist ein flaches Rasterbild ohne Textebene.

📷 (ABBILDUNG 1: Mit Anmerkungen versehene technische Zeichnung) Eine repräsentative technische Zeichnung mit hervorgehobenem Titelblock (unten rechts), Revisionsverlaufstabelle (oben rechts) und Rasterreferenzbuchstaben (Rand). Der REV-Wert „E“ steht im Titelblock neben der Zeichnungsnummer, aber die Revisionsverlaufstabelle und die Rasterbuchstaben sind häufige Quellen für Fehlalarme.

Unser Korpus bestand zu etwa 70–80 % aus Textual content und zu 20–30 % aus Bildern. Aber selbst die textbasierte Teilmenge warfare tückisch. REV-Werte erschienen in mindestens vier Formaten: getrennte numerische Versionen wie 1-0, 2-0 oder 5-1; einzelne Buchstaben wie A, B, C; Doppelbuchstaben wie AA oder AB; und gelegentlich leere oder fehlende Felder. Einige Zeichnungen wurden um 90 oder 270 Grad gedreht. Bei vielen befanden sich Revisionsverlaufstabellen (mehrzeilige Änderungsprotokolle) direkt neben dem aktuellen REV-Feld, was eine offensichtliche Falsch-Positiv-Falle darstellt. Rasterreferenzbuchstaben entlang des Zeichnungsrahmens könnten leicht mit Einzelbuchstabenüberarbeitungen verwechselt werden.

Warum ein vollständig KI-Ansatz die falsche Wahl warfare

Sie könnten jedes Dokument auf GPT-4 Imaginative and prescient werfen und damit Schluss machen, aber bei etwa 0,01 US-Greenback professional Bild und 10 Sekunden professional Aufruf sind das 47 US-Greenback und quick 100 Minuten API-Zeit. Noch wichtiger ist, dass Sie für teure Rückschlüsse auf Dokumente bezahlen würden, bei denen ein paar Zeilen Python die Antwort in Millisekunden extrahieren könnten.

Die Logik warfare einfach: Wenn ein Dokument über extrahierbaren Textual content verfügt und der REV-Wert vorhersehbaren Mustern folgt, gibt es keinen Grund, ein LLM einzubeziehen. Bewahren Sie das Modell für die Fälle auf, in denen deterministische Methoden versagen.

Die Hybridarchitektur, die funktioniert hat

📷 (ABBILDUNG 2: Diagramm der Pipeline-Architektur) Zweistufige Hybrid-Pipeline: Jedes PDF tritt in Stufe 1 ein (regelbasierte PyMuPDF-Extraktion). Wenn ein sicheres Ergebnis zurückgegeben wird, geht es direkt an die Ausgabe-CSV. Wenn nicht, gelangt das PDF in Stufe 2 (GPT-4 Imaginative and prescient über Azure OpenAI).

Stufe 1: PyMuPDF-Extraktion (deterministisch, keine Kosten). Für jedes PDF versuchen wir eine regelbasierte Extraktion mit PyMuPDF. Die Logik konzentriert sich auf den unteren rechten Quadranten der Seite, in dem sich Titelblöcke befinden, und sucht nach Textual content in der Nähe bekannter Anker wie „REV“, „DWG NO“, „SHEET“ und „SCALE“. Eine Bewertungsfunktion ordnet Kandidaten nach Nähe zu diesen Ankern und Konformität mit bekannten REV-Formaten ein.

def extract_native_pymupdf(pdf_path: Path) -> Non-obligatory(RevResult):
    """Attempt native PyMuPDF textual content extraction with spatial filtering."""
    strive:
        finest = process_pdf_native(
            pdf_path,
            brx=DEFAULT_BR_X,      # bottom-right X threshold
            bry=DEFAULT_BR_Y,      # bottom-right Y threshold
            blocklist=DEFAULT_REV_2L_BLOCKLIST,
            edge_margin=DEFAULT_EDGE_MARGIN
        )
        if finest and finest.worth:
            worth = _normalize_output_value(finest.worth)
            return RevResult(
                file=pdf_path.identify,
                worth=worth,
                engine=f"pymupdf_{finest.engine}",
                confidence="excessive" if finest.rating > 100 else "medium",
                notes=finest.context_snippet
            )
        return None
    besides Exception:
        return None

Die Sperrliste filtert häufige Fehlalarme heraus: Abschnittsmarkierungen, Rasterverweise, Seitenindikatoren. Durch die Beschränkung der Suche auf den Titelblockbereich werden falsche Treffer auf nahezu Null reduziert.

Stufe 2: GPT-4 Imaginative and prescient (für alles, was in Stufe 1 fehlt). Wenn die native Extraktion leer ausfällt, weil die PDF-Datei entweder bildbasiert ist oder das Textlayout zu mehrdeutig ist, rendern wir die erste Seite als PNG und senden sie über Azure OpenAI an GPT-4 Imaginative and prescient.

def pdf_to_base64_image(self, pdf_path: Path, page_idx: int = 0, 
                         dpi: int = 150) -> Tuple(str, int, bool):
    """Convert PDF web page to base64 PNG with good rotation dealing with."""
    rotation, should_correct = detect_and_validate_rotation(pdf_path)
    
    with fitz.open(pdf_path) as doc:
        web page = doc(page_idx)
        pix = web page.get_pixmap(matrix=fitz.Matrix(dpi/72, dpi/72), alpha=False)
        
        if rotation != 0 and should_correct:
            img_bytes = correct_rotation(pix, rotation)
            return base64.b64encode(img_bytes).decode(), rotation, True
        else:
            return base64.b64encode(pix.tobytes("png")).decode(), rotation, False

Nach dem Take a look at haben wir uns für 150 DPI entschieden. Höhere Auflösungen blähten die Nutzlast auf und verlangsamten API-Aufrufe, ohne die Genauigkeit zu verbessern. Bei niedrigeren Auflösungen gehen bei Randscans Particulars verloren.

Was in der Produktion kaputt ging

Zwei Klassen von Problemen tauchten erst auf, als wir den gesamten 4.700 Dokumente umfassenden Korpus durchgingen.

Rotationsmehrdeutigkeit. Technische Zeichnungen werden häufig im Querformat gespeichert, aber die PDF-Metadaten, die diese Ausrichtung kodieren, variieren stark. Einige Dateien stellen /Rotate richtig ein. Andere rotieren den Inhalt physisch, belassen aber die Metadaten auf Null. Wir haben dieses Downside mit einer Heuristik gelöst: Wenn PyMuPDF mehr als zehn Textblöcke aus der unkorrigierten Seite extrahieren kann, ist die Ausrichtung wahrscheinlich in Ordnung, unabhängig davon, was die Metadaten sagen. Andernfalls wenden wir die Korrektur an, bevor wir sie an GPT-4 Imaginative and prescient senden.

Sofortige Halluzination. Das Modell griff manchmal auf Werte aus den eigenen Beispielen der Eingabeaufforderung zurück, anstatt die tatsächliche Zeichnung zu lesen. Wenn jedes Beispiel REV „2-0“ zeigte, entwickelte das Modell eine Tendenz zur Ausgabe von „2-0“, selbst wenn die Zeichnung eindeutig „A“ oder „3-0“ anzeigte. Wir haben dies auf zwei Arten behoben: Wir haben die Beispiele über alle gültigen Formate hinweg mit expliziten Anti-Reminiscence-Warnungen diversifiziert und klare Anweisungen hinzugefügt, die die Revisionsverlaufstabelle (mehrzeiliges Änderungsprotokoll) vom aktuellen REV-Feld (einzelner Wert im Titelblock) unterscheiden.

CRITICAL RULES - AVOID THESE:
✗ DO NOT extract from REVISION HISTORY TABLES
   (columns: REV | DESCRIPTION | DATE)
   - We would like the CURRENT REV from title block (single worth)
 
✗ DO NOT extract grid reference letters (A, B, C alongside edges)
✗ DO NOT extract part markers ("SECTION C-C", "SECTION B-B")

Ergebnisse und Kompromisse

Wir haben anhand einer Stichprobe von 400 Dateien mit manuell verifizierter Grundwahrheit validiert.

Metrisch Hybrid (PyMuPDF + GPT-4) Nur GPT-4
Genauigkeit (n=400) 96 % 98 %
Bearbeitungszeit (n=4.730) ~45 Minuten ~100 Minuten
API-Kosten ~10-15 $ ~47 $ (alle Dateien)
Menschliche Bewertungsrate ~5% ~1%

Die Genauigkeitslücke von 2 % warfare der Preis für eine Laufzeitverkürzung um 55 Minuten und begrenzte Kosten. Für eine Datenmigration, bei der Ingenieure ohnehin einen Prozentsatz der Werte stichprobenartig überprüfen würden, waren 96 % mit einer zur Überprüfung gekennzeichneten Price von 5 % akzeptabel. Wäre der Anwendungsfall die Einhaltung gesetzlicher Vorschriften gewesen, hätten wir GPT-4 für jede Datei ausgeführt.

Später haben wir neuere Modelle, einschließlich GPT-5+, mit demselben 400-Dateien-Validierungssatz verglichen. Die Genauigkeit warfare mit 98 % vergleichbar mit GPT-4.1. Die neueren Modelle boten für diese Extraktionsaufgabe keine nennenswerte Steigerung, bei höheren Kosten professional Anruf und langsamerer Inferenz. Wir haben GPT-4.1 ausgeliefert. Wenn es sich bei der Aufgabe um einen räumlich eingeschränkten Mustervergleich in einem genau definierten Dokumentbereich handelt, ist die Obergrenze die Eingabeaufforderung und die Vorverarbeitung, nicht die Argumentationsfähigkeit des Modells.

Bei der Produktionsarbeit ist das „richtige“ Genauigkeitsziel nicht immer das höchste erreichbare Ziel. Es ist diejenige, die Kosten, Latenz und den nachgelagerten Workflow, der von Ihrer Ausgabe abhängt, in Einklang bringt.

Vom Skript zum System

Das erste Ergebnis warfare ein Befehlszeilentool: Geben Sie einen Ordner mit PDFs ein und erhalten Sie eine CSV-Datei mit den Ergebnissen. Es lief in unserer Microsoft Azure-Umgebung und nutzte Azure OpenAI-Endpunkte für die GPT-4 Imaginative and prescient-Aufrufe.

Nachdem die erste Migration erfolgreich warfare, fragten die Beteiligten, ob andere Groups sie nutzen könnten. Wir haben die Pipeline in eine schlanke interne Webanwendung mit einer Datei-Add-Schnittstelle verpackt, sodass technisch nicht versierte Benutzer Extraktionen bei Bedarf ausführen können, ohne ein Terminal zu berühren. Das System wurde seitdem von Ingenieurteams an mehreren Standorten im gesamten Unternehmen übernommen, wobei jeder seine eigenen Zeichnungsarchive für Migrations- und Prüfaufgaben darin laufen lässt. Aus Gründen der Vertraulichkeit kann ich keine Screenshots weitergeben, aber die Kernextraktionslogik ist identisch mit der, die ich hier beschrieben habe.

Lektionen für Praktiker

Beginnen Sie mit der günstigsten praktikablen Methode. Der Instinkt bei der Arbeit mit LLMs besteht darin, sie für alles zu nutzen. Widerstehen Sie ihm. Die deterministische Extraktion verarbeitete 70–80 % unseres Korpus zum Nulltarif. Das LLM hat nur deshalb einen Mehrwert geschaffen, weil wir es auf die Fälle konzentriert haben, in denen die Regeln nicht eingehalten wurden.

Validieren Sie im Maßstab, nicht anhand ausgewählter Proben. Die Rotationsmehrdeutigkeit, die Verwirrung in der Revisionsverlaufstabelle und die falsch positiven Rasterreferenzen. Keines davon erschien in unserem ersten Testsatz mit 20 Dateien. Ihr Validierungssatz muss die tatsächliche Verteilung der Randfälle darstellen, die Sie in der Produktion sehen.

Immediate Engineering ist Software program-Engineering. Die Systemaufforderung durchlief mehrere Iterationen mit strukturierten Beispielen, expliziten negativen Fällen und einer Checkliste zur Selbstverifizierung. Wenn man es als Wegwerftext und nicht als sorgfältig versionierte Komponente behandelt, führt dies zu unvorhersehbaren Ergebnissen.

Messen Sie, was für den Stakeholder wichtig ist. Den Ingenieuren warfare es egal, ob die Pipeline PyMuPDF, GPT-4 oder Brieftauben verwendete. Sie legten Wert darauf, dass 4.700 Zeichnungen in 45 Minuten statt in vier Wochen verarbeitet wurden, mit 50–70 $ an API-Aufrufen statt über 8.000 £ an Entwicklungszeit und dass die Ergebnisse genau genug waren, um mit Zuversicht fortfahren zu können.

Die gesamte Pipeline umfasst etwa 600 Python-Zeilen. Es sparte vier Wochen Entwicklungszeit, kostete weniger als ein Staff-Mittagessen an API-Gebühren und wurde seitdem als Produktionstool an mehreren Standorten eingesetzt. Wir haben die neuesten Modelle getestet. Sie waren nicht besser für diesen Job. Manchmal geht es bei der wirkungsvollsten KI-Arbeit nicht darum, das leistungsstärkste verfügbare Modell zu verwenden. Es geht darum zu wissen, wo ein Modell im System hingehört, und es dort zu belassen.

Obinna ist Senior AI/Information Engineer mit Sitz in Leeds, Großbritannien, spezialisiert auf Doc Intelligence und Produktions-KI-Systeme. Er erstellt Inhalte rund um die praktische KI-Technik bei @DataSenseiObi auf X und Wisabi Analytics auf YouTube.

[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/von-4-wochen-auf-45-minuten-entwerfen-eines-dokumentenextraktionssystems-fuer-mehr-als-4-700-pdfs/feed/ 0 17676
Erstellen Sie mit Kimi K2.5 in Sekundenschnelle PPTs, PDFs und Excel-Tabellen https://chatgpz.de/data-analytics/erstellen-sie-mit-kimi-k2-5-in-sekundenschnelle-ppts-pdfs-und-excel-tabellen/ https://chatgpz.de/data-analytics/erstellen-sie-mit-kimi-k2-5-in-sekundenschnelle-ppts-pdfs-und-excel-tabellen/#respond Thu, 29 Jan 2026 18:00:21 +0000 https://chatgpz.de/data-analytics/erstellen-sie-mit-kimi-k2-5-in-sekundenschnelle-ppts-pdfs-und-excel-tabellen/ [ad_1]

Erst Anfang dieses Monats hat Moonshot AI mit dem Kimi K2.5 eine Bombe in der KI-Welt platzen lassen. Mit einem MoE-Modell mit 1 Billion Parametern und 32 Milliarden aktiven Parametern betrat Kimi K2.5 die Bühne und rüttelte Größen wie GPT 5 und Gemini 3 Professional auf. Damals hatten wir darüber berichtet, dass es einer der stärksten Anwärter auf den Titel ist.bestes Open-Supply-Modell des Jahres 2026.‘ In diesem Artikel werden wir einige weitere Funktionen von Kimi K2.5 untersuchen, die es all der Auszeichnungen würdig machen, die es im Web schnell erhält.

Zur Erinnerung: Moonshot AI nennt Kimi K2.5 „Visible Agentic Intelligence“. Und sobald Sie es verwenden, werden Sie feststellen, dass es über einige sehr leistungsstarke Funktionen verfügt, die ihm den Respekt einbringen, den ein solcher Titel erfordert. Hier werden wir diese einzeln untersuchen. Von der Möglichkeit, Tabellenblätter bis hin zu Folien und Dokumenten zu erstellen, werden wir Kimi K2.5 auf diese Funktionen testen, die als die höchste Stufe dessen gelten, was KI leisten kann.

Wir werden uns direkt mit diesen Funktionen befassen und sie im Laufe der Zeit testen. Aber zunächst ein kurzer Überblick darüber, was Kimi K2.5 ist und was es mit sich bringt.

Lesen Sie auch: Kimi K2: Das leistungsstärkste Open-Supply-Agentenmodell

Was ist Kimi K2.5?

Technisch gesehen ist Kimi K2.5 ein multimodales Open-Supply-Modell der nächsten Technology, das auf Architektur- und Trainings-Upgrades gegenüber Kimi K2 basiert. Mit erheblichen Verbesserungen gegenüber letzterem zeichnet es sich jetzt durch die Integration von Textual content, Bildern, Movies und Instruments in seine Aufgaben aus, was das Agentendenken, die Imaginative and prescient und die groß angelegte Ausführung anbelangt.

Beachten Sie, dass sich Kimi K2.5 durch sein Paradigma des selbstgesteuerten Agentenschwarms auszeichnet. Das bedeutet im Grunde, dass das System nun, anstatt sich auf vordefinierte Arbeitsabläufe zu verlassen, autonom bis zu 100 Unteragenten erzeugen und koordinieren kann. Auf diese Weise können Tausende synchronisierter Vorgänge parallel ausgeführt werden. Dadurch kann Kimi K2.5 komplexe, mehrstufige Aufgaben unabhängig ausführen, ohne dass eine manuelle Orchestrierung erforderlich ist.

Lesen Sie auch: Wie OpenAI Swarm die Multi-Agenten-Zusammenarbeit verbessert?

Nachdem wir nun wissen, was Kimi K2.5 ist und wie es die Chancen von Moonshot AI, der High-KI-Anbieter zu werden, verbessert, erfahren Sie hier, wie Sie es nutzen können, um Ihre alltäglichen Aufgaben von einfachen KI-Antworten zu vollständig ausgebildeten KI-Ressourcen zu erweitern.

Erstellen Sie in wenigen Minuten beeindruckende Präsentationen

Möglicherweise haben Sie schon unzählige KI-Instruments gesehen, die versprechen, mit nur einer Eingabeaufforderung eine vollständige PowerPoint-Präsentation für Sie zu erstellen. Keiner schafft dies jedoch mit so viel Raffinesse wie der Kimi K2.5. Probieren Sie es einmal aus und Sie werden wissen, dass das neue KI-Modell in dieser Hinsicht allen Mitbewerbern um Längen voraus ist.

Ich habe es selbst ausprobiert und warfare von den Ergebnissen überrascht. Schauen Sie sich die Eingabeaufforderung an, die ich verwendet habe, und die fantastische Präsentation, mit der Kimi K2.5 zurückkam, und das alles innerhalb weniger Minuten.

So erstellen Sie Präsentationen mit Kimi K2.5

  1. Besuchen Sie Kimi.com
  2. Melden Sie sich bei Ihrem Konto an
  3. Wählen Sie im Menü hyperlinks „Folien“ aus
  4. Geben Sie Ihre Eingabeaufforderung ein und beobachten Sie, wie es funktioniert

Immediate

Geben Sie mir eine Präsentation mit 10 bis 12 Folien, die das Gesamtkonzept, die Höhepunkte, die wichtigsten Kennzahlen, die Nutznießer und die potenziellen Auswirkungen des jüngsten Handelsabkommens („Mutter aller Abkommen“) zwischen Indien und der Europäischen Union auf den Markt und die Wirtschaft im Allgemeinen darstellt

Ausgabe

Meine Meinung

Kimi K2.5 hat es nicht nur geschafft, die Informationen in ein optisch ansprechendes Format zu bringen, sondern auch mit einer Exzellenz, die bei keinem anderen KI-Instrument zu finden ist. Sehen Sie sich das Format, die Textstile, das Thema und die statistische Anordnung der Daten innerhalb der Präsentation an. Die Präsentation selbst sieht so professionell und ansprechend aus, dass man leicht den Charme der rohen, authentischen Daten vergisst, die Kimi K2.5 allein aus den entlegensten Winkeln des Internets zusammentragen konnte. Da Ihnen auch die Quellen genannt werden, können Sie sich stets auf die Datenqualität Ihrer Arbeit verlassen.

Vergessen Sie jedoch nie, dass KI Fehler machen kann. Überprüfen Sie daher unbedingt Ihre Fakten und Zahlen, um den bestmöglichen Nutzen zu erzielen.

Erstellen Sie in Sekundenschnelle komplette Excel-Arbeitsblätter

Microsoft Excel ist eine der gefragtesten Fähigkeiten, insbesondere in der Welt der Daten und Statistiken. Allerdings warfare es im Zeitalter der künstlichen Intelligenz nur eine Frage der Zeit, bis KI Excel und Arbeitsblätter auch für technisch nicht versierte Benutzer zugänglich machen würde. Und siehe da, Kimi K2.5 brilliert jetzt auch an dieser Grenze und hebt die Dinge auf ein ganz neues Niveau.

Mit Kimi K2.5 können Sie dem Chatbot jetzt ganz einfach Ihre Wünsche in der Sprache Ihrer Wahl mitteilen, und das KI-Modell folgt ihnen intestine, um optimale Ergebnisse zu erzielen. Glauben Sie mir nicht? Schauen Sie sich die Ergebnisse an, die wir von Kimi K2.5 erhalten konnten, für ein ziemlich umfassendes Excel-Arbeitsblatt. Das Beste daran: Das alles hat weniger als 2 Minuten gedauert.

So erstellen Sie Excel-Tabellen auf Kimi K2.5

  1. Besuchen Sie Kimi.com
  2. Melden Sie sich bei Ihrem Konto an
  3. Wählen Sie im Menü hyperlinks „Blätter“ aus
  4. Geben Sie Ihre Eingabeaufforderung ein und warten Sie auf das Ergebnis

Immediate

Erstellen Sie eine Excel-Arbeitsmappe mit drei Blättern genau wie unten beschrieben. Die Arbeitsmappe sollte vom Benutzer bearbeitet werden können und nicht vorab mit zufälligen Daten gefüllt sein.

Blatt 1: Monatliche Ausgaben

Erstellen Sie eine Tabelle mit dem Namen „Kostenprotokoll“ mit den folgenden Spalten (und ihrem Format):

  1. Kategorie (Textual content) – Füllen Sie die folgenden Zeilen aus: Miete, Lebensmittel, Transport, Versorgungsunternehmen, Unterhaltung, Essen
  2. Beschreibung (Textual content) – Spalte leer lassen
  3. Zahlungsmethode (Dropdown-Liste) nur mit diesen Optionen: Bargeld, UPI, Karte, Banküberweisung
  4. Datum (Datum) – Spalte leer lassen
  5. Betrag (indische Währung (£)) – Spalte leer lassen
  6. Monatsbudget (Format als indische Währung (£)) – Spalte leer lassen

Anwenden:

Header-Styling
Tabellenformatierung
Richtige Spaltendatentypen

Blatt 2: Kategoriezusammenfassung

Erstellen Sie eine Tabelle mit dem Titel „Monatliche Ausgaben nach Kategorie“ mit zwei Spalten:

  1. Kategorie
  2. Gesamtausgaben (£)

Regeln:

  • Kategorien sollten dynamisch auf die Spalte „Kategorie“ aus Blatt 1 verweisen
  • Der Gesamtbetrag muss mithilfe von Formeln berechnet werden, indem für jede Kategorie die Spalte „Betrag“ aus Blatt 1 summiert wird
  • Zahlen nicht fest kodieren
  • Fügen Sie eine Gesamtsummenzeile hinzu, die alle Kategoriesummen summiert, und formatieren Sie sie fett.

Blatt 3: Finances vs. Ist

Erstellen Sie eine Tabelle mit dem Titel „Monatsbudget vs. Istwert“ mit diesen Spalten:

Kategorie

  1. Monatsbudget (£) – Ziehen Sie Werte aus der Spalte „Monatsbudget“ von Blatt 1
  2. Tatsächliche Ausgaben (£) – Ziehen Sie die Werte aus dem Abschnitt „Gesamtausgaben“ von Blatt 2
  3. Differenz (£) – Berechnen Sie: Monatsbudget – Tatsächliche Ausgaben

Anwenden:
Währungsformatierung (£)

Bedingte Formatierung:
Grün, wenn die Differenz positiv ist (unter dem Finances)
Rot, wenn die Differenz negativ ist (über dem Finances)

Anforderungen an die Arbeitsmappe

  • Verwenden Sie Excel-Formeln, keine statischen Werte
  • Verwenden Sie die Datenvalidierung für Dropdowns
  • Stellen Sie sicher, dass alle Blätter richtig verknüpft sind
  • Die Arbeitsmappe sollte automatisch aktualisiert werden, wenn Benutzer Beträge in Blatt 1 eingeben
  • Halten Sie die Formatierung sauber und professionell

Ausgabe

Meine Meinung

Ein Blick auf die Resonanz zeigt, dass Kimi k2.5 seine Aufgabe perfekt erfüllt hat. Beachten Sie, dass das erstellte Arbeitsblatt im Fenster nicht bearbeitet werden kann. Sie müssen es herunterladen, bevor Sie Änderungen vornehmen können.

Vom ersten Blatt an listet Kimi K2.5 alle Spalten und Zeilen perfekt auf. Es füllt sogar die Daten genau wie angewiesen aus. In den Bildern 1 bis 3 können Sie die Programmierung sehen, die für die 3 Blätter auf der linken Seite durchgeführt wurde. Schauen Sie sich auch die resultierende Excel-Arbeitsmappe rechts an.

In den Bildern 4 bis 6 können Sie sehen, dass die Dateneinträge in einem der Blätter der richtigen Wertänderung in den nachfolgenden Blättern entsprechen. Dies beweist, dass Kimi K2.5 nicht nur eine Excel-Tabelle erstellt hat, die professionell aussieht, sondern auch so funktioniert, wie sie soll.

Erstellen Sie leistungsstarke PDFs mit einer einzigen Eingabeaufforderung

Wenn es bei Präsentationen und Tabellenkalkulationen ums Nachdenken geht, geht es bei PDFs um die Umsetzung. Sie senden sie an Kunden, übermitteln sie Stakeholdern, archivieren sie zur Compliance oder veröffentlichen sie, damit die Welt sie lesen kann. Und genau hier stolpern die meisten KI-Instruments immer noch. Sie können zwar Textual content generieren, aber um diesen Textual content in ein intestine strukturiertes, professionell formatiertes PDF mit Überschriften, Tabellen, Abständen und logischem Ablauf umzuwandeln, ist normalerweise viel manuelle Bereinigung erforderlich.

Hier spielt Kimi K2.5 ganz leise seine wahre Stärke aus. Der deutliche und huge Unterschied zu anderen KI-Instruments, den ich erlebt habe, warfare das erstklassige Ausgabeformat. Mit der richtigen Eingabeaufforderung schreibt es nicht nur Inhalte, sondern stellt ein vollständiges Dokument zusammen.

Werfen Sie einen Blick auf die Beispielaufforderung, mit der wir es getestet haben, und die anschließende Ausgabe. Sie werden sicherlich genauso begeistert sein wie ich.

So generieren Sie PDFs mit Kimi K2.5

  1. Besuchen Sie Kimi.com
  2. Melden Sie sich bei Ihrem Konto an
  3. Wählen Sie im Menü hyperlinks „Dokumente“ aus
  4. Geben Sie Ihre Eingabeaufforderung ein und warten Sie auf das Ergebnis

Immediate

Erstellen Sie einen professionell strukturierten PDF-Bericht für allgemeine Leser und Berufstätige zum Thema „Wie künstliche Intelligenz den Arbeitsalltag im Jahr 2026 verändert“

Muss Abschnitte enthalten: „KI heute im Einsatz“, „Was sich in den letzten 12 Monaten geändert hat“, „Vorteile und Produktivitätssteigerungen“ sowie „Herausforderungen und Risiken“.

Formatierungs- und Präsentationsregeln –

  • Verwenden Sie klare Abschnittsüberschriften und Zwischenüberschriften
  • Fügen Sie mindestens eine Tabelle hinzu
  • Halten Sie die Sprache klar, nicht akademisch und ansprechend
  • Vermeiden Sie Füllmaterial oder generischen KI-Hype

Ausgabe

Meine Meinung

Wie Sie im Video sehen können, hat Kimi K2.5 eines der besten KI-generierten PDFs erstellt, die ich je gesehen habe. Mit perfekter Formatierung, professionellem Design-Format und auf den Punkt gebrachten Informationen zählt das KI-Modell sicherlich zu den (wenn nicht sogar zu den) besten Optionen, um innerhalb von Sekunden äußerst praktische PDFs zu erstellen.

Abschluss

Kimi K2.5 macht eines sehr deutlich: Bei KI geht es nicht mehr nur darum, Antworten zu generieren. Mittlerweile hat es sich zur Bereitstellung vollständiger, nutzbarer Property entwickelt. Ob Präsentationen, die kundengerecht aussehen, Excel-Arbeitsmappen, die genau wie vorgesehen funktionieren, oder PDFs, die sich wie ausgefeilte Berichte lesen – Kimi K2.5 überschreitet konsequent die Grenze vom „Assistenten“ zum „Operator“. Was herausragt, ist sowohl die Geschwindigkeit als auch die Ausführung. Die Ausgänge sind strukturiert, vernetzt und sofort praxistauglich.

Dies ist jedoch keine Entschuldigung dafür, das menschliche Urteilsvermögen auszuschalten. Denken Sie daran, dass die KI immer noch Fehler machen kann, sodass die Verifizierung nicht verhandelbar bleibt. Aber als Werkzeug zur Beschleunigung ernsthafter Arbeit setzt Kimi K2.5 neue Maßstäbe. Wenn das was ist Open-Supply-KI Es sieht so aus, als ob im Jahr 2026 die Kluft zwischen menschlicher Absicht und fertiger Leistung sicherlich einen neuen Tiefpunkt erreicht hat.

Stratege und Kommunikator für technische Inhalte mit einem Jahrzehnt Erfahrung in der Erstellung und Verbreitung von Inhalten über nationale Medien, die indische Regierung und personal Plattformen

Melden Sie sich an, um weiterzulesen und von Experten kuratierte Inhalte zu genießen.

[ad_2]

]]>
https://chatgpz.de/data-analytics/erstellen-sie-mit-kimi-k2-5-in-sekundenschnelle-ppts-pdfs-und-excel-tabellen/feed/ 0 15926
Vertrauen in LLM-Antworten aufbauen: Quelltexte in PDFs hervorheben | von Angela & Kezhan Shi | Dez. 2024 https://chatgpz.de/machine-learning/vertrauen-in-llm-antworten-aufbauen-quelltexte-in-pdfs-hervorheben-von-angela-kezhan-shi-dez-2024/ https://chatgpz.de/machine-learning/vertrauen-in-llm-antworten-aufbauen-quelltexte-in-pdfs-hervorheben-von-angela-kezhan-shi-dez-2024/#respond Fri, 27 Dec 2024 23:46:52 +0000 http://chatgpz.de/machine-learning/vertrauen-in-llm-antworten-aufbauen-quelltexte-in-pdfs-hervorheben-von-angela-kezhan-shi-dez-2024/ [ad_1]

100 % Genauigkeit ist nicht alles: Den Benutzern bei der Navigation durch das Dokument zu helfen, ist der wahre Wert

Sie bauen additionally ein RAG-System auf oder verwenden ein LLM zum Chatten mit Dokumenten. Aber Benutzer fragen oft: Wie können wir den Antworten vertrauen?

Darüber hinaus hören wir häufig von Halluzinationen, die das Vertrauen der Nutzer untergraben.

Wenn wir eine Anwendung erstellen, den Benutzern aber nicht zeigen, woher die Antworten kommen, kann die Anwendung in manchen Fällen unbrauchbar werden.

In diesem Artikel werde ich einen Ansatz zur Lösung dieses Issues vorstellen. Indem wir jede vom LLM generierte Antwort mit ihrem Quelltext im Dokument verknüpfen, können wir Transparenz und Vertrauen aufbauen. Diese Methode liefert nicht nur eindeutige Beweise für die Antworten, sondern ermöglicht es Benutzern auch, die Ergebnisse direkt im PDF zu überprüfen.

Manchmal ist die generierte Antwort möglicherweise nicht ganz genau, aber die Möglichkeit, den richtigen Quelltext zu finden, ist für den Benutzer bereits hilfreich.

Nehmen wir ein Beispiel dieses Papier von arxiv.org. Wir können uns diesen Anwendungsfall vorstellen:

Bild des Autors – Präsentation des Dokuments

Der erste Schritt bei diesem Ansatz besteht darin, den Textual content in einem strukturierten Format aus dem PDF zu extrahieren.

[ad_2]

]]>
https://chatgpz.de/machine-learning/vertrauen-in-llm-antworten-aufbauen-quelltexte-in-pdfs-hervorheben-von-angela-kezhan-shi-dez-2024/feed/ 0 6157
Nahtloses Extrahieren von Textual content aus PDFs https://chatgpz.de/data-analytics/nahtloses-extrahieren-von-textual-content-aus-pdfs/ https://chatgpz.de/data-analytics/nahtloses-extrahieren-von-textual-content-aus-pdfs/#respond Wed, 10 Jul 2024 17:25:28 +0000 http://chatgpz.de/data-analytics/nahtloses-extrahieren-von-text-aus-pdfs/ [ad_1]

Einführung

In der sich ständig weiterentwickelnden Landschaft der Datenverarbeitungdas Extrahieren strukturierter Informationen aus PDFs bleibt auch im Jahr 2024 eine gewaltige Herausforderung. Während zahlreiche Modelle bei Frage-Antwort-Aufgaben hervorragende Ergebnisse liefern, liegt die wahre Komplexität in der Umwandlung unstrukturierter PDF-Inhalte in organisierte, verwertbare Daten. Lassen Sie uns diese Herausforderung untersuchen und herausfinden, wie Indexify und PaddleOCR die Instruments sein können, die wir zum nahtlosen Extrahieren von Textual content aus PDFs benötigen.

Spoiler: Wir haben es tatsächlich gelöst! Hit cmd/strg+F und suchen Sie nach dem Begriff „Highlight“, um herauszufinden, wie!

Die PDF-Extraktion ist in verschiedenen Bereichen von entscheidender Bedeutung. Sehen wir uns einige gängige Anwendungsfälle an:

  • Rechnungen und Quittungen: Diese Dokumente weisen sehr unterschiedliche Formate auf und enthalten komplexe Layouts, Tabellen und manchmal handschriftliche Notizen. Eine genaue Analyse ist für die Automatisierung von Buchhaltungsprozessen unerlässlich.
  • Akademische Arbeiten und Abschlussarbeiten: Diese enthalten oft eine Mischung aus Textual content, Diagrammen, Tabellen und Formeln. Die Herausforderung besteht darin, nicht nur Textual content, sondern auch mathematische Gleichungen und wissenschaftliche Notation korrekt zu konvertieren.
  • Legale Dokumente: Verträge und Gerichtsakten enthalten in der Regel viele Formatierungsnuancen. Die Wahrung der Integrität der ursprünglichen Formatierung beim Extrahieren von Textual content ist für rechtliche Überprüfungen und die Einhaltung von Vorschriften von entscheidender Bedeutung.
  • Historische Archive und Manuskripte: Diese stellen aufgrund von Papierverschleiß, Abweichungen in historischen Handschriften und veralteter Sprache besondere Herausforderungen dar. Die OCR-Technologie muss diese Abweichungen für effektive Forschungs- und Archivierungszwecke verarbeiten können.
  • Krankenakten und Rezepte: Diese enthalten oft wichtige handschriftliche Notizen und medizinische Terminologie. Die genaue Erfassung dieser Informationen ist für die Patientenversorgung und die medizinische Forschung von entscheidender Bedeutung.

Natürlich! Hier ist der überarbeitete Textual content im Aktiv:

Indexify ist ein Open-Supply-Datenframework, das die Komplexität der Extraktion unstrukturierter Daten aus beliebigen Quellen bewältigt, wie in Abb. 1 dargestellt. Seine Architektur unterstützt:

  • Aufnahme von Millionen unstrukturierter Datenpunkte.
  • Extraktions- und Indizierungspipelines in Echtzeit.
  • Horizontale Skalierung zur Bewältigung wachsender Datenmengen.
  • Schnelle Extraktionszeiten (innerhalb von Sekunden nach Einnahme).
  • Versatile Bereitstellung auf verschiedenen Hardwareplattformen (GPUs, TPUs und CPUs).
Indexieren
Abb. 1: Indexify ermöglicht mühelose Aufnahme und Extraktion im großen Maßstab (Quelle: indexify)

Wenn Sie mehr über Indexify und dessen Einrichtung für die Extraktion erfahren möchten, lesen Sie unseren 2-minütigenErste Schritte‚ Führung.

Indexify-Extraktoren: Die Bausteine
Abb. 2: Architektur eines Indexify-Extraktors (Quelle: Indexify-Architektur)

Das Herzstück von Indexify sind die Extractors (siehe Abb. 2) – Rechenfunktionen, die unstrukturierte Daten transformieren oder Informationen daraus extrahieren. Diese Extractors können so implementiert werden, dass sie auf jeder {Hardware} laufen, wobei eine einzelne Indexify-Bereitstellung Zehntausende von Extractors in einem Cluster unterstützt.

Nahtloses Extrahieren von Text aus PDFs mit Indexify und PaddleOCR
Abb. 3: Extraktoren von Indexify mit mehreren Modalitäten (Quelle: internes Bild)

Derzeit unterstützt indexify mehrere Extraktoren für mehrere Modalitäten (siehe Abb. 3). Die vollständige Liste der Indexify-Extraktoren sowie deren Anwendungsfälle finden Sie im Dokumentation.

Der PaddleOCR PDF Extractor, basierend auf der PaddleOCR-Bibliothek, ist ein leistungsstarkes Instrument im Indexify-Ökosystem. Es integriert verschiedene OCR-Algorithmen zur Texterkennung (DB, EAST, SAST) und -erkennung (CRNN, RARE, StarNet, Rosetta, SRN).

Lassen Sie uns die Einrichtung und Verwendung des PaddleOCR Extractor durchgehen:

Hier ist ein Beispiel für die Erstellung einer Pipeline, die Textual content, Tabellen und Bilder aus einem PDF-Dokument extrahiert.

Um dieses Tutorial abzuschließen, müssen Sie drei verschiedene Terminals geöffnet haben:

  • Terminal 1, um den Indexify-Server herunterzuladen und auszuführen.
  • Terminal 2 zum Ausführen unserer Indexify-Extraktoren, die die strukturierte Extraktion, das Chunking und das Einbetten der aufgenommenen Seiten übernehmen.
  • Terminal 3 zum Ausführen unserer Python-Skripte, die beim Laden und Abfragen von Daten von unserem Indexify-Server helfen.

Schritt 1: Starten Sie den Indexify-Server

Beginnen wir zunächst damit, den Indexify-Server herunterzuladen und auszuführen.

Schalter 1

curl https://getindexify.ai | sh
./indexify server -d

Beginnen wir mit der Erstellung einer neuen virtuellen Umgebung, bevor wir die erforderlichen Pakete in unserer virtuellen Umgebung installieren.

Terminal 2

python3 -m venv venv
supply venv/bin/activate
pip3 set up indexify-extractor-sdk indexify

Wir können dann alle verfügbaren Extraktoren mit dem folgenden Befehl ausführen.

!indexify-extractor obtain tensorlake/paddleocr_extractor
!indexify-extractor join-server

Terminal 3

!python3 -m venv venv
!supply venv/bin/activate

Erstellen Sie ein Python-Skript, das den Extraktionsgraphen definiert, und führen Sie es aus. Die Schritte 3 bis 5 in diesem Unterabschnitt sollten Teil derselben Python-Datei sein, die nach der Aktivierung des venv in Terminal 3 ausgeführt werden soll.

from indexify import IndexifyClient, ExtractionGraph
shopper = IndexifyClient()
extraction_graph_spec = """
title: 'pdflearner'
extraction_policies:
   - extractor: 'tensorlake/paddleocr_extractor'
     title: 'pdf_to_text'
"""
extraction_graph = ExtractionGraph.from_yaml(extraction_graph_spec)
shopper.create_extraction_graph(extraction_graph)

Dieser Code richtet ein Extraktionsdiagramm namens „pdflearner“ ein, das den PaddleOCR-Extraktor verwendet, um PDFs in Textual content zu konvertieren.

Schritt 4: Laden Sie PDFs aus Ihrer Anwendung hoch

content_id = shopper.upload_file("pdflearner", "/path/to/pdf.file")
shopper.wait_for_extraction(content_id)

extracted_content = shopper.get_extracted_content(content_id=content_id, graph_name="pdflearner", policy_name="pdf_to_text")
print(extracted_content)

Dieses Snippet lädt eine PDF-Datei hoch, wartet, bis die Extraktion abgeschlossen ist, und ruft dann den extrahierten Inhalt ab und druckt ihn.

Wir glaubten nicht, dass es ein einfacher Prozess sein könnte, in dem man in wenigen Schritten alle Textinformationen sinnvoll extrahieren kann. Additionally testeten wir es mit einer echten Steuerrechnung (siehe Abbildung 4).

Abb. 4: Eine reale Steuerrechnung mit komplexer Ausrichtung (Quelle: internes Bild)
(Content material(content_type="textual content/plain", knowledge=b"Type 1040nForms W-2 & W-2G Summaryn2023nKeep on your recordsn Identify(s) Proven on ReturnnSocial Safety NumbernJohn H & Jane Okay Doen321-12-3456nEmployernSPnFederal TaxnState WagesnState TaxnForm W-2nWagesnAcmeware Employern143,433.n143,433.n1,000.nTotals.n143,433.n143,433.n1,000.nForm W-2 SummarynBox No.nDescriptionnTaxpayernSpousenTotalnTotal wages, suggestions and compensation:n1nanW2 field 1 statutory wages reported on Sch CnW2 field 1 inmate or midway home wages .n6ncnAll different W2 field 1 wagesn143,433.n143,433.ndnForeign wages included in whole wagesnen0.n0.n2nTotal federal tax withheldn 3 & 7 Whole social safety wages/suggestions .n143,566.n143,566.n4nTotal social safety tax withheldn8,901.n8,901.n5nTotal Medicare wages and tipsn143,566.n143,566.n6nTotal Medicare tax withheld . :n2,082.n2,082.n8nTotal allotted suggestions .n9nNot usedn10 anTotal dependent care benefitsnbnOffsite dependent care benefitsncnOnsite dependent care benefitsn11n Whole distributions from nonqualified plansn12 anTotal from Field 12n3,732.n3,732.nElective deferrals to certified plansn133.n133.ncnRoth contrib. to 401(ok), 403(b), 457(b) plans .n.n1 Elective deferrals to authorities 457 plansn2 Non-elective deferrals to gov't 457 plans .nenDeferrals to non-government 457 plansnfnDeferrals 409A nonqual deferred comp plan .n6nIncome 409A nonqual deferred comp plan .nhnUncollected Medicare tax :nUncollected social safety and RRTA tier 1njnUncollected RRTA tier 2 . . .nknIncome from nonstatutory inventory optionsnNon-taxable fight paynmnQSEHRA benefitsnTotal different objects from field 12 .nnn3,599.n3,599.n14 an Whole deductible necessary state tax .nbnTotal deductible charitable contributionsncnTotal state deductible worker bills .ndn Whole RR Compensation .nenTotal RR Tier 1 tax .nfnTotal RR Tier 2 tax . -nTotal RR Medicare tax .ngnhnTotal RR Further Medicare tax .ninTotal RRTA suggestions. : :njnTotal different objects from field 14nknTotal sick depart topic to $511 limitnTotal sick depart topic to $200 limitnmnTotal emergency household depart wagesn16nTotal state wages and suggestions .n143,433.n143,433.n17nTotal state tax withheldn1,000.n1,000.n19nTotal native tax withheld .", options=(Characteristic(feature_type="metadata", title="metadata", worth={'sort': 'textual content'}, remark=None)), labels={}))
Strukturierte Inferenz durch Verkettungsextraktor (Quelle: internes Bild)
Abb. 5: Strukturierte Inferenz durch Verkettungsextraktor (Quelle: internes Bild)

Obwohl das Extrahieren von Textual content nützlich ist, müssen wir diesen Textual content häufig in strukturierte Daten zerlegen. So können Sie mit Indexify bestimmte Felder aus Ihren PDFs extrahieren (der gesamte Workflow ist in Abbildung 5 dargestellt).

from indexify import IndexifyClient, ExtractionGraph, SchemaExtractorConfig, Content material, SchemaExtractor
shopper = IndexifyClient()
schema = {
    'properties': {
        'invoice_number': {'title': 'Bill Quantity', 'sort': 'string'},
 'date': {'title': 'Date', 'sort': 'string'},
        'account_number': {'title': 'Account Quantity', 'sort': 'string'},
        'proprietor': {'title': 'Proprietor', 'sort': 'string'},
        'deal with': {'title': 'Tackle', 'sort': 'string'},
        'last_month_balance': {'title': 'Final Month Steadiness', 'sort': 'string'},
        'current_amount_due': {'title': 'Present Quantity Due', 'sort': 'string'},
        'registration_key': {'title': 'Registration Key', 'sort': 'string'},
 'due_date': {'title': 'Due Date', 'sort': 'string'}
    },
    'required': ('invoice_number', 'date', 'account_number', 'proprietor', 'deal with', 'last_month_balance', 'current_amount_due', 'registration_key', 'due_date')
    'title': 'Person',
    'sort': 'object'
}
examples = str((
    {
        "sort": "object",
        "properties": {
            "employer_name": {"sort": "string", "title": "Employer Identify"},
            "employee_name": {"sort": "string", "title": "Worker Identify"},
            "wages": {"sort": "quantity", "title": "Wages"},
            "federal_tax_withheld": {"sort": "quantity", "title": "Federal Tax
Withheld"},
 "state_wages": {"sort": "quantity", "title": "State Wages"},
            "state_tax": {"sort": "quantity", "title": "State Tax"}
        },
        "required": ("employer_name", "employee_name", "wages",
"federal_tax_withheld", "state_wages", "state_tax")
    },
    {
        "sort": "object",
        "properties": {
            "booking_reference": {"sort": "string", "title": "Reserving Reference"},
            "passenger_name": {"sort": "string", "title": "Passenger Identify"},
            "flight_number": {"sort": "string", "title": "Flight Quantity"},
            "departure_airport": {"sort": "string", "title": "Departure Airport"},
            "arrival_airport": {"sort": "string", "title": "Arrival Airport"},
            "departure_time": {"sort": "string", "title": "Departure Time"},
            "arrival_time": {"sort": "string", "title": "Arrival Time"}        },
        "required": ("booking_reference", "passenger_name", "flight_number","departure_airport", "arrival_airport", "departure_time", "arrival_time")
    }
))
extraction_graph_spec = """
title: 'invoice-learner'
extraction_policies:
  - extractor: 'tensorlake/paddleocr_extractor'
    title: 'pdf-extraction'
  - extractor: 'schema_extractor'
    title: 'text_to_json'
    input_params:
      service: 'openai'
      example_text: {examples}
content_source: 'invoice-learner'
"""
extraction_graph = ExtractionGraph.from_yaml(extraction_graph_spec)
shopper.create_extraction_graph(extraction_graph)
content_id = shopper.upload_file("invoice-learner", "/path/to/pdf.pdf")
print(content_id)
shopper.wait_for_extraction(content_id)
extracted_content = shopper.get_extracted_content(content_id=content_id, graph_name="invoice-learner", policy_name="text_to_json")
print(extracted_content)

Dieses erweiterte Beispiel zeigt, wie mehrere Extraktoren verkettet werden. Zunächst wird PaddleOCR verwendet, um Textual content aus der PDF-Datei zu extrahieren. Anschließend wird ein Schemaextraktor angewendet, um den Textual content basierend auf dem definierten Schema in strukturierte JSON-Daten zu zerlegen.

Der Schemaextraktor ist interessant, da er es Ihnen ermöglicht, sowohl das Schema zu verwenden als auch das Schema aus dem Sprachmodell Ihrer Wahl abzuleiten, indem Sie Lernen mit wenigen Versuchen.

Wir tun dies, indem wir über den Parameter example_text einige Beispiele übergeben, wie das Schema aussehen soll. Je klarer und ausführlicher die Beispiele sind, desto besser ist das abgeleitete Schema.

Lassen Sie uns die Ausgabe dieses Entwurfs untersuchen:

(Content material(content_type="textual content/plain", knowledge=b'{"Type":"1040","Types W-2 & W-2G Abstract":{"Yr":2023,"Preserve on your information":true,"Identify(s) Proven on Return":"John H & Jane Okay Doe","Social Safety Quantity":"321-12-3456","Employer":{"Identify":"Acmeware Employer","Federal Tax":"SP","State Wages":143433,"State Tax":1000},"Totals":{"Wages":143433,"State Wages":143433,"State Tax":1000}},"Type W-2 Abstract":{"Field No.":{"Description":{"Taxpayer":"John H Doe","Partner":"Jane Okay Doe","Whole":"John H & Jane Okay Doe"}},"Whole wages, suggestions and compensation":{"W2 field 1 statutory wages reported on Sch C":143433,"W2 field 1 inmate or midway home wages":0,"All different W2 field 1 wages":143433,"Overseas wages included in whole wages":0},"Whole federal tax withheld":0,"Whole social safety wages/suggestions":143566,"Whole social safety tax withheld":8901,"Whole Medicare wages and suggestions":143566,"Whole Medicare tax withheld":2082,"Whole allotted suggestions":0,"Whole dependent care advantages":{"Offsite dependent care advantages":0,"Onsite dependent care advantages":0},"Whole distributions from nonqualified plans":0,"Whole from Field 12":{"Elective deferrals to certified plans":3732,"Roth contrib. to 401(ok), 403(b), 457(b) plans":133,"Elective deferrals to authorities 457 plans":0,"Non-elective deferrals to gov't 457 plans":0,"Deferrals to non-government 457 plans":0,"Deferrals 409A nonqual deferred comp plan":0,"Earnings 409A nonqual deferred comp plan":0,"Uncollected Medicare tax":0,"Uncollected social safety and RRTA tier 1":0,"Uncollected RRTA tier 2":0,"Earnings from nonstatutory inventory choices":0,"Non-taxable fight pay":0,"QSEHRA advantages":0,"Whole different objects from field 12":3599},"Whole deductible necessary state tax":0,"Whole deductible charitable contributions":0,"Whole state deductible worker bills":0,"Whole RR Compensation":0,"Whole RR Tier 1 tax":0,"Whole RR Tier 2 tax":0,"Whole RR Medicare tax":0,"Whole RR Further Medicare tax":0,"Whole RRTA suggestions":0,"Whole different objects from field 14":0,"Whole sick depart topic to $511 restrict":0,"Whole sick depart topic to $200 restrict":0,"Whole emergency household depart wages":0,"Whole state wages and suggestions":143433,"Whole state tax withheld":1000,"Whole native tax withheld":0}}, options=(Characteristic(feature_type="metadata", title="textual content", worth={'mannequin': 'gpt-3.5-turbo-0125', 'completion_tokens': 204, 'prompt_tokens': 692}, remark=None)), labels={}))

Ja, das ist schwer zu lesen, deshalb wollen wir das in Abbildung 6 für Sie näher erläutern.

Saubere und präzise Extraktion durch Verkettung von Extraktoren in Indexify (Quelle: internes Bild)
Abb. 6: Saubere und präzise Extraktion durch Verkettung von Extraktoren in Indexify (Quelle: internes Bild)

Das bedeutet, dass unsere Textdaten nach diesem Schritt erfolgreich in ein strukturiertes JSON-Format extrahiert wurden. Die Daten können komplex angeordnet, ungleichmäßig verteilt, horizontal, vertikal oder diagonal ausgerichtet sein, große Schriftarten oder kleine Schriftarten verwenden – egal, welches Design sie haben, es funktioniert einfach!

Damit ist das Drawback, das wir uns ursprünglich vorgenommen hatten, praktisch gelöst. Wir können endlich im Tom Cruise-Stil „Mission erfüllt“ schreien!

Während der PaddleOCR-Extraktor für die Textextraktion aus PDFs leistungsstark ist, liegt die wahre Stärke von Indexify in seiner Fähigkeit, mehrere Extraktoren miteinander zu verketten und so anspruchsvolle Datenverarbeitungspipelines zu erstellen. Lassen Sie uns genauer untersuchen, warum Sie möglicherweise zusätzliche Extraktoren verwenden möchten und wie Indexify diesen Prozess nahtlos und effizient macht.

Mit den Extraktionsdiagrammen von Indexify können Sie eine Sequenz von Extraktoren in Streaming-Manier auf aufgenommene Inhalte anwenden. Jeder Schritt in einem Extraktionsdiagramm wird als Extraktionsrichtlinie bezeichnet. Dieser Ansatz bietet mehrere Vorteile:

  • Modulare Verarbeitung: Teilen Sie komplexe Extraktionsaufgaben in kleinere, überschaubare Schritte auf.
  • Flexibilität: Einfaches Ändern oder Ersetzen einzelner Extraktoren, ohne die gesamte Pipeline zu beeinträchtigen.
  • Effizienz: Verarbeiten Sie Daten im Streaming-Verfahren und reduzieren Sie so Latenz und Ressourcennutzung.

Herkunftsverfolgung

Indexify verfolgt die Herkunft transformierter Inhalte und extrahierter Funktionen aus der Quelle. Diese Funktion ist entscheidend für:

  • Datenamt: Verstehen Sie, wie Ihre Daten verarbeitet und transformiert wurden.
  • Debuggen: Verfolgen Sie Probleme problemlos bis zu ihrer Quelle zurück.
  • Einhaltung: Erfüllen Sie gesetzliche Vorschriften, indem Sie eine klare Prüfspur der Datentransformationen pflegen.

Während PaddleOCR sich durch die Textextraktion auszeichnet, können auch andere Extraktoren einen erheblichen Mehrwert für Ihre Datenverarbeitungspipeline darstellen.

Warum Indexify wählen?

Indexify glänzt in Szenarien, in denen:

  • Sie haben es mit einer großen Menge an Dokumenten zu tun (> 1000).
  • Ihr Datenvolumen wächst mit der Zeit.
  • Sie benötigen zuverlässige und verfügbare Aufnahmepipelines.
  • Sie arbeiten mit multimodalen Daten oder kombinieren mehrere Modelle in einer einzigen Pipeline.
  • Das Benutzererlebnis Ihrer Anwendung hängt von aktuellen Daten ab.

Abschluss

Das Extrahieren strukturierter Daten aus PDFs muss kein Kopfzerbrechen bereiten. Mit Indexify und einer Reihe leistungsstarker Extraktoren wie PaddleOCR können Sie Ihren Workflow optimieren, große Mengen an Dokumenten verarbeiten und mit Leichtigkeit aussagekräftige, strukturierte Daten extrahieren. Egal, ob Sie Rechnungen, akademische Arbeiten oder andere Arten von PDF-Dokumenten verarbeiten, Indexify bietet die Instruments, die Sie benötigen, um unstrukturierte Daten in wertvolle Erkenntnisse umzuwandeln.

Bereit, Ihren PDF-Extraktionsprozess zu optimieren? Probieren Sie Indexify aus und erleben Sie die Leichtigkeit intelligenter, skalierbarer Datenextraktion!

[ad_2]

]]>
https://chatgpz.de/data-analytics/nahtloses-extrahieren-von-textual-content-aus-pdfs/feed/ 0 2165