Bild vom Autor

# Einführung

Wussten Sie, dass ein Großteil der wertvollen Informationen immer noch in unstrukturiertem Textual content vorliegt? Zum Beispiel Forschungsarbeiten, klinische Notizen, Finanzberichte usw. Aus diesen Texten zuverlässige und strukturierte Informationen zu extrahieren, conflict schon immer eine Herausforderung. LangExtract ist eine Open-Supply-Python-Bibliothek (veröffentlicht von Google), die dieses Downside mithilfe großer Sprachmodelle (LLMs) löst. Sie können über einfache Eingabeaufforderungen und einige Beispiele definieren, was extrahiert werden soll, und dann werden LLMs (wie Googles Gemini, OpenAI oder lokale Modelle) verwendet, um diese Informationen aus Dokumenten beliebiger Länge zu extrahieren. Ein weiterer Vorteil ist die Unterstützung sehr langer Dokumente (durch Chunking und Multi-Cross-Verarbeitung) und die interaktive Visualisierung der Ergebnisse. Lassen Sie uns diese Bibliothek genauer erkunden.

# 1. Set up und Einrichtung

Um LangExtract lokal zu installieren, stellen Sie zunächst sicher, dass Sie Python 3.10+ installiert haben. Die Bibliothek ist verfügbar unter PyPI. Führen Sie in einem Terminal oder einer virtuellen Umgebung Folgendes aus:

Für eine isolierte Umgebung können Sie zunächst eine virtuelle Umgebung erstellen und aktivieren:

python -m venv langextract_env
supply langextract_env/bin/activate  # On Home windows: .langextract_envScriptsactivate
pip set up langextract

Es gibt andere Optionen von Quelle und Verwendung Docker Auch das können Sie hier überprüfen.

# 2. Einrichten von API-Schlüsseln (für Cloud-Modelle)

LangExtract selbst ist kostenlos und Open Supply, aber wenn Sie in der Cloud gehostete LLMs (wie Google Gemini oder OpenAI GPT-Modelle) verwenden, müssen Sie einen API-Schlüssel angeben. Sie können das einstellen LANGEXTRACT_API_KEY Umgebungsvariable oder speichern Sie sie in einer .env Datei in Ihrem Arbeitsverzeichnis. Zum Beispiel:

export LANGEXTRACT_API_KEY="YOUR_API_KEY_HERE"

oder in einem .env Datei:

cat >> .env << 'EOF'
LANGEXTRACT_API_KEY=your-api-key-here
EOF
echo '.env' >> .gitignore

LLMs auf dem Gerät über Ollama oder andere lokale Backends erfordern keinen API-Schlüssel. Zum Aktivieren OpenAIdu würdest rennen pip set up langextract(openai)stellen Sie Ihre ein OPENAI_API_KEYund verwenden Sie eine OpenAI model_id. Für Vertex-KI (Unternehmensbenutzer) wird die Dienstkontoauthentifizierung unterstützt.

# 3. Definieren einer Extraktionsaufgabe

LangExtract funktioniert, indem Sie ihm sagen, welche Informationen extrahiert werden sollen. Dies erreichen Sie, indem Sie eine klare Beschreibung der Aufforderung verfassen und eine oder mehrere angeben ExampleData Anmerkungen, die zeigen, wie eine korrekte Extraktion am Beispieltext aussieht. Um beispielsweise Charaktere, Emotionen und Beziehungen aus einer Literaturreihe zu extrahieren, könnten Sie schreiben:

import langextract as lx

immediate = """
  Extract characters, feelings, and relationships so as of look.
  Use actual textual content for extractions. Don't paraphrase or overlap entities.
  Present significant attributes for every entity so as to add context."""
examples = (
    lx.knowledge.ExampleData(
        textual content="ROMEO. However smooth! What gentle by way of yonder window breaks? ...",
        extractions=(
            lx.knowledge.Extraction(
                extraction_class="character",
                extraction_text="ROMEO",
                attributes={"emotional_state": "surprise"}
            ),
            lx.knowledge.Extraction(
                extraction_class="emotion",
                extraction_text="However smooth!",
                attributes={"feeling": "light awe"}
            )
        )
    )
)

Diese Beispiele (entnommen aus der README-Datei von LangExtract) sagen dem Modell genau, welche Artwork von strukturierter Ausgabe erwartet wird. Sie können ähnliche Beispiele für Ihre Area erstellen.

# 4. Ausführen der Extraktion

Sobald Ihre Eingabeaufforderung und Beispiele definiert sind, rufen Sie einfach die auf lx.extract() Funktion. Die wichtigsten Argumente sind:

• text_or_documents: Ihr Eingabetext oder eine Liste von Texten oder sogar eine URL-Zeichenfolge (LangExtract kann Textual content von einer Gutenberg-URL oder einer anderen URL abrufen und verarbeiten).
• prompt_description: Die Extraktionsanweisungen (eine Zeichenfolge).
• examples: Eine Liste von ExampleData die die gewünschte Ausgabe veranschaulichen.
• model_id: Die Kennung des zu verwendenden LLM (z. B "gemini-2.5-flash" für Google Gemini Flash oder ein Ollama-Modell wie "gemma2:2b"oder ein OpenAI-Modell wie "gpt-4o").
• Weitere optionale Parameter: extraction_passes (um die Extraktion für eine höhere Erinnerung an langen Texten erneut auszuführen), max_workers (um Blöcke parallel zu verarbeiten), fence_output, use_schema_constraintsusw.

Zum Beispiel:

input_text=""'JULIET. O Romeo, Romeo! wherefore artwork thou Romeo?
Deny thy father and refuse thy title;
Or, if thou wilt not, be however sworn my love,
And I will not be a Capulet.
ROMEO. Shall I hear extra, or shall I converse at this?
JULIET. 'Tis however thy title that's my enemy;
Thou artwork thyself, although not a Montague.
What’s in a reputation? That which we name a rose
By some other title would scent as candy.'''


end result = lx.extract(
    text_or_documents=input_text,
    prompt_description=immediate,
    examples=examples,
    model_id="gemini-2.5-flash"
)

Dadurch werden die Eingabeaufforderung und Beispiele zusammen mit dem Textual content an das ausgewählte LLM gesendet und ein zurückgegeben Consequence Objekt. LangExtract übernimmt automatisch die Tokenisierung langer Texte in Blöcke, die parallele Stapelverarbeitung von Aufrufen und die Zusammenführung der Ausgaben.

# 5. Umgang mit Ausgabe und Visualisierung

Die Ausgabe von lx.extract() ist ein Python-Objekt (oft als „ end result), das die extrahierten Entitäten und Attribute enthält. Sie können es programmgesteuert überprüfen oder für später speichern. LangExtract bietet auch Hilfsfunktionen zum Speichern von Ergebnissen: Sie können beispielsweise die Ergebnisse in eine JSONL-Datei (JSON Strains) schreiben (ein Dokument professional Zeile) und eine interaktive HTML-Überprüfung erstellen. Zum Beispiel:

lx.io.save_annotated_documents((end result), output_name="extraction_results.jsonl", output_dir=".")
html = lx.visualize("extraction_results.jsonl")
with open("viz.html", "w") as f:
    f.write(html if isinstance(html, str) else html.knowledge)

Dies schreibt ein extraction_results.jsonl Datei und eine interaktive viz.html Datei. Das JSONL-Format ist praktisch für große Datensätze und die weitere Verarbeitung, und die HTML-Datei hebt jeden extrahierten Bereich im Kontext hervor (farbcodiert nach Klasse), um eine einfache menschliche Inspektion wie folgt zu ermöglichen:

# 6. Unterstützende Eingabeformate

LangExtract ist hinsichtlich der Eingabe flexibel. Sie können Folgendes liefern:

• Nur-Textual content-Strings: Jeder Textual content, den Sie in Python laden (z. B. aus einer Datei oder Datenbank), kann verarbeitet werden.
• URLs: Wie oben gezeigt, können Sie eine URL übergeben (z. B. a Projekt Gutenberg Hyperlink) als text_or_documents="https://www.gutenberg.org/information/1513/1513-0.txt". LangExtract lädt dieses Dokument herunter und extrahiert es.
• Liste der Texte: Übergeben Sie eine Python-Liste mit Zeichenfolgen, um mehrere Dokumente in einem Aufruf zu verarbeiten.
• Wealthy-Textual content oder Markdown: Da LangExtract auf Textebene arbeitet, könnten Sie auch einspeisen Abschlag oder HTML, wenn Sie es in Rohtext vorverarbeiten. (LangExtract selbst analysiert keine PDFs oder Bilder, Sie müssen zuerst den Textual content extrahieren.)

# 7. Fazit

LangExtract macht es einfach, unstrukturierten Textual content in strukturierte Daten umzuwandeln. Mit hoher Genauigkeit, klarer Quellenzuordnung und einfacher Anpassung funktioniert es intestine, wenn regelbasierte Methoden nicht ausreichen. Dies ist besonders nützlich für komplexe oder domänenspezifische Extraktionen. Obwohl es Raum für Verbesserungen gibt, ist LangExtract bereits im Jahr 2025 ein leistungsstarkes Software zur Extraktion fundierter Informationen.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Era Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Range in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

Bild vom Herausgeber

# Einführung

Datenanalysten müssen mit großen Mengen an Informationen arbeiten, die in Datenbanken gespeichert sind. Bevor sie Berichte erstellen oder Erkenntnisse gewinnen können, müssen sie zunächst die richtigen Daten abrufen und für die Verwendung vorbereiten. Hier kommt SQL (Structured Question Language) ins Spiel. SQL ist ein Device, das Analysten dabei hilft, Daten abzurufen, zu bereinigen und im gewünschten Format zu organisieren.

In diesem Artikel schauen wir uns die wichtigsten SQL-Abfragen an, die jeder Datenanalyst kennen sollte.

# 1. Daten mit SELECT auswählen

Der WÄHLEN Die Anweisung ist die Grundlage von SQL. Sie können bestimmte Spalten auswählen oder verwenden * um alle verfügbaren Felder zurückzugeben.

SELECT identify, age, wage FROM workers;

Diese Abfrage ruft nur die ab identify, ageUnd wage Spalten aus der workers Tisch.

# 2. Daten mit WHERE filtern

WO grenzt die Zeilen auf diejenigen ein, die Ihren Bedingungen entsprechen. Es unterstützt Vergleiche und logische Operatoren zur Erstellung präziser Filter.

SELECT * FROM workers WHERE division="Finance";

Die WHERE-Klausel gibt nur Mitarbeiter zurück, die zur Finanzabteilung gehören.

# 3. Ergebnisse mit ORDER BY sortieren

Der BESTELLEN NACH Die Klausel sortiert Abfrageergebnisse in aufsteigender oder absteigender Reihenfolge. Es wird verwendet, um Datensätze nach numerischen, Textual content- oder Datumswerten zu ordnen.

SELECT identify, wage FROM workers ORDER BY wage DESC;

Diese Abfrage sortiert Mitarbeiter nach Gehalt in absteigender Reihenfolge, sodass die bestbezahlten Mitarbeiter zuerst angezeigt werden.

# 4. Duplikate mit DISTINCT entfernen

Der UNTERSCHEIDBAR Das Schlüsselwort gibt nur eindeutige Werte aus einer Spalte zurück. Dies ist nützlich, wenn Sie saubere Pay attention von Kategorien oder Attributen erstellen möchten.

SELECT DISTINCT division FROM workers;

DISTINCT entfernt doppelte Einträge und gibt jeden Abteilungsnamen nur einmal zurück.

# 5. Ergebnisse mit LIMIT begrenzen

Der LIMIT Die Klausel schränkt die Anzahl der von einer Abfrage zurückgegebenen Zeilen ein. Es wird oft mit gepaart BESTELLEN NACH um Prime-Ergebnisse oder Beispieldaten aus großen Tabellen anzuzeigen.

SELECT identify, wage 
FROM workers 
ORDER BY wage DESC 
LIMIT 5;

Dadurch werden durch Kombination die fünf Mitarbeiter mit den höchsten Gehältern ermittelt BESTELLEN NACH mit LIMIT.

# 6. Aggregieren von Daten mit GROUP BY

Der GRUPPE NACH Die Klausel gruppiert Zeilen, die dieselben Werte in bestimmten Spalten haben. Es wird mit Aggregatfunktionen wie verwendet SUM(), AVG()oder COUNT() Zusammenfassungen zu erstellen.

SELECT division, AVG(wage) AS avg_salary
FROM workers
GROUP BY division;

GROUP BY organisiert Zeilen nach Abteilung und AVG(wage) berechnet das durchschnittliche Gehalt für jede Gruppe.

# 7. Gruppen mit HAVING filtern

Der HABEN Die Klausel filtert gruppierte Ergebnisse, nachdem die Aggregation angewendet wurde. Es wird verwendet, wenn Bedingungen von aggregierten Werten wie Gesamtwerten oder Durchschnittswerten abhängen.

SELECT division, COUNT(*) AS num_employees
FROM workers
GROUP BY division
HAVING COUNT(*) > 10;

Die Abfrage zählt die Mitarbeiter in jeder Abteilung und filtert dann, um nur Abteilungen mit mehr als 10 Mitarbeitern zu behalten.

# 8. Tabellen mit JOIN kombinieren

Der VERBINDEN Die Klausel kombiniert Zeilen aus zwei oder mehr Tabellen basierend auf einer zugehörigen Spalte. Es hilft dabei, verbundene Daten abzurufen, z. B. Mitarbeiter mit ihren Abteilungen.

SELECT e.identify, d.identify AS division
FROM workers e
JOIN departments d ON e.dept_id = d.id;

Dabei kombiniert JOIN Mitarbeiter mit den dazu passenden Abteilungsnamen.

# 9. Ergebnisse mit UNION kombinieren

UNION kombiniert die Ergebnisse von zwei oder mehr Abfragen in einem einzigen Datensatz. Es entfernt automatisch Duplikate, es sei denn, Sie verwenden UNION ALLwas sie hält.

SELECT identify FROM workers UNION SELECT identify FROM clients;

Diese Abfrage kombiniert Namen aus beiden workers Und clients Tabellen in einer einzigen Liste.

# 10. String-Funktionen

String-Funktionen in SQL werden zum Bearbeiten und Transformieren von Textdaten verwendet. Sie helfen bei Aufgaben wie dem Kombinieren von Namen, dem Ändern der Groß-/Kleinschreibung, dem Kürzen von Leerzeichen oder dem Extrahieren von Teilen einer Zeichenfolge.

SELECT CONCAT(first_name, ' ', last_name) AS full_name, LENGTH(first_name) AS name_length FROM workers;

Diese Abfrage erstellt einen vollständigen Namen durch Kombination von Vor- und Nachnamen und berechnet die Länge des Vornamens.

# 11. Datums- und Uhrzeitfunktionen

Mit Datums- und Zeitfunktionen in SQL können Sie für Analysen und Berichte mit zeitlichen Daten arbeiten. Sie können Differenzen berechnen, Komponenten wie Jahr oder Monat extrahieren und Datumsangaben durch Addition oder Subtraktion von Intervallen anpassen. Zum Beispiel, DATEDIFF() mit CURRENT_DATE kann die Amtszeit messen.

SELECT identify, hire_date, DATEDIFF(CURRENT_DATE, hire_date) AS days_at_company FROM workers;

Es berechnet, wie viele Tage jeder Mitarbeiter im Unternehmen beschäftigt ist, indem das Einstellungsdatum vom heutigen Tag abgezogen wird.

# 12. Neue Spalten mit CASE erstellen

Der FALL Ausdruck erstellt neue Spalten mit bedingter Logik, ähnlich wie if-else-Anweisungen. Damit können Sie Daten innerhalb Ihrer Abfragen dynamisch kategorisieren oder umwandeln.

SELECT identify,
       CASE 
           WHEN age < 30 THEN 'Junior'
           WHEN age BETWEEN 30 AND 50 THEN 'Mid-level'
           ELSE 'Senior'
       END AS experience_level
FROM workers;

Die CASE-Anweisung erstellt eine neue Spalte namens experience_level basierend auf Altersgruppen.

# 13. Umgang mit fehlenden Werten mit COALESCE

VERSCHMELZEN Behandelt fehlende Werte, indem es den ersten Nicht-Null-Wert aus einer Liste zurückgibt. Es wird häufig zum Ersetzen verwendet NULL Felder mit einem Standardwert, z. B. „N/A“.

SELECT identify, COALESCE(telephone, 'N/A') AS contact_number FROM clients;

Hier ersetzt COALESCE fehlende Telefonnummern durch „N/A“.

# 14. Unterabfragen

Unterabfragen sind Abfragen, die in einer anderen Abfrage verschachtelt sind, um Zwischenergebnisse bereitzustellen. Sie werden verwendet in WHERE, FROModer SELECT Klauseln zum dynamischen Filtern, Vergleichen oder Erstellen von Datensätzen.

SELECT identify, wage FROM workers WHERE wage > (SELECT AVG(wage) FROM workers);

Diese Abfrage vergleicht mithilfe einer verschachtelten Unterabfrage das Gehalt jedes Mitarbeiters mit dem Durchschnittsgehalt des Unternehmens.

# 15. Fensterfunktionen

Fensterfunktionen führen Berechnungen über eine Reihe von Zeilen durch und geben dennoch einzelne Zeilendetails zurück. Sie werden häufig für Rangfolgen, laufende Summen und den Vergleich von Werten zwischen Zeilen verwendet.

SELECT identify, wage, RANK() OVER (ORDER BY wage DESC) AS salary_rank FROM workers;

Der RANK() Die Funktion weist jedem Mitarbeiter eine Rangfolge basierend auf dem Gehalt zu, ohne die Zeilen zu gruppieren.

# Abschluss

Die Beherrschung von SQL ist eine der wertvollsten Fähigkeiten für jeden Datenanalysten, da sie die Grundlage für das Extrahieren, Transformieren und Interpretieren von Daten bildet. Vom Filtern und Aggregieren bis hin zum Zusammenführen und Umformen von Datensätzen ermöglicht SQL Analysten, Rohinformationen in aussagekräftige Erkenntnisse umzuwandeln, die die Entscheidungsfindung vorantreiben. Durch die Beherrschung wesentlicher Abfragen optimieren Analysten nicht nur ihre Arbeitsabläufe, sondern stellen auch Genauigkeit und Skalierbarkeit ihrer Analysen sicher.

Jayita Gulati ist eine Enthusiastin für maschinelles Lernen und technische Redakteurin, angetrieben von ihrer Leidenschaft für die Entwicklung von Modellen für maschinelles Lernen. Sie hat einen Grasp-Abschluss in Informatik von der College of Liverpool.

Eine Schritt-für-Schritt-Anleitung zur Dokumentabfrage mit Indexify

13 Minuten Lesezeit

·

vor 16 Stunden

Kurz zusammengefasst:

• Herkömmlichen Methoden der Datenextraktion fehlen häufig tiefere Erkenntnisse aus unstrukturierten Inhalten, insbesondere im Immobiliensektor.
• In diesem Artikel wird die Verwendung von Indexify, einem Open-Supply-Framework zur multimodalen Datenextraktion in Echtzeit, zur besseren Analyse von Eigentumsdokumenten untersucht.
• Sie erfahren, wie Sie Indexify einrichten, einschließlich Servereinrichtung, Erstellen von Extraktionsdiagrammen, Dokumentaufnahme und Datenabfrage, und erfahren außerdem, wie Sie benutzerdefinierte Extraktoren erstellen.
• Die Implementierung von Indexify kann die Analyse von Immobiliendokumenten verbessern und zu genaueren Erkenntnissen, besseren Entscheidungen und einem rationalisierten Administration führen.

· Einführung
· Ein Überblick über Indexify
∘ Extraktoren
∘ Koordinatoren
· Voraussetzungen für das Tutorial
· Einrichten von Indexify für die erweiterte Dokumentanalyse
∘ Installieren und Konfigurieren von Indexify
∘ Vorbereiten der Dokumentensammlung
· Einlesen und Verarbeiten von Dokumenten mit Indexify
∘ Einrichten von Extraktionsdiagrammen
∘ Benutzerdefinierte Extraktoren
∘ Hochladen von Dokumenten
· Komplexe Fragen stellen mit Indexify
∘ Semantische Suche und Abfrageformulierung
∘…