Die meisten RAG-Demos hören bei „Laden Sie ein PDF hoch und stellen Sie eine Frage.“ Das beweist, dass die Pipeline funktioniert. Es beweist nicht, dass Sie es verstehen.

Diese Projekte sollen auf interessante Weise zum Durchbruch führen. Sie bringen Voreingenommenheit, Widersprüche, vergessene Zusammenhänge und übertriebene Antworten zum Vorschein. Hier beginnt echtes RAG-Lernen. Sobald Sie diese durchgearbeitet haben, fällt es Ihnen leichter, sie zu verstehen und zu beheben RAG-Systeme.

Lesen Sie die Tipps am Ende, um Hinweise zu erhalten, die Ihnen beim Aufbau dieser Projekte helfen:

1. RAG-betriebener Anwalt

Ein RAG-System, das Ihre Prämisse nicht für naked Münze nimmt. Wenn Sie eine Frage stellen, die als Behauptung formuliert ist, ruft das System Beweise dafür und dagegen ab und antwortet dann mit einer ausgewogenen Schlussfolgerung.

Dieses Projekt zwingt Sie dazu, über Retrieval-Framing nachzudenken. Derselbe Korpus kann gegensätzliche Antworten unterstützen, je nachdem, wie Sie ihn abfragen. Das ist kein Fehler. Das ist der Punkt.

Was Sie lernen werden?

• Abfrageformulierung über die Key phrase-Übereinstimmung hinaus
• Evidenzbasierte Meinungsverschiedenheit
• Umgang mit Unsicherheit ohne Halluzination

Hyperlink: Code

2. Vergessliche Wissensdatenbank

Dieses System vergisst langsam Dokumente, nach denen niemand fragt. Häufig verwendete Informationen bleiben aktuell. Ignorierte Inhalte verlieren heimlich an Relevanz.

Es spiegelt wider, wie sich reale Wissensdatenbanken im Laufe der Zeit verhalten, und verdeutlicht, warum statische Vektorspeicher langsam altern.

Was Sie lernen werden?

• Nutzungsbasierte Relevanzsignale
• Zeitverfall und Frische
• Rating jenseits reiner Ähnlichkeit

Hyperlink: Code

3. Ehrlicher HR-Bot

Sie stellen eine normale HR-Frage. Der Bot antwortet höflich. Dann wird Ihnen das Kleingedruckte angezeigt, das Sie gerade übersehen hätten. Darin werden Klauseln und Absichten dargelegt, die eine Personalabteilung nicht tun würde.

Bei diesem Projekt geht es darum, Randfälle aufzudecken, die in politischer Sprache vergraben sind, anstatt sie zu glätten.

Was Sie lernen werden?

• Richtlinienbasierter Abruf
• Ausnahmen und Einschränkungen extrahieren
• Kontrollierter Ton mit geerdetem Ausgang

Hyperlink: Code

4. Übersetzer für Forschungsarbeiten

Laden Sie umfangreiche wissenschaftliche Arbeiten hoch. Stellen Sie Fragen in einfachem Englisch. Erhalten Sie Antworten, die menschlich klingen und gleichzeitig auf die genauen Abschnitte verweisen, die sie rechtfertigen.

Hier geht es bei RAG nicht mehr um die Suche, sondern um die Interpretation.

Was Sie lernen werden?

• Fachsprache ohne Verzerrung übersetzen
• Kontextauswahl über lange Dokumente hinweg
• Zitiererhaltende Vereinfachung

Hyperlink: Code

5. Zeigen Sie Ihren Arbeitsassistenten

Jeder Antwort liegen Quittungen bei. Das System erklärt, warum es bestimmte Quellen ausgewählt hat, warum andere ignoriert wurden und wie sicher es ist.

Dieses Projekt macht das Zurückholen sichtbar statt magisch.

Was Sie lernen werden?

• Interpretieren von Ähnlichkeitswerten
• Debuggen eines fehlerhaften Abrufs
• Vertrauen schaffen durch Transparenz

Hyperlink: Code

Bonus: Sie können das Projekt mithilfe der Perplexity-API erstellen, da das Modell standardmäßig dieselben Funktionen bietet.

6. Residing FAQ-Generator

Verweisen Sie das System auf Dokumentation, Assist-Tickets oder interne Wikis. Es generiert FAQs, die sich weiterentwickeln, wenn neue Fragen auftauchen und alte verschwinden.

Die FAQ wird kein einziges Mal geschrieben. Es wächst mit der Nutzung.

Was Sie lernen werden?

• Musterextraktion aus Dokumenten
• Kontinuierliche Einnahme
• Fragengenerierung aus dem Kontext

Hyperlink: Code

7. Widerspruchsdetektor

Anstatt alles in einer einzigen Antwort zusammenzufassen, zeigt dieses System auf, wo Dokumente nicht übereinstimmen, und erklärt, wie.

Es weigert sich, Ungereimtheiten zu vertuschen.

Was Sie lernen werden?

• Vergleich mehrerer Quellen
• Widersprüchliche Ansprüche identifizieren
• Ehrliche Synthese statt erzwungener Konsens

Hyperlink: Code

8. Reminiscence Lane-Assistent

Trainieren Sie ein RAG-System anhand alter Notizen, Tagebücher oder Entwürfe. Fragen Sie, wie sich Ihr Denken im Laufe der Zeit verändert hat. Es greift vergangene Standpunkte auf und stellt sie neueren gegenüber.

Dieser hier fühlt sich im positiven Sinne unangenehm persönlich an.

Was Sie lernen

• Zeitlicher Abruf
• Semantische Ähnlichkeit zwischen Versionen
• Langfristiges Kontextmanagement

Hyperlink: Code

9. Juristischer Vereinfacher

Laden Sie Verträge oder Richtlinien hoch. Stellen Sie Fragen. Erhalten Sie Antworten in normaler Sprache, gefolgt von genauen Satzreferenzen.

Keine Stimmung. Nur fundierte Interpretation.

Was Sie lernen werden?

• Abruf auf Klauselebene
• Präzision statt Geläufigkeit
• Überverallgemeinerte Antworten verhindern

Hyperlink: Code

10. Der voreingenommene Nachrichtenerklärer

Versorgen Sie das System mit Artikeln aus mehreren Verkaufsstellen, die dasselbe Ereignis abdecken. Fragen Sie, was passiert ist. Es ruft Perspektiven ab, vergleicht Framing und erklärt, wo Voreingenommenheit auftritt.

Dieses Projekt zeigt, wie das Abrufen Erzählungen prägt.

Was Sie lernen werden?

• Erdung aus mehreren Quellen
• Rahmen- und Betonungsunterschiede
• Neutrale Synthese unter Voreingenommenheit

Hyperlink: Code

Wo ist das Projekt „Quotation“?

Für diejenigen, die das Übliche suchen: Zitat/Korrekturlesen Projekte, die Liste struggle vielleicht etwas überraschend. Dies ist jedoch beabsichtigt, da diese Grundlagenprojekte quick jeder durchlaufen hat – und daher nur minimalen Lernaufwand bieten. Die hier vorgestellten Projekte würden selbst für die Veteranen der RAG eine Herausforderung darstellen. Es würde Sie aus Ihrer Komfortzone herausbringen und Sie dazu bringen, kreativ über die Probleme nachzudenken.

Lesen Sie auch: Die 4 besten gelösten RAG-Projektideen

Tipps zur Lösung von RAG-Projekten

Hier sind ein paar Tipps, die Ihnen beim Aufbau der Projekte helfen könnten:

1. Verwenden Sie allgemeine Eingabeaufforderungen, sofern dies nicht erforderlich ist: Dies stellt sicher, dass das Modell selbst dann eine höhere Wahrscheinlichkeit hat, eine gültige Antwort zu liefern, wenn die Dokumente nicht related sind.

Obwohl die Dokumente keine Ereignisse enthielten, führte die Breite der Eingabeaufforderung dazu, dass das Modell erfolgreich auf die Anfrage reagierte.

2. Laden Sie den Index einmal: Dadurch wird verhindert, dass die Dokumentblöcke bei jeder Programmausführung neu erstellt werden. Besonders hilfreich, wenn mehrere Projekte dieselbe Vektordatenbank verwenden.
3. Verwenden Sie eine kleine Tokengröße: Dies stellt sicher, dass Sie nicht auf Speicherengpässe stoßen und die Blöcke nicht zu groß für die Verarbeitung sind.
4. Ausgabereferenz: Verwenden Sie die Screenshots der Ausgaben in den Abschnitten als Referenz für die Erstellung der Projekte.

Das folgende Diagramm soll dabei helfen, den Ablauf der RAG-Architektur in Erinnerung zu rufen:

Für die Datenindizierung sollte Folgendes als Referenz verwendet werden:

Häufig gestellte Fragen

Ich bin auf die Überprüfung und Verfeinerung von KI-gestützter Forschung, technischer Dokumentation und Inhalten im Zusammenhang mit neuen KI-Technologien spezialisiert. Meine Erfahrung umfasst KI-Modelltraining, Datenanalyse und Informationsabruf und ermöglicht es mir, Inhalte zu erstellen, die sowohl technisch korrekt als auch zugänglich sind.

Bild von Autor | Ideogramm

Daten sind der Vorteil, der unsere Arbeit als Datenfachleute antreibt. Ohne ordnungsgemäße Daten können wir unsere Aufgaben nicht ausführen, und unser Geschäft wird keinen Wettbewerbsvorteil erzielen. Daher ist die Sicherung geeigneter Daten für jeden Datenprofi von entscheidender Bedeutung, und Datenpipelines sind die für diesen Zweck entwickelten Systeme.

Datenpipelines sind Systeme, die Daten von einer Quelle in eine andere verschieben und umwandeln. Diese Systeme sind Teil der Gesamtinfrastruktur für jedes Unternehmen, das sich auf Daten stützt, da sie garantieren, dass unsere Daten zuverlässig und immer bereit sind.

Das Erstellen einer Datenpipeline magazine komplex klingen, aber einige einfache Instruments reichen aus, um zuverlässige Datenpipelines mit nur wenigen Codezeilen zu erstellen. In diesem Artikel werden wir untersuchen, wie Sie eine einfache Datenpipeline mit Python und Docker erstellen, die Sie in Ihren täglichen Datenarbeiten anwenden können.

Lassen Sie uns darauf eingehen.

Aufbau der Datenpipeline

Bevor wir unsere Datenpipeline erstellen, verstehen wir das Konzept von ETL, das für Extrakt, Transformation und Final steht. ETL ist ein Prozess, bei dem die Datenpipeline die folgenden Aktionen ausführt:

• Daten aus verschiedenen Quellen extrahieren.
• Verwandeln Sie Daten in ein gültiges Format.
• Laden Sie Daten in einen zugänglichen Speicherort.

ETL ist ein Standardmuster für Datenpipelines. Wir erstellen additionally dieser Struktur.

Mit Python und Docker können wir eine Datenpipeline rund um den ETL -Prozess mit einem einfachen Setup erstellen. Python ist ein wertvolles Instrument zur Orchestrierung von Datenflussaktivitäten, während Docker für die Verwaltung der Umgebung der Datenpipeline -Anwendung mithilfe von Containern nützlich ist.

Lassen Sie uns unsere Datenpipeline mit Python und Docker einrichten.

Schritt 1: Vorbereitung

Erstens müssen wir nicht versichern, dass Python und Docker in unserem System installiert sind (wir werden dies hier nicht abdecken).

Für unser Beispiel werden wir die verwenden Herzinfarktdatensatz von Kaggle als Datenquelle zur Entwicklung unseres ETL -Prozesses.

Mit allem werden wir die Projektstruktur vorbereiten. Insgesamt wird die einfache Datenpipeline das folgende Skelett haben:

simple-data-pipeline/
├── app/
│   └── pipeline.py
├── information/
│   └── Medicaldataset.csv
├── Dockerfile
├── necessities.txt
└── docker-compose.yml

Es gibt einen Hauptordner, der genannt wird simple-data-pipelinewas enthält:

• Ein app Ordner mit dem pipeline.py Datei.
• A information Ordner, der die Quelldaten enthält (Medicaldataset.csv).
• Der necessities.txt Datei für Umgebungsabhängigkeiten.
• Der Dockerfile Für die Docker -Konfiguration.
• Der docker-compose.yml Datei zum Definieren und Ausführen unserer Multi-Container-Docker-Anwendung.

Wir werden zuerst die ausfüllen necessities.txt Datei, die die für unser Projekt erforderlichen Bibliotheken enthält.

In diesem Fall werden wir nur die folgende Bibliothek verwenden:

Im nächsten Abschnitt werden die Datenpipeline mit unseren Beispieldaten eingerichtet.

Schritt 2: Richten Sie die Pipeline ein

Wir werden die Python einrichten pipeline.py Datei für den ETL -Prozess. In unserem Fall verwenden wir den folgenden Code.

import pandas as pd
import os

input_path = os.path.be a part of("/information", "Medicaldataset.csv")
output_path = os.path.be a part of("/information", "CleanedMedicalData.csv")

def extract_data(path):
    df = pd.read_csv(path)
    print("Knowledge Extraction accomplished.")
    return df

def transform_data(df):
    df_cleaned = df.dropna()
    df_cleaned.columns = (col.strip().decrease().substitute(" ", "_") for col in df_cleaned.columns)
    print("Knowledge Transformation accomplished.")
    return df_cleaned

def load_data(df, output_path):
    df.to_csv(output_path, index=False)
    print("Knowledge Loading accomplished.")

def run_pipeline():
    df_raw = extract_data(input_path)
    df_cleaned = transform_data(df_raw)
    load_data(df_cleaned, output_path)
    print("Knowledge pipeline accomplished efficiently.")

if __name__ == "__main__":
    run_pipeline()

Die Pipeline folgt dem ETL -Prozess, in dem wir die CSV -Datei laden, Datenumwandlungen wie fehlende Daten und Reinigen der Spaltennamen und die gelöschten Daten in eine neue CSV -Datei ausführen. Wir haben diese Schritte in eine einzelne eingepackt run_pipeline Funktion, die den gesamten Prozess ausführt.

Schritt 3: Richten Sie die Dockerfile ein

Mit der Python -Pipeline -Datei werden wir die füllen Dockerfile So richten Sie die Konfiguration für den Docker -Container mit dem folgenden Code ein:

FROM python:3.10-slim

WORKDIR /app
COPY ./app /app
COPY necessities.txt .

RUN pip set up --no-cache-dir -r necessities.txt

CMD ("python", "pipeline.py")

Im obigen Code geben wir an, dass der Container Python Model 3.10 als Umgebung verwendet. Als nächstes setzen wir das Arbeitsverzeichnis des Containers auf /app und kopieren Sie alles von unserem Einheimischen app Ordner in den Behälter app Verzeichnis. Wir kopieren auch die necessities.txt Datei und führen Sie die PIP -Set up im Container aus. Schließlich geben wir den Befehl an, um das Python -Skript auszuführen, wenn der Container startet.

Mit dem Dockerfile Bereit, wir werden die vorbereiten docker-compose.yml Datei zur Verwaltung der Gesamtausführung:

model: '3.9'

providers:
  data-pipeline:
    construct: .
    container_name: simple_pipeline_container
    volumes:
      - ./information:/information

Die obige YAML -Datei wird beim Ausführen das Docker -Bild über das verfügbare Verzeichnis erstellt Dockerfile. Wir montieren auch den Einheimischen information Ordner zum information Ordner im Container, sodass der Datensatz zu unserem Skript zugänglich ist.

Ausführung der Pipeline

Mit allen Dateien werden wir die Datenpipeline in Docker ausführen. Gehen Sie zum Projektroot -Ordner und führen Sie den folgenden Befehl in Ihrer Eingabeaufforderung aus, um das Docker -Bild zu erstellen und die Pipeline auszuführen.

docker compose up --build

Wenn Sie dies erfolgreich ausführen, sehen Sie wie Folgendes ein Informationsprotokoll:

 ✔ data-pipeline                           Constructed                                                                                   0.0s 
 ✔ Community simple_docker_pipeline_default  Created                                                                                 0.4s 
 ✔ Container simple_pipeline_container     Created                                                                                 0.4s 
Attaching to simple_pipeline_container
simple_pipeline_container  | Knowledge Extraction accomplished.
simple_pipeline_container  | Knowledge Transformation accomplished.
simple_pipeline_container  | Knowledge Loading accomplished.
simple_pipeline_container  | Knowledge pipeline accomplished efficiently.
simple_pipeline_container exited with code 0

Wenn alles erfolgreich ausgeführt wird, werden Sie eine neue sehen CleanedMedicalData.csv Datei in Ihrem Datenordner.

Glückwunsch! Sie haben gerade eine einfache Datenpipeline mit Python und Docker erstellt. Versuchen Sie, verschiedene Datenquellen und ETL -Prozesse zu verwenden, um festzustellen, ob Sie eine komplexere Pipeline verarbeiten können.

Abschluss

Das Verständnis von Datenpipelines ist für jeden Datenfachmann von entscheidender Bedeutung, da sie für den Erwerb der richtigen Daten für ihre Arbeit unerlässlich sind. In diesem Artikel haben wir untersucht, wie man eine einfache Datenpipeline mit Python und Docker erstellt und gelernt hat, wie man sie ausführt.

Ich hoffe das hat geholfen!

Cornellius Yudha Wijaya ist ein Knowledge Science Assistant Supervisor und Datenautor. Während er in Vollzeit bei Allianz Indonesien arbeitet, liebt er es, Python- und Datentipps über soziale Medien und das Schreiben von Medien zu teilen. Cornellius schreibt über eine Vielzahl von KI- und maschinellen Lernthemen.

Sind Sie endlich bereit für eine ordnungsgemäße Reinigung? Wischen Sie nicht nur ein paar Fotos und hoffen Sie auf das Beste, sondern befreien Sie den echten Raum? Wenn die Antwort ja lautet, sind Sie am richtigen Ort.

Im Folgenden werden wir aufschlüsseln, wie Sie den Speicher auf dem iPhone mit einfachen Tipps, Werkzeugen und einigen Tips, mit denen wir die Dinge sauber halten, gelöscht werden.

So löschen Sie den Speicher auf dem iPhone

Wir empfehlen immer, mit einer einfachen Bewegung zu beginnen: Finden Sie heraus, wo sich der Abfall befindet. Bevor Sie etwas löschen, gehen Sie zu Einstellungen> Allgemein> iPhone -Speicher. Geben Sie es eine Sekunde zum Laden – es zeigt Ihnen genau, was Ihren Raum in sich frisst, nach Kategorie unterteilt (Fotos, Anwendungen, Mail, iOS usw.).

Dieser eine Bildschirm kann Ihnen viel sagen. Vielleicht sind es Fotos, die am meisten oder ein Spiel, das Sie seit sechs Monaten nicht mehr eröffnet haben und 5 GB mehr eröffnet haben. Manchmal sind es Nachrichten mit jahrelangen Movies, die in Ihren Chats gestapelt sind.

In demselben Bildschirm sollte ein Abschnitt aufgerufen werden Empfehlungen. Sie sehen Optionen, um nicht verwendete Apps zu entlasten, große Anhänge zu überprüfen und sie mit einem Hahn zu löschen. Es ist eine tremendous schnelle Möglichkeit, einen Stück Platz zu räumen. Dies ist immer unser Anlaufpunkt.

Aber wenn Sie keine Empfehlungen sehen (oder sie nicht genug waren, um eine Delle zu machen), ist das völlig in Ordnung. Als nächstes führen wir Sie durch genau das Löschen von Speicher auf einem iPhone Schritt für Schritt über alle üblichen Unruderungszonen.

1. Beginnen Sie mit Ihrer Foto- und Videobibliothek

Für viele Menschen ist dies der beste Ort, um zu beginnen. Fotos und Movies essen leise mehr Platz als quick alles andere auf Ihrem iPhone. Zwischen doppelten Aufnahmen, ähnlichen Fotos, zufälligen Screenshots und ein paar Dutzend 4K -Movies, die Sie vergessen haben, ist Ihre Medienbibliothek wahrscheinlich der beste Kandidat für die Entstörung.

Sicher, du könnte Scrollen Sie durch Ihre Fotos -App und löschen Sie die Dinge manuell … aber es sei denn, Sie haben einen ganzen Nachmittag zum Brennen, ist das nicht der beste Schritt.

Ja, Apple tut Gib dir etwas Hilfe – die Duplikate Der Ordner in der Fotos -App kann automatisch für Sie markieren und verschmelzen (na ja, die Extras löschen). Aber ehrlich? Wir finden es normalerweise überwältigend. Es dauert eine Weile, bis Ihr iPhone zuerst die Indizierung Ihrer gesamten Fotobibliothek beenden muss. Und wie einige Leute haben auf Reddit aufgewendetDie Possibility wird möglicherweise überhaupt nicht angezeigt, wenn Ihr Telefon diesen Vorgang im Hintergrund nicht abgeschlossen hat.

Auch wenn es tut Arbeit, es fängt nur genaue Übereinstimmungen. Wenn Sie additionally nahezu identische Aufnahmen haben (denken Sie etwas unterschiedliche Winkel), wird sie nicht gekennzeichnet. Deshalb überspringen wir normalerweise direkt zu einer App-App, die diese Weise besser behandelt.

Vor kurzem haben wir eine kostenlose App namens verwendet Intelligent Cleaner: AI Cleanup App – und ehrlich gesagt warfare es solide. Es ist schnell und hilft tatsächlich, eine Menge Unordnung zu löschen. Hier erfahren Sie, wie man es benutzt:

1. Laden Sie kostenlosen cleveren Reiniger im App Retailer herunter: https://www.cleverfiles.com/clever-cleaner/.
2. Öffnen Sie die App und gehen Sie zur Ähnlich Tab.
3. Klopfen Intelligente Reinigung So lassen Sie die App Bilder zum Löschen vorschlagen.
4. Wenn Sie etwas behalten möchten, tippen Sie auf Wiederherstellen vor der Reinigung.
5. Scrollen Sie durch die Liste, überprüfen Sie die vorgeschlagenen Löschungen und Schieben Sie zu löschen. Bestätigen Sie einmal und die App kümmert sich um den Relaxation.

Das warfare’s. Schnell, einfach, es ist ehrlich gesagt einer der Beste iPhone -Speicher -Cleaner -Apps Wir haben gesehen. Es ist nicht nur völlig kostenlos und ad-frei (!), Es wird auch solide KI verwendet, um ähnliche Bilder zu fangen, die das integrierte Duplikatalbum vermisst.

Darüber hinaus werden drei weitere Funktionen ausgestattet, die speziell für die Entstörung Ihrer Fotosbibliothek entwickelt wurden:

• Screenshots – sammelt alle Screenshots für eine schnelle Löschung der Schüttung.
• Leben – Konvertiert Dwell -Fotos in Stills, um Platz zu sparen.
• Schwere – Zeigt alle Dateien an, die nach Größe sortiert sind, sodass Sie zuerst die größten Area -Schweine löschen können. Da iPhones keine integrierte Möglichkeit bietet, Dateien nach Größe zu sortieren, ist diese Funktion besonders nützlich.

Video -Tutorial