Bild von Autor | Leinwand
Wir alle kennen die beiden Hauptprobleme, die als Hauptnachteil von großer Sprachmodellen (LLMs) festgestellt wurden:
- Halluzinationen
- Mangel an aktualisierten Informationen über ihren Wissensgrenzwert hinaus
Beide Themen haben ernsthafte Zweifel an der Zuverlässigkeit von LLM-Ergebnissen aufgeworfen, und hier zeigten sich die Abruf-Era (RAG) als eine starke Möglichkeit, sie anzugehen, und bot genauere, kontextbezogene Antworten. Heutzutage wird es in verschiedenen Branchen weit verbreitet. Viele Anfänger werden jedoch nur eine einfache Architektur erkunden: grundlegende Vektorsuche über Textdokumente. Sicher, dies funktioniert für die meisten grundlegenden Bedürfnisse, aber es schränkt die Kreativität und das Verständnis ein.
Dieser Artikel verfolgt einen anderen Ansatz. Anstelle eines tiefen Eintauchens in ein einzelnes, schmales Setup, um die Particulars einer Lappenanwendung zu erläutern (Wie fortgeschrittene Aufforderung, Chunking, Einbettungen und Abrufen) Ich glaube, Anfänger profitieren mehr davon, zuerst ein breites Spektrum von Lappenmustern zu erforschen. Auf diese Weise sehen Sie, wie anpassungsfähig und vielseitig das Rag -Konzept wirklich ist, und lassen Sie sich inspirieren, Ihre eigenen einzigartigen Projekte zu erstellen. Schauen wir uns additionally fünf lustige und ansprechende Projekte an, die ich vorbereitet habe, die Ihnen dabei helfen, genau das zu tun. Fangen wir an!
# 1. Erstellen einer Lag-Anwendung mit einem Open-Supply-Modell
Hyperlink: https://www.youtube.com/watch?v=hrvyei7vfsm
Beginnen Sie mit den Grundlagen, indem Sie ein unkompliziertes Lappensystem aufbauen. Dieses anfängerfreundliche Projekt zeigt Ihnen, wie Sie ein Lag-System erstellen, das Fragen von jedem PDF mit einem Open-Supply-Modell wie beantwortet LAMA22 ohne bezahlte APIs. Sie werden rennen LAMA22 lokal mit Ollamaladen und teilen Sie PDFs mit PyPDF aus LangchainErstellen Sie Einbettungen und speichern Sie sie wie in einem Reminiscence Vector Retailer wie Docarray. Dann richten Sie eine Abrufkette auf Langchain um relevante Teile zu holen und Antworten zu generieren. Unterwegs lernen Sie die Grundlagen der Arbeit mit lokalen Modellen, dem Aufbau von Abrufpipelines und der Prüfung von Outputs lernen. Das Endergebnis ist ein einfacher Q & A-Bot, der PDF-spezifische Fragen wie „Wie kostet der Kurs?“ Beantworten kann? mit genauem Kontext.
# 2. Multimodaler Lappen: Chatten mit PDFs mit Bildern und Tabellen
Hyperlink: https://youtu.be/ulrreyh5cu0?characteristic=shared
Im vorherigen Projekt haben wir nur mit textbasierten Daten gearbeitet. Jetzt ist es Zeit, sich zu verbessern. Multimodaler Lappen erweitert traditionelle Systeme, um Bilder, Tabellen und Textual content in PDFs zu verarbeiten. In diesem Tutorial führt Alejandro AO Sie durch die Verwendung von Instruments wie Langchain und die Unstrukturiert Bibliothek, um gemischte Inhalte zu verarbeiten und in ein multimodales LLM (z. B. GPT-4 mit Imaginative and prescient) zu versetzen. Sie lernen, wie man Textual content, Bilder und Tabellen extrahiert und einbettet, sie zu einer einheitlichen Eingabeaufforderung kombiniert und Antworten generiert, die den Kontext über alle Formate hinweg verstehen. Die Einbettungen werden in einer Vektor -Datenbank und a gespeichert Langchain Die Abrufkette verbindet alles, damit Sie Fragen wie „Erklären Sie das Diagramm auf Seite 5.“ stellen können.
# 3. Erstellen eines Lappen mit Objektbox und Langchain
Hyperlink: https://www.youtube.com/watch?v=9lewl1bus6g
Lassen Sie uns nun vollständig lokal gehen. Dieses Projekt führt Sie durch den Aufbau eines Lappensystems, das vollständig auf Ihrem Gerät (keine Cloud, kein Web) ausgeführt wird. In diesem Tutorial lernen Sie, wie Sie Ihre Daten und Einbettungen vor Ort mit dem leichten, ultraeffizienten Einbett speichern Objektbox Vektordatenbank. Sie werden verwenden Langchain So erstellen Sie die Pipeline von Abrufen und Era, damit Ihr Modell Fragen aus Ihren Dokumenten direkt auf Ihrem Pc beantworten kann. Dies ist perfekt für alle, die sich über Privatsphäre, Datenkontrolle oder nur API -Kosten vermeiden möchten. Am Ende haben Sie ein KI -Q & A -System, das auf Ihrem Gerät lebt und schnell und sicher reagiert.
# 4. Bauen Sie eine Echtzeit-Lappenpipeline mit NEO4J und Langchain
Hyperlink: https://www.youtube.com/watch?v=ik8gnjj-13i
In diesem Projekt wechseln Sie von einfachen Dokumenten zu leistungsstarken Grafiken. In diesem Tutorial werden Sie angezeigt, wie Sie ein Echtzeit-Lappensystem mit einem Information-Graph-Backend erstellen. Sie werden in einem Notizbuch (wie Colab) arbeiten, a einrichten a Neo4j Cloud -Instanz und erstellen Sie Knoten und Kanten, um Ihre Daten darzustellen. Dann verwenden LangchainSie verbinden Ihr Diagramm für Era und Abruf mit einem LLM, wodurch Sie kontextbezogene Beziehungen abfragen und Ergebnisse visualisieren können. Es ist eine großartige Möglichkeit, die Graph -Logik zu lernen, Cypher Abfragen und wie man strukturiertes Diagrammwissen mit intelligenten KI -Antworten zusammenführt. Ich habe auch eine eingehende Anleitung zu diesem Thema geschrieben. Erstellen eines Graph-Lappensystems: Ein Schritt-für-Schritt-Ansatzwo ich aufschlüsse, wie ich ein GraphRAG -Setup von Grund auf neu erstellen kann. Schauen Sie sich das auch an, wenn Sie artikelbasierte Tutorials bevorzugen.
# 5. Implementierung von Agentenlappen mit Lama-Index
Hyperlink: https://youtube.com/playlist?listing=plu7aw4ozeuzxrjadvriasbamaswfala0&characteristic=shared
In den früheren Projekten haben wir uns auf das Abrufen und die Era konzentriert, aber hier ist es das Ziel, Lag „Agentic“ zu machen, indem wir ihm Argumentationsschleifen und -werkzeuge geben, damit es Probleme in mehreren Schritten lösen kann. Diese Wiedergabeliste von Prinz Krampah ist in 4 Stufen unterteilt:
- Router Question Engine: Konfigurieren Lama-Index Fragen an die richtige Quelle wie ein Vektorindex gegenüber einem Zusammenfassungsindex weiterleiten
- Funktionsaufruf: Fügen Sie Instruments wie Taschenrechner oder APIs hinzu, damit Ihr Lappen Dwell -Daten erledigen oder im laufenden Fliegen Aufgaben ausführen kann
- Mehrschritt-Argumentation: Brechen Sie komplexe Abfragen in kleinere Unteraufgaben auf („ZURÜCKSUMEN, dann analysieren“)
- Über mehrere Dokumente: Skalieren Sie Ihre Argumentation in mehreren Dokumenten gleichzeitig, wobei die Agenten Unter-Abbildungen behandeln
Es ist eine praktische Reise, die mit grundlegenden Agenten beginnt und nach und nach leistungsfähigere Funktionen nutzt Lama-Index und Open-Supply-LLMs. Am Ende haben Sie ein Lag-System, das nicht nur Antworten abholt, sondern auch von Problemen Schritt für Schritt durch denkt-auch in mehreren PDFs. Sie können auch auf die Serie zugreifen Medium in Type von Artikeln als einfachere Referenz.
# Einpacken
Und da haben Sie es: 5 Anfänger-freundliche Lappenprojekte, die über die übliche „Vektorsuche über Textual content“ hinausgehen. Mein Rat? Ziehen Sie bei Ihrem ersten Versuch nicht nach Perfektion ab. Wählen Sie ein Projekt aus, folgen Sie mit und lassen Sie sich experimentieren. Je mehr Muster Sie erforschen, desto einfacher ist es, Ideen für Ihre eigenen benutzerdefinierten Lag -Anwendungen zu mischen und anzupassen. Denken Sie daran, dass der eigentliche Spaß beginnt, wenn Sie aufhören, nur „abzurufen“ und „nachzudenken“, wie Ihre KI auf intelligentere Weise argumentieren, sich anpassen und interagieren kann.
Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und technischer Schriftsteller mit einer tiefgreifenden Leidenschaft für die Datenwissenschaft und die Schnittstelle von KI mit Medizin. Sie hat das eBook „Produktivität mit Chatgpt maximieren“. Als Google -Era -Gelehrte 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie wird auch als Teradata -Vielfalt in Tech Scholar, MITACS Globalink Analysis Scholar und Harvard Wecode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter der Veränderung, nachdem er Femcodes gegründet hat, um Frauen in STEM -Bereichen zu stärken.