Versuchen Sie Teekannen für zuverlässige Q & A, Lappen und Information -Extraktion

Textgenerierungsmodelle sind außergewöhnliche Werkzeuge sowohl für Forschungszwecke als auch für Anwendungen. Eine ihrer Stärken sind ihre Fähigkeiten, die aus ihrer Architektur, ihrem Coaching und ihren großen Datensätzen stammen. Diese Funktionen formen die Funktionsweise dieser Modelle.

Das Open-Supply-Modell von Teapotai ist ein gutes Beispiel für ein Modell, das mit seiner Arbeit in Teekannen auffällt. Dies ist a kleines Sprachmodell auf 800 m Parametern aufgebaut. Es ist auch in synthetischen Daten fein abgestimmt, was eine Effizienz in Umgebungen mit niedrigem Ressourcen, einschließlich Smartphones und CPUs, ermöglicht. Es ist ein großartiges Werkzeug für verschiedene Aufgaben. Dieses Modell kann in einem bestimmten Kontext nur Q & A-, Lappen- und Informationsextraktion ausführen.

Lernziele

• Verstehen Sie die Fähigkeiten und einzigartigen Merkmale von Teekannen.
• Erforschen Sie den Modellarchitektur und den Trainingsprozess von Teekannen.
• Erfahren Sie mehr über Wiederholungsgeneration (Lag) und Halluzinationswiderstand in Teekannen.
• Entdecken Sie reale Anwendungen von Teekannen in AI-gesteuerten Aufgaben.
• Sammeln Sie praktische Erfahrungen beim Ausführen von Teekannen für Q & A, RAG und strukturierte Datenextraktion.

Dieser Artikel wurde als Teil der veröffentlicht Knowledge Science Blogathon.

Was ist Teekannen?

Teekannen ist ein hochmoderndes 800-m-Parametermodell mit hoher Genauigkeit. Dieses kleine Sprachmodell wurde entwickelt, um halluzinationsfreie Informationen zu generieren. Es kommt mit seiner umfassenden Python Paket, Teekanne, das hilft, mit dem Modell zu arbeiten.

Dieses Modell baut auf einer Transformer -Architektur auf und führt verschiedene Aufgaben zur Verarbeitung natürlicher Sprache aus. Entwickler haben es mit einem synthetischen Datensatz von LLM-Aufgaben mit Deepseek-V3 aus Flan-T5-Base abgestimmt.

Merkmale von Teekannen LLM

Es gibt mehrere Merkmale dieses Modells, einschließlich der Folgen-

Abrufer Technology

Dieses Modell kann fein abgestimmt werden, um die erweiterte Generierung von Abrufen mithilfe des benutzerdefinierten Einbettungsmodells durchzuführen. Das Modell kann dann lernen, Informationen aus Dokumenten zu extrahieren, um Fragen zu beantworten.

Halluzinationswiderstand

Die Teekanne ist geschult, um Textual content in einem bereitgestellten Kontext zu generieren. Dies hilft, Fragen ohne ausreichende Daten zu vermeiden.

Diese Funktion bedeutet, dass Teapotai über ein Paket verfügt, das eine pydantische Datenextraktionsfunktion für das Modell bietet. Dies ermöglicht es Ihnen, Daten aus Textual content effizient und genau zu erhalten.

Modellarchitektur der Teekanne LLM

Dieses Modell wurde aus feinabstimmenden Flan-T5-Base- und synthetischen Daten erstellt. Seine Prinzipien basieren auf einem Transformatormodell; Die Teekanne AI basiert auch auf der Encoder-Decoder-Architektur.

Teapot LLM ist ein spezielles Sprachmodell, das aus Flan-T5-Massive fein, einer bekannten Anweisungsvariante von T5 (Textual content-to-Textual content-Transfertransformator) fein. Das Basismodell Flan-T5-Massive ist eine Transformator-basierte Architektur, die sich an verschiedenen Aufgaben der natürlichen Sprachverarbeitungsverarbeitungsarbeiten auszeichnet, indem es jedes Downside als Textual content-zu-Textual content-Downside behandelt. Teekanne LLM baut auf dieser Stiftung auf und wird mit einem synthetischen Datensatz weiter verarbeitet Großsprachige Modell (LLM) Aufgaben, die von Deepseek-V3 erzeugt wurden, ein fortschrittliches generatives Modell, das für die Erzeugung hochwertiger synthetischer Textual content bekannt ist.

Die Architektur des Modells verwendet die Decoder-Decoder-Struktur, die bei vielen Transformatormodellen beliebt ist, um die Textgenerierung durchzuführen. Diese beiden Komponenten haben alle ihre jeweiligen Rollen. Der Encoder verarbeitet Eingangssequenzen, während der Decoder für Ausgabesequenzen dasselbe tut.

Während der Verarbeitung verwandelt der Encoder den Eingangstext in eine latente Darstellung. Der Decoder dagegen nimmt diese Darstellungen auf und wandelt sie in aufgabenspezifische Antworten um.

Die Leistung dieses Modells ist mit einem hohen kontextuellen Verständnis verbunden. Und es ist leicht, dies aus seiner Architektur mit bestimmten Standardtransformatorprinzipien wie dem Transformator-Aufmerksamkeitsmechanismus zu beweisen, der Multi-Head-Selbstbekämpfungsschichten, Feed-Ahead-Netzwerke und Schichtnormalisierung enthält.

Wie man Teekannen llm betreibt

Dieses Modell kann für verschiedene Anwendungen verwendet werden, z. B. für Beantwortung von Fragen, das Chatten mit Lappen und das Extrahieren von Informationen. Wir werden die Schritte zum Ausführen dieses Modells für diese Aufgaben untersuchen.

Vorbereitung der Umwelt

! pip set up teapotai

Zunächst installieren Sie das Python -Paket, das für die Ausführung dieser Aufgabe benötigt wird. Dieser Befehl installiert Teekannen mit den Funktionen, die für die Ausführung halluzinationsresistenter Aufgaben erforderlich sind.

Importing Wesentliche Bibliothek

Dieser Schritt erfordert, dass Sie die Teekannenklasse aus der Teekannnahmebibliothek importieren. Wenn Sie dies importieren, hilft dem Modell Aufgaben wie Halluzinationsresistente Q & A, Abruf-Augungs-Technology (RAG) und JSON-Extraktion.

from teapotai import TeapotAI

Kontext

Der Kontext ist ein weiterer wichtiger Schritt bei der Ausführung dieses Modells. Dies hilft dem Modellzugriff auf Informationen, um die angegebene Aufgabe auszuführen.

context = """
The Eiffel Tower is a wrought iron lattice tower in Paris, France. It was designed
by Gustave Eiffel and accomplished in 1889.
It stands at a peak of 330 meters and is likely one of the most recognizable constructions
on this planet.
"""

Dieser Kontext wird normalerweise in einer Multi-Line-Zeichenfolge geliefert, wie oben gezeigt, wobei die Informationen in den dreifachen Zitaten eingewickelt sind.

Modellinitialisierung und Abfrage

 teapot_ai = TeapotAI()

reply = teapot_ai.question(
   question="What's the peak of the Eiffel Tower?",
   context=context
)

Der Code initialisiert Teapotai und verwendet ihn, um Informationen basierend auf dem zuvor genannten Kontext anzufordern. Um die Antwort zu erhalten, drucken wir (Ergebnis) wie unten gezeigt.

print (reply)

Hier ist eine Aufnahme der Antwort basierend auf dem Kontext.

Verwenden Sie dieses Modell als Chat bei der Beantwortung einer Frage mit vielen Dokumenten. Schauen wir uns an, wie wir mit dieser Funktion Teekanne ausführen können.

 from teapotai import TeapotAI

Dieser Code importiert die erforderliche Bibliothek genau wie bei der ersten Aufgabe.

Kontext

Kann hier den Kontext bereitstellen, auf den die RAG -Anwendung Fragen beantworten wird, auf die die Grundlagen beantworten. Dies kann lange Artikel oder ein Dokument sein. Unten ist eine Stichprobe davon unten;

paperwork = (
"The Eiffel Tower is situated in Paris, France. It was in-built 1889 and stands
330 meters tall.",
"The Nice Wall of China is a historic fortification that stretches over 13,000
miles.",
"The Amazon Rainforest is the most important tropical rainforest on this planet, overlaying
over 5.5 million sq. kilometers.",
"The Grand Canyon is a pure landmark situated in Arizona, USA, carved by the
Colorado River.",
"Mount Everest is the tallest mountain on Earth, situated within the Himalayas alongside
the border between Nepal and China.",
"The Colosseum in Rome, Italy, is an historic amphitheater identified for its gladiator
battles.",
"The Sahara Desert is the most important scorching desert on this planet, situated in North
Africa.",
"The Nile River is the longest river on this planet, flowing by means of northeastern
Africa.",
"The Empire State Constructing is an iconic skyscraper in New York Metropolis that was
accomplished in 1931 and stands at 1454 ft tall."
)

Dieser Code definiert eine Liste mit dem Namen „Dokumente“, in der jedes Factor eine Zeichenfolge mit sachlichen Informationen ist.

Initialisierung der Teekanne mit Dokumenten für LAG

Diese Initialisierung stellt sicher, dass Teekannen diese Dokumente zum Abrufen von Abrufen generieren können, die auf der Grundlage der angegebenen Informationen Fragen beantworten, anstatt Antworten aus allgemeinem Wissen zu generieren.

teapot_ai = TeapotAI(paperwork=paperwork)

Die Antwort mit Lappen bekommen

 reply = teapot_ai.chat((
   {
       "position":"system",
       "content material": "You're an agent designed to reply info about well-known landmarks."
   },
   {
       "position":"person",
       "content material": "What landmark was constructed within the 1800s?"
   }
))

Dieser Code verwendet die „Chat“ -Methode von Teapotai, um eine strukturierte Konversation und Antwort zu generieren. Die Eingabe wäre die in der „Rolle“ angegebene Nachricht: „System“ und die „Rolle“: „Benutzer“ Felder. Die Antwort basiert additionally nur auf dem angegebenen Kontext der oben genannten Liste „Dokumente“ oben.

print(reply)

Hier ist die Antwort basierend auf den Dokumenten.

Dieses Modell kann Informationen aus dem Kontext unter Verwendung von JSON -Strukturen extrahieren. Die Extract -Methode verwendet ein pydantisches Modell, um sicherzustellen, dass Teekannen Daten im richtigen Format abrufen. Es kann auf Felder basierend auf ihren Namen schließen und Beschreibungen verwenden, wenn sie bereitgestellt werden. Diese Methode integriert sich nahtlos in RAG- und Abfragefunktionen für die erweiterte Datenextraktion.

Importieren notwendige Bibliotheken

from teapotai import TeapotAI
from pydantic import BaseModel, Subject

Diese Bibliotheken helfen dabei, Datenstrukturen wie das pydantische Modell zu validieren. Das Basemodel und das Feld sind entscheidend für die Durchsetzung der korrekten Datenformate. Zusammen sorgen sie für eine genaue und strukturierte Informationsextraktion aus dem Textual content.

Kontext

Hier geben wir die Beschreibung an, aus der wir Informationen extrahieren möchten: die Particulars einer Wohnung.

 apartment_description = """
This spacious 2-bedroom condo is on the market for lease in downtown New York. The
month-to-month lease is $2500.
It consists of 1 loos and a completely outfitted kitchen with fashionable home equipment. There 
can be a swimming pool on the yard and beside the constructing.
Pets are welcome!
Please attain out to us at 555-123-4567 or (electronic mail protected)
"""

class ApartmentInfo(BaseModel):
   lease: float = Subject(..., description="the month-to-month lease in {dollars}")
   bedrooms: int = Subject(..., description="the variety of bedrooms")
   loos: int = Subject(..., description="the variety of loos")
   phone_number: str

Dieser Code definiert das „Apartmentinfo“ -Modell unter Verwendung von Pydantic, um die strukturierte Datenextraktion sicherzustellen. Die jeweiligen Felder klären jede Beschreibung, damit das Modell extrahierte Informationen validieren und organisieren kann.

Teekanne initialisieren

Dies initialisiert das Teekannenmodell und ermöglicht den Zugriff auf die Funktionen der strukturierten Datenextraktion.

teapot_ai = TeapotAI()

extracted_info = teapot_ai.extract(
   ApartmentInfo,
   context=apartment_description
)
print(extracted_info)

Hier verwenden wir das Teekannen -AI -Modell, um Strukturdaten aus dem „Apartmentinfor“ zu extrahieren und wichtige Particulars wie Miete, Telefonnummer und Anzahl der Zimmer zu identifizieren.

Hier ist das Ergebnis:

Halluzinationsbeständigkeit von Teekannen

Eine wesentliche Technik, die dieses Modell einsetzt, um eine genaue Leistung zu gewährleisten, ist der Halluzinationswiderstand. Dies ermöglicht es dem Modell, eine Antwort nur im Kontext des angegebenen Dokuments oder der angegebenen Informationen zu geben.

Lassen Sie uns ein gutes Beispiel dafür mit der Ausgabe veranschaulichen.

from teapotai import teapotAI
context = """
The Nice Pyramid of Giza, constructed round 2560 BCE, is the oldest of the Seven Wonders of the Historical World and the one one nonetheless standing.
"""

Reale Anwendung von Teekannen

Lassen Sie uns in der heutigen Zeit einige gemeinsame Anwendungsfälle dieses Modells hervorheben.

• AI-betriebene Chatbots und virtuelle Assistenten sind großartige Beispiele für die Anwendung der Funktionen dieses Modells. Sie können Antworten basierend auf einem bestimmten Kontext generieren, damit Benutzer genauere und korrektere Informationen erhalten.
• Dieses Modell kann auch Inhalte für Blogs, Berichte und Marketingdaten generieren, indem lange Dokumente zusammengefasst und wichtige Particulars abgerufen werden.
• Viele Branchen leben von datengesteuerten Systemen. Teekapotllm kann dazu beitragen, Particulars aus Immobiliendokumenten, Finanzen und Rechtssystemen zu extrahieren. Sie können auf Verträge, Rechtsdokumente oder Rohdaten zugreifen.

Abschluss

Dieses leistungsstarke Open-Supply-Modell ist für zuverlässige Q & A, Abrufen-Technology (RAG) und strukturierte Informationsextraktion ausgelegt. Die 800-m-Parametertransformatorarchitektur optimiert sie für Effizienz in Umgebungen mit niedrigem Ressourcen und gleichzeitig eine hohe Genauigkeit.

Die Fähigkeit von Teekannen, Halluzinationen zu widerstehen und strukturierte Outputs bereitzustellen, macht es zu einem wertvollen Instrument in KI-gesteuerten Anwendungen, von Chatbots bis hin zu Dokumentanalysen.

Schlüssel zum Mitnehmen

• Die 800 Millionen Parameter und die Architektur machen es leicht und geeignet für Umgebungen mit niedrigem Ressourcen wie CPUs und Smartphones.
• Die halluzinationsresistente Fähigkeit dieses Modells macht es kontextbewusster und verringert den Rand für ungenaue Antworten.
• Das Modell verwendet Pydantic, um Informationen in vordefinierten Formaten zu extrahieren, sodass es splendid für Anwendungen wie Immobilienlisten, Finanzdokumente und legale Textverarbeitung.

Ressource

Häufig gestellte Fragen

Die in diesem Artikel gezeigten Medien sind nicht im Besitz von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Hallo! Ich bin David Maigari, ein dynamischer Fachmann mit einer Leidenschaft für technisches Schreiben, Webentwicklung und die KI -Welt. David ist auch ein Fanatic von ML/AI -Innovationen. Greifen Sie auf X (Twitter) unter @maigari_david zu mir