Ich habe AISuite von AndrewNg ausprobiert und es ist großartig!

Andrew Ng wurde kürzlich veröffentlicht AISuiteein Open-Supply-Python-Paket, das die Verwendung großer Sprachmodelle (LLMs) über mehrere Anbieter hinweg optimieren soll. Dieses progressive Instrument vereinfacht die Komplexität der Arbeit mit verschiedenen LLMs, indem es einen nahtlosen Wechsel zwischen Modellen mit einer einfachen Zeichenfolge „supplier:mannequin“ ermöglicht. Durch die deutliche Reduzierung des Integrationsaufwands AISuite erhöht die Flexibilität und beschleunigt die Anwendungsentwicklung, was es zu einer unschätzbar wertvollen Ressource für Entwickler macht, die sich in der dynamischen KI-Landschaft zurechtfinden. In diesem Artikel werden wir sehen, wie effektiv es ist.

Was ist AISuite?

AISuite ist ein Open-Supply-Projekt unter der Leitung von Andrew Ng, das darauf ausgelegt ist, die Arbeit mit mehreren zu erleichtern großes Sprachmodell (LLM) Anbieter einfacher und effizienter zu machen. Verfügbar am GitHubEs bietet eine einfache, einheitliche Schnittstelle, die einen nahtlosen Wechsel zwischen LLMs mithilfe von HTTP-Endpunkten oder SDKs ermöglicht und dabei der Schnittstelle von OpenAI folgt. Dieses Instrument ist supreme für Studenten, Lehrkräfte und Entwickler und bietet konsistente und problemlose Interaktionen zwischen verschiedenen Anbietern.

Unterstützt durch ein Crew von Open-Supply-Mitarbeitern schließt AISuite die Lücke zwischen verschiedenen LLM-Frameworks. Es ermöglicht Benutzern die einfache Integration und den Vergleich von Modellen von Anbietern wie OpenAI, Anthropic und Meta’s Llama. Das Instrument vereinfacht Aufgaben wie das Generieren von Texten, das Durchführen von Analysen und den Aufbau interaktiver Systeme. Mit Funktionen wie einer optimierten API-Schlüsselverwaltung, anpassbaren Shopper-Konfigurationen und einer intuitiven Einrichtung unterstützt AISuite sowohl einfache Anwendungen als auch komplexe LLM-basierte Projekte.

Implementierung von AISuite

1. Installieren Sie die erforderlichen Bibliotheken

!pip set up openai
!pip set up aisuite(all)

• !pip openai installieren: Installiert die OpenAI-Python-Bibliothek, die für die Interaktion mit den GPT-Modellen von OpenAI erforderlich ist.
• !pip set up aisuite(all): Installiert AISuite zusammen mit optionalen Abhängigkeiten, die zur Unterstützung mehrerer LLM-Anbieter erforderlich sind.

2. Legen Sie API-Schlüssel für die Authentifizierung fest

os.environ('OPENAI_API_KEY') = getpass('Enter your OPENAI API key: ')
os.environ('ANTHROPIC_API_KEY') = getpass('Enter your ANTHROPIC API key: ')

• os.environ: Legt Umgebungsvariablen fest, um die für den Zugriff auf LLM-Dienste erforderlichen API-Schlüssel sicher zu speichern.
• getpass(): Fordert den Benutzer auf, seine OpenAI- und Anthropic-API-Schlüssel sicher einzugeben (ohne die Eingabe anzuzeigen).
• Diese Schlüssel authentifizieren Ihre Anfragen gegenüber den jeweiligen Plattformen.

Lesen Sie auch: Wie erstelle ich meinen eigenen OpenAI-API-Schlüssel und füge Credit hinzu?

3. Initialisieren Sie den AISuite-Shopper

consumer = ai.Shopper()

Dies initialisiert eine Instanz von AISuite Shopper, der eine standardisierte Interaktion mit mehreren LLMs ermöglicht.

4. Definieren Sie die Eingabeaufforderung (Nachrichten)

messages = (
   {"position": "system", "content material": "Speak utilizing Pirate English."},
   {"position": "person", "content material": "Inform a joke in 1 line."}
)

• Die Nachrichtenliste definiert eine Konversationseingabe:
  • Rolle: „System“: Stellt dem Modell Anweisungen zur Verfügung (z. B. „Mit Piraten-Englisch sprechen“).
  • Rolle: „Benutzer“: Stellt die Anfrage des Benutzers dar (z. B. „Erzähl einen Witz in einer Zeile“).
• Diese Eingabeaufforderung stellt sicher, dass die Antworten einem Piratenthema folgen und einen einzeiligen Witz enthalten.

5. Fragen Sie das OpenAI-Modell ab

response = consumer.chat.completions.create(mannequin="openai:gpt-4o", messages=messages, temperature=0.75)
print(response.selections(0).message.content material)

• mannequin=“openai:gpt-4o“: Gibt das OpenAI GPT-4o-Modell an.
• Nachrichten=Nachrichten: Sendet die zuvor definierte Eingabeaufforderung an das Modell.
• Temperatur=0,75: Steuert die Zufälligkeit der Antwort. Eine höhere Temperatur führt zu kreativeren Ergebnissen, während niedrigere Werte deterministischere Reaktionen hervorrufen.
• Antwort.selections(0).message.content material: Extrahiert den Textinhalt der Antwort des Modells.

6. Fragen Sie das Anthropische Modell ab

response = consumer.chat.completions.create(mannequin="anthropic:claude-3-5-sonnet-20241022", messages=messages, temperature=0.75)
print(response.selections(0).message.content material)

• mannequin=“anthropic:claude-3-5-sonnet-20241022“: Gibt das Anthropic Claude-3-5-Modell an.
• Die übrigen Parameter sind identisch mit der OpenAI-Abfrage. Dies zeigt, wie AISuite durch Ändern der Modellparameter einen einfachen Wechsel zwischen Anbietern ermöglicht.

7. Fragen Sie das Ollama-Modell ab

response = consumer.chat.completions.create(mannequin="ollama:llama3.1:8b", messages=messages, temperature=0.75)
print(response.selections(0).message.content material)

• mannequin=“ollama:llama3.1:8b“: Gibt das Ollama Llama3.1-Modell an.
• Auch hier sind die Parameter und die Logik konsistent und zeigen, wie AISuite eine einheitliche Schnittstelle für alle Anbieter bietet.

Ausgabe

Why did the pirate go to high school? To enhance his "arrrrrrr-ticulation"!
Arrr, why do not pirates take a bathe earlier than they stroll the plank? As a result of
they're going to simply wash up on shore later! 🏴‍☠️
Why did the scurvy canine's parrot go to the physician? As a result of it had a fowl
mood, savvy?

Erstellen Sie einen Chat-Abschluss

!pip set up openai
!pip set up aisuite(all)
os.environ('OPENAI_API_KEY') = getpass('Enter your OPENAI API key: ')
from getpass import getpass
import aisuite as ai
consumer = ai.Shopper()
supplier = "openai"
model_id = "gpt-4o"
messages = (
   {"position": "system", "content material": "You're a useful assistant."},
   {"position": "person", "content material": "Give me a tabular comparability of RAG and AGENTIC RAG"},
)
response = consumer.chat.completions.create(
   mannequin=f"{supplier}:{model_id}",
   messages=messages,
)
print(response.selections(0).message.content material)

Ausgabe

Actually! Beneath is a tabular comparability of Retrieval-Augmented Technology
(RAG) and Agentic RAG.
| Characteristic                | RAG                                             |
Agentic RAG                                        |
|------------------------|-------------------------------------------------|-
---------------------------------------------------|
| Definition             | A framework that mixes retrieval from exterior
paperwork with technology. | An extension of RAG that includes actions
based mostly on exterior interactions and dynamic decision-making. |
| Parts             | - Retrieval System (e.g., a search engine or
doc database) <br> - Generator (e.g., a language mannequin) | - Retrieval
System <br> - Generator <br> - Agentic Layer (action-taking and interplay
controller) |
| Performance          | Retrieves related paperwork and generates
responses based mostly on prompted inputs mixed with the retrieved data.
| Provides the potential to take actions based mostly on interactions, corresponding to
interacting with APIs, controlling units, or dynamically gathering extra
data. |
| Use Instances              | - Information-based query answering <br> -
Content material summarization <br> - Open-domain dialogue techniques | - Autonomous
brokers <br> - Interactive techniques <br> - Resolution-making purposes <br> -
Techniques requiring context-based actions |
| Interplay            | Restricted to the enter retrieval and output
technology cycle. | Can work together with exterior techniques or interfaces to
collect knowledge, execute duties, and alter the surroundings based mostly on goal
features. |
| Complexity             | Typically easier because it combines retrieval with
technology with out taking actions past producing textual content. | Extra complicated due
to its skill to work together with and modify the state of exterior
environments. |
| Instance of Software | Answering complicated questions by retrieving elements of
paperwork and synthesizing them into coherent solutions. | Implementing a
digital assistant able to performing duties like scheduling appointments
by accessing calendars, or a chatbot that manages customer support queries
by means of actions. |
| Flexibility            | Restricted to the out there retrieval corpus and
technology mannequin capabilities. | Extra versatile as a result of action-oriented
interactions that may adapt to dynamic environments and situations. |
| Resolution-Making Skill| Restricted decision-making based mostly on static retrieval
and technology. | Enhanced decision-making by means of dynamic interplay and
adaptive habits. |
This comparability outlines the foundational variations and capabilities
between conventional RAG techniques and the extra superior, interaction-capable
Agentic RAG frameworks.

Jedes Modell verwendet einen anderen Anbieter

1. Bibliotheken installieren und importieren

!pip set up aisuite(all)
from pprint import pprint as pp

• Installiert die aisuite-Bibliothek mit allen optionalen Abhängigkeiten.
• Importiert eine Fairly-Printing-Funktion (pprint), um die Ausgabe für eine bessere Lesbarkeit zu formatieren. Eine benutzerdefinierte pprint-Funktion ist definiert, um eine benutzerdefinierte Breite zu ermöglichen.

2. API-Schlüssel einrichten

import os
from getpass import getpass
os.environ('GROQ_API_KEY') = getpass('Enter your GROQ API key: ')

Fordert den Benutzer auf, seine Daten einzugeben GROQ-API-Schlüsseldie in der Umgebungsvariablen GROQ_API_KEY gespeichert ist.

3. Initialisieren des AI-Shoppers

import aisuite as ai
consumer = ai.Shopper()

Initialisiert einen KI-Shopper mithilfe der aisuite-Bibliothek, um mit verschiedenen Modellen zu interagieren.

4. Chat-Abschlüsse

messages = (
    {"position": "system", "content material": "You're a useful agent, who solutions with brevity."},
    {"position": "person", "content material": 'Hello'},
)
response = consumer.chat.completions.create(mannequin="groq:llama-3.2-3b-preview", messages=messages)
print(response.selections(0).message.content material)

Ausgabe

How can I help you?

• Definiert einen Chat mit zwei Nachrichten:
  • A Systemmeldung das den Ton oder das Verhalten der KI vorgibt (prägnante Antworten).
  • A Benutzernachricht als Eingabe.
• Sendet die Nachrichten an das KI-Modell groq:llama-3.2-3b-preview und gibt die Antwort des Modells aus.

5. Funktion zum Senden von Abfragen

def ask(message, sys_message="You're a useful agent.",
         mannequin="groq:llama-3.2-3b-preview"):
    consumer = ai.Shopper()
    messages = (
        {"position": "system", "content material": sys_message},
        {"position": "person", "content material": message}
    )
    response = consumer.chat.completions.create(mannequin=mannequin, messages=messages)
    return response.selections(0).message.content material
ask("Hello. what's capital of Japan?")

Ausgabe

'Hey. The capital of Japan is Tokyo.'

• ask ist eine wiederverwendbare Funktion zum Senden von Abfragen an das Modell.
• Akzeptiert:
  • Nachricht: Die Anfrage des Benutzers.
  • sys_message: Optionale Systemanweisung.
  • Modell: Gibt das KI-Modell an.
• Sendet die Eingabe und gibt die Antwort der KI zurück.

6. Verwendung mehrerer APIs

os.environ('OPENAI_API_KEY') = getpass('Enter your OPENAI API key: ')
os.environ('ANTHROPIC_API_KEY') = getpass('Enter your ANTHROPIC API key: ')

print(ask("Who's your creator?"))
print(ask('Who's your creator?', mannequin="anthropic:claude-3-5-sonnet-20240620"))
print(ask('Who's your creator?', mannequin="openai:gpt-4o"))

Ausgabe

I used to be created by Meta AI, a number one synthetic intelligence analysis
group. My information was developed from a big corpus of textual content, which
I take advantage of to generate human-like responses to person queries.
I used to be created by Anthropic.
I used to be developed by OpenAI, a corporation that focuses on synthetic
intelligence analysis and deployment.

• Fordert den Benutzer dazu auf OpenAI Und Anthropisch API-Schlüssel.
• Sendet eine Anfrage („Wer ist Ihr Ersteller?“) an verschiedene Modelle:
  • groq:Lama-3.2-3b-Vorschau
  • anthropisch:claude-3-5-sonett-20240620
  • openai:gpt-4o
• Druckt die Antwort jedes Modells und zeigt, wie verschiedene Systeme dieselbe Abfrage interpretieren.

7. Abfragen mehrerer Modelle

fashions = (
    'llama-3.1-8b-instant',
    'llama-3.2-1b-preview',
    'llama-3.2-3b-preview',
    'llama3-70b-8192',
    'llama3-8b-8192'
)
ret = ()
for x in fashions:
    ret.append(ask('Write a brief one sentence clarification of the origins of AI?', mannequin=f'groq:{x}'))

• Es wird eine Liste verschiedener Modellkennungen (Modelle) definiert.
• Durchläuft jedes Modell und fragt es ab mit:
  • Schreiben Sie eine kurze Erklärung in einem Satz über die Ursprünge der KI?
• Speichert Antworten in der Liste ret.

8. Modellantworten anzeigen

for idx, x in enumerate(ret):
    pprint(fashions(idx) + ': n ' + x + ' ')

• Durchläuft die gespeicherten Antworten.
• Formatiert und druckt den Namen des Modells zusammen mit seiner Antwort und erleichtert so den Vergleich der Ausgaben.

Ausgabe

('llama-3.1-8b-instant: n'
 ' The origins of Synthetic Intelligence (AI) date again to the 1956 Dartmouth '
 'Summer time Analysis Mission on Synthetic Intelligence, the place a gaggle of '
 'laptop scientists, led by John McCarthy, Marvin Minsky, Nathaniel '
 'Rochester, and Claude Shannon, coined the time period and laid the inspiration for '
 'the event of AI as a definite area of examine. ')
('llama-3.2-1b-preview: n'
 ' The origins of Synthetic Intelligence (AI) date again to the mid-Twentieth '
 'century, when the primary laptop applications, which mimicked human-like '
 'intelligence by means of algorithms and rule-based techniques, have been developed by '
 'famend mathematicians and laptop scientists, together with Alan Turing, '
 'Marvin Minsky, and John McCarthy within the Nineteen Fifties. ')
('llama-3.2-3b-preview: n'
 ' The origins of Synthetic Intelligence (AI) date again to the Nineteen Fifties, with '
 'the Dartmouth Summer time Analysis Mission on Synthetic Intelligence, led by '
 'laptop scientists John McCarthy, Marvin Minsky, and Nathaniel Rochester, '
 'marking the beginning of AI as a proper area of analysis. ')
('llama3-70b-8192: n'
 ' The origins of Synthetic Intelligence (AI) will be traced again to the Nineteen Fifties '
 'when laptop scientist Alan Turing proposed the Turing Take a look at, a way for '
 'figuring out whether or not a machine might exhibit clever habits equal '
 'to, or indistinguishable from, that of a human. ')
('llama3-8b-8192: n'
 ' The origins of Synthetic Intelligence (AI) will be traced again to the '
 'Nineteen Fifties, when laptop scientists DARPA funded the event of the primary AI '
 'applications, such because the Logical Theorist, which aimed to simulate human '
 'problem-solving talents and study from expertise. ')

Modelle geben unterschiedliche Antworten auf die Frage nach den Ursprüngen der KI und spiegeln ihre Trainings- und Argumentationsfähigkeiten wider. Zum Beispiel:

• Einige Modelle verweisen auf die Dartmouth Summer time Analysis Mission zu KI.
• Andere erwähnen Alan Turing oder früh DARPA-finanzierte KI-Programme.

Hauptmerkmale und Imbissbuden

• Modularität: Das Skript verwendet wiederverwendbare Funktionen (ask), um die Abfrage effizient und anpassbar zu gestalten.
• Multi-Modell-Interaktion: Zeigt die Fähigkeit zur Interaktion mit verschiedenen KI-Systemen, darunter GROQ, OpenAI und Anthropic.
• Vergleichende Analyse: Erleichtert den Vergleich der Antworten verschiedener Modelle, um Einblicke in deren Stärken und Voreingenommenheiten zu erhalten.
• Echtzeiteingaben: Unterstützt die dynamische Eingabe von API-Schlüsseln und gewährleistet so eine sichere Integration.

Dieses Skript ist ein hervorragender Ausgangspunkt für die Erkundung verschiedener KI-Modellfunktionen und das Verständnis ihres einzigartigen Verhaltens.

Abschluss

AISuite ist ein unverzichtbares Werkzeug für jeden, der sich in der Welt großer Sprachmodelle zurechtfindet. Es ermöglicht Benutzern, das Beste mehrerer KI-Anbieter zu nutzen und gleichzeitig die Entwicklung zu vereinfachen und Innovationen zu fördern. Sein Open-Supply-Charakter und sein durchdachtes Design unterstreichen sein Potenzial als Eckpfeiler der modernen KI-Anwendungsentwicklung.

Es beschleunigt die Entwicklung und erhöht die Flexibilität, indem es einen nahtlosen Wechsel zwischen Modellen wie OpenAI, Anthropic und Meta mit minimalem Integrationsaufwand ermöglicht. AISuite ist supreme für einfache und komplexe Anwendungen und unterstützt modulare Arbeitsabläufe, API-Schlüsselverwaltung und Echtzeitvergleiche mehrerer Modelle. Seine Benutzerfreundlichkeit, Skalierbarkeit und die Fähigkeit, anbieterübergreifende Interaktionen zu optimieren, machen es zu einer unschätzbar wertvollen Ressource für Entwickler, Forscher und Lehrkräfte und ermöglichen die effiziente und progressive Nutzung verschiedener LLMs in einer sich entwickelnden KI-Landschaft.

Wenn Sie on-line nach einem Kurs für generative KI suchen, dann erkunden Sie: GenAI Pinnacle-Programm

Häufig gestellte Fragen

Hallo, ich bin Pankaj Singh Negi – Senior Content material Editor | Leidenschaft für das Geschichtenerzählen und die Erstellung überzeugender Erzählungen, die Ideen in wirkungsvolle Inhalte verwandeln. Ich liebe es, über Technologie zu lesen, die unseren Lebensstil revolutioniert.