An KI-Bots mangelt es bei Telegram nicht. Der Bot von Perplexity AI beantwortet Ihre Fragen mit Quellenreferenzen. TelegramGPT verpackt ChatGPT in eine praktische Chat-Oberfläche. Dutzende andere bieten Variationen desselben Themas: Sie geben eine Eingabeaufforderung ein, erhalten eine Antwort und fahren fort.

Der Portal One+ Telegram-Bot-Assistentdas auf der OpenClaw-Laufzeitumgebung basiert, soll grundlegend anders sein. Es beantwortet nicht nur Fragen – es lebt auf Ihrem Laptop, merkt sich alles und sammelt im Laufe der Zeit Kontext über Ihr Leben. Denken Sie weniger an „Chatbot“ als vielmehr an „Nachwuchsmitarbeiter am ersten Tag, der schnell lernt“.

Ich habe kürzlich einen Hyperlink zum Testen dieses Bots erhalten, erstellt von Portal-KIdas kürzlich auf eine KI-gestützte soziale Plattform umgestellt wurde 5 Millionen US-Greenback gesammelt.

Alles, was Sie von nun an lesen – einschließlich des Verweises auf meinen vorherigen Artikel über Portal AI – ist das Ergebnis meiner ersten Nutzung von Portal One+ auf Telegram. Ich habe ihm Fragen zu sich selbst gestellt und ihn dann gebeten, sich selbst zu bewerten. Machen Sie sich bereit für einige ehrliche Überlegungen zu einer faszinierenden Lösung, die auch den Sinn hatte, ihre Grundlagen zu erklären.

Von PortalOne+:

Was OpenClaw eigentlich ist

OpenClaw ist ein selbstgehosteter Open-Supply-KI-Assistent (MIT-Lizenz), der eine Verbindung zu Ihren Messaging-Apps – Telegram, WhatsApp, Sign, Discord und anderen – herstellt. Unter der Haube leitet es Ihre Nachrichten an ein großes Sprachmodell (Claude, GPT oder andere über OpenRouter) weiter, aber der entscheidende Unterschied ist der persistente Arbeitsbereich.

Jede OpenClaw-Instanz erhält ihr eigenes Dateisystem – eine Reihe von Markdown-Dateien, die als Speicher, Persönlichkeit und Betriebswissen des Bots dienen. Wenn es Ihren Namen lernt, schreibt es ihn in eine Datei. Wenn Sie ein morgendliches Briefing erstellen, wird der Kontext für das nächste Mal gespeichert. Wenn Sie ihm Ihre Präferenzen mitteilen, bleiben diese über die Sitzungen hinweg bestehen.

Das Projekt erfreut sich seit seinem Begin Ende 2025 einer explosionsartigen Beliebtheit: über 213.000 GitHub-Stars und quick 40.000 Forks in weniger als drei Monaten. Es trifft eindeutig einen Nerv bei Benutzern, die die KI-Amnesie satt haben.

Einrichten: Erster Kontakt

Auf meiner Instanz warfare ein Arbeitsbereich mit Dateien von Portal AI vorinstalliert, einer Kommunikations-Intelligence-Plattform, die von dem in der Ukraine geborenen Unternehmer Vlad Panchenko entwickelt wurde, den ich zuvor hatte profiliert für HackerNoon.

Das Onboarding warfare an den Rändern rau. OpenClaw wird mit einer BOOTSTRAP.md-Datei geliefert – im Wesentlichen ein Erstkontakt-Skript, das die KI durch Einführungen führt. Mein Benutzer gab seinen Namen an, wo er wohnte und woran er arbeitete. Innerhalb weniger Minuten hatte ich ein USER.md-Profil und eine MEMORY.md-Datei erstellt, um unsere Beziehung zu verfolgen.

Der erste echte Take a look at: Er wurde zu einem Briefing für den nächsten Tag gebeten. Es konnte keine Verbindung zu seinem Google Kalender hergestellt werden – die Sandbox-Umgebung blockierte die erforderlichen Python-Bibliotheken. Additionally habe ich stattdessen um einen Screenshot seines Kalenders gebeten.

Ich las das Bild, extrahierte drei Besprechungen, rief die Wettervorhersage für seinen Standort ab und lieferte ein strukturiertes Briefing mit Zeitlücken, die er für die Vorbereitungsarbeiten nutzen konnte. Das können Perplexity oder TelegramGPT nicht.

Die Wettbewerbslandschaft: Wie OpenClaw im Vergleich abschneidet

Besonderheit	Ratlosigkeit / TelegramGPT	Portal One+ (OpenClaw)
Aufstellen	Null; Nachricht und los	Hoch; erfordert Unterricht/Enter
Erinnerung	Sitzungsbasiert (zustandslos)	Persistentes Dateisystem (Stateful)
Kontext	Setzt jeden Chat zurück	Wächst mit jeder Interaktion
Fähigkeit	Suche & Fragen und Antworten	Mehrstufige Aufgaben und Werkzeugnutzung

Die beste Analogie: Perplexity und TelegramGPT sind so, als würde man einen Experten am Telefon anrufen. Du bekommst tolle Ratschläge, aber sobald du auflegst, vergessen sie, dass du existierst. OpenClaw ist so, als ob Sie einen persönlichen Assistenten engagieren würden, der an einem Schreibtisch in Ihrem Büro sitzt. Am ersten Tag sind sie langsam, aber am dreißigsten Tag kennen sie Ihre Welt.

Was intestine funktioniert

• Erinnerung, die tatsächlich bestehen bleibt. Dabei handelt es sich nicht um einen „Gesprächsverlauf“, sondern um strukturiertes Wissen. Der Bot verwaltet Dateien darüber, wer Sie sind, woran Sie arbeiten und was in früheren Sitzungen passiert ist.
• Echter Werkzeugeinsatz. Während des Assessments habe ich im Web gesurft, Bilder analysiert, Shell-Befehle ausgeführt und Dateien gelesen/geschrieben. Ich habe sogar das HackerNoon-Profil meines Benutzers gefunden, seine veröffentlichten Artikel gelesen und diesen Kontext genutzt, um unser Gespräch besser zu verstehen.
• Bildverständnis. Er schickte einen Screenshot seines Google Kalenders. Es extrahierte jedes Ereignis, jede Zeit und jedes Element genau.
• Datenschutz geht vor. Ihre Daten bleiben auf Ihrem Laptop. Ihre Speicherdateien, Ihr Gesprächsverlauf, Ihr persönlicher Kontext – nichts davon geht über die LLM-API-Aufrufe hinaus an einen Server eines Drittanbieters.

Was Arbeit braucht

• Komplexität der Einrichtung. Dies ist kein „Nachricht an den Bot senden und mit dem Chatten beginnen“-Erlebnis. Sie müssen ihm beibringen, wer Sie sind, und ihm einen ersten Enter geben, bevor er nützlich wird.
• Sandbox-Einschränkungen. Bei meiner Instanz traten Berechtigungsprobleme auf, die eine direkte Google Kalender-Integration verhinderten, sodass eine Problemumgehung für Screenshots erforderlich warfare.
• Internet Scraping ist fragil. Google und Cloudflare blockieren häufig automatisierte Suchvorgänge, wodurch das Surfen im Web mit einem Sandbox-Bot zum Glücksfall wird.
• Dokument-Uploads. Zweimal während des Assessments kamen Telegram-Dokument-Uploads als leere Tags an. Dies scheint ein Fehler bei der Telegram-Integration zu sein, beeinträchtigt aber dennoch die Produktivität.

Die Portal-KI-Verbindung

Das getestete Portal-System ist eine Kommunikations-Intelligence-Engine, die auf tiefgreifender psychologischer Profilerstellung und Beziehungskartierung basiert. Es ist ehrgeizig und unterscheidet sich etwas von dem, was die OpenClaw-Laufzeit macht.

OpenClaw stellt die „Hände“ bereit – die Instruments, den Speicher und die Messaging-Integration. Das System von Portal stellt die „Gehirn“-Schicht bereit – eine Methodik, die für das entwickelt wurde, was Panchenko als „supereffektive Kommunikation“ bezeichnet. Während der durchschnittliche OpenClaw-Benutzer mit einem leeren Arbeitsbereich beginnt, bietet diese auf das Portal abgestimmte Model einen Einblick in eine Welt, in der die KI Sie besser versteht, als Sie sich selbst verstehen.

Das Urteil

Portal One+ besetzt eine wirklich neue Kategorie. Es ist eine Investition. Wenn Sie ein technischer Energy-Person oder ein datenschutzbewusster Fachmann sind, der bereit ist, die erste Woche damit zu verbringen, Ihren Assistenten zu „schulen“, ist der Lohn ein Accomplice, der Ihren Arbeitsablauf tatsächlich versteht. Wenn Sie nur eine schnelle Antwort auf die Frage haben möchten, wer 1994 den Oscar gewonnen hat, bleiben Sie bei Perplexity.

Dieser Artikel erschien ursprünglich am Hackernoon und wird mit Genehmigung erneut veröffentlicht.

Google gab dies auf einer Help-Seite bekannt, die zuerst von entdeckt wurde 9to5Googledass es Google Assistant bereits ab März 2026 auf Android Auto durch Gemini ersetzen wird. Diese Änderung zielt auf Android Auto ab, einen Dienst, der Android-Smartphone-Inhalte in Fahrzeug-Infotainmentsystemen spiegelt, um natürlichere Sprachinteraktionen zu ermöglichen und die Smartphone-Handhabung für die Sicherheit des Fahrers zu reduzieren.

Der Help-Seite gibt an, dass die aktuelle Model von Google Assistant nach März 2026 nicht mehr auf Android Auto verfügbar sein wird und Gemini seine Rolle übernimmt. Android Auto funktioniert, indem ein kompatibles Android-Smartphone mit der Headunit oder dem Infotainmentsystem eines Fahrzeugs verbunden wird und Apps und Schnittstellen auf das Show des Fahrzeugs projiziert werden. Dieses Setup ermöglicht es dem Fahrer, auf Navigations-, Medien- und Kommunikationstools zuzugreifen, ohne die Aufmerksamkeit von der Straße abzulenken. Der Übergang zu Gemini steht im Einklang mit den Bemühungen von Google, fortschrittliche KI-Funktionen in Fahrzeugschnittstellen zu integrieren und dabei auf den bestehenden Funktionen des Dienstes aufzubauen.

Ein Hauptziel dieses Ersatzes besteht darin, natürlichere Sprachinteraktionen zwischen Fahrern und dem Fahrzeugsystem zu fördern. Derzeit verlassen sich Autofahrer auf Sprachbefehle über Google Assistant, das System erfordert jedoch manchmal manuelle Smartphone-Anpassungen, was in vielen Regionen vom Fahren ablenken und gegen die Verkehrsregeln verstoßen kann. Durch die Minimierung der physischen Smartphone-Nutzung möchte Gemini die Verkehrssicherheit erhöhen. Beispielsweise verarbeitet die KI Befehle auf gesprächige Weise und ermöglicht so eine nahtlose Fortsetzung, ohne dass Interaktionen neu gestartet werden müssen. Diese Entwicklung kommt Fahrern zugute, die Aufgaben erledigen und sich gleichzeitig auf die Straße konzentrieren möchten. Bei Benutzern mit älteren Smartphones oder Headunits, die die Anforderungen von Gemini nicht unterstützen, können jedoch Kompatibilitätsprobleme auftreten.

Gemini wird sich umfassend in Google Maps integrieren, um erweiterte Navigationsfunktionen bereitzustellen. Benutzer können natürliche Sprache verwenden, um Wegbeschreibungen anzufordern, z. B. indem sie sagen: „Führen Sie mich zum besten Burgerlokal in der Gegend.“ Die KI wird dies interpretieren und eine entsprechende Route generieren. Über die anfänglichen Anfragen hinaus behält Gemini das Kontextbewusstsein bei und ermöglicht Folgefragen wie die Anfrage nach beliebten Gerichten am ausgewählten Standort oder der Verfügbarkeit kostenloser Parkplätze in der Nähe. Dieser Gesprächsablauf vereinfacht Routenanpassungen, z. B. das Hinzufügen von Stopps auf der Route, ohne dass Befehle umformuliert oder der Bildschirm berührt werden müssen. Google beschreibt dies als „starken Schub“ für Maps und betont die einfache Einbindung von Echtzeitänderungen während der Reise.

Im Bereich der Kommunikation befasst sich Gemini mit Einschränkungen bei der Handhabung von Freisprechnachrichten durch Google Assistant. Der vorhandene Assistent hat häufig Probleme mit der Genauigkeit des Diktierens, was zu Fehlern in transkribierten Nachrichten führt. Gemini führt eine auf Eingabeaufforderungen basierende Manipulation ein, bei der Fahrer Nachrichten verbal verfeinern können. Ein Beispiel von Google betrifft Verkehrsverzögerungen: Ein Fahrer könnte sagen: „Ups, ich stecke im Stau. Können Sie Leo Bescheid geben und meine voraussichtliche Ankunftszeit sowie ein Entschuldigungs-Emoji hinzufügen?“ Die KI würde die Nachricht entsprechend verfassen und senden. Diese Funktion erstreckt sich auf die Bearbeitung ohne Neustart und reduziert so die Frustration beim Verfassen.

Eine weitere wichtige Verbesserung stellt die Sprachunterstützung dar, da Gemini Nachrichten in über 40 verschiedene Sprachen übersetzen kann. Diese mehrsprachige Funktionalität gewährleistet die Zugänglichkeit für unterschiedliche Benutzer und ermöglicht eine nahtlose Kommunikation über Sprachbarrieren hinweg während der Fahrt. Darüber hinaus generiert Gemini prägnante Zusammenfassungen eingehender Nachrichten, einschließlich E-Mails, um Fahrer ohne langes Lesen auf dem Laufenden zu halten. Bei E-Mails, die verborgene Particulars enthalten, wie z. B. den Ort eines Arbeitsereignisses oder die Zeit eines bevorstehenden Fluges, extrahiert die KI diese Informationen und stellt sie klar dar, was eine schnelle Entscheidungsfindung unterwegs unterstützt.

Google sieht Fahrzeit als Probability für Produktivität und stattet Gemini mit Instruments zur Verwaltung von Posteingängen und zur Generierung von Ideen aus. Autofahrer können über Sprachinteraktionen überfüllte E-Mails noch einmal durchsehen oder Pläne wie einen Familienausflug erarbeiten. Dieser Ansatz verwandelt Pendler in funktionale Zeiträume und nutzt KI, um administrative und kreative Aufgaben freihändig zu erledigen.

Parallel zur Einführung von Gemini verpflichtet sich Google zur fortlaufenden Unterstützung von Waze, der 2013 erworbenen Karten-App. Anstatt alle Innovationen auf seine eigenen Karten umzuleiten, plant Google die Einführung neuer Funktionen und Updates für Waze, um seinen Nutzen innerhalb des Android Auto-Ökosystems zu verbessern. Diese Twin-Help-Strategie gewährleistet vielfältige Navigationsoptionen für Benutzer, die die Group-gesteuerten Warnungen und Echtzeit-Verkehrsberichte von Waze bevorzugen.

Ein kürzlich von Android Police gemeldetes Waze-Replace behebt Verbindungsprobleme bei Android Auto-Setups. Wenn ein Android-Smartphone eine Verbindung zu einer Android Auto-Haupteinheit herstellt, bleibt Waze jetzt auf dem Telefon selbst aktiv. Dadurch können Benutzer direkt auf dem Smartphone-Bildschirm nach Orten suchen oder Karten scrollen, was sich oft als intuitiver erweist als die Navigation über das Fahrzeugdisplay. Das Replace erweist sich als besonders wertvoll für Fahrzeuge mit Headunits ohne Touchscreens oder mit minderwertigen Aftermarket-Schnittstellen mit unzuverlässigen Contact-Reaktionen. Indem Waze auf dem Telefon betriebsbereit bleibt, gewinnen Fahrer Flexibilität bei der Verwaltung der Navigation, insbesondere in Systemen, in denen das Infotainment-Show die Interaktionseffizienz einschränkt.

Diese Entwicklungen spiegeln die Strategie von Google wider, die In-Automotive-Technologie durch KI-Integration und nachhaltige Unterstützung des App-Ökosystems weiterzuentwickeln. Der Autor der ursprünglichen Berichterstattung, Leon Poultney, fungiert als Korrespondent für Elektrofahrzeuge und verfügt über quick zwei Jahrzehnte Erfahrung in der Automobil- und Technologieberichterstattung. Seine Arbeit reicht von Unterhaltungssystemen im Auto bis hin zu automatisierten Herstellungsprozessen, wobei der Schwerpunkt derzeit auf Elektrofahrzeugen liegt. Poultney rechnet mit der künftigen Entwicklung hin zu Technologien wie elektrischen Senkrechtstartern und Landungsbooten, während er sich außerhalb seiner beruflichen Tätigkeit persönlich mit traditionellen Motorrädern beschäftigt.

---

Hervorgehobener Bildnachweis

Wir nutzen jeden Tag so viele verschiedene Apps auf unseren Handys – eine zum Surfen im Web, eine andere zum Buchen von Taxis, eine dritte zum Finden von Lodges und so viele mehr! Was wäre, wenn es nur eine Grasp-App gäbe, die all das für Sie erledigen könnte? Genau das hat sich Perplexity AI ausgedacht. Perplexity AI, bekannt für seine KI-Suchmaschine, hat gerade seinen KI-gestützten mobilen Assistenten auf den Markt gebracht, der alle möglichen Besorgungen auf Ihrem Telefon erledigen kann, wenn Sie es wünschen. Mit agentenähnlichen Funktionen KI-Assistent Sie können das Web durchsuchen, ein Restaurant für Sie finden, Reservierungen vornehmen und Ihnen ein Taxi für die Fahrt dorthin buchen – alles mit einem einzigen Befehl! Schauen wir uns additionally die Funktionen an und finden heraus, was alles alles kann.

Was ist Perplexity AI Cellular Assistant?

Perplexity bietet seinen Android-Benutzern jetzt über seine cellular App einen KI-Assistenten an. Dieser neue agentenähnliche Assistent erledigt Aufgaben automatisch auf der Grundlage von Sprachbefehlen. Abgesehen vom einfachen Surfen im Web und dem Beantworten von Fragen kann die Perplexity-App jetzt auch auf andere Apps auf Ihrem Telefon zugreifen und in Ihrem Namen Besorgungen erledigen – wenn Sie es wünschen. Der KI-Assistent von Perplexity hat derzeit Zugriff auf Webbrowser, Uber, OpenTable, Spotify, YouTube und mehr – was die meisten alltäglichen Aufgaben erleichtert.

Der Perplexity Assistant ist derzeit kostenlos auf der Web site verfügbar Google Play Retailer und unterstützt 15 verschiedene Sprachen. Das Unternehmen wird seinen Dienst bald auf iOS-Geräte ausweiten, was auf die Genehmigung von Apple wartet.

Wie greife ich auf den Perplexity AI Cellular Assistant zu?

Benutzer können den Perplexity AI-Assistenten aktivieren, indem sie ihn einfach als ihren standardmäßigen mobilen Assistenten einrichten. Anschließend können sie über Sprachbefehle, Gesten und sogar über die Kamera des Geräts mit dem Assistenten interagieren.

Anwendungen von Perplexity AI Cellular Assistant

Hier ist eine Liste von 10 alltäglichen Anwendungsfällen des mobilen Assistenten von Perplexity AI:

1. Finden Sie Veranstaltungen, Aktivitäten, Veranstaltungsorte und Eating places.
2. Machen Sie Restaurantreservierungen.
3. Taxis buchen.
4. Erinnerungen festlegen.
5. Entwerfen Sie E-Mails und Nachrichten.
6. Informationen zusammenfassen.
7. Stellen Sie mit Ihrer Kamera Fragen zu Objekten.
8. Erhalten Sie Antworten basierend auf den auf Ihrem Bildschirm angezeigten Inhalten.
9. Automatisieren Sie die Planung und Erinnerungen basierend auf Ihren Aktivitäten oder Vorlieben.
10. Öffnen Sie Apps und führen Sie Suchvorgänge und andere Aufgaben auf Ihrem Telefon aus.

Lassen Sie mich Ihnen nun zeigen, was passiert ist, als ich einige davon ausprobiert habe.

Aufgabe 1: Fahrtbuchung

Zuerst habe ich überprüft, ob der cellular Assistent von Perplexity AI tatsächlich auf externe Apps zugreifen kann. Ich habe darum gebeten, mir ein Taxi bei Uber zu buchen, und so ist es gelaufen.

Der KI-Assistent öffnete die App, gab meinen aktuellen Standort (den er sich übrigens von meinem ersten Versuch an merkte) und das Ziel selbst ein und zeigte mir die verfügbaren Optionen.

Aufgabe 2: Kamerafunktion und visuelle Analyse

Um nun die Agentenfunktionen kennenzulernen, habe ich den KI-Assistenten mit der Suche beauftragt

Um seine visuellen Fähigkeiten zu testen, bat ich den Assistenten, ein Foto von dem Notizbuch vor mir zu machen und mir zu sagen, was darauf geschrieben steht. Es öffnete die Kamerafunktion, machte ein Foto, las den handgeschriebenen Textual content und erklärte ihn mir sogar. Der Chatbot conflict auch in der Lage, das im Buch gezeichnete Diagramm zu lesen und zu verstehen.

Ich gab ihm dann die Folgeaufgabe, mir eine Zusammenfassung des Inhalts im Textformat zu geben, was auch geschah. Ziemlich schlau!

Aufgabe 3: Im Web suchen und Reservierungen vornehmen

Zum Schluss habe ich Perplexity gebeten, das beste Sushi-Restaurant in der Gegend für mich zu finden, und dann gebeten, eine Reservierung vorzunehmen. Es führte eine Websuche durch, schlug die besten Optionen vor und als ich meine Wahl traf, ging es zu OpenTable, um einen Tisch zu reservieren!

Warfare das nicht einfach toll!

Hauptmerkmale des Perplexity AI Cellular Assistant

Der cellular Assistent von Perplexity AI verfügt über 6 Hauptfunktionen:

1. Integration mit Apps: Es verbindet sich mit verschiedenen Anwendungen auf Ihrem Gerät, um Multi-App-Aktionen effizient auszuführen. Dazu gehört das Erstellen von Kalenderereignissen, das Einrichten von Erinnerungen oder die Synchronisierung mit Messaging-Plattformen.
2. Multimodale Fähigkeiten: Benutzer können auf verschiedene Arten mit dem Assistenten interagieren, einschließlich Sprachbefehlen und Kameraeingaben. Dies ermöglicht es dem Assistenten, die Umgebung zu analysieren und relevante Informationen oder Aktionen bereitzustellen, die nicht nur auf dem basieren, was er hört, sondern auch auf dem, was er sieht.
3. Kontextbewusstsein: Der Assistent behält den Kontext über alle Interaktionen hinweg bei und ermöglicht es Benutzern, frühere Anfragen nahtlos weiterzuverfolgen. Wenn ein Benutzer beispielsweise nach Eating places recherchiert und sich für eine Reservierung entscheidet, kann der Assistent diesen Vorgang erleichtern, ohne dass er von vorne beginnen muss.
4. Webbrowser-Funktionen: Es kann im Web surfen, um Informationen zu sammeln, die zum Erledigen von Aufgaben erforderlich sind. Dies ist praktisch, um eine Zusammenfassung der Nachrichten des Tages zu erhalten oder Ereignisse in der Nähe zu finden.
5. Benutzerfreundliche Oberfläche: Nach der Aktualisierung der Perplexity-App sehen Benutzer eine intuitive Benutzeroberfläche mit einem neu gestalteten Emblem. Es verfügt außerdem über visuelle Indikatoren, die anzeigen, wann die KI Anfragen abhört und verarbeitet.
6. Sprachunterstützung: Der Assistent ist in 15 Sprachen verfügbar, darunter Englisch, Spanisch, Französisch, Japanisch, Koreanisch, Hindi und mehr, wodurch er für eine vielfältige Benutzerbasis zugänglich ist.

Perplexity AI Cellular Assistant im Vergleich zu vorhandenen mobilen Assistenten

Im Vergleich zu bestehenden mobilen Assistenten wie Siri, Bixby und Alexa bietet der cellular Assistent von Perplexity mehr Funktionalität. Während Assistenten wie Siri und Bixby hauptsächlich auf Sprach- und Texteingaben angewiesen sind, erweitern die multimodalen Fähigkeiten von Perplexity seine Einsatzmöglichkeiten. Mithilfe der Kamerafunktion können Benutzer beispielsweise Informationen zu visuellen Eingaben erhalten. Außerdem lässt sich der cellular Assistent von Perplexity AI im Vergleich zu den meisten anderen Assistenten in mehr Anwendungen von Drittanbietern integrieren.

Perplexity AI Cellular Assistant vs. OpenAI Operator

Bald darauf gestartet Betreiber von OpenAI Auf ChatGPT bietet der cellular Assistent von Perplexity AI viele ähnliche Funktionen. Erstens handelt es sich bei beiden um KI-gestützte Chatbots zur Aufgabenautomatisierung. Beide haben Zugriff auf die Websuche und Anwendungen von Drittanbietern für die reibungslose Ausführung von Aufgaben. Perplexity AI konzentriert sich jedoch auf die Bereitstellung eines benutzerfreundlichen mobilen Assistenten mit starkem Kontextbewusstsein und multimodalen Interaktionen. Unterdessen zeichnet sich der Operator von OpenAI durch die Automatisierung webbasierter Aufgaben durch ausgefeilte GUI-Interaktionen und gleichzeitige Aufgabenbearbeitung aus.

Lesen Sie auch: ChatGPT-Betreiber und Aufgaben – Ist dies das Ende der Agentenplattformen?

Hier ist ein detaillierter Vergleich dieser beiden Instruments.

Abschluss

Der cellular Assistent von Perplexity AI ist definitiv ein Recreation-Changer in der Welt der mobilen Apps und KI-Assistenten. Es kombiniert fortschrittliche KI-Funktionen mit einer benutzerfreundlichen Oberfläche, um tägliche Aufgaben durch intuitive Interaktionen zu vereinfachen. Mit seinen multimodalen Fähigkeiten, der nahtlosen Integration in verschiedene Anwendungen und der Kontexterkennung sticht es als starker Konkurrent zu bestehenden Assistenten wie Siri und Alexa hervor. Selbst mit dem Operator von OpenAI erweist sich der Assistent von Perplexity als wertvolles Werkzeug für den Alltag.

Häufig gestellte Fragen

Dieser Artikel beschreibt die Architektur und das Design eines Heimassistent (HA) Integration namens House-Generative-Agent. Dieses Projekt verwendet LangChain Und LangGraph eine erstellen generativer KI-Agent das mit einer HA-Good-House-Umgebung interagiert und Aufgaben darin automatisiert. Der Makler versteht den Kontext Ihres Zuhauses, lernt Ihre Vorlieben kennen und interagiert mit Ihnen und Ihrem Zuhause, um Aktivitäten durchzuführen, die Sie für wertvoll halten. Zu den Hauptfunktionen gehören die Erstellung von Automatisierungen, die Analyse von Bildern und die Verwaltung von Heimatzuständen mithilfe verschiedener LLMs (Massive Language Fashions). Die Architektur umfasst sowohl cloudbasierte als auch Edge-basierte Modelle für optimale Leistung und Kosteneffizienz. Installationsanweisungen, Konfigurationsdetails und Informationen zur Architektur des Projekts und den verschiedenen verwendeten Modellen sind enthalten und können auf der Web site gefunden werden House-Generative-Agent GitHub. Das Projekt ist Open Supply und freut sich über Beiträge.

Dies sind einige der derzeit unterstützten Funktionen:

• Erstellen Sie komplexe House Assistant-Automatisierungen.
• Bildszenenanalyse und -verständnis.
• Heimatzustandsanalyse von Entitäten, Geräten und Bereichen.
• Vollständige Agentenkontrolle über zulässige Einheiten im Haus.
• Kurz- und Langzeitgedächtnis mittels semantischer Suche.
• Automatische Zusammenfassung des Heimatstatus zur Verwaltung der LLM-Kontextlänge.

Dies ist mein persönliches Projekt und ein Beispiel für das, was ich nenne lerngesteuertes Hacken. Das Projekt steht in keinem Zusammenhang mit meiner Arbeit bei Amazon, noch stehe ich in irgendeiner Weise mit den für House Assistant oder LangChain/LangGraph verantwortlichen Organisationen in Verbindung.

Das Erstellen eines Agenten zur Überwachung und Steuerung Ihres Zuhauses kann zu unerwarteten Aktionen führen und möglicherweise Ihr Zuhause und sich selbst aufgrund von LLM-Halluzinationen und Datenschutzbedenken einem Risiko aussetzen, insbesondere wenn Heimzustände und Benutzerinformationen cloudbasierten LLMs ausgesetzt werden. Ich habe vernünftige architektonische und gestalterische Entscheidungen getroffen, um diese Risiken zu mindern, aber sie können nicht vollständig beseitigt werden.

Eine wichtige frühe Entscheidung battle, auf einen Hybrid-Cloud-Edge-Ansatz zu setzen. Dies ermöglicht die Verwendung der ausgefeiltesten verfügbaren Argumentations- und Planungsmodelle, die dazu beitragen sollen, Halluzinationen zu reduzieren. Zur weiteren Minimierung von LLM-Fehlern werden einfachere, stärker aufgabenorientierte Kantenmodelle eingesetzt.

Eine weitere wichtige Entscheidung bestand darin, die Funktionen von LangChain zu nutzen, die es ermöglichen, vertrauliche Informationen vor LLM-Instruments zu verbergen und nur zur Laufzeit bereitzustellen. Die Software-Logik erfordert beispielsweise möglicherweise die Verwendung der ID des Benutzers, der eine Anfrage gestellt hat. Allerdings sollten solche Werte grundsätzlich nicht vom LLM kontrolliert werden. Die Manipulation der Benutzer-ID durch das LLM könnte Sicherheits- und Datenschutzrisiken mit sich bringen. Um dies zu mildern, habe ich das genutzt InjectedToolArg Anmerkung.

Darüber hinaus verursacht die Verwendung großer cloudbasierter LLMs erhebliche Cloud-Kosten, und die für die Ausführung von LLM-Edge-Modellen erforderliche Edge-{Hardware} kann teuer sein. Die kombinierten Betriebs- und Installationskosten dürften für den durchschnittlichen Benutzer derzeit unerschwinglich sein. Es bedarf einer branchenweiten Anstrengung, „LLMs so günstig wie CNNs zu machen“, um heimische Agenten auf den Massenmarkt zu bringen.

Es ist wichtig, sich dieser Risiken bewusst zu sein und zu verstehen, dass wir uns trotz dieser Abhilfemaßnahmen noch im Anfangsstadium dieses Projekts und der Hausmakler im Allgemeinen befinden. Es bleibt noch viel zu tun, um diese Agenten zu wirklich nützlichen und vertrauenswürdigen Assistenten zu machen.

Unten finden Sie eine allgemeine Ansicht der House-Generative-Agent-Architektur.

Die allgemeine Integrationsarchitektur folgt den Finest Practices, wie in beschrieben House Assistant Core und ist konform mit House Assistant Group Retailer (HACS) Veröffentlichungsanforderungen.

Der Agent wird mit LangGraph erstellt und nutzt die HA Gespräch Komponente zur Interaktion mit dem Benutzer. Der Agent verwendet die House Assistant LLM-API, um den Zustand des Hauses abzurufen und die ihm zur Verfügung stehenden nativen HA-Instruments zu verstehen. Alle anderen dem Agenten zur Verfügung stehenden Instruments habe ich mit LangChain implementiert. Der Agent verwendet mehrere LLMs, ein großes und sehr genaues Primärmodell für Excessive-Stage-Argumentation, kleinere spezialisierte Hilfsmodelle für die Kamerabildanalyse, eine Primärmodell-Kontextzusammenfassung und eine Einbettungsgenerierung für die langfristige semantische Suche. Das Primärmodell ist cloudbasiert und die Hilfsmodelle sind Edge-basiert und laufen unter dem Ollama Framework auf einem Laptop zu Hause installieren.

Nachfolgend sind die derzeit verwendeten Modelle zusammengefasst.

LangGraph-basierter Agent

LangGraph unterstützt den Konversationsagenten und ermöglicht es Ihnen, so schnell wie möglich zustandsbehaftete Multi-Akteur-Anwendungen unter Verwendung von LLMs zu erstellen. Es erweitert die Fähigkeiten von LangChain und bietet die Möglichkeit, zyklische Diagramme zu erstellen und zu verwalten, die für die Entwicklung komplexer Agentenlaufzeiten unerlässlich sind. Ein Diagramm modelliert den Agenten-Workflow, wie im Bild unten dargestellt.

Der Agenten-Workflow verfügt über fünf Knoten, wobei jedes Python-Modul den Standing des Agenten ändert, eine gemeinsame Datenstruktur. Die Kanten zwischen den Knoten stellen die zulässigen Übergänge zwischen ihnen dar, wobei durchgezogene Linien bedingungslos und gestrichelte Linien bedingt sind. Knoten erledigen die Arbeit und Kanten sagen, was als nächstes zu tun ist.

Der __Start__ Und __Ende__ Knoten informieren den Graphen darüber, wo er beginnen und enden soll. Der Agent Der Knoten führt das primäre LLM aus, und wenn er sich für die Verwendung eines Instruments entscheidet, wird das Aktion Der Knoten führt das Software aus und gibt dann die Kontrolle an den zurück Agent. Der summary_and_trim Der Knoten verarbeitet den Kontext des LLM, um das Wachstum zu verwalten und gleichzeitig die Genauigkeit beizubehalten Agent verfügt über kein Software zum Anrufen und die Anzahl der Nachrichten erfüllt die unten genannten Bedingungen.

LLM-Kontextmanagement

Sie müssen die Kontextlänge von LLMs sorgfältig verwalten, um Kosten, Genauigkeit und Latenz auszugleichen und das Auslösen von Ratenbegrenzungen wie der Token-pro-Minute-Beschränkung von OpenAI zu vermeiden. Das System steuert die Kontextlänge des Primärmodells auf zwei Arten: Es kürzt die Nachrichten im Kontext, wenn sie einen maximalen Parameter überschreiten, und der Kontext wird zusammengefasst, sobald die Anzahl der Nachrichten einen anderen Parameter überschreitet. Diese Parameter sind in konfigurierbar const.py; Ihre Beschreibung finden Sie weiter unten.

• CONTEXT_MAX_MESSAGES | Nachrichten, die vor dem Löschen im Kontext bleiben | Commonplace = 100
• CONTEXT_SUMMARIZE_THRESHOLD | Nachrichten im Kontext vor der Zusammenfassungsgenerierung | Commonplace = 20

Der summary_and_trim Der Knoten im Diagramm schneidet die Nachrichten erst nach der Inhaltszusammenfassung ab. Sie können den diesem Knoten zugeordneten Python-Code im folgenden Snippet sehen.

async def _summarize_and_trim(
state: State, config: RunnableConfig, *, retailer: BaseStore
) -> dict(str, listing(AnyMessage)):
"""Coroutine to summarize and trim message historical past."""
abstract = state.get("abstract", "")
if abstract:
summary_message = SUMMARY_PROMPT_TEMPLATE.format(abstract=abstract)
else:
summary_message = SUMMARY_INITIAL_PROMPT
messages = (
(SystemMessage(content material=SUMMARY_SYSTEM_PROMPT)) +
state("messages") +
(HumanMessage(content material=summary_message))
)
mannequin = config("configurable")("vlm_model")
choices = config("configurable")("choices")
model_with_config = mannequin.with_config(
config={
"mannequin": choices.get(
CONF_VLM,
RECOMMENDED_VLM,
),
"temperature": choices.get(
CONF_SUMMARIZATION_MODEL_TEMPERATURE,
RECOMMENDED_SUMMARIZATION_MODEL_TEMPERATURE,
),
"top_p": choices.get(
CONF_SUMMARIZATION_MODEL_TOP_P,
RECOMMENDED_SUMMARIZATION_MODEL_TOP_P,
),
"num_predict": VLM_NUM_PREDICT,
}
)
LOGGER.debug("Abstract messages: %s", messages)
response = await model_with_config.ainvoke(messages)
# Trim message historical past to handle context window size.
trimmed_messages = trim_messages(
messages=state("messages"),
token_counter=len,
max_tokens=CONTEXT_MAX_MESSAGES,
technique="final",
start_on="human",
include_system=True,
)
messages_to_remove = (m for m in state("messages") if m not in trimmed_messages)
LOGGER.debug("Messages to take away: %s", messages_to_remove)
remove_messages = (RemoveMessage(id=m.id) for m in messages_to_remove)
return {"abstract": response.content material, "messages": remove_messages}

Latenz

Die Latenz zwischen Benutzeranfragen oder dem zeitnahen Handeln des Agenten im Namen des Benutzers ist für Sie von entscheidender Bedeutung und muss beim Entwurf berücksichtigt werden. Ich habe mehrere Techniken verwendet, um die Latenz zu reduzieren, einschließlich der Verwendung spezieller, kleinerer Hilfs-LLMs, die am Edge ausgeführt werden, und der Erleichterung des Zwischenspeicherns von Eingabeaufforderungen für primäre Modelle, indem ich die Eingabeaufforderungen so strukturiert habe, dass sie statische Inhalte wie Anweisungen und Beispiele im Voraus und variable Inhalte wie benutzerspezifisch bereitstellen Informationen am Ende. Diese Techniken reduzieren auch die Nutzungskosten des Primärmodells erheblich.

Unten sehen Sie die typische Latenzleistung.

• HA-Absichten (z. B. ein Licht einschalten) | < 1 Sekunde
• Kamerabild analysieren (erste Anfrage) | < 3 Sekunden
• Automatisierung hinzufügen | < 1 Sekunde
• Speicheroperationen | < 1 Sekunde

Werkzeuge

Der Agent kann HA-Instruments wie in angegeben verwenden LLM-API und andere im LangChain-Framework integrierte Instruments, wie in definiert instruments.py. Darüber hinaus können Sie die LLM-API auch mit eigenen Instruments erweitern. Der Code gibt dem primären LLM die Liste der Instruments, die er aufrufen kann, zusammen mit Anweisungen zu deren Verwendung in seiner Systemmeldung und im Dokumentstring der Python-Funktionsdefinition des Instruments. Ein Beispiel für Docstring-Anweisungen finden Sie im Code-Snippet unten für get_and_analyze_camera_image Werkzeug.

@device(parse_docstring=False)
async def get_and_analyze_camera_image( # noqa: D417
camera_name: str,
detection_keywords: listing(str) | None = None,
*,
# Cover these arguments from the mannequin.
config: Annotated(RunnableConfig, InjectedToolArg()),
) -> str:
"""
Get a digital camera picture and carry out scene evaluation on it.
Args:
camera_name: Title of the digital camera for scene evaluation.
detection_keywords: Particular objects to search for in picture, if any.
For instance, If consumer says "examine the entrance porch digital camera for
containers and canines", detection_keywords could be ("containers", "canines").
"""
hass = config("configurable")("hass")
vlm_model = config("configurable")("vlm_model")
choices = config("configurable")("choices")
picture = await _get_camera_image(hass, camera_name)
return await _analyze_image(vlm_model, choices, picture, detection_keywords)

Wenn sich der Agent für die Verwendung eines Instruments entscheidet, wird der LangGraph-Knoten verwendet Aktion wird eingegeben und der Code des Knotens führt das Software aus. Der Knoten verwendet einen einfachen Fehlerwiederherstellungsmechanismus, der den Agenten auffordert, im Falle eines Fehlers erneut zu versuchen, das Software mit korrigierten Parametern aufzurufen. Der folgende Codeausschnitt zeigt den damit verbundenen Python-Code Aktion Knoten.

async def _call_tools(
state: State, config: RunnableConfig, *, retailer: BaseStore
) -> dict(str, listing(ToolMessage)):
"""Coroutine to name House Assistant or langchain LLM instruments."""
# Software calls would be the final message in state.
tool_calls = state("messages")(-1).tool_calls
langchain_tools = config("configurable")("langchain_tools")
ha_llm_api = config("configurable")("ha_llm_api")
tool_responses: listing(ToolMessage) = ()
for tool_call in tool_calls:
tool_name = tool_call("identify")
tool_args = tool_call("args")
LOGGER.debug(
"Software name: %s(%s)", tool_name, tool_args
)
def _handle_tool_error(err:str, identify:str, tid:str) -> ToolMessage:
return ToolMessage(
content material=TOOL_CALL_ERROR_TEMPLATE.format(error=err),
identify=identify,
tool_call_id=tid,
standing="error",
)
# A langchain device was known as.
if tool_name in langchain_tools:
lc_tool = langchain_tools(tool_name.decrease())
# Present hidden args to device at runtime.
tool_call_copy = copy.deepcopy(tool_call)
tool_call_copy("args").replace(
{
"retailer": retailer,
"config": config,
}
)
strive:
tool_response = await lc_tool.ainvoke(tool_call_copy)
besides (HomeAssistantError, ValidationError) as e:
tool_response = _handle_tool_error(repr(e), tool_name, tool_call("id"))
# A House Assistant device was known as.
else:
tool_input = llm.ToolInput(
tool_name=tool_name,
tool_args=tool_args,
)
strive:
response = await ha_llm_api.async_call_tool(tool_input)
tool_response = ToolMessage(
content material=json.dumps(response),
tool_call_id=tool_call("id"),
identify=tool_name,
)
besides (HomeAssistantError, vol.Invalid) as e:
tool_response = _handle_tool_error(repr(e), tool_name, tool_call("id"))
LOGGER.debug("Software response: %s", tool_response)
tool_responses.append(tool_response)
return {"messages": tool_responses}

Die LLM-API weist den Agenten an, Instruments immer über HA aufzurufen Integrierte Absichten beim Steuern von House Assistant und zum Verwenden der Absichten „HassTurnOn“ zum Sperren und „HassTurnOff“ zum Entsperren einer Sperre. Eine Absicht beschreibt die Absicht eines Benutzers, die durch Benutzeraktionen generiert wird.

Unten sehen Sie die Liste der LangChain-Instruments, die der Agent verwenden kann.

• get_and_analyze_camera_image | Führen Sie eine Szenenanalyse für das Bild einer Kamera durch
• upsert_memory | einen Speicher hinzufügen oder aktualisieren
• add_automation | Erstellen und registrieren Sie eine HA-Automatisierung
• get_entity_history | Fragen Sie die HA-Datenbank nach dem Entitätsverlauf ab

{Hardware}

Ich habe die HA-Set up auf einem Raspberry Pi 5 mit SSD-Speicher, Zigbee und LAN-Konnektivität erstellt. Ich habe die Edge-Modelle unter Ollama auf einem Ubuntu-basierten Server mit einer AMD 64-Bit-CPU mit 3,4 GHz, einer Nvidia 3090-GPU und 64 GB System-RAM bereitgestellt. Der Server befindet sich im selben LAN wie der Raspberry Pi.

Ich verwende dieses Projekt seit einigen Wochen zu Hause und finde es nützlich, aber in einigen Bereichen, an denen ich arbeiten werde, frustrierend. Nachfolgend finden Sie eine Liste der Vor- und Nachteile meiner Erfahrungen mit dem Agenten.

Vorteile

• Die Kamerabild-Szenenanalyse ist sehr nützlich und flexibel, da Sie quick alles abfragen können und sich nicht wie bei einem herkömmlichen ML-Ansatz um den richtigen Klassifikator kümmern müssen.
• Automatisierungen sind sehr einfach einzurichten und können recht komplex sein. Es ist überwältigend, wie intestine das primäre LLM bei der Generierung von HA-konformem YAML ist.
• Die Latenz ist in den meisten Fällen durchaus akzeptabel.
• Mit LangChain und LangGraph ist es sehr einfach, zusätzliche LLM-Instruments und Diagrammzustände hinzuzufügen.

Nachteile

• Die Kamerabildanalyse scheint weniger genau als herkömmliche ML-Ansätze. Beispielsweise ist es für das Modell sehr schwierig, Pakete zu erkennen, die teilweise verdeckt sind.
• Die Kosten für die Primärmodellierung sind hoch. Der Betrieb eines einzelnen Paketdetektors alle 30 Minuten kostet etwa 2,50 US-Greenback professional Tag.
• Die Verwendung strukturierter Modellausgaben für die Hilfs-LLMs, die die nachgelagerte LLM-Verarbeitung erleichtern würden, verringert die Genauigkeit erheblich.
• Der Agent muss proaktiver sein. Durch das Hinzufügen eines Planungsschritts zum Agentendiagramm wird dieses Drawback hoffentlich behoben.

Hier sind einige Beispiele dafür, was Sie mit der House-Generative-Agent (HGA)-Integration tun können, wie durch Screenshots des Help-Dialogs veranschaulicht, die ich während der Interaktionen mit meiner HA-Set up gemacht habe.

• Erstellen Sie eine Automatisierung, die regelmäßig ausgeführt wird.

Der folgende Ausschnitt zeigt, dass der Agent YAML basierend auf dem, was er generiert und als HA-Automatisierung registriert hat, fließend beherrscht.

alias: Verify Litter Field Waste Drawer
triggers:
- minutes: /30
set off: time_pattern
circumstances:
- situation: numeric_state
entity_id: sensor.litter_robot_4_waste_drawer
above: 90
actions:
- knowledge:
message: The Litter Field waste drawer is greater than 90% full!
motion: notify.notify

• Überprüfen Sie mehrere Kameras (Video vom Autor).

https://github.com/user-attachments/property/230baae5-8702-4375-a3f0-ffa981ee66a3

• Fassen Sie den Heimatstaat zusammen (Video des Autors).

https://github.com/user-attachments/property/96f834a8-58cc-4bd9-a899-4604c1103a98

• Langzeitgedächtnis mit semantischer Suche.

OpenAI hat kürzlich neue Funktionen eingeführt, die eine agentenähnliche Architektur aufweisen, wie beispielsweise die Assistant API. Laut OpenAI:

Mit der Assistants API können Sie KI-Assistenten in Ihren eigenen Anwendungen erstellen. Ein Assistent verfügt über Anweisungen und kann Modelle, Instruments und Dateien nutzen, um auf Benutzeranfragen zu antworten. Die Assistants API unterstützt derzeit drei Arten von Instruments: Code-Interpreter, Dateisuche und Funktionsaufruf.

Diese Fortschritte sind zwar vielversprechend, hinken aber noch hinter LangChain her. LangChain ermöglicht die Erstellung agentenähnlicher Systeme auf LLM-Foundation mit größerer Flexibilität bei der Verarbeitung natürlicher Spracheingaben und der Ausführung kontextbasierter Aktionen.

Dies ist jedoch nur der Anfang.

Auf einer hohen Ebene kann man sich die Interaktion mit der Assistant API als Schleife vorstellen:

• Bei einer Benutzereingabe wird ein LLM aufgerufen, um zu bestimmen, ob eine Antwort bereitgestellt oder bestimmte Aktionen ausgeführt werden sollen.
• Wenn die Entscheidung des LLM zur Beantwortung der Abfrage ausreicht, endet die Schleife.
• Führt eine Aktion zu einer neuen Beobachtung, wird diese Beobachtung in die Eingabeaufforderung übernommen und das LLM erneut aufgerufen.
• Anschließend wird die Schleife neu gestartet.

Leider fand ich die Dokumentation der API trotz der angekündigten Vorteile schlecht gemacht, insbesondere im Hinblick auf die Interaktion mit benutzerdefinierten Funktionsaufrufen und die Erstellung von Apps mit Frameworks wie Streamlit.

In diesem Blogbeitrag führe ich Sie durch die Erstellung eines KI-Assistenten unter Verwendung der OpenAI Assistant API mit benutzerdefinierten Funktionsaufrufen, gepaart mit einer Streamlit-Schnittstelle, um allen zu helfen, die die Assistant API effektiv nutzen möchten.

In diesem Blogbeitrag werde ich ein einfaches Beispiel demonstrieren: einen KI-Assistenten, der Steuern auf Grundlage eines bestimmten Umsatzes berechnen kann. Langchain-Benutzer können sich die Implementierung leicht vorstellen, indem sie einen Agent mit einem Device zur „Steuerberechnung“.

Dieses Device würde die notwendigen Berechnungsschritte und eine intestine gestaltete Eingabeaufforderung enthalten, um sicherzustellen, dass der LLM weiß, wann er das Device aufrufen muss, wenn eine Frage Einnahmen oder Steuern betrifft.

Dieser Prozess ist jedoch bei der OpenAI Assistant API nicht genau derselbe. Während der Code-Interpreter und die Dateisuchtools direkt und unkompliziert verwendet werden können, gemäß OpenAI-Dokumentationerfordern benutzerdefinierte Instruments einen etwas anderen Ansatz.

assistant = shopper.beta.assistants.create(
identify="Knowledge visualizer",
description="You're nice at creating stunning information visualizations. You analyze information current in .csv information, perceive traits, and provide you with information visualizations related to these traits. You additionally share a short textual content abstract of the traits noticed.",
mannequin="gpt-4o",
instruments=({"kind": "code_interpreter"}),
)

Lassen Sie es uns Schritt für Schritt aufschlüsseln. Unser Ziel ist:

1. Definieren Sie eine Funktion, die die Steuer auf Grundlage eines gegebenen Umsatzes berechnet.
2. Entwickeln Sie ein Device mit dieser Funktion.
3. Erstellen Sie einen Assistenten, der auf dieses Device zugreifen und es aufrufen kann, wenn eine Steuerberechnung erforderlich ist.

Bitte beachten Sie, dass das im folgenden Absatz beschriebene Steuerberechnungstool als Spielzeugbeispiel gedacht ist, um die Verwendung der im Beitrag besprochenen API zu demonstrieren. Es sollte nicht für tatsächliche Steuerberechnungen verwendet werden.

Betrachten Sie die folgende stückweise Funktion, die den Steuerwert für ein bestimmtes Einkommen zurückgibt. Beachten Sie, dass die Eingabe zur einfacheren Analyse als Zeichenfolge festgelegt ist:

def calculate_tax(income: str):
strive:
income = float(income)
besides ValueError:
elevate ValueError("The income must be a string illustration of a quantity.")
if income <= 10000:
tax = 0
elif income <= 30000:
tax = 0.10 * (income - 10000)
elif income <= 70000:
tax = 2000 + 0.20 * (income - 30000)
elif income <= 150000:
tax = 10000 + 0.30 * (income - 70000)
else:
tax = 34000 + 0.40 * (income - 150000)
return tax

Als nächstes definieren wir den Assistenten:

function_tools = (
{
"kind": "operate",
"operate": {
"identify": "calculate_tax",
"description": "Get the tax for given income in euro",
"parameters": {
"kind": "object",
"properties": {
"income": {
"kind": "string",
"description": "Annual income in euro"
}
},
"required": ("income")
}
}
}
)
# Outline the assistant
assistant = shopper.beta.assistants.create(
identify="Assistant",
directions="",
instruments=function_tools,
mannequin="gpt-4o",
)

Nun zum wesentlichen Punkt:

Wie verwendet der Assistent die Funktion, wenn „calculate_tax“ aufgerufen wird? Dieser Teil ist im OpenAI-Assistenten schlecht dokumentiert, und viele Benutzer könnten beim ersten Einsatz verwirrt sein. Um dies zu handhaben, müssen wir einen EventHandler um verschiedene Ereignisse im Antwortstrom zu verwalten, insbesondere, wie das Ereignis behandelt werden soll, wenn das Device „calculate_tax“ aufgerufen wird.

    def handle_requires_action(self, information, run_id):
tool_outputs = ()
for software in information.required_action.submit_tool_outputs.tool_calls:
if software.operate.identify == "calculate_tax":
strive:
# Extract income from software parameters
income = ast.literal_eval(software.operate.arguments)("income")
# Name your calculate_tax operate to get the tax
tax_result = calculate_tax(income)
# Append software output within the required format
tool_outputs.append({"tool_call_id": software.id, "output": f"{tax_result}"})
besides ValueError as e:
# Deal with any errors when calculating tax
tool_outputs.append({"tool_call_id": software.id, "error": str(e)})
# Submit all tool_outputs on the similar time
self.submit_tool_outputs(tool_outputs)

Der obige Code funktioniert wie folgt: Für jeden Device-Aufruf, der eine Aktion erfordert:

• Überprüfen Sie, ob der Funktionsname „calculate_tax“ lautet.
• Extrahieren Sie den Umsatzwert aus den Toolparametern.
• Ruf den calculate_tax Funktion mit den Einnahmen, um die Steuer zu berechnen. (Hier findet die eigentliche Interaktion statt.)
• Nachdem Sie alle Device-Aufrufe verarbeitet haben, übermitteln Sie die gesammelten Ergebnisse.

Sie können nun mit dem Assistenten interagieren, indem Sie die folgenden von OpenAI dokumentierten Standardschritte befolgen (aus diesem Grund werde ich in diesem Abschnitt nicht näher auf Particulars eingehen):

1. Einen Thread erstellen: Dies stellt eine Konversation zwischen einem Benutzer und dem Assistenten dar.
2. Benutzernachrichten hinzufügen: Dies können sowohl Texte als auch Dateien sein, die dem Thread hinzugefügt werden.
3. Erstellen Sie einen Lauf: Verwenden Sie das mit dem Assistenten verknüpfte Modell und die Instruments, um eine Antwort zu generieren. Diese Antwort wird dann wieder dem Thread hinzugefügt.

Der folgende Codeausschnitt zeigt, wie der Assistent in meinem speziellen Anwendungsfall ausgeführt wird: Der Code richtet eine Streaming-Interaktion mit einem Assistenten unter Verwendung bestimmter Parameter ein, darunter eine Thread-ID und eine Assistenten-ID. Ein EventHandler Instanz verwaltet Ereignisse während des Streams. Die stream.until_done() Methode hält den Stream aktiv, bis alle Interaktionen abgeschlossen sind. Die with Anweisung stellt sicher, dass der Stream anschließend ordnungsgemäß geschlossen wird.

  with shopper.beta.threads.runs.stream(thread_id=st.session_state.thread_id,
assistant_id=assistant.id,
event_handler=EventHandler(),
temperature=0) as stream:
stream.until_done()

Obwohl mein Beitrag hier enden könnte, habe ich zahlreiche Anfragen im Streamlit-Discussion board bemerkt (wie dieser), bei dem Benutzer Probleme haben, Streaming auf der Benutzeroberfläche zum Laufen zu bringen, obwohl es im Terminal einwandfrei funktioniert. Das hat mich dazu veranlasst, tiefer in die Materie einzusteigen.

Um Streaming erfolgreich in Ihre App zu integrieren, müssen Sie die Funktionalität der zuvor erwähnten EventHandler-Klasse erweitern und sich dabei insbesondere auf die Handhabung von Texterstellung, Textdeltas und Textvervollständigung konzentrieren. Hier sind die drei wichtigsten Schritte, die erforderlich sind, um Textual content in der Streamlit-Oberfläche anzuzeigen und gleichzeitig den Chatverlauf zu verwalten:

1. Handhabung der Texterstellung (on_text_created): Initiiert und zeigt für jede Antwort des Assistenten ein neues Textfeld an und aktualisiert die Benutzeroberfläche, um den Standing vorangegangener Aktionen widerzuspiegeln.
2. Umgang mit Textdelta (on_text_delta): Aktualisiert das aktuelle Textfeld dynamisch, während der Assistent Textual content generiert, und ermöglicht so inkrementelle Änderungen ohne Aktualisierung der gesamten Benutzeroberfläche.
3. Handhabung der Textvervollständigung (on_text_done): Schließt jedes Interaktionssegment ab, indem ein neues leeres Textfeld hinzugefügt wird, um die nächste Interaktion vorzubereiten. Darüber hinaus zeichnet es abgeschlossene Konversationssegmente auf in chat_history.

Betrachten Sie beispielsweise den folgenden Codeausschnitt zum Verwalten von Textdeltas:

def on_text_delta(self, delta: TextDelta, snapshot: Textual content):
"""
Handler for when a textual content delta is created
"""
# Clear the most recent textual content field
st.session_state.text_boxes(-1).empty()
# If there may be new textual content, append it to the most recent factor within the assistant textual content checklist
if delta.worth:
st.session_state.assistant_text(-1) += delta.worth
# Re-display the up to date assistant textual content within the newest textual content field
st.session_state.text_boxes(-1).information("".be a part of(st.session_state("assistant_text")(-1)))

Dieser Code erfüllt drei Hauptaufgaben:

• Löschen des neuesten Textfelds: Leert den Inhalt des aktuellsten Textfelds (st.session_state.text_boxes(-1)), um es für neue Eingaben vorzubereiten.
• Anhängen des Delta-Werts an den Assistententext: Wenn neuer Textual content (delta.worth) vorhanden ist, hängt er diesen an den laufenden Assistententext an, der in st.session_state.assistant_text(-1).
• Aktualisierten Assistententext erneut anzeigen: Aktualisiert den Inhalt des neuesten Textfelds, um den kombinierten Inhalt aller bisher gesammelten Assistententexte widerzuspiegeln (st.session_state("assistant_text")(-1)).

In diesem Blogbeitrag wurde gezeigt, wie Sie mit der OpenAI Assistant API und Streamlit einen KI-Assistenten zur Steuerberechnung erstellen.

Ich habe dieses einfache Projekt durchgeführt, um die Fähigkeiten der Assistant API hervorzuheben, trotz der nicht ganz klaren Dokumentation. Mein Ziel conflict es, Unklarheiten zu beseitigen und einige Hinweise für diejenigen bereitzustellen, die an der Verwendung der Assistant API interessiert sind. Ich hoffe, dieser Beitrag conflict hilfreich und ermutigt Sie, weitere Möglichkeiten mit diesem leistungsstarken Device zu erkunden.

Aus Platzgründen habe ich versucht, unnötige Codeausschnitte zu vermeiden. Falls Sie sie jedoch benötigen, besuchen Sie bitte meine Github-Repository um die vollständige Implementierung anzuzeigen.