Es gibt keine Modalität, die von AI nicht behandelt wird. Und KI -Systeme erreichen noch weiter, planen Werbung und Marketingkampagnen, Automatisierung von Social -Media -Postings. Das meiste davon warfare vor nur zehn Jahren undenkbar.

Aber dann haben die ersten maschinell lernbasierten Algorithmen ihre ersten Schritte gemacht: aus den Forschungslabors, in erste Produkte. Sie begannen, Inhalte auf YouTube- und Social -Media -Web sites zu kuratieren. Sie begannen, Filme zu Netflix und Songs auf Spotify zu empfehlen. Die Ranglisten -Suchergebnisse. Sie spielten strategische Spiele mit Menschen. Der allgemeine Aufstieg der AI-fähigen Dinge warfare spektakulär.

KI am Arbeitsplatz

Und der Arbeitsplatz ist nicht dagegen immun. Als Scholar untersuchte ich, wie Hyperplane, Zentroide und Backpropagationsregeln konstruiert werden sollen, und für die meisten meiner Studien wurde KI hauptsächlich als akademische Forschungsrichtung angesehen. Seit ich in den Arbeitsmarkt eingetreten bin, hat sich dies sehr verändert. Arbeitgeber und Arbeitnehmer erkannten das Potenzial von KI für die Arbeit. An den meisten (digitalen) Arbeitsplätzen wird KI schnell zu einem unsichtbaren Kollegen.

Viele dedizierte KI-Instruments haben bereits den Sprung auf unsere Desktops gemacht: Programmierer verwenden AI-unterstützte Codierungs-Instruments, Datenanalysten bereiten Pipelines aus einzelnen Beispieldateien über AI vor, und Designer ziehen mit AI-generierten Visuals schneller ein. Diese Werkzeuge erleichtern unbestreitbar die Arbeit. Aber sie werfen auch eine tiefere Frage auf:

Was ist die eigene Arbeit?

Was ist wirklich meine eigene Arbeit? Muss ich noch mit meinem Code interagieren, wirklich im Element?

Je mehr wir unsere Workflows veröffentlichen, desto weniger müssen wir uns mit unserem Arbeitsmaterial beschäftigen. Es könnte sich herausstellen, dass wir nicht mehr brauchen Experten zu werden, ein tiefes Wissen über ein ziemlich enges Thema zu besitzen, sondern eher flache Surfer, hier und da einen Ai-Glimpse nehmen.

Mit anderen Worten, wir werden zu bloßen Managern, wie die Arbeit von KI erledigt wird. Beachten Sie, dass es kein „unser“ vor arbeiten.

Kann das erfüllt sein? Brauchen wir in unserer Arbeit kein Gefühl der Tiefe?

Ich erinnere mich intestine an eine Zeit, in der ich mehrere gleichzeitige Projekte behandeln musste. Zu dieser Zeit, die vor der KI in den Büros eintrat, wechselte ich oft zwischen drei verschiedenen und meist nicht verwandten Projekten professional Tag. Zusammen mit semi-dringenden Unterbrechungen kann man sich vorstellen, dass es nicht viel Zeit gab, längere Zeit für ein einzelnes Thema zu verbringen. Bevor ich tief genug in ein Thema eingehen konnte, um den tatsächlichen Fortschritt zu erzielen, musste ich bereits wechseln.

Heutzutage fungieren KI -Systeme häufig als Stellvertreter, was uns daran hindert, sich überhaupt mit einem Projekt zu beschäftigen. Auch wenn wir vielleicht nur an einem einzigen Projekt arbeiten, sind wir den Weg nach vorne auffordern – was zu der Frage führt:

Wenn wir AI verwenden, um unsere Arbeit zu erledigen, was ist dann unsere Arbeit?

Ist unsere Arbeit einfach mehr Arbeit? KI wird oft gefeiert, als dass wir mehr tun können, was impliziert, dass wir angesichts der gleichen Arbeitszeiten noch weniger mit dem Materials in Kontakt treten müssen.

Dies impliziert, dass wir per Definition nicht tiefgreifende Erfahrungen in einem Thema sammeln können.

Außerdem impliziert dies, dass wir im Prinzip jeden Job machen könnten, der mit unseren Fähigkeiten verwandt ist.

Was schließlich bedeutet, dass jemand anderes unseren Job machen kann.

Wir sind somit austauschbar, sobald die KI -Automatisierungsskalen skaliert werden.

Wie können wir das verhindern?

Verwenden Sie die KI absichtlich: Denken Sie zuerst nach, um später zu fordern

Meiner Meinung nach ist der einzige Weg*: Verwenden Sie KI absichtlich selektiv. Lagern Sie Ihr Denken nicht aus. Lassen Sie sich nicht von Ihrer Fähigkeit, tief und kritisch durch unbewusste Nichtverwendungen zu denken, zugänglich zu denken.

Es ist völlig in Ordnung – oft sogar clever -, KI -Instruments für die wirklich langweiligen Aufgaben zu verwenden, die eine anständig qualifizierte Individual ausführen könnte. Für Programmierer gehören sicher (im Sinne, uns dümmer zu dumber) sicher: Zusammenfassung von Codebasen, Erstellen von ReadMe -Dokumenten, Generieren von Kesselplatten oder Laden und Reinigen von Daten.

Wenn die vorliegende Aufgabe jedoch menschliches Urteilsvermögen, Interpretationen oder spezifische Designentscheidungen und Kompromisse erfordert, sollten Sie der Versuchung widerstehen, sie abzugeben. Dies sind genau die Momente, in denen Sie das Fachwissen aufbauen, das Sie unersetzlich hält.

Um dies konkreter zu gestalten, können Sie diese einfache Heuristik verwenden, wenn Sie sich für die Verwendung von AI -Unterstützung entscheiden:

1. Aufgabe, die niedrige, sich wiederholte, intestine definierte → AI-Hilfe sind.
   Beispiele sind: Formatierungscode, Teststubs generieren, SQL -Abfragen schreiben.
2. Aufgabe, die hohe Stake, mehrdeutig oder ein menschliches Urteilsvermögen erfordern → Machen Sie es selbst. Beispiele sind: Entwerfen von Systemarchitektur, Interpretation von Experimentergebnissen, ethischen Entscheidungen.

Diese Faustregel hält das „langweilige“ Zeug automatisiert und schützt gleichzeitig die Arbeit, die Ihr Fachwissen tatsächlich aufbaut. Um die Heuristiken in die tägliche Praxis zu integrieren, sollten Sie vor einer Aufgabe absichtlich innehalten. Fragen Sie sich: Möchte ich das tief verstehen oder einfach erledigen?

Dann, wenn das Ziel Verständnis → manuell starten. Codieren Sie den ersten Entwurf, debuggen Sie sich selbst, skizzieren Sie das Design. Sobald Sie es überlegt haben, können Sie Ihre Arbeiten mit der Ausgabe eines KI -Methods erweitern.

Wenn das Ziel jedoch nur Ausgabe ist → AI beschleunigen Sie. Rufen Sie es auf, passen Sie es an und wiederholen Sie dies mit der nächsten Aufgabe.

Betrachten Sie es als Mantra: „Denken Sie zuerst nach, um später zu fordern.“

Am Ende einer Arbeitswoche können Sie dann zurück nachdenken: Welche Aufgaben haben Sie diese Woche an KI ausgelagert? Hast du? lernen Etwas aus diesen Aufgaben oder erledigen Sie sie einfach? Wo hätten Sie davon profitieren können, tiefer zu engagieren?

Schließdacht

Es stellt sich heraus, dass AI, da am Arbeitsplatz immer mehr verwendet wird, unsere eigentliche Aufgabe möglicherweise nicht darin besteht, mehr Output mit KI zu produzieren. Stattdessen ist es unsere Aufgabe, sich direkt mit dem Materials zu beschäftigen, wenn es wichtig ist – die Artwork von Urteilsvermögen, Einsichten und Tiefe aufzubauen, die kein System ersetzen kann.

Verwenden Sie additionally die KI absichtlich. Ja, automatisieren Sie die langweiligen Teile, aber schützen Sie die Teile, die Sie wachsen lassen. Dieses Gleichgewicht wird Ihre Arbeit nicht nur wertvoll, sondern auch erfüllen.

---

* Ein nicht alternate options für die meisten maschinellernden Leute, die eine beträchtliche Zeit damit verbracht haben, eine Karriere in der Datenwissenschaft aufzubauen: Karriere zu wechseln, um etwas Handbuches und Offline zu machen. Beispiele sind Bauarbeiten, Haardressing, Warten usw.

Ich bin sicher, Sie müssen über den allgemeinen KI -Agenten Manus wissen. Es wurde vor einigen Monaten auf den Markt gebracht, und im Laufe der Monate haben sie ihrem System mehrere neue Funktionen hinzugefügt. Jetzt können Sie Movies erstellen, Web sites erstellen und viel mehr mit dem Instrument machen. In diesem Weblog werde ich fünf verschiedene Aufgaben präsentieren, die Manus AI ausführen kann.

Was ist Manus ai?

Manus AI ist ein mächtiger allgemeiner KI -Agent, der als intelligenter, autonomer Assistent fungiert und Ideen und Handlungen überbrücken. Im Gegensatz zu Instruments wie GPT-4 erledigt es komplexe Aufgaben von Finish-to-Finish, einschließlich Forschung, Datenanalyse und Web site, die asynchron in der Cloud arbeiten. Weisen Sie Aufgaben wie Lebenslauf -Screening (Unzip, Extrahieren, Rang) zu, schließen Sie Ihren Laptop computer und werden Sie benachrichtigt, wenn Sie fertig sind. Bei multimodaler Verarbeitung (Textual content, Bilder, Code), Instrument -Integration und adaptives Lernen ist es so, als würde man einen engagierten Mitarbeiter haben.

Um mehr darüber zu erfahren, sehen Sie sich meinen alten Artikel über an Manu AI Agent.

Wie kann man Manus AI zugreifen?

Sie können besuchen https://manus.imKlicken Sie auf „Begin“ und melden Sie sich mit Ihrem Google- oder Apple -Konto an, um sofort zu beginnen. Es ist kein Einladungscode erforderlich, und neue Benutzer werden mit 1.000 kostenlosen Credit plus 300 tägliche Credit begrüßt, um die leistungsstarken Funktionen wie autonome Aufgabenausführung und multimodale Funktionen zu untersuchen. Melden Sie sich einfach an, richten Sie Ihr Konto ein und nutzen Sie das Potenzial von Manus AI!

Kosten für Manus ai

Manus AI bietet vier Pläne an: kostenlos (Beta) für 0 USD/Monat, Primary (Beta) zu 16 USD/Monat plus (Beta) zu 33 USD/Monat und Professional (Beta) für 166 USD/Monat. Alle umfassen 300 tägliche Credit, Chat -Modus, fortschrittliche Modelle und Generationsfunktionen mit Krediten von 1.900, 3.900 bzw. 19.900. Weitere Particulars finden Sie unten:

Im folgenden Abschnitt werden wir Manus AI für 6 verschiedene Aufgaben verwenden.

1. Erstellen Sie Folien

Immediate: “Können Sie untersuchen, warum KI -Agenten 2025 so beliebt werden und dann einen PPT dafür machen?“

Beobachtung:

• Aufgaben, für die ich verlangte
• Verwendete geeignete Ressourcen als Referenz
• Folien waren von anständiger Qualität

2. Generieren Sie Movies

Immediate: „Video -Betreff: Wild Wolves Laufen Bitte generieren Sie ein erstaunliches Video über {Video -Betreff}.“

Manus ai bietet an Veo 3 Powered Video -Technology, aber nur in ihren bezahlten Plänen. Diese Funktion kann jedoch für viele Benutzer hochverfreundlich sein. Zum Beispiel können Sie den Agenten bitten, einen Social -Media -Plan zu erstellen und für die Veröffentlichung zu generieren und Movies zu generieren. Von der Planung bis zur Erstellung von Inhalten kann Manus alles umgehen.

Lesen Sie auch: Erfahren Sie, wie Sie VEO 3 verwenden und zugreifen können?

3.. Berichte erstellen

Berichte zu generieren ist eine sehr nützliche Aufgabe, die diese allgemeinen Agenten ausführen. Wenn Sie ein Assembly haben, das die Hilfsmittel bei Audits erstellt, können Sie Manus für diese Zwecke verwenden.

Immediate: “Ich muss zwischen zwei search engine marketing -Instruments wählen – Ahrefs oder Semrush. Führen Sie eine gründliche Analyse durch und empfehlen Sie, welches ich auswählen soll.
Aufgaben:
– Analysieren Sie, wie sich meine Konkurrenten abbauen
-Verfolgen Sie regelmäßig die wichtigsten Key phrases meiner Web site
– Führen Sie ein Backlink -Audit durch“

Checkout der vollständigen Ausgabe hier.

Dies ist eine hilfreiche Funktion. Manus kann verschiedene Produkte vergleichen, umfassende Berichte erstellen und Forschungen zu jedem Thema durchführen. Der Ausgang, den es für den Ahrefs und den Semrush -Vergleich lieferte, struggle ziemlich beeindruckend. Es wurde die Merkmale und Preise für jeweils genau beschrieben, mit einer klaren Erläuterung, wann das Instrument ausgewählt werden soll.

4. Erhalten Sie Audioausgänge

Immediate: “Schau, Rachel, ich verstehe es-du wirst hier draußen soziale Medien behandeln, als wäre es die Renaissance und du bist Michelangelo, die jeden Beitrag von Hand aufbacken. In der Zwischenzeit bin ich hier und lebe in der Zukunft, wo AI meine Bildunterschriften schreibt, meine Grafiken entwirft und mir sogar die beste Zeit zum Posten erzählt. Ich habe mehr Freizeit als ein Faultier im Urlaub und mein Engagement? Koch des Küchenchefs.

Sie haben immer noch manuell hashtagging wie es 2012 ist und ich bin nur … Gesten, Roboter zu telefonieren, um das schwere Heben zu machen. Es betrügt nicht – es funktioniert schlauer. Es sei denn, Sie verbringen Sie Stunden mit etwas, das mich fünf Minuten braucht? … Warte, oder? Rachel, geht es dir intestine? Müssen wir eine Intervention einrichten? Weil ich zu 100% eine KI verwenden werde, um es zu planen.

… Warte, oder? Rachel, geht es dir intestine? Müssen wir eine Intervention einrichten? Weil ich zu 100% eine KI verwenden werde, um es zu planen.“

Ausgabe:

Ich habe versucht, Manus ein Gesprächskript zu geben, in dem Sam einen Dialog und Rachel antwortet, aber Manus konnte ihn nicht zu einer einzelnen Audio -Datei kombinieren und mir separate Audiodateien für jeden Dialog gab. Das gleiche passierte mit meiner aktuellen Eingabeaufforderung: Drei separate Absätze waren Teil einer einzelnen Eingabeaufforderung, aber drei verschiedene Audiodateien anstelle einer einzigen. Vielleicht müssen Sie diese später zusammenführen.

5. Erstellen Sie eine Webseite

Immediate: “Erstellen und bereitstellen eine Web site basierend auf den folgenden Anweisungen: Erstellen Sie eine interaktive Pokédex -Webseite mit den ersten 20 Pokémon, einschließlich ihrer Animationen und Typen“

Sie können die Web site hier überprüfen.

Manus hat die Web site innerhalb von 10 Minuten erstellt und bereitgestellt. Alle Funktionen funktionieren perfekt und die Web site sieht großartig aus. Diese Funktion kann verwendet werden, um Ihre Produktprototypen zu erstellen.

6. Bilder erstellen

Immediate: „Erstellen Sie einen 4-Panel-Comedian-Streifen, der diese Geschichte veranschaulicht:
Tafel 1: Zeigen Sie Nitika als nicht-techer Profi, der von Technologie überwältigt aussieht
Tafel 2: Zeigen Sie ihren entdeckenden Analytics Vidhyas „Genai for The whole lot“ -Kurs (enthalten Sie die URL der Kurse: https://www.analyticsvidhya.com/programs/genai-landscape/)
Tafel 3: Stellen Sie Nitika nach Abschluss des Kurses zuversichtlich mit KI -Instruments ab
Tafel 4: Zeigen Sie, dass sie eine Beförderung erhält und den Karriereerfolg feiert
Ethical/Textual content: „Jeder sollte KI für seinen Job lernen!“

Manus AI hielt sich an der Eingabeaufforderung und lieferte die richtigen Bilder. Sie können jedoch bessere Ergebnisse mit Gemini oder Chatgpt erzielen.

Lesen Sie auch:

Abschluss

Ich habe es wirklich genossen, die neuen Manus -Options auszuprobieren. Es kann sicherlich viel mehr als zuvor tun. Alle Fortschritte wie Bildgenerierung, PPT -Erstellung und Videogeneration werden den Manusnutzern stark zugute kommen. Dieser Generalagent ist definitiv voll mit der neuesten Technologie, und Sie sollten es auf jeden Fall ausprobieren. Lassen Sie mich wissen, wie Sie es im Kommentarbereich unten verwenden.

Wenn Ihnen jemand rät, „Ihre Grenzen zu kennen“, schlägt er Ihnen wahrscheinlich vor, beispielsweise in Maßen Sport zu treiben. Für einen Roboter stellt das Motto jedoch Lernbeschränkungen oder Einschränkungen einer bestimmten Aufgabe innerhalb der Maschinenumgebung dar, um Aufgaben sicher und korrekt zu erledigen.

Stellen Sie sich zum Beispiel vor, Sie bitten einen Roboter, Ihre Küche zu reinigen, obwohl er die Physik seiner Umgebung nicht versteht. Wie kann die Maschine einen praktischen Mehrschrittplan erstellen, um sicherzustellen, dass der Raum makellos ist? Große Sprachmodelle (LLMs) können ihnen nahe kommen, aber wenn das Modell nur auf Textual content trainiert wird, werden ihm wahrscheinlich wichtige Particulars zu den physischen Einschränkungen des Roboters entgehen, etwa wie weit er reichen kann oder ob es in der Nähe Hindernisse gibt, die es zu vermeiden gilt. Bleiben Sie nur bei LLMs, und am Ende werden Sie wahrscheinlich Nudelflecken aus Ihren Dielen entfernen.

Um Roboter bei der Ausführung dieser Aufgaben mit offenem Ende zu unterstützen, verwendeten Forscher am Pc Science and Synthetic Intelligence Laboratory (CSAIL) des MIT Bildverarbeitungsmodelle, um zu sehen, was sich in der Nähe der Maschine befindet, und um ihre Einschränkungen zu modellieren. Die Strategie des Groups besteht darin, dass ein LLM einen Plan entwirft, der in einem Simulator überprüft wird, um sicherzustellen, dass er sicher und realistisch ist. Wenn diese Abfolge von Aktionen nicht durchführbar ist, generiert das Sprachmodell einen neuen Plan, bis es zu einem Plan kommt, den der Roboter ausführen kann.

Diese Trial-and-Error-Methode, die die Forscher „Planning for Robots through Code for Steady Constraint Satisfaction“ (PRoC3S) nennen, testet langfristige Pläne, um sicherzustellen, dass sie alle Einschränkungen erfüllen, und ermöglicht es einem Roboter, so unterschiedliche Aufgaben wie das Schreiben auszuführen einzelne Buchstaben, das Zeichnen eines Sterns sowie das Sortieren und Platzieren von Blöcken an verschiedenen Positionen. In Zukunft könnte PRoC3S Robotern dabei helfen, kompliziertere Aufgaben in dynamischen Umgebungen wie Häusern zu erledigen, wo sie möglicherweise aufgefordert werden, eine allgemeine Aufgabe zu erledigen, die aus vielen Schritten besteht (z. B. „Mach mir Frühstück“).

„LLMs und klassische Robotiksysteme wie Aufgaben- und Bewegungsplaner können diese Artwork von Aufgaben nicht alleine ausführen, aber zusammen ermöglichen ihre Synergien eine ergebnisoffene Problemlösung“, sagt Doktorand Nishanth Kumar SM ’24, Co-Leiter Autor eines neuen Artikels über PRoC3S. „Wir erstellen im laufenden Betrieb eine Simulation der Umgebung des Roboters und probieren viele mögliche Aktionspläne aus. Imaginative and prescient-Modelle helfen uns, eine sehr realistische digitale Welt zu schaffen, die es dem Roboter ermöglicht, für jeden Schritt eines langfristigen Plans über mögliche Maßnahmen nachzudenken.“

Die Arbeit des Groups wurde im vergangenen Monat in einem Papier vorgestellt, das auf der Convention on Robotic Studying (CoRL) in München, Deutschland, gezeigt wurde.

Die Methode der Forscher verwendet ein LLM, das vorab auf Texten aus dem Web trainiert wurde. Bevor PRoC3S mit der Ausführung einer Aufgabe beauftragt wurde, stellte das Group seinem Sprachmodell eine Beispielaufgabe (z. B. das Zeichnen eines Quadrats) zur Verfügung, die mit der Zielaufgabe (Zeichnen eines Sterns) zusammenhängt. Die Beispielaufgabe umfasst eine Beschreibung der Aktivität, einen langfristigen Plan und relevante Particulars zur Umgebung des Roboters.

Doch wie haben sich diese Pläne in der Praxis bewährt? In Simulationen hat PRoC3S jeweils acht von zehn Malen erfolgreich Sterne und Buchstaben gezeichnet. Es könnte auch digitale Blöcke in Pyramiden und Linien stapeln und Gegenstände wie Früchte auf einem Teller präzise platzieren. In jeder dieser digitalen Demos erledigte die CSAIL-Methode die geforderte Aufgabe konsistenter als vergleichbare Ansätze „LLM3“ Und „Code als Richtlinien“.

Als nächstes brachten die CSAIL-Ingenieure ihren Ansatz in die reale Welt. Ihre Methode entwickelte und führte Pläne an einem Roboterarm aus und brachte ihm bei, Blöcke in geraden Linien anzuordnen. PRoC3S ermöglichte es der Maschine außerdem, blaue und rote Blöcke in passende Schüsseln zu legen und alle Objekte in die Nähe der Tischmitte zu bewegen.

Kumar und Co-Hauptautor Aidan Curtis SM ’23, der auch Doktorand bei CSAIL ist, sagen, dass diese Ergebnisse zeigen, wie ein LLM sicherere Pläne entwickeln kann, denen Menschen vertrauen können, dass sie in der Praxis funktionieren. Die Forscher stellen sich einen Heimroboter vor, dem eine allgemeinere Anfrage gestellt werden kann (wie „Carry mir ein paar Chips“) und der zuverlässig die spezifischen Schritte erkennt, die zu seiner Ausführung erforderlich sind. PRoC3S könnte einem Roboter helfen, Pläne in einer identischen digitalen Umgebung zu testen, um eine funktionierende Vorgehensweise zu finden – und, was noch wichtiger ist, Ihnen einen leckeren Snack zu bringen.

Für zukünftige Arbeiten wollen die Forscher die Ergebnisse mithilfe eines fortschrittlicheren Physiksimulators verbessern und sie mithilfe skalierbarerer Datensuchtechniken auf komplexere Aufgaben mit längerem Horizont erweitern. Darüber hinaus planen sie, PRoC3S auf cellular Roboter wie einen Vierbeiner für Aufgaben anzuwenden, die das Gehen und Scannen der Umgebung umfassen.

„Die Verwendung von Basismodellen wie ChatGPT zur Steuerung von Roboteraktionen kann aufgrund von Halluzinationen zu unsicherem oder falschem Verhalten führen“, sagt Eric Rosen, Forscher am AI Institute, der nicht an der Forschung beteiligt ist. „PRoC3S geht dieses Drawback an, indem es grundlegende Modelle für die Aufgabenführung auf hoher Ebene nutzt und gleichzeitig KI-Techniken einsetzt, die explizit über die Welt nachdenken, um nachweislich sichere und korrekte Aktionen sicherzustellen. Diese Kombination aus planungsbasierten und datengesteuerten Ansätzen könnte der Schlüssel zur Entwicklung von Robotern sein, die in der Lage sind, ein breiteres Spektrum an Aufgaben zu verstehen und zuverlässig auszuführen, als dies derzeit möglich ist.“

Die Co-Autoren von Kumar und Curtis sind ebenfalls CSAIL-Companion: der MIT-Studentenforscher Jing Cao und die MIT-Professoren für Elektrotechnik und Informatik Leslie Pack Kaelbling und Tomás Lozano-Pérez. Ihre Arbeit wurde teilweise von der Nationwide Science Basis, dem Air Pressure Workplace of Scientific Analysis, dem Workplace of Naval Analysis, dem Military Analysis Workplace, MIT Quest for Intelligence und dem AI Institute unterstützt.

Stellen Sie sich eine Welt vor, in der KI-Agenten als Ihre persönlichen Assistenten fungieren und Aufgaben für Sie erledigen, wie z. B. eine Rücksendung bei Amazon zu veranlassen oder Conferences auf Grundlage Ihrer E-Mails abzusagen. Dies würde Agenten erfordern, die Ihre Anwendungen interaktiv in komplexen Workflows bedienen, und es gab bisher keine wirklich gute Möglichkeit, solche Agenten zu vergleichen. Bis jetzt.

KI-Assistenten (z. B. die auf unseren Mobiltelefonen) verbessern sich mit der Verbesserung der zugrunde liegenden KI-Modelle. Vor einigen Jahren hatten sie Schwierigkeiten, einfache Sachfragen richtig zu beantworten. Heute haben sie begonnen um an den Punkt zu gelangen, an dem sie Apps in unserem Namen betreiben können, um grundlegende Aufgaben zu erledigen. Ein Großteil der jüngsten GoogleIO Und Apple WWDC Bei den Veranstaltungen drehte es sich um die Imaginative and prescient von KI-Assistenten als autonomen Agenten, die in unserem Auftrag arbeiten.

In Zukunft werden sie in der Lage sein, komplexere Aufgaben in unseren Apps selbstständig zu erledigen. Sie könnten beispielsweise sagen: „Hey, einige meiner Kollegen haben Conferences per E-Mail abgesagt. Bitte löschen Sie meine entsprechenden Telefonerinnerungen.“ Der Agent würde selbstständig Ihren E-Mail-Posteingang überprüfen, herausfinden, welche Kollegen abgesagt haben, zur Kalender-App gehen, feststellen, welche Conferences mit diesen Kollegen anstehen, und sie absagen.

Eine Möglichkeit, wie KI-Modelle solche Aufgaben bewältigen können, ist durch interaktiv Schreiben Code und ruft APIs. APIs ermöglichen Agenten, elementare Aktionen auf Apps durchzuführen, Code ermöglicht es ihnen, sie in komplexen Logik- und Kontrollflüssen zu orchestrieren und Interaktion ermöglicht ihnen, Benutzerkonten zu untersuchen und basierend auf den Ergebnissen der Codeausführung Anpassungen vorzunehmen.

Betrachten Sie ein Beispiel in der folgenden Abbildung, in dem der Agent die Aufgabe hat, eine Wiedergabeliste mit genügend Songs zu starten, die die Trainingsdauer des Benutzers für heute abdecken. Dazu muss der Agent zunächst Code schreiben, der SimpleNote aufruft APIs (1. Codeblock), um die Notiz mit dem Trainingsplan zu finden und zu „lesen“ (drucken). Erst danach Interaktion um zu sehen, wie die Notiz strukturiert ist – da die Dauer nach Tagen aufgelistet ist – kann der Agent den erforderlichen Code schreiben (2. Codeblock), der das Finden des heutigen Wochentags und das Extrahieren der zugehörigen Dauer beinhaltet. Um eine Wiedergabeliste auszuwählen, muss er Wealthy Code mit For-Schleifen und anderen Kontrollflüssen, um über Wiedergabelisten zu iterieren, die Dauer der Wiedergabelisten zu berechnen und eine Wiedergabeliste abzuspielen, die die Dauer des Trainings abdeckt (3. Codeblock).

Nachdem wir nun wissen, wie ein Agent solche Aufgaben erledigen kann, stellt sich die Frage:

Wie können wir solche Kodieragenten für alltägliche digitale Aufgaben über verschiedene Apps hinweg entwickeln und vergleichen?

Dafür benötigen wir (i) eine umfangreiche, stabile und reproduzierbare Ausführungsumgebung, in der Agenten über Code und APIs mit vielen alltäglichen Apps interagieren können, (ii) komplexe Aufgaben, die API-Aufrufe und umfangreiche und interaktive Codierung erfordern, und (iii) ein zuverlässiges Evaluierungsframework.

Bestehende Benchmarks wie Gorilla, Werkzeugbank, API-Financial institution, WerkzeugTalk, Ruhebank erfüllen keine dieser drei Anforderungen. Abgesehen davon, dass ihnen die oben genannte Artwork von Umgebung fehlt, umfassen ihre Aufgaben nur eine lineare Abfolge von 1–4 API-Aufrufen, ohne dass umfangreiche und interaktive Codierung erforderlich ist, und sie bewerten, indem sie die Lösung des Agenten mit einer Referenzlösung vergleichen (mithilfe eines LLM oder eines Menschen), was bei komplexen Aufgaben, die viele verschiedene Lösungen zulassen, nicht intestine funktioniert.

Um diese Lücke zu schließen, führen wir ein AppWorld, die (1) eine kontrollierbare und simulierte Weltumgebung darstellt (Motor), bei der Coding-Agenten über APIs verschiedene Apps im Auftrag von Menschen betreiben können, (2) eine Benchmark von komplexen Aufgaben, die auf dieser Umgebung definiert sind, und (3) eine robuste Auswertung Rahmen für die Beurteilung der Agentenleistung.

2.1 Engine: simulierte digitale Welt

AppWorld Engine ist ein hochpräziser API-basierter Simulator (60.000 Zeilen Code), der ein Ökosystem aus 9 alltäglichen Apps aus verschiedenen Bereichen simuliert (Gmail für E-Mail, Amazon zum Einkaufen, Spotify für Musik usw.). Diese Engine wird von einem vollständig steuerbaren lokalen Backend mit 457 APIs und über 100 DB-Tabellen unterstützt, das die umfangreichen Funktionen der echten Apps genau nachahmt. Diese APIs verfügen über eine ausführliche Dokumentation (Interaktiv erkunden), die Agenten lesen können, um deren Verwendung zu verstehen.

Anschließend simulieren wir auf dieser Engine eine digitale Welt von Menschen und ihren digitalen Aktivitäten in diesen Apps. Insbesondere füllen wir die App-Datenbanken (DBs) mit 106 fiktiven Personen, die in dieser simulierten Welt leben. Sie sind über verschiedene Beziehungen miteinander verbunden, z. B. Mitbewohner, Freunde, Supervisor usw., um zwischenmenschliche Aufgaben zu ermöglichen, z. B. das Teilen von Rechnungen mit Mitbewohnern. Dann wird ihr Alltag simuliert, um verschiedene persönliche und zwischenmenschliche Aktivitäten auf ihren App-Konten auszuführen, z. B. T-Shirts bei Amazon zur Lieferung nach Hause zu bestellen, einen Mitbewohner telefonisch nach Autoschlüsseln zu fragen und so weiter. Die endgültigen DBs haben über 300.000 Zeilen, die sich über 726 Spalten erstrecken.

2.2 Benchmark komplexer Aufgaben

AppWorld Benchmark erstellt 750 alltägliche Aufgaben auf dieser Engine (Beispiele oben gezeigt), die viele APIs erfordern (oft 15+), mehrere Apps umfassen (1–4) und eine umfangreiche und interaktive Codierung erfordern (oft 80+ Zeilen mit vielen Programmierkonstrukten). Siehe die Statistiken in der Abbildung unten und Aufgaben erkunden interaktiv auf unserem Spielplatz.

Jede Aufgabenanweisung wird mit einem Supervisor (Particular person in AppWorld) geliefert, in dessen Auftrag der Agent die Aufgabe ausführen soll. Der Agent hat Zugriff auf alle seine App-Konten. Der anfängliche Datenbankzustand jeder Aufgabe wird sorgfältig (programmgesteuert) entworfen, um sicherzustellen, dass die Aufgabe intestine definiert ist und realistische Ablenkungen und Hindernisse aufweist. Die Aufgaben werden auch mit Aufgabenvariationen geliefert, die ganzheitlich prüfen, ob ein Agent die Aufgabe unter verschiedenen Anfangsbedingungen und Anweisungsvariationen zuverlässig lösen kann.

Alle Aufgabenimplementierungen werden von uns entworfen und entwickelt (kein Crowdsourcing). Ihre Implementierungen umfassen über 40.000 Zeilen Code (ja, in die Aufgabenentwicklung fließt eine Menge ein; siehe das Dokument).

2.3. Robuster Bewertungsrahmen

Die komplexen Aufgaben in AppWorld können auf viele Arten erledigt werden (z. B. kann ein Bestellbeleg über die Amazon-API oder die Bestätigungs-E-Mail heruntergeladen werden). Darüber hinaus kann ein Agent, der die Aufgabe löst, auf viele verschiedene Arten Kollateralschäden verursachen (z. B. indem er eine nicht angeforderte Rücksendung einleitet). Ein Verfahren-basierend Ein Ansatz, der agentengenerierten Code mit Referenzcode oder API-Aufrufen vergleicht, ist für die Bewertung der Aufgabenerledigung unzureichend.

Stattdessen verwendet AppWorld eine staatlich Ansatz. Insbesondere definieren wir für jede Aufgabe eine programmatische Reihe von Unit-Checks, die als Eingaben Snapshots von Datenbankzuständen erstellen: (1) Zustand vor dem Begin des Agenten und (2) nach dessen Ende. Anschließend prüfen wir, ob alle erwarteten und keine unerwarteten Datenbankänderungen vorgenommen wurden. Dies ermöglicht es uns, strong Überprüfen Sie, ob ein Agent die Aufgabe korrekt ausgeführt hat, ohne Kollateralschäden zu verursachen.

Um sicherzustellen, dass die Aufgaben lösbar sind, schreiben wir abschließend Validierungslösungscodes und überprüfen programmgesteuert, ob bei deren Ausführung alle Bewertungstests bestanden werden.

Wir haben viele LLMs mit mehreren Few-Shot-Prompting-Methoden wie ReAct, Planen und Ausführen, Generieren von vollständigem Code mit Reflektion und Funktionsaufrufen verglichen. Sogar das beste LLM, GPT-4o, zeigt eine recht schlechte Leistung. Beispielsweise erledigt es nur ca. 30 % der Aufgaben im Problem-Testsatz korrekt. GPT-4 Turbo und offene LLMs hinken noch viel weiter hinterher.

Darüber hinaus fallen die Werte für unsere strengere Robustheitsmetrik, die prüft, ob Agenten alle Aufgabenvariationen unter verschiedenen Startbedingungen und Anweisungsstörungen zuverlässig erledigen können, deutlich niedriger aus.

Darüber hinaus sinken die Punktzahlen mit zunehmendem Schwierigkeitsgrad erheblich, gemäß unseren handvergebenen Bezeichnungen und anderen Schwierigkeitsindikatoren, wie der Anzahl der APIs und Codezeilen basierend auf unseren schriftlichen Validierungslösungen.

AppWorld ist eine modulare und erweiterbare Grundlage, die viele spannende Möglichkeiten bei der Automatisierung digitaler Aufgaben eröffnet. Zukünftige Arbeiten können beispielsweise:

1. Erweitern Sie die AppWorld-Engine, um die browser-/cellular UI-basierte Steuerung der vorhandenen Aufgaben zu unterstützen und einen einheitlichen Maßstab für Code-, API- und UI-basierte autonome Agenten bereitzustellen.
2. Erweitern Sie den AppWorld-Benchmark um Aufgaben, die die Koordination und Zusammenarbeit mehrerer Agenten (und Menschen) erfordern (z. B. das Einrichten eines Kalendertreffens mit einem Freund, indem Sie sich per E-Mail mit seinem Agenten abstimmen).
3. Überlagern Sie unsere digitale Weltmaschine mit einer physischen Weltmaschine, wie Simulacramit Rollenspielagenten, um soziale Dynamiken und Verhalten in einer kontrollierten Umgebung zu untersuchen.
4. Verwenden Sie die Engine als Sandbox ohne Konsequenzen, um potenzielle Datenschutz- und Sicherheitsrisiken zu untersuchen, die entstehen können, wenn digitalen Assistenten die „Befugnis“ gegeben wird, in der realen Welt in unserem Namen zu handeln.
5. Und natürlich können Sie AppWorld auf ein noch größeres Ökosystem aus Apps und Aufgaben ausweiten.

Wir freuen uns darauf, dass wir und andere diese Richtungen (und mehr!) auf AppWorld weiterverfolgen können. Melden Sie sich, wenn Sie Hilfe benötigen oder mitarbeiten möchten!

AppWorld ist einfach zu verwenden und schnell. Sie können das Open-Supply-Python-Paket mit pip installieren und mit dem Erstellen und Testen Ihres Agenten beginnen. Wenn Sie einen Agenten haben, benötigen Sie lediglich den folgenden Code, um ihn auf AppWorld auszuführen und auszuwerten.

Papier, Code, Bestenliste, Datenexplorer (Aufgaben, APIs, Agententrajektorien), interaktiver Spielplatz (direkte Interaktion mit AppWorld-Aufgaben), Videoerklärung und mehr finden Sie unter https://appworld.dev.

NEU: AppWorld gewann den Bestes Ressourcenpapier Auszeichnung bei ACL‘24.

Bildquelle: Alle Bilder wurden vom Autor erstellt.