Rechercheagenten übernehmen bereits heute echte Wissensarbeit. Die Groups delegieren ihnen Wettbewerbskartierung, Due Diligence und Literaturrecherche. Allerdings testen die meisten Benchmarks eine einzelne Antwort und keine großen, evidenzgestützten Sammlungen. Perplexity schließt diese Lücke mit einem neuen offenen Benchmark.

Ratlosigkeit befreit WANDR (Breite und tiefe Forschung). Es handelt sich um ein offenes Benchmark- und Bewertungssystem. Es besteht aus rund 500 realistischen, herausfordernden Datenerfassungsaufgaben für die Wissensarbeit. WANDR ist der große Bruder von Perplexitys DRACO-Benchmark für tiefgreifende Forschung. DRACO fragt, ob ein Agent einen genauen, vollständigen und objektiven Langformbericht erstellt. WANDR fragt stattdessen, ob es eine große Beweissammlung aufbauen kann.

Was ist WANDR

Im Kern testet WANDR zwei Anforderungen gemeinsam. Breit bedeutet, eine große, oft offene Gruppe qualifizierter Einheiten zu entdecken. Tief bedeutet, jedes Unternehmen ausreichend zu untersuchen, um jede Behauptung mit Beweisen zu untermauern. Durch die Kombination beider Faktoren ändert sich das Drawback für die Agenten. Ein paar überzeugende Beispiele reichen hier nicht aus. Eine ausgefeilte Erzählung, die auf unvollständigen Recherchen aufbaut, greift ebenfalls zu kurz.

Um dies zu erfassen, verwendet WANDR ein Composable Qualifikationsschlüsselhierarchie. Eine Aufgabe könnte eine Anforderung sein firm(n) -> worker(m) -> url(okay). Das bedeutet n qualifizierte Unternehmen, jeweils m Mitarbeiter und jeweils okay unterstützende Seiten. Jeder vollständige Pfad durch den Baum wird unabhängig validiert. Dieselbe Struktur kann eine flache Liste, eine verschachtelte Suche oder eine Matrix darstellen.

Ein konkretes Aufgabenbeispiel

Um diese Hierarchie zu begründen, betrachten Sie die Veröffentlichung ceo_cfo_appointments Aufgabe. Gefragt sind mindestens 70 in den USA ansässige Unternehmen. Für jeden muss eine Ernennung zum CEO oder CFO erstmals zwischen dem 1. März und dem 30. April 2026 bekannt gegeben werden. Für jeden stellt der Agent eine maßgebliche Terminseite bereit. Eine Unteraufgabe fügt professional Unternehmen eine Itemizing-Authority-Seite hinzu. Insgesamt erfordert die Aufgabe 140 quellengestützte Datensätze.

Konkret sehen die beiden Hierarchien und ein übermittelter Datensatz so aus:

# Job hierarchies
firm(70) -> company_appointee(1) -> url(1)   # 70 appointment information
firm(70) -> url(1)                           # 70 itemizing information

# One file the grader re-fetches and re-checks (values are illustrative)
{
  "merchandise":     "Instance Corp - new CFO",
  "url":      "https://issuer.instance.com/press/cfo-appointment",
  "excerpts": ("Instance Corp as we speak named Jane Doe as Chief Monetary Officer, efficient April 2026."),
  "reply":   "Jane Doe appointed CFO; introduced April 2026"
}

Realistische Aufgaben, maßstabsgetreu generiert

Über einzelne Beispiele hinaus baut WANDR seine Aufgaben auf der realen Nutzung auf. Es geht von nicht identifizierten Mustern aus, die in der Produktion zu sehen sind, und nicht von synthetischen Eingabeaufforderungen. Eine halbautomatische Pipeline wandelt diese Muster dann in Aufgaben um. Die Pipeline durchläuft vier Phasen: Seeding, Authoring, Zulassung und Kuration. Es verwendet eine verschachtelte Autor-Kritiker-Schleife mit mechanischer Flusenbildung.

Daher erfordert die mittlere Aufgabe insgesamt 50 Mitglieder und 245 Datensätze. Für alle 500 Aufgaben fordert WANDR 170.495 quellengestützte Datensätze. Die Aufgaben sind in 167 Aufgaben mit niedrigerem, 166 mittlerem und 167 höherem Schwierigkeitsgrad unterteilt. Der Schwierigkeitsgrad hängt von der Arbeit professional Datensatz ab, nicht nur vom Maßstab.

Wie WANDR Agenten bewertet

Im Gegensatz zu festen Antwortschlüsseln bewertet WANDR jeden Anspruch anhand der zitierten Beweise. Jeder Datensatz enthält ein Component, eine URL, ausgewählte Auszüge und eine Antwort. Der Bewerter ruft die Seite während der Bewertung erneut ab. Es prüft, ob die Seite nutzbar und im Umfang ist. Anschließend wird überprüft, ob die Auszüge tatsächlich vorliegen und alle Anforderungen erfüllen.

Diese binären Datensatzurteile werden dann in der Hierarchie zusammengefasst. Präzision misst die Qualität dessen, was ein System übermittelt hat. Abrufen misst die qualitätsbereinigte Fertigstellung und füllt etwaige Lücken mit Nullen. Weich Bei Partituren werden unvollständige Mitglieder teilweise angerechnet. Hart Scores zählen nur Mitglieder, deren vollständiger Teilbaum korrekt ist.

Die Benchmark-Ergebnisse

Mit dieser Methode führte Perplexity sechs Produktionssysteme für alle 500 Aufgaben aus. Sein eigenes Search as Code (SaC)-System führt. Dennoch kommt kein System auch nur annähernd an die Lösung des Benchmarks heran.

Mit mehr Aufwand erreicht Perplexity einen Gentle-F1-Wert von 0,447 xhigh Einstellung. Die Kosten über alle Einstellungen hinweg erstrecken sich über mehr als vier Größenordnungen. Der Preis reicht von 0,03 $ professional Aufgabe bis zu 324,83 $ professional Aufgabe.

Über die Bestenliste hinaus stechen vier Erkenntnisse hervor. Erstens ist ein teilweiser Fortschritt üblich, eine vollständige Abdeckung jedoch nicht. Jedes System zeigt einen Gentle-Recall unterhalb der Gentle-Präzision. Zweitens verschärft die Größenordnung das Drawback erheblich. Tiefere Hierarchien schaden am meisten, da jede Verzweigung einen Fehlerpunkt hinzufügt. Drittens ist die Entdeckung der erste strukturelle Engpass. Der Erkennungsabschluss auf oberster Ebene liegt systemübergreifend zwischen 0,611 und 0,951. Der größte Teil des fehlenden Volumens ist auf eine Unterlieferung zurückzuführen, nicht auf die Zusammenführung von Duplikaten. Viertens ist es normalerweise einfach, eine brauchbare Seite zu finden. Es ist der schwierige Teil, daraus vollständige Beweise zu machen. Bei Perplexity fehlt auf 41,4 % der Seiten eine wesentliche Anforderung. Außerdem stützen 57,5 ​​% der Auszüge nicht die vollständige Behauptung. Sein weicher F1 fällt von 0,531 bei einer reinen Abrufprüfung auf 0,363 bei der vollständigen Beurteilung.

Insbesondere passt Search as Code intestine zu dieser Aufgabenform. Ein Agent kann Abruf-, Filter-, Fanout-, Be a part of-, Deduplizierungs- und Stopplogik als Programm ausdrücken. Die deterministische Berechnung verarbeitet dann wiederholte Vorgänge außerhalb des Modellkontexts.

Anwendungsfälle mit Beispielen

Praktischerweise ordnet WANDR Jobs zu, die Groups bereits automatisieren. Ein Marktanalyst benötigt jeden qualifizierten Wettbewerber mit passenden Beweisen für jeden. Ein Due-Diligence-Workforce benötigt Dutzende von Unternehmen, dann Eigentümer, Führungskräfte und Finanzierung. Für die Talentsuche sind viele Kandidaten erforderlich, von denen jeder über unterstützende Profilseiten verfügt. WANDR testet genau diese breiten und tiefen Sammelmuster im professionellen Maßstab.

Da die Bewertung professional Datensatz erfolgt, können Groups Fehler präzise lokalisieren. Der Bewertungsbaum isoliert den Verlust durch Entdeckung, Anreicherung oder Beweisextraktion. Diese Diagnose hilft Ingenieuren, jeweils eine Schwachstelle zu verbessern.

Wichtige Erkenntnisse

• WANDR ist ein offener Benchmark mit 500 evidenzintensiven, umfassenden Aufgaben.
• Aufgaben verwenden eine Qualifikationsschlüsselhierarchie, die Pfad für Pfad validiert wird.
• Die Benotung erfolgt referenzfrei; Der Gutachter holt die zitierten Beweise erneut ab und prüft sie.
• Perplexity Search as Code liegt bei 0,363 Gentle F1 und 0,133 Exhausting F1.
• Entdeckung und vollständige Beweise bleiben die größten Fehlerquellen.

Schauen Sie sich das an Technische Particulars Und Repo hier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150k+ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Asif Razzaq ist CEO von Marktechpost Media Inc.. Als visionärer Unternehmer und Ingenieur setzt sich Asif dafür ein, das Potenzial der künstlichen Intelligenz für das soziale Wohl zu nutzen. Sein jüngstes Unterfangen ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch eine ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die sowohl technisch fundiert als auch für ein breites Publikum leicht verständlich ist. Die Plattform verfügt über mehr als 2 Millionen monatliche Aufrufe, was ihre Beliebtheit beim Publikum verdeutlicht.

Chatgpt Etwas wie: „Bitte scout all die Technik für mich und fassen Sie Tendencies und Muster zusammen, basierend auf dem, was Sie für interessiert haben.“ Sie wissen, dass Sie etwas Generisches bekommen würden, wo es einige Web sites und Nachrichtenquellen durchsucht und Ihnen diese übergibt.

Dies liegt daran, dass Chatgpt für allgemeine Anwendungsfälle erstellt wurde. Es wendet normale Suchmethoden an, um Informationen abzurufen und sich häufig auf einige Webseiten zu beschränken.

In diesem Artikel werden Sie angezeigt, wie Sie einen Nischenagenten erstellen, der alle Technologien skotieren, Millionen von Texten zusammenfassen, Daten basierend auf einer Persona filtern und Muster und Themen finden können, auf die Sie reagieren können.

Der Sinn dieses Workflows besteht darin, das Sitzen und Scrollen durch Foren und soziale Medien selbst zu vermeiden. Der Agent sollte es für Sie tun und alles greifen, was nützlich ist.

Wir werden dies mithilfe einer eindeutigen Datenquelle, einem kontrollierten Workflow und einigen schnellen Verkettungstechniken ausschalten können.

Durch das Zwischenspeichern von Daten können wir die Kosten auf ein paar Cent professional Bericht reduzieren.

Wenn Sie den Bot ausprobieren möchten, ohne ihn selbst zu booten, können Sie sich diesem anschließen Zwietracht Kanal. Sie werden das Repository finden Hier Wenn Sie es selbst bauen möchten.

Dieser Artikel konzentriert sich auf die allgemeine Architektur und die Erstellung, nicht die kleineren Codierungsdetails Github.

Notizen zum Gebäude

Wenn Sie neu im Bau mit Agenten sind, können Sie das Gefühl haben, dass dieser nicht bahnbrechend genug ist.

Wenn Sie jedoch etwas erstellen möchten, das funktioniert, müssen Sie Ihre KI -Anwendungen ziemlich viel Software program -Engineering anwenden. Auch wenn LLMs jetzt alleine handeln können, brauchen sie immer noch Anleitung und Leitplanken.

Bei solchen Workflows, bei denen ein klarer Weg, den das System einschlagen sollte, sollten Sie strukturiertere „Workflow-ähnliche“ Systeme erstellen. Wenn Sie einen Menschen in der Schleife haben, können Sie mit etwas Dynamischeres arbeiten.

Der Grund, warum dieser Workflow so intestine funktioniert, ist, dass ich eine sehr gute Datenquelle dahinter habe. Ohne diesen Datengraben wäre der Workflow nicht besser als Chatgpt.

Daten vorbereiten und zwischenstrichen

Bevor wir einen Agenten erstellen können, müssen wir eine Datenquelle vorbereiten, in die er anziehen kann.

Ich denke, dass viele Menschen falsch machen, wenn sie mit LLM -Systemen zusammenarbeiten, ist die Überzeugung, dass KI Daten für sich allein verarbeiten und aggregieren kann.

Irgendwann können wir ihnen möglicherweise genügend Werkzeuge geben, um sie selbst zu bauen, aber wir sind noch nicht in Bezug auf die Zuverlässigkeit da.

Wenn wir additionally solche Systeme erstellen, benötigen wir Datenpipelines, um genauso sauber zu sein wie für jedes andere System.

Das System, das ich hier erstellt habe, verwendet eine Datenquelle, die ich bereits zur Verfügung stellte. Ich verstehe, wie ich den LLM beibringe, um sie zu nutzen.

Es nimmt Tausende von Texten aus Tech -Foren und Web sites professional Tag auf und verwendet kleine NLP -Modelle, um die Hauptschlüsselwörter zu zerstören, sie zu kategorisieren und die Stimmung zu analysieren.

Auf diese Weise können wir sehen, welche Schlüsselwörter in verschiedenen Kategorien über einen bestimmten Zeitraum tendieren.

Um diesen Agenten zu erstellen, habe ich einen weiteren Endpunkt hinzugefügt, der für jedes dieser Schlüsselwörter „Fakten“ sammelt.

Dieser Endpunkt erhält ein Schlüsselwort und einen Zeitraum, und das System sortiert Kommentare und Beiträge durch Engagement. Anschließend verarbeitet es die Texte in Stücken mit kleineren Modellen, die entscheiden können, welche „Fakten“ aufbewahrt werden sollen.

Wir wenden eine letzte LLM an, um zusammenzufassen, welche Fakten am wichtigsten sind, und halten die Quellzitate intakt.

Dies ist eine Artwork schneller Verkettungsprozess, und ich habe es gebaut, um die Zitiermotor von Llamaindex nachzuahmen.

Wenn der Endpunkt zum ersten Mal ein Key phrase gefordert wird, kann es bis zu einer halben Minute dauern. Da das System das Ergebnis vorangetrieben, dauert jede Wiederholungsanforderung nur ein paar Millisekunden.

Solange die Modelle klein genug sind, sind die Kosten, um dies auf ein paar hundert Schlüsselwörtern professional Tag zu betreiben, minimal. Später können das System mehrere Schlüsselwörter parallel ausführen.

Sie können sich jetzt wahrscheinlich vorstellen, dass wir ein System erstellen können, um diese Schlüsselwörter und Fakten zu holen, um verschiedene Berichte mit LLMs zu erstellen.

Wann man mit kleinen gegen größeren Modelle arbeitet

Bevor Sie fortfahren, erwähnen wir nur, dass die Auswahl der richtigen Modellgröße von Bedeutung ist.

Ich denke, das ist im Second in aller Munde.

Es gibt ziemlich fortschrittliche Modelle, die Sie für jeden Workflow verwenden können. Wenn wir jedoch immer mehr LLMs auf diese Anwendungen anwenden, summiert sich die Anzahl der Anrufe professional Lauf schnell und dies kann teuer werden.

Wenn Sie additionally können, verwenden Sie kleinere Modelle.

Sie haben gesehen, dass ich kleinere Modelle verwendet habe, um Quellen in Stücken zu zitieren und zu gruppieren. Andere Aufgaben, die für kleine Modelle hervorragend sind, sind das Routing und die Analyse der natürlichen Sprache in strukturierte Daten.

Wenn Sie feststellen, dass das Modell ins Stocken gerät, können Sie die Aufgabe in kleinere Probleme unterteilen und eine schnelle Verkettung verwenden, zuerst eine Sache tun, dann dieses Ergebnis verwenden, um das nächste und so weiter zu tun.

Sie möchten immer noch größere LLMs verwenden, wenn Sie Muster in sehr großen Texten finden müssen oder wenn Sie mit Menschen kommunizieren.

In diesem Workflow sind die Kosten minimal, da die Daten zwischengespeichert werden, wir für die meisten Aufgaben kleinere Modelle verwenden, und die einzigen einzigartigen großen LLM -Anrufe sind die letzten.

Wie dieser Agent funktioniert

Lassen Sie uns durchgehen, wie der Agent unter der Motorhaube arbeitet. Ich habe den Agenten gebaut, um in Discord zu rennen, aber das liegt hier nicht im Mittelpunkt. Wir werden uns auf die Agentenarchitektur konzentrieren.

Ich habe den Prozess in zwei Teile geteilt: ein Setup und eine Nachricht. Der erste Prozess fordert den Benutzer auf, sein Profil einzurichten.

Da ich bereits weiß, wie man mit der Datenquelle arbeitet, habe ich eine ziemlich umfangreiche Systemaufforderung erstellt, mit der die LLM diese Eingaben in etwas umsetzen kann, mit dem wir Daten später abrufen können.

PROMPT_PROFILE_NOTES = """
You might be tasked with defining a person persona based mostly on the person's profile abstract.
Your job is to:
1. Choose a brief persona description for the person.
2. Choose probably the most related classes (main and minor).
3. Select key phrases the person ought to monitor, strictly following the foundations beneath (max 6).
4. Resolve on time interval (based mostly solely on what the person asks for).
5. Resolve whether or not the person prefers concise or detailed summaries.
Step 1. Persona
- Write a brief description of how we must always take into consideration the person.
- Examples:
- CMO for non-technical product → "non-technical, skip jargon, give attention to product key phrases."
- CEO → "solely embrace extremely related key phrases, no technical overload, straight to the purpose."
- Developer → "technical, eager about detailed developer dialog and technical phrases."
(...)
"""

Ich habe auch ein Schema für die Ausgänge definiert, die ich brauche:

class ProfileNotesResponse(BaseModel):
 persona: str
 major_categories: Record(str)
 minor_categories: Record(str)
 key phrases: Record(str)
 time_period: str
 concise_summaries: bool

Ohne Domänenwissen über die API und wie sie funktioniert, ist es unwahrscheinlich, dass ein LLM herausfinden würde, wie dies selbst zu tun ist.

Sie könnten versuchen, ein umfangreicheres System aufzubauen, bei dem das LLM zuerst versucht, die API oder die Systeme zu lernen, die sie verwenden sollen, aber das würde den Workflow unvorhersehbarer und kostspieliger machen.

Bei solchen Aufgaben versuche ich immer strukturierte Ausgänge im JSON -Format zu verwenden. Auf diese Weise können wir das Ergebnis validieren, und wenn die Validierung fehlschlägt, führen wir es erneut aus.

Dies ist der einfachste Weg, um mit LLMs in einem System zu arbeiten, insbesondere wenn kein Mensch in der Schleife ist, um zu überprüfen, was das Modell zurückgibt.

Sobald die LLM das Benutzerprofil in die Eigenschaften übersetzt hat, die wir im Schema definiert haben, speichern wir das Profil irgendwo. Ich habe MongoDB verwendet, aber das ist elective.

Das Speichern der Persönlichkeit ist nicht streng erforderlich, aber Sie müssen übersetzen, was der Benutzer sagt, in ein Formular, mit dem Sie Daten generieren können.

Erzeugen der Berichte

Schauen wir uns an, was im zweiten Schritt passiert, wenn der Benutzer den Bericht auslöst.

Wenn der Benutzer die trifft /information Der Befehl, mit oder ohne Zeitraumsatz, holen wir zuerst die von uns gespeicherten Benutzerprofildaten.

Dies gibt dem System den Kontext, den es benötigt, um relevante Daten zu holen, wobei sowohl Kategorien als auch Schlüsselwörter mit dem Profil gebunden sind. Die Standardzeit ist wöchentlich.

Aus diesem Grund erhalten wir eine Liste von High- und Development -Key phrases für den ausgewählten Zeitraum, der für den Benutzer interessant ist.

Ohne diese Datenquelle wäre es schwierig gewesen, so etwas so etwas zu erstellen. Die Daten müssen im Voraus erstellt werden, damit die LLM ordnungsgemäß damit funktioniert.

Nach dem Abrufen von Schlüsselwörtern könnte es sinnvoll sein, einen LLM -Schritt hinzuzufügen, in dem Schlüsselwörter für den Benutzer irrelevant sind. Das habe ich hier nicht gemacht.

Je unnötigere Informationen ein LLM übergeben, desto schwieriger wird es, sich auf das zu konzentrieren, was wirklich wichtig ist. Ihre Aufgabe ist es, sicherzustellen, dass alles, was Sie füttern, für die tatsächliche Frage des Benutzers related ist.

Als nächstes verwenden wir den früher vorbereiteten Endpunkt, der zwischengespeicherte „Fakten“ für jedes Schlüsselwort enthält. Dies gibt uns bereits überprüft und sortierte Informationen für jeden.

Wir führen parallel Key phrase -Anrufe aus, um die Dinge zu beschleunigen, aber die erste Particular person, die ein neues Key phrase anfordert, muss noch etwas länger warten.

Sobald die Ergebnisse vorliegen, kombinieren wir die Daten, entfernen Duplikate und analysieren die Zitate, sodass jede Tatsache über eine Schlüsselwortnummer auf eine bestimmte Quelle zurückbleibt.

Anschließend führen wir die Daten über einen Eingabeaufforderungsprozess aus. Das erste LLM findet 5 bis 7 Themen und richtet sie nach Relevanz, basierend auf dem Benutzerprofil. Es zieht auch die wichtigsten Punkte heraus.

Der zweite LLM -Go verwendet sowohl die Themen als auch die Originaldaten, um zwei verschiedene Zusammenfassungslängen zusammen mit einem Titel zu generieren.

Wir können dies tun, um sicherzustellen, dass die kognitive Belastung des Modells reduziert wird.
Dieser letzte Schritt zum Erstellen des Berichts braucht die meiste Zeit, da ich ein Argumentationsmodell wie GPT-5 verwendet habe.

Sie könnten es gegen etwas schnelleres austauschen, aber ich finde, dass fortgeschrittene Modelle in diesem letzten Zeug besser sind.

Der vollständige Vorgang dauert einige Minuten, je nachdem, wie viel an diesem Tag bereits zwischengespeichert wurde.

Schauen Sie sich das fertige Ergebnis unten an.

Wenn Sie sich den Code ansehen und diesen Bot selbst erstellen möchten, können Sie ihn finden Hier. Wenn Sie nur einen Bericht erstellen möchten, können Sie sich diesem anschließen Kanal.

Ich habe einige Pläne, es zu verbessern, aber ich freue mich, Suggestions zu hören, wenn Sie es nützlich finden.

Und wenn Sie eine Herausforderung wünschen, können Sie sie in etwas anderes umbauen, wie ein Inhaltsgenerator.

Anmerkungen zu Bauagenten

Jeder Agent, den Sie bauen, wird anders sein. Dies ist additionally keineswegs eine Blaupause für den Bau mit LLMs. Sie können jedoch das Maß an Software program -Engineering erkennen, das dieser Anforderungen annimmt.

LLMs entfernen zumindest vorerst die Notwendigkeit einer guten Software program- und Dateningenieure nicht.

Für diesen Workflow verwende ich hauptsächlich LLMs, um die natürliche Sprache in JSON zu übersetzen und das dann durch das System programmatisch zu bewegen. Es ist der einfachste Weg, den Agentenprozess zu kontrollieren, aber auch nicht das, was die Leute normalerweise vorstellen, wenn sie an AI -Anwendungen denken.

Es gibt Situationen, in denen es splendid ist, ein frei bewegenderes Agent zu verwenden, insbesondere wenn sich ein Mensch in der Schleife befindet.

Trotzdem haben Sie hoffentlich etwas gelernt oder Inspiration bekommen, etwas selbst zu bauen.

Wenn du meinem Schreiben folgen willst, folge mir hier, mein WebseiteAnwesend Substanzoder LinkedIn.