Rechercheagenten übernehmen bereits heute echte Wissensarbeit. Die Groups delegieren ihnen Wettbewerbskartierung, Due Diligence und Literaturrecherche. Allerdings testen die meisten Benchmarks eine einzelne Antwort und keine großen, evidenzgestützten Sammlungen. Perplexity schließt diese Lücke mit einem neuen offenen Benchmark.

Ratlosigkeit befreit WANDR (Breite und tiefe Forschung). Es handelt sich um ein offenes Benchmark- und Bewertungssystem. Es besteht aus rund 500 realistischen, herausfordernden Datenerfassungsaufgaben für die Wissensarbeit. WANDR ist der große Bruder von Perplexitys DRACO-Benchmark für tiefgreifende Forschung. DRACO fragt, ob ein Agent einen genauen, vollständigen und objektiven Langformbericht erstellt. WANDR fragt stattdessen, ob es eine große Beweissammlung aufbauen kann.

Was ist WANDR

Im Kern testet WANDR zwei Anforderungen gemeinsam. Breit bedeutet, eine große, oft offene Gruppe qualifizierter Einheiten zu entdecken. Tief bedeutet, jedes Unternehmen ausreichend zu untersuchen, um jede Behauptung mit Beweisen zu untermauern. Durch die Kombination beider Faktoren ändert sich das Drawback für die Agenten. Ein paar überzeugende Beispiele reichen hier nicht aus. Eine ausgefeilte Erzählung, die auf unvollständigen Recherchen aufbaut, greift ebenfalls zu kurz.

Um dies zu erfassen, verwendet WANDR ein Composable Qualifikationsschlüsselhierarchie. Eine Aufgabe könnte eine Anforderung sein firm(n) -> worker(m) -> url(okay). Das bedeutet n qualifizierte Unternehmen, jeweils m Mitarbeiter und jeweils okay unterstützende Seiten. Jeder vollständige Pfad durch den Baum wird unabhängig validiert. Dieselbe Struktur kann eine flache Liste, eine verschachtelte Suche oder eine Matrix darstellen.

Ein konkretes Aufgabenbeispiel

Um diese Hierarchie zu begründen, betrachten Sie die Veröffentlichung ceo_cfo_appointments Aufgabe. Gefragt sind mindestens 70 in den USA ansässige Unternehmen. Für jeden muss eine Ernennung zum CEO oder CFO erstmals zwischen dem 1. März und dem 30. April 2026 bekannt gegeben werden. Für jeden stellt der Agent eine maßgebliche Terminseite bereit. Eine Unteraufgabe fügt professional Unternehmen eine Itemizing-Authority-Seite hinzu. Insgesamt erfordert die Aufgabe 140 quellengestützte Datensätze.

Konkret sehen die beiden Hierarchien und ein übermittelter Datensatz so aus:

# Job hierarchies
firm(70) -> company_appointee(1) -> url(1)   # 70 appointment information
firm(70) -> url(1)                           # 70 itemizing information

# One file the grader re-fetches and re-checks (values are illustrative)
{
  "merchandise":     "Instance Corp - new CFO",
  "url":      "https://issuer.instance.com/press/cfo-appointment",
  "excerpts": ("Instance Corp as we speak named Jane Doe as Chief Monetary Officer, efficient April 2026."),
  "reply":   "Jane Doe appointed CFO; introduced April 2026"
}

Realistische Aufgaben, maßstabsgetreu generiert

Über einzelne Beispiele hinaus baut WANDR seine Aufgaben auf der realen Nutzung auf. Es geht von nicht identifizierten Mustern aus, die in der Produktion zu sehen sind, und nicht von synthetischen Eingabeaufforderungen. Eine halbautomatische Pipeline wandelt diese Muster dann in Aufgaben um. Die Pipeline durchläuft vier Phasen: Seeding, Authoring, Zulassung und Kuration. Es verwendet eine verschachtelte Autor-Kritiker-Schleife mit mechanischer Flusenbildung.

Daher erfordert die mittlere Aufgabe insgesamt 50 Mitglieder und 245 Datensätze. Für alle 500 Aufgaben fordert WANDR 170.495 quellengestützte Datensätze. Die Aufgaben sind in 167 Aufgaben mit niedrigerem, 166 mittlerem und 167 höherem Schwierigkeitsgrad unterteilt. Der Schwierigkeitsgrad hängt von der Arbeit professional Datensatz ab, nicht nur vom Maßstab.

Wie WANDR Agenten bewertet

Im Gegensatz zu festen Antwortschlüsseln bewertet WANDR jeden Anspruch anhand der zitierten Beweise. Jeder Datensatz enthält ein Component, eine URL, ausgewählte Auszüge und eine Antwort. Der Bewerter ruft die Seite während der Bewertung erneut ab. Es prüft, ob die Seite nutzbar und im Umfang ist. Anschließend wird überprüft, ob die Auszüge tatsächlich vorliegen und alle Anforderungen erfüllen.

Diese binären Datensatzurteile werden dann in der Hierarchie zusammengefasst. Präzision misst die Qualität dessen, was ein System übermittelt hat. Abrufen misst die qualitätsbereinigte Fertigstellung und füllt etwaige Lücken mit Nullen. Weich Bei Partituren werden unvollständige Mitglieder teilweise angerechnet. Hart Scores zählen nur Mitglieder, deren vollständiger Teilbaum korrekt ist.

Die Benchmark-Ergebnisse

Mit dieser Methode führte Perplexity sechs Produktionssysteme für alle 500 Aufgaben aus. Sein eigenes Search as Code (SaC)-System führt. Dennoch kommt kein System auch nur annähernd an die Lösung des Benchmarks heran.

Mit mehr Aufwand erreicht Perplexity einen Gentle-F1-Wert von 0,447 xhigh Einstellung. Die Kosten über alle Einstellungen hinweg erstrecken sich über mehr als vier Größenordnungen. Der Preis reicht von 0,03 $ professional Aufgabe bis zu 324,83 $ professional Aufgabe.

Über die Bestenliste hinaus stechen vier Erkenntnisse hervor. Erstens ist ein teilweiser Fortschritt üblich, eine vollständige Abdeckung jedoch nicht. Jedes System zeigt einen Gentle-Recall unterhalb der Gentle-Präzision. Zweitens verschärft die Größenordnung das Drawback erheblich. Tiefere Hierarchien schaden am meisten, da jede Verzweigung einen Fehlerpunkt hinzufügt. Drittens ist die Entdeckung der erste strukturelle Engpass. Der Erkennungsabschluss auf oberster Ebene liegt systemübergreifend zwischen 0,611 und 0,951. Der größte Teil des fehlenden Volumens ist auf eine Unterlieferung zurückzuführen, nicht auf die Zusammenführung von Duplikaten. Viertens ist es normalerweise einfach, eine brauchbare Seite zu finden. Es ist der schwierige Teil, daraus vollständige Beweise zu machen. Bei Perplexity fehlt auf 41,4 % der Seiten eine wesentliche Anforderung. Außerdem stützen 57,5 ​​% der Auszüge nicht die vollständige Behauptung. Sein weicher F1 fällt von 0,531 bei einer reinen Abrufprüfung auf 0,363 bei der vollständigen Beurteilung.

Insbesondere passt Search as Code intestine zu dieser Aufgabenform. Ein Agent kann Abruf-, Filter-, Fanout-, Be a part of-, Deduplizierungs- und Stopplogik als Programm ausdrücken. Die deterministische Berechnung verarbeitet dann wiederholte Vorgänge außerhalb des Modellkontexts.

Anwendungsfälle mit Beispielen

Praktischerweise ordnet WANDR Jobs zu, die Groups bereits automatisieren. Ein Marktanalyst benötigt jeden qualifizierten Wettbewerber mit passenden Beweisen für jeden. Ein Due-Diligence-Workforce benötigt Dutzende von Unternehmen, dann Eigentümer, Führungskräfte und Finanzierung. Für die Talentsuche sind viele Kandidaten erforderlich, von denen jeder über unterstützende Profilseiten verfügt. WANDR testet genau diese breiten und tiefen Sammelmuster im professionellen Maßstab.

Da die Bewertung professional Datensatz erfolgt, können Groups Fehler präzise lokalisieren. Der Bewertungsbaum isoliert den Verlust durch Entdeckung, Anreicherung oder Beweisextraktion. Diese Diagnose hilft Ingenieuren, jeweils eine Schwachstelle zu verbessern.

Wichtige Erkenntnisse

• WANDR ist ein offener Benchmark mit 500 evidenzintensiven, umfassenden Aufgaben.
• Aufgaben verwenden eine Qualifikationsschlüsselhierarchie, die Pfad für Pfad validiert wird.
• Die Benotung erfolgt referenzfrei; Der Gutachter holt die zitierten Beweise erneut ab und prüft sie.
• Perplexity Search as Code liegt bei 0,363 Gentle F1 und 0,133 Exhausting F1.
• Entdeckung und vollständige Beweise bleiben die größten Fehlerquellen.

Schauen Sie sich das an Technische Particulars Und Repo hier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150k+ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Asif Razzaq ist CEO von Marktechpost Media Inc.. Als visionärer Unternehmer und Ingenieur setzt sich Asif dafür ein, das Potenzial der künstlichen Intelligenz für das soziale Wohl zu nutzen. Sein jüngstes Unterfangen ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch eine ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die sowohl technisch fundiert als auch für ein breites Publikum leicht verständlich ist. Die Plattform verfügt über mehr als 2 Millionen monatliche Aufrufe, was ihre Beliebtheit beim Publikum verdeutlicht.

Die meisten Biologie-Benchmarks stellen eng gefasste, faktenbasierte Fragen mit klaren Antworten. Wissenschaftler wägen unvollständige Beweise ab und treffen Entscheidungen. OpenAI hat LifeSciBench veröffentlicht und zielt direkt auf diese Lücke.

Selbst das stärkste Modell besteht ungefähr jede dritte Aufgabe. Der Benchmark ist noch lange nicht gesättigt.

Was ist LifeSciBench?

LifeSciBench enthält 750 von Experten verfasste Aufgaben. Sie umfassen sieben Arbeitsabläufe und sieben biologische Domänen. Zu jeder Aufgabe gehören eine Eingabeaufforderung, unterstützende Artefakte und eine Bewertungsrubrik.

Die sieben Arbeitsabläufe umfassen die Beweisverarbeitung und -analyse. Dazu gehören auch Design und Optimierung, wissenschaftliches Denken, Validierung und Betrieb, Übersetzung und wissenschaftliche Kommunikation.

Die sieben Bereiche reichen von Genomik und medizinischer Chemie bis hin zu klinischer und translationaler Wissenschaft.

Aufgaben werden so geschrieben, wie ein Wissenschaftler einen Kollegen unterrichten würde. Es handelt sich um eine freie Antwort, nicht um A number of-Selection. Rund 79 % erfordern mehrere Argumentations- oder Entscheidungsschritte, im Durchschnitt jeweils vier Schritte.

Wie der Benchmark aufgebaut wurde

Eine Kohorte von 173 Fachwissenschaftlern verfasste die Aufgaben. Jeder hatte einen Ph.D. und über Erfahrung in der Biotechnologie oder Pharmazie verfügten. Die angenommenen Aufgaben umfassten durchschnittlich sechs automatisierte Überprüfungszyklen und mindestens zwei Expertenbewertungen.

Viele Aufgaben werden mit Artefakten geliefert. Der Benchmark umfasst insgesamt 1.062 angehängte Artefakte. Etwa 53 % der Aufgaben erfordern mindestens ein Artefakt. Zu den Typen gehören Sequenzen, Abbildungen, Tabellen, PDFs und chemische Strukturen.

Eine separate kohortenvalidierte Qualität. Es gab 453 Gutachter und 97 % waren promoviert. Die allgemeine Zustimmung zu Relevanz, Argumentation, Begründung und Nützlichkeit lag bei über 96 %.

Das Rubrikensystem

Rubriken sind hier der Kernmechanismus. Sie umfassen im gesamten Benchmark 19.020 Kriterien. Das sind etwa 25 Kriterien professional Aufgabe.

Jedes Kriterium belohnt eine konkrete Eigenschaft. Beispiele hierfür sind eine bestimmte Tatsache, ein Argumentationsschritt oder eine numerische Antwort innerhalb der Toleranz. Die Bewertung erfolgt anhand der Rubrik, nicht anhand einer einzelnen Referenzzeichenfolge.

Zwei Kennzahlen fassen die Leistung zusammen. Der normalisierte Rubrikenwert dividiert die vergebenen Punkte durch die Gesamtpunktzahl. Bei der Aufgabenerfüllungsquote werden Aufgaben mit einer Punktzahl von 70 % oder mehr gezählt.

Diese Trennung ist für die Interpretation wichtig. Eine Antwort kann teilweise angerechnet werden, während die Aufgabe trotzdem nicht bestanden wird. Die Bestehensschwelle ist von Natur aus streng.

Hier ist die Bewertungslogik in einfachem Python:

def grade(rubric, awarded_ids):
    complete = sum(c("pts") for c in rubric)
    earned = sum(c("pts") for c in rubric if c("id") in awarded_ids)
    normalized = earned / complete          # partial credit score
    handed = normalized >= 0.70          # task-level success
    return normalized, handed

Wie die Modelle performten

OpenAI bewertete fünf Modelle in einer Single-Flip-Umgebung. Jedes Modell sah die Eingabeaufforderung und die Artefakte einmal. Uneingeschränktes Surfen im Web struggle erlaubt.

GPT-Rosalind, das domänenspezialisierte Modell von OpenAI, lag insgesamt an der Spitze. Bei 386 von 750 Aufgaben gab es den höchsten Mittelwert professional Aufgabe. Außerdem stieg die Gesamterfolgsquote gegenüber GPT-5.5 von 25,7 % auf 36,1 %. Die Erfolgsquoten blieben bei allen Modellen moderat.

Rankings sind nicht die ganze Geschichte. Gemini 3.1 Professional führte eindeutig bei 214 Aufgaben an. Aggregierte Bewertungen können aufgabenspezifische Stärken verbergen.

Wo Fashions gewinnen und wo sie scheitern

Modelle waren bei der strukturierten Beurteilung am stärksten. GPT-Rosalind erreichte bei der Übersetzung einen Durchschnittswert von 0,712. Wissenschaftliche Kommunikation erzielte einen Wert von 0,718, aber diese Kategorie ist klein, additionally lesen Sie sie sorgfältig durch.

Zwei Arbeitsabläufe blieben schwierig. Design, Optimierung und Vorhersage gehörten zu den schwierigsten Prüfungen, wobei GPT-Rosalind 30,7 % erreichte. Die Analyse lag mit 30,3 % knapp dahinter.

Der Einsatz von Artefakten struggle eindeutig ein Engpass. GPT-Rosalind sank von 45,1 % bei reinen Textaufgaben auf 28,1 % bei Artefaktaufgaben. GPT-5,5 fiel in gleicher Weise von 29,9 % auf 21,9 %.

Genaue Ausgaben waren am schwierigsten. Der Erfolg der Sequenz- und Strukturkriterien lag modellübergreifend zwischen 46,9 % und 18,0 %. Der Gewinn von GPT-Rosalind gegenüber GPT-5.5 beim Generieren/Konstruktieren von Gegenständen betrug nur +0,001.

Modelle blieben auch mitten in der Aufgabe stehen. Bei GPT-Rosalind erreichten 109 Aufgaben mindestens 50 % der Bewertungspunkte, lagen aber immer noch unter 20 %.

Die Kopffreiheit bleibt groß. Kein Modell hat 171 Aufgaben bestanden (22,8 %). Und bei 261 Aufgaben (34,8 %) lag die Erfolgsquote des besten Modells unter 20 %.

Stärken und Schwächen

Stärken:

• Breite Abdeckung über sieben Arbeitsabläufe und sieben biologische Bereiche
• Von Experten verfasste Rubriken mit 19.020 atomaren, benotebaren Kriterien
• Realistische Artefakte: Sequenzen, Abbildungen, Tabellen, PDFs und Strukturen
• Unabhängige Validierung durch 453 Gutachter, 97 % davon mit Doktortitel

Schwächen:

• Nur Singleturn; Echte Forschung ist iterativ und mehrschichtig
• Entwickelt von OpenAI, das auch die meisten evaluierten Modelle bereitstellt
• Die öffentliche Veröffentlichung kann durch Sicherheits- und Lizenzbeschränkungen eingeschränkt sein
• 750 Aufgaben können nicht alle wissenschaftlichen Fachgebiete abdecken

Probieren Sie es aus: Interaktiver Rubriken-Grader Demo

Schauen Sie sich das an Papier Und Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150k+ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Michal Sutter ist ein Knowledge-Science-Experte mit einem Grasp of Science in Knowledge Science von der Universität Padua. Mit einer soliden Grundlage in statistischer Analyse, maschinellem Lernen und Datentechnik ist Michal hervorragend darin, komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

Es wurde bestätigt, dass Samsungs Exynos 2600 System-on-Chip (SoC) das Basismodell Galaxy S26 in bestimmten regionalen Märkten mit Strom versorgt. Im Basemark In Vitro 1.0 Ray Tracing Benchmark erreichte die integrierte Xclipse 960 GPU des SoC einen Rating von 8.321 Punkten. Berichten zufolge übertrifft dieses Ergebnis die aktuellen Marktkonkurrenten und liefert ein quantifizierbares Maß für seine Grafikfähigkeiten unter standardisierten Testbedingungen.

Die Punktzahl des Xclipse 960 übertrifft die Adreno 840-GPU des Snapdragon 8 Elite Gen 5 um etwa 8 %. Außerdem übertrifft sie die Mali-G1-Extremely-GPU des MediaTek Dimensity 9500 um etwa 17 %. Diese Zahlen positionieren den Exynos 2600 als Spitzenreiter bei bestimmten grafischen Workloads. Die GPU beinhaltet AMDs RDNA 4 Raytracing-Architektur, eine Technologie, die in den diskreten Grafikkarten der aktuellen Era von AMD zum Einsatz kommt, was auf eine enge Partnerschaft zwischen den beiden Halbleiterfirmen hinweist.

Trotz dieser grafischen Benchmarks deuten aktuelle Berichte auf Leistungsunterschiede in anderen Bereichen hin. Der Exynos 2600 liegt bei der Leistungsbewertung von Single-Core-CPUs hinter dem neuesten Snapdragon-Chip zurück. Dies deutet darauf hin, dass der SoC spezielle Stärken in der visuellen Verarbeitung bietet, während er sich einem Wettbewerb um die Rohverarbeitungsgeschwindigkeit gegenübersieht, eine Dynamik, die sich je nach regionalen Marktanforderungen wahrscheinlich auf die endgültigen Gerätekonfigurationen auswirken wird.

Hervorgehobener Bildnachweis

Seit Jahren steckt das Gespräch um KI in einer Schleife. Ist es ein hyperintelligenter Assistent, der uns alle 10x produktiver macht, oder ist es eine unerbittliche Kraft, die unsere Arbeit in Vergessenheit bringen wird? Die Debatte wurde durch akademische Checks und abstrakte Benchmarks angeheizt, die eine Welt von den praktischen Aspekten eines 9-zu-5-Werts verspüren.

Aber was wäre, wenn wir endlich eine echte Antwort bekommen könnten? Was wäre, wenn wir aufhören könnten zu fragen, was KI weiß und beginnen Sie zu messen, was es eigentlich kann Tun?

Das ist das Versprechen von Openai mit seinem GDPVALein bahnbrechender neuer Benchmark. Dies ist keine weitere A number of-Selection-Prüfung für Maschinen. Es ist eine reale Leistungsüberprüfung, die die Fähigkeit der KI beurteilen soll, die tatsächlichen, wirtschaftlich wertvollen Aufgaben auszuführen, für die Fachleute jeden einzelnen Tag bezahlt werden. Die ersten Ergebnisse sind vorhanden, und sie bieten das klarste Bild unserer bisherigen KI-angetriebenen Zukunft. Lassen Sie uns darauf eingehen.

Warum wir ein neues Zeugnis für KI brauchten

Seien wir ehrlich: Traditionelle KI -Benchmarks sind gebrochen. Sie fühlen sich oft wie SAT -Fragen für Roboter und testen enge Fähigkeiten in einer kontrollierten Umgebung. Aber ein echter Job ist kein sauberes, akademisches Drawback. Ein Finanzanalyst löst nicht nur Gleichungen. Sie sieben unordentliche Tabellenkalkulationen, interpretieren Diagramme und schreiben überzeugende E -Mails. Ein Softwareentwickler schreibt nicht nur Code. Sie debuggen, refaktor und dokumentieren.

OpenAI hat GDPVAL erstellt, um diese Lücke zu überbrücken. Der Benchmark stammt aus 44 verschiedenen hochverdienenden Berufen in den neun größten Sektoren der US-Wirtschaft, vom Gesundheitswesen bis zur Finanzierung, und besteht aus 1.320 Aufgaben, die von Branchenexperten mit durchschnittlich 14 Jahren Erfahrung geschaffen wurden. Dies sind keine abstrakten Rätsel; Es handelt sich um Aufgaben wie „Analysieren Sie diesen Finanzbericht und erstellen Sie ein Dia -Deck für Stakeholder“ oder „Überprüfen Sie diesen rechtlichen Vertrag für potenzielle Risiken“.

Dieser Ansatz verwandelt das GDPVAL in einen Vorderindikator. Anstatt Jahre zu warten, um die Auswirkungen von AI durch langsame Adoptionsraten zu messen, können wir jetzt einen Echtzeit-Schnappschuss darüber erhalten, wozu Frontier-Modelle heute fähig sind.

Ein blinder Geschmackstest für professionelle Arbeit

Wie misst das OpenAI -GDPVAL die Leistung tatsächlich? Die Methodik ist so klug wie einfach: ein blinder Vergleich.

Es funktioniert in drei Schritten:

1. Eine echte Aufgabe wird zugewiesen: Ein KI -Modell (wie GPT-5 oder Claude Opus 4.1) und ein menschlicher Experte erhalten beide dieselben Aufgaben- und Referenzdateien (Tabellenkalkulationen, Dokumente, Bilder usw.).
2. Beide reichen ihre Arbeit ein: Die beiden endgültigen Ergebnisse – eine vom Menschen, eine aus der KI – werden gesammelt.
3. Ein Strecker beurteilt blind: Ein Experte aus demselben Beruf überprüft beide Einreichungen, ohne zu wissen, welches ist. Anschließend werden ihnen eine einfache Frage gestellt: „Welches Lieferbare ist besser oder sind sie von gleicher Qualität?“

Das Endergebnis ist die „Win-Fee“-der Prozentsatz der Zeit, in denen die Arbeit der KI so intestine oder besser als die des Menschen ist. Dieser blinde, Kopf-an-Kopf-Vergleich beseitigt Verzerrungen und konzentriert sich auf das einzige, was in der realen Welt zählt: die Qualität des Endprodukts.

Die ersten Ergebnisse sind in: AI schließt die Lücke

Die ersten Ergebnisse von GDPVAL sind auffällig. Die besten KI -Modelle sind nicht mehr nur „intestine für eine Maschine“. Sie nähern sich und in einigen Fällen die Qualität erfahrener menschlicher Fachkräfte.

Anthropics Claude Opus 4.1 entwickelte 47,6% Aufgaben. Es conflict besonders hervorragend bei Aufgaben, die ein starkes Gefühl der Ästhetik erfordern, wie intestine formatierte Dokumente und visuell ansprechende Präsentationen. Openai eigene GPT-5 conflict nicht weit dahinter und zeigte eine außergewöhnliche Stärke bei Aufgaben, die eine hohe Genauigkeit und die Fähigkeit, komplexe, mehrstufige Anweisungen zu befolgen, zu befolgen.

Alles intestine?

Die Ergebnisse zeigten jedoch auch klare Schwächen. Der häufigste Grund für KI -Versagen conflict einfach: Anweisungen nicht genau befolgen. Dies zeigt, dass die rohe Fähigkeit von AI zwar immens ist, die menschliche Aufsicht, um sicherzustellen, dass sie auf dem richtigen Weg bleibt, absolut kritisch bleibt. Die schnelle Verbesserung älterer Modelle wie GPT-4O bis GPT-5 signalisiert auch, dass diese Fähigkeiten exponentiell wachsen.

Was bedeutet dies für die Zukunft Ihres Jobs

Der tiefste Einblick in das GDPVAL ist, wie es das neu bearbeitet.Ai und Jobs “Debatte. Es ermutigt uns, einen Beruf nicht als eine einzelne monolithische Rolle zu sehen, sondern als Sammlung individueller Aufgaben. Einige dieser Aufgaben werden immer automatischer.

Dies bedeutet nicht, dass Ihr Job verschwinden wird. Es bedeutet, dass Ihr Job wird ändern.

Da die KI mehr von der Routine, sich wiederholende Arbeiten übernimmt, wird der Wert einzigartiger menschlicher Fähigkeiten in die Höhe schnellen. Aus der vorherigen Infografik geht hervor, dass die Auswirkungen der KI auf bestimmten Bereichen weitaus drastischer sind als andere. Die Zukunft der professionellen Arbeit wird weniger umgehen tun die Aufgabe und mehr über Regie die Aufgabe. Die Fähigkeiten, die eine Prämie bieten, sind diejenigen, die KI noch nicht replizieren können:

• Strategisches Denken: Entscheiden Was Drawback zu lösen, nicht nur zu lösen.
• Komplexe Problemlösung: Navigieren Sie mehrdeutige Situationen ohne klare Antwort.
• Kundenbeziehungen und Empathie: Vertrauen aufbauen und menschliche Bedürfnisse verstehen.
• Kreatives Urteilsvermögen: Zu wissen, wie „intestine“ aussieht, auch wenn es nicht gemessen werden kann.

Für Unternehmen ist dies eine praktische Roadmap. Es ermöglicht Führungskräften zu ermitteln, welche Workflows durch KI verstärkt werden können, wodurch ihr wertvollstes Kapital (ihre Mitarbeiter) freigegeben werden kann, um sich auf die hochrangige, kreative und strategische Arbeit zu konzentrieren, die Innovationen wirklich antreibt.

Abschluss

OpenAI GDPVAL ist mehr als nur ein Zeugnis für KI -Modelle. Es ist ein Kompass für die Navigation. Es bietet ein realistisches, zukunftsweisendes Maß für die Fähigkeiten von KI und zeigt uns, wohin die Technologie führt und wie wir uns am besten vorbereiten können.

Die Ergebnisse sind klar: KI macht unglaubliche Fortschritte bei der Artwork der Arbeit, die unsere Wirtschaft leistet. Sie erinnern uns aber auch an den dauerhaften Wert von menschlichem Fachwissen, Urteilsvermögen und Aufsicht. Die Zukunft ist kein Kampf zwischen Menschen und Maschinen. Es ist eine Partnerschaft. GDPVAL gibt uns den ersten klaren Blick darauf, wie diese Partnerschaft aussehen wird, und es liegt an uns, zu entscheiden, wie wir sie führen werden.

Mehr lesen: High Generative AI -Modelle

Häufig gestellte Fragen

Ich bin spezialisiert auf die Überprüfung und Verfeinerung von KI-gesteuerten Forschungen, technischen Dokumentationen und Inhalten im Zusammenhang mit aufstrebenden KI-Technologien. Meine Erfahrung umfasst das KI -Modelltraining, die Datenanalyse und das Abrufen von Informationen, sodass ich Inhalte herstellen kann, die sowohl technisch genau als auch zugänglich sind.

Crowdstrike und Meta für Cybersecurity-Unternehmen haben Cybersoceval veröffentlicht, eine Open-Supply-Benchmark-Suite zur Bewertung der Leistung von KI-Modellen in Sicherheitsbetriebszentren (SOCS). Das Software soll den Unternehmen helfen, die richtigen KI-betriebenen Cybersicherheitslösungen auszuwählen, indem sie eine standardisierte Möglichkeit bieten, ihre Funktionen bei wichtigen Sicherheitsaufgaben zu testen.

Die Herausforderung, das richtige KI -Sicherheitsinstrument auszuwählen

Da KI in eine wachsende Anzahl von Cybersicherheitsprodukten integriert wird, stehen Sicherheitsprofis der Herausforderung, aus einer Vielzahl von Optionen mit unterschiedlichen Kosten und Fähigkeiten auszuwählen. Cybersoceval befasst sich mit einer strukturierten Methode zum Testen von großsprachigen Modellen (LLMs) für Kern -SOC -Funktionen, einschließlich Vorfallreaktion, Bedrohungsanalyse und Malware -Erkennung.

Ohne klare Benchmarks ist es schwierig zu wissen, welche Systeme, Anwendungsfälle und Leistungsstandards einen echten AI-Vorteil gegenüber realen Angriffen bieten.

Durch die Standardisierung dieser Bewertungen ermöglicht der Benchmark es Unternehmen, objektiv zu messen, wie unterschiedliche KI -Modelle in realistischen Szenarien funktionieren und ihnen helfen, die Instruments zu identifizieren, die ihren operativen Bedürfnissen am besten entsprechen.

Wie Cybersoceval sowohl Unternehmen als auch Entwickler profitiert

Für Unternehmen liefert der Benchmark klare, vergleichbare Daten zur Modellleistung. Für KI -Entwickler bietet es wertvolle Einblicke in die Verwendung von Unternehmenskunden, die ihre Modelle für die Cybersicherheit verwenden. Dieses Suggestions kann zukünftige Verbesserungen leiten und die Macher dabei helfen, ihre Modelle zu verfeinern, um spezifische Branchenjargon oder komplexe Bedrohungsinformationen besser zu bewältigen. Das Framework ist so konzipiert, dass sie anpassungsfähig sind und die Einbeziehung neuer Checks wie Drohungen wie Zero-Day-Exploits ermöglichen.

Die Veröffentlichung von Cybersoceval erfolgt in einem digitalen Wettrüsten, bei dem sowohl Angreifer als auch Verteidiger die KI nutzen. Eine Umfrage von MasterCard und The Monetary Instances Longitude ergab, dass Finanzdienstleistungsunternehmen Millionen von Greenback gespart haben, indem sie KI-angetriebene Instrumente zur Bekämpfung von AI-fähigen Betrugsbetrug mit KI-angetrieben haben.

Ein Open-Supply-Ansatz zur Verbesserung der Sicherheit

Die Beteiligung von Meta am Projekt übereinstimmt mit seiner Geschichte, die Open-Supply-KI-Entwicklung wie seine Lama-Modelle zu unterstützen. Durch das Machen von Cybersoceval zu einem Open-Supply-Software fördern die Unternehmen die Zusammenarbeit der Gemeinschaft, um die Benchmarks im Laufe der Zeit zu verbessern und zu erweitern. Dieser Ansatz zielt darauf ab, den branchenweiten Fortschritt bei der Verteidigung gegen fortgeschrittene Bedrohungen auf KI zu beschleunigen.

Mit diesen Benchmarks und offen für die Sicherheits- und KI-Group können wir als Branche schneller arbeiten, um das Potenzial von KI beim Schutz vor fortgeschrittenen Angriffen, einschließlich der Bedrohungen auf KI, freizuschalten.

Cybersoceval ist ab sofort auf GitHub verfügbar, wo Benutzer die Suite herunterladen können, um Bewertungen auf ihren bevorzugten LLMs auszuführen. Das Repository enthält Dokumentation, Beispieldatensätze und Anweisungen zum Integrieren der Checks in vorhandene Sicherheitsplattformen.

Ausgewähltes Bildnachweis

Ein Staff von Forschern der Stanford College hat veröffentlicht MedagentbenchEine neue Benchmark -Suite zur Bewertung von Wirkstoffen (Langwary Mannequin) in Gesundheitskontexten. Im Gegensatz zu früheren Fragen-Reply-Datensätzen bietet Medagentbench a EHR -Umgebung (Digital Digital Well being File) wobei KI-Systeme mehrstufige klinische Aufgaben interagieren, planen und ausführen müssen. Dies markiert eine signifikante Verschiebung von der Prüfung der statischen Begründung zur Beurteilung der Agentenfunktionen in Dwell-medizinische Workflows mit Toolbasis.

Warum brauchen wir im Gesundheitswesen Agenten -Benchmarks?

Die jüngsten LLMs haben sich über statische Chat-basierte Interaktionen hinweg bewegt Agentenverhalten-Interpretieren von Anweisungen auf hoher Ebene, Aufruf von APIs, Integration von Patientendaten und Automatisierung komplexer Prozesse. In der Medizin könnte diese Entwicklung helfen, sich anzusprechen Personalmangel, Dokumentationsbelastung und administrative Ineffizienzen.

Während allgemeine Benchmarks (z. B. Agentbench, Agentboard, Tau-Bench) vorhanden ist, gibt es. In der Gesundheitsversorgung fehlte ein standardisierter Benchmark Dies erfasst die Komplexität von medizinischen Daten, FHIR -Interoperabilität und Längsschnittpatientenaufzeichnungen. Medagentbench erfüllt diese Lücke, indem er einen reproduzierbaren, klinisch relevanten Bewertungsrahmen anbietet.

Was enthält Medagentbench?

Wie sind die Aufgaben strukturiert?

Medagentbench besteht aus 300 Aufgaben in 10 Kategoriengeschrieben von lizenzierten Ärzten. Zu diesen Aufgaben gehören das Abrufen von Patienteninformationen, das Laborergebnis, die Dokumentation, die Testordnung, die Überweisungen und das Medikamentenmanagement. Aufgaben durchschnittlich 2–3 Schritte und Spiegel -Workflows, die in stationärer und ambulanter Pflege auftreten.

Welche Patientendaten stützen den Benchmark?

Der Benchmark nutzt 100 realistische Patientenprofile Extrahiert aus Stanfords Starr -Datenrepository, das übertrifft 700.000 Aufzeichnungen einschließlich Labors, Vitalen, Diagnosen, Verfahren und Medikamentenaufträgen. Die Daten wurden für die Privatsphäre nicht identifiziert und gleichermaßen geschmückt, während die klinische Gültigkeit beibehalten wurde.

Wie wird die Umgebung gebaut?

Die Umwelt ist Fhir-konformUnterstützung sowohl Abruf (GET) als auch Änderung (Publish) von EHR -Daten. KI -Systeme können realistische klinische Wechselwirkungen simulieren, z. B. das Dokumentieren von Vitalen oder das Festlegen von Medikamentenaufträgen. Dieses Design macht den Benchmark direkt in lebende EHR -Systeme übersetzbar.

Wie werden Modelle bewertet?

• Metrisch: Aufgabenerfolgsrate (SR), gemessen mit strikter Cross@1 reale Sicherheitsanforderungen widerspiegeln.
• Modelle getestet: 12 führende LLMs einschließlich GPT-4O, Claude 3.5 Sonnet, Gemini 2.0, Deepseek-V3, Qwen2.5 und Lama 3.3.
• Agent Orchestrator: Eine Foundation -Orchestrierungs -Setup mit neun FHIR -Funktionen, beschränkt auf Acht Interaktionsrunden professional Aufgabe.

Welche Modelle haben am besten durchgeführt?

• Claude 3.5 Sonett V2: Am besten insgesamt mit 69,67% Erfolgbesonders stark in Abrufaufgaben (85,33%).
• Gpt-4o: 64,0% Erfolg und zeigt ausgewogene Abruf- und Aktionsleistung.
• Deepseek-V3: 62,67% Erfolg, führt zu Open-Gewicht-Modellen.
• Beobachtung: Die meisten Modelle haben sich hervorgetan bei Abfrageaufgaben aber kämpfte mit Aktionsbasierte Aufgaben Erfordernde eine sichere Ausführung von mehrstufigen.

Welche Fehler haben Modelle gemacht?

Es entstanden zwei dominante Versagensmuster:

1. Anweisungseinhaltung Fehler – Ungültige API -Aufrufe oder falsche JSON -Formatierung.
2. Ausgangsfehlanpassung – Bereitstellung vollständiger Sätze, wenn strukturierte numerische Werte erforderlich waren.

Diese Fehler unterstreichen Lücken in Präzision und Zuverlässigkeitbeide kritisch im klinischen Einsatz.

Zusammenfassung

Medagentbench stellt den ersten groß angelegten Benchmark für die Bewertung von LLM-Wirkstoffen in realistischen EHR-Umgebungen ein und kombiniert 300 auf klinischherbautete Aufgaben mit einer FHIR-konformen Umgebung und 100 Patientenprofilen. Die Ergebnisse zeigen eine starke potenzielle, aber begrenzte Zuverlässigkeit – Claude 3,5 Sonnet V2 führt bei 69,67% – die Lücke zwischen Abfrageerfolg und sicherer Aktionsausführung. Medagentbench ist zwar durch Einzelinstitutsdaten und EHR-fokussierte Umfang eingeschränkt und bietet einen offenen, reproduzierbaren Rahmen, um die nächste Technology verlässlicher AI-Agenten der Gesundheitsversorgung voranzutreiben

Schauen Sie sich das an PAPIER Und Technischer Weblog. Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser Publication.

Michal Sutter ist ein Datenwissenschaftler bei einem Grasp of Science in Knowledge Science von der College of Padova. Mit einer soliden Grundlage für statistische Analyse, maschinelles Lernen und Datentechnik setzt Michal aus, um komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

Heute kündigte MLCommons neue Ergebnisse für seine MLPerf Inference V5.1 Benchmark Suite an und verfolgte die Dynamik der KI -Group und ihre neuen Funktionen, Modelle sowie {Hardware}- und Softwaresysteme.

Besuchen Sie die Ergebnisse für MLPerf Inference V5.1, um die Ergebnisse zu erhalten Rechenzentrum Und Rand Benchmark -Ergebnisseiten.

Die MLPERF -Inferenz -Benchmark -Suite soll messen, wie schnell Systeme KI -Modelle für eine Vielzahl von Workloads ausführen können. Die Open-Supply- und Peer-Overview-Suite führt die Systemleistung für die Systemleistung auf architekturneutrale, repräsentative und reproduzierbare Weise durch, wodurch ein ebenes Wettbewerb für Wettbewerb geschaffen wird, das Innovation, Leistung und Energieeffizienz für die gesamte Branche fördert. Es bietet kritische technische Informationen für Kunden, die KI -Systeme beschaffen und abstellen.

Diese Runde der MLPERF-Inferenzergebnisse legt einen Datensatz für die Anzahl der Teilnehmer fest, die Systeme für Benchmarking bei 27 einreichen. Zu diesen Einreichungen gehören Systeme mit fünf neu verfügbaren Prozessoren und verbesserten Versionen von AI-Software program-Frameworks. Die V5.1 Suite führt drei neue Benchmarks ein, die die KI -Systeme weiter herausfordern, um ihren Höhepunkt gegen moderne Arbeitsbelastungen zu erzielen.

„Das Tempo der Innovation in der KI ist atemberaubend“, sagte Scott Wasson, Direktor für Produktmanagement bei MLCommons. „Die Arbeitsgruppe MLPERF Inference hat aggressiv neue Benchmarks aufgebaut, um mit diesem Fortschritt Schritt zu halten. Infolgedessen 5.1 verfügt über mehrere neue Benchmark-Exams, einschließlich Deepseek-R1 mit Argumentation und interaktive Szenarien mit strengeren Latenzanforderungen für einige LLM-basierte Exams. In der Zwischenzeit haben die Einsendungen von MLPERF-Inferenz.

Lama 2 70b Genai Check

Der Lama 2 70B -Benchmark ist weiterhin der beliebteste Benchmark in der Suite mit 24 Einsendungen in dieser Runde.

Es gibt auch ein klares Bild von der Gesamtleistung der Leistungsverbesserung in KI -Systemen im Laufe der Zeit. In einigen Szenarien verbesserte sich die am besten leistungsstarken Systeme um bis zu 50% gegenüber dem besten System in der 5.0 -Model vor nur sechs Monaten. In dieser Runde wurde ein weiteres zuerst vorhanden: eine Einreichung eines heterogenen Programs, das Software program zum Laden einer Inferenzarbeit über verschiedene Arten von Beschleunigern lädt.

Als Reaktion auf die Nachfrage der Group erweitert diese Runde das in der vorherigen Model eingeführte interaktive Szenario, in dem die Leistung unter niedrigeren Latenzbeschränkungen wie für Agenten und andere Anwendungen von LLMs erforderlich ist. Die interaktiven Szenarien, die jetzt für mehrere Modelle getestet wurden, waren in Model 5.1 eine robuste Teilnahme von Einsendern.

Drei neue Exams eingeführt

MLPerf Inference V5.1 führt in die Suite drei neue Benchmarks ein: Deepseek-R1; Lama 3.1 8b; und flüster groß v3.

Deepseek R1 ist das erste „Argumentationsmodell“, das der Suite hinzugefügt wird. Argumentationsmodelle sollen herausfordernde Aufgaben angehen und einen mehrstufigen Prozess verwenden, um Probleme in kleinere Teile zu zerlegen, um Antworten von höherer Qualität zu erzielen. Die Workload im Check enthält Eingabeaufforderungen aus fünf Datensätzen, die sich mit Mathematikproblemlösungen, allgemeinen Fragenbeantwortung und Codegenerierung befassen.

„Argumentationsmodelle sind ein aufstrebender und wichtiger Bereich für KI-Modelle mit ihrem eigenen einzigartigen Verarbeitungsmuster“, sagte Miro Hodak, Co-Vorsitzender der Arbeitsgruppe MLPerf Inference. „Es ist wichtig, echte Daten zu haben, um zu verstehen, wie Argumentationsmodelle auf vorhandenen und neuen Systemen abschneiden, und Mlcommons tritt auf, um diese Daten bereitzustellen. Und es ist ebenso wichtig, die aktuellen Systeme gründlich zu testen, damit wir ihre Grenzen erlernen. Deepseek R1 erhöht das Schwierigkeitsgrad der Benchmark-Suite und gibt uns neue und wertvolle Informationen.“

Weitere Informationen zum Deepseek R1 -Benchmark finden Sie Hier.

LAMA 3.1 8B ist ein kleineres LLM, das für Aufgaben wie die Textübersicht sowohl in Datencenter als auch in den Kantenszenarien nützlich ist. Mit der Inferenz 5.1-Veröffentlichung ersetzt dieses Modell eine ältere (GPT-J), behält jedoch denselben Datensatz bei und führt die gleiche Benchmark-Aufgabe durch, jedoch mit einem zeitgemäßeren Modell, das den aktuellen Stand der Technik besser widerspiegelt. LLAMA 3.1 8B verwendet eine große Kontextlänge von 128.000 Token, während GPT-J nur 2048 verwendete. Der Check verwendet den CNN-DailyMail-Datensatz, zu den beliebtesten öffentlich zugänglichen öffentlich zugänglichen für Textübersichtsaufgaben. Der Lama 3.1 8B -Benchmark unterstützt sowohl Rechenzentrum als auch Edge -Systeme mit jeweils benutzerdefinierten Workloads.

Weitere Informationen zum Lama 3.1 8B -Benchmark finden Sie Hier.

Whisper Giant V3 ist ein Open-Supply-Spracherkennungsmodell, das auf einer Transformator-basierten Encoder-Decoder-Architektur basiert. Es verfügt über eine hohe Genauigkeit und mehrsprachige Fähigkeiten in einer Vielzahl von Aufgaben, einschließlich Transkription und Übersetzung. Für den Benchmark -Check wird es mit einer modifizierten Model des Librispeech -Audio -Datensatzes kombiniert. Der Benchmark unterstützt sowohl Rechenzentrum als auch Edge -Systeme.

„MLPerf-Inferenz-Benchmarks sind dwell und entwickelt, um den Stand des KI-Einsatzes in der gesamten Branche zu erfassen“, sagte Frank Han, Co-Vorsitzender der MLPerf-Inferenzarbeitsgruppe. „Diese Runde fügt ein Sprach-zu-Textual content-Modell hinzu, das die Notwendigkeit widerspiegelt, über große Sprachmodelle hinaus zu bewerten. Spracherkennung kombiniert Sprachmodellierung mit zusätzlichen Stufen wie akustischer Merkmalextraktion und Segmentierung, Erweiterung des Leistungsprofils und Stresssystemaspekte wie Speicherbandbreite, Latenz und Durchsatz.

Weitere Informationen zum Whisper Giant V3 -Benchmark finden Sie Hier.

The MLPerf Inference 5.1 benchmark obtained submissions from a complete of 27 collaborating organizations: AMD, ASUSTek, Azure, Broadcom, Cisco, Coreweave, Dell, GATEOverflow, GigaComputing, Google, Hewlett Packard Enterprise, Intel, KRAI, Lambda, Lenovo, MangoBoost, MiTac, Nebius, NVIDIA, Oracle, Quanta Cloud Technologie, Crimson Hat Inc, Single -Einreicher: Amitash Nanda, Supermicro, TheStage AI, College of Florida und Vultr.

Die Ergebnisse umfassten Exams für fünf neu verfügbare Beschleuniger:

• AMD Intuition Mi355X
• Intel ARC Professional B60 48 GB Turbo
• Nvidia GB300
• NVIDIA RTX 4000 ADA-PCIE-20 GB
• Nvidia RTX Professional 6000 Blackwell Server Version

„Dies ist eine so aufregende Zeit, in der KI -Group zu arbeiten“, sagte David Kanter, Leiter von MLPerf bei Mlcommons. „Zwischen dem atemberaubenden Tempo der Innovation und dem robusten Fluss neuer Teilnehmer haben Stakeholder, die Systeme beschaffen, mehr als je zuvor. Unsere Mission mit dem MLPERF-Inferenz-Benchmark ist es, ihnen zu helfen, intestine informierte Entscheidungen zu treffen, und die Verwendung vertrauenswürdiger, relevanter Leistungsdaten für die Workloads, die sie am meisten für das Feld AI-Aufenthalt einsetzen. Sogar mehr.

Kanter fuhr fort: „Wir möchten unsere neuen Einreicher für Model 5.1 begrüßen: Mitac, Nebius, Single -Einreicher: Amitash Nanda, TheStage AI, College of Florida und Vultr. Ich möchte besonders gerne unsere beiden Teilnehmer hervorheben. Benchmarks.

MlCommons ist der weltweit führende Anführer für KI -Benchmarking. Ein offenes Engineering -Konsortium, das von über 125 Mitgliedern und verbundenen Unternehmen unterstützt wird, hat Mlcommons nachweislich nachweislich die Zusammenarbeit mit Wissenschaft, Industrie und Zivilgesellschaft, um die KI zu messen und zu verbessern. Die Stiftung für MLCommons begann 2018 mit den MLPERF -Benchmarks, die schnell als eine Reihe von Branchenmetriken skaliert wurden, um die Leistung des maschinellen Lernens zu messen und die Transparenz von Techniken des maschinellen Lernens zu fördern. Seitdem hat MLCommons weiterhin Kollektivtechnik verwendet, um die Benchmarks und Metriken zu erstellen, die für eine bessere KI erforderlich sind, was letztendlich dazu beiträgt, die Genauigkeit, Sicherheit, Geschwindigkeit und Effizienz von KI -Technologien zu bewerten und zu verbessern.

Beide GPUS Und Tpus Spielen Sie eine entscheidende Rolle bei der Beschleunigung des Trainings großer Transformatormodelle, aber ihre Kernarchitekturen, Leistungsprofile und Ökosystemkompatibilität führen zu erheblichen Unterschieden in Anwendungsfall, Geschwindigkeit und Flexibilität.

Fundamentals der Architektur und {Hardware}

Tpus sind benutzerdefinierte Asics (Anwendungsspezifische integrierte Schaltkreise), die von Google entwickelt wurden und für hocheffiziente Matrixoperationen, die von großen neuronalen Netzwerken erforderlich sind, gebaut wurden. Ihr Design konzentriert sich auf die Vektorverarbeitung, die Matrix -Multiplikationseinheiten und systolische Arrays – und es wird auf einen außergewöhnlichen Durchsatz auf Transformatorschichten und eine tiefe Integration in Tensorflow und Jax geleitet.

GPUs, dominiert von den Cuda-fähigen Chips von NVIDIA, verwenden Tausende von Parallelkernen im Allgemeinen neben speziellen Tensoreinheiten, Speicher mit hohem Bandbreiten und komplexen Speicherverwaltungssystemen. Der moderne GPU Ml Aufgaben und eine breitere Vielfalt von Modellarchitekturen.

Leistung im Transformatortraining

• Tpus Übertreffen Sie den GPUs für die large Stapelverarbeitung und Modelle, die direkt mit ihrer Architektur kompatibel sind, einschließlich der meisten Tensorflow-basierten LLMs und Transformator-Netzwerke. Beispielsweise kann das V4/V5P -TPUs von Google bei Trainingsmodellen wie Palm und Gemini im Vergleich zu einigen früheren TPUs bis zu 2,8 -mal schneller sein – und gleichen Sie den GPUs wie die A100 für diese Workloads in Maßstab konsequent heraus.
• GPUS Liefern Sie eine starke Leistung für eine Vielzahl von Modellen, insbesondere für solche, die dynamische Formen, benutzerdefinierte Ebenen oder Frameworks als Tensorflow verwenden. GPUs Excel in kleineren Chargengrößen, unkonventionellen Modelltopologien und Szenarien, die versatile Debugging, benutzerdefinierte Kernelentwicklung oder nicht standardmäßige Operationen erfordern.

Software program -Ökosystem und Framework -Unterstützung

• Tpus sind eng mit dem AI -Ökosystem von Google verbunden, was vor allem Tensorflow und Jax unterstützt. Die Unterstützung von Pytorch ist verfügbar, aber weniger ausgereift und weniger weit verbreitet für Produktionsarbeitslasten.
• GPUS Unterstützen Sie quick jedes große KI -Framework – einschließlich Pytorch, Tensorflow, Jax und MXNET – von reifen Toolchains wie CUDA, CUDNN und ROCM.

Skalierbarkeit und Bereitstellungsoptionen

• Tpus Skalieren Sie nahtlos über Google Cloud und ermöglichen das Coaching von ultra-großen Modellen in der Infrastruktur im Pod-Maßstab mit Tausenden von miteinander verbundenen Chips für den maximalen Durchsatz und die minimale Latenz in verteilten Setups.
• GPUS Bieten Sie eine breite Flexibilität für die Bereitstellung von Cloud-, On-Premises- und Edge-Umgebungen mit Mehrfachanbieterverfügbarkeit (AWS, Azure, Google Cloud, non-public {Hardware}) und umfassender Unterstützung für Container-ML, Orchestrierung und verteilte Schulungsrahmen (z. B. Deepspeed, Megatron-LM).

Energieeffizienz und Kosten

• Tpus werden in Rechenzentren für hohe Effizienz entwickelt und bieten häufig überlegene Leistung professional Watt und niedrigere Gesamtprojektkosten in kompatiblen Arbeitsabläufen.
• GPUS Erhalten Sie in neueren Generationen eine größere Effizienz, beinhalten jedoch häufig einen höheren Gesamtstromverbrauch und die Kosten für ultra-große Produktionsläufe gegenüber optimierten TPUs.

Anwendungsfälle und Einschränkungen

• Tpus Glanz im Coaching extrem große LLMs (Gemini, Palm) im Google Cloud -Ökosystem mit Tensorflow. Sie kämpfen mit Modellen, die dynamische Formen, benutzerdefinierte Operationen oder fortschrittliches Debuggen erfordern.
• GPUS werden für Experimente, Prototypen, Coaching/Feinabstimmung mit Pytorch- oder Multi-Framework-Unterstützung und Bereitstellungen vorgezogen, die vorläufige oder verschiedene Cloud-Optionen benötigen. Die meisten kommerziellen und Open-Supply-LLMs (GPT-4, Lama, Claude) laufen auf Excessive-Finish-Nvidia-GPUs.

Zusammenfassung Vergleichstabelle

TPUs und GPUs sind für verschiedene Prioritäten ausgelegt: TPU. Wählen Sie für die Schulung großer Transformatormodelle den Beschleuniger aus, der mit dem Modell Framework, Workflow -Anforderungen, Debugging- und Bereitstellungsanforderungen und Skalierung von Ambitionen für Ihr Projekt übereinstimmt.

Die besten 2025 -Trainingsbenchmarks für große Transformatormodelle werden derzeit von Googles TPU V5P und NVIDIAs Blackwell (B200) und H200 GPUs erreicht, so MLPerf und Impartial tiefes Lernen Infrastrukturbewertungen.

Prime TPU -Modelle und Benchmarks

• Google TPU V5P: Liefert marktführende Leistung für Coaching LLMs und dichte Transformator-Netzwerke. TPU V5P bietet erhebliche Verbesserungen gegenüber früheren TPU -Versionen und ermöglicht eine large Skalierung (bis zu Tausende von Chips) innerhalb von Google Cloud Pods und unterstützt Modelle bis zu 500B -Parametern. TPU V5P ist für einen hohen Durchsatz, eine kostengünstige Schulung und die Effizienz der Klassenanleitung für TensorFlow/JAX-basierte Workloads bekannt.
• Google TPU Ironwood (für Inferenz): Optimiert für die Inferenz mit Transformatormodellen, die erstklassige Geschwindigkeit und den niedrigsten Energieverbrauch für Bereitstellungen im Produktionsmaßstab.
• Google TPU V5E: Liefert eine starke Preisleistung, insbesondere für die Schulung großer Modelle mit einem Finances, mit bis zu 70B+ Parametern. TPU V5E kann 4–10 × kosteneffizienter sein als GPU-Cluster in ähnlicher Größe für große LLMs.

Prime -GPU -Modelle und Benchmarks

• Nvidia Blackwell B200: Die neue Blackwell-Architektur (GB200 NVL72 und B200) zeigt den Rekorddurchsatz in MLPerf V5.0 Benchmarks und erreicht bis zu 3,4 × höhere Per-GPU-Leistung als der H200 für Modelle wie LLAMA 3.1 (405B-Parameter) und Mixtral 8x7b. Die Geschwindigkeit auf Systemebene mit NVLink-Domänen ermöglicht eine 30-fach-clusterweite Leistung im Vergleich zu älteren Generationen.
• Nvidia H200 Tensor Core GPU: Hocheffizient für das LLM-Coaching, erfolgreich den H100 mit größerer Bandbreite (10 TB/s), verbesserter FP8/BF16-Leistung und fein abgestimmter für Transformer-Workloads. Outperformiert von Blackwell B200, aber immer noch die am weitesten verbreitete und verfügbare Choice in Enterprise Cloud -Umgebungen.
• Nvidia RTX 5090 (Blackwell 2.0): Neu eingeführt im Jahr 2025, bietet bis zu 104,8 TFLOPS-Efficiency-Leistung und 680 Tensor Cores der fünften Era. Es ist preferrred für Forschungslabors und mittelgroße Produktion, insbesondere wenn Preis-Leistungs-Verhältnis und lokaler Einsatz ein Hauptanliegen sind.

MLPerf- und reale Highlights

• TPU V5P und B200 zeigen den schnellsten Trainingsdurchsatz und die schnellste Effizienz für large LLMs, wobei B200 über frühere Generationen 3-fach 3-fach liefert und MLPerf Rekordtoken/Second-Raten in Multi-GPU-NVLink-Clustern bestätigen.
• TPU-Pods behalten einen Vorteil in Preis-per-gequetscht, Energieeffizienz und Skalierbarkeit für Cloud-zentrierte Tensorflow/JAX-Workflows von Google, während Blackwell B200 MLPerf für Pytorch- und heterogene Umgebungen dominiert.

Diese Modelle repräsentieren den Branchenstandard für das große Transformatortraining im Jahr 2025, wobei sowohl TPUs als auch GPUs abhängig vom Rahmen und dem Ökosystem eine modernste Leistung, Skalierbarkeit und Kosteneffizienz bieten.

Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser Publication.

Michal Sutter ist ein Datenwissenschaftler bei einem Grasp of Science in Knowledge Science von der College of Padova. Mit einer soliden Grundlage für statistische Analyse, maschinelles Lernen und Daten Engineering ist Michal aus, um komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

machten letzte Woche Schlagzeilen.

In Microsofts Construct 2025 stellte CEO Satya Nadella die Imaginative and prescient eines „Open Agentic Net“ vor und präsentierte einen neueren Github-Copiloten, der als Multi-Agent-Teamkollege diente, das von Azure AI Foundry angetrieben wurde.

Googles I/O 2025 folgte schnell mit einer Reihe von einer Reihe von Agenten AI Innovationen: Der neue Agentenmodus in Gemini 2.5, das offene Beta des Codierungsassistenten Jules und die native Unterstützung des Modellkontextprotokolls, das eine reibungsloseere Zusammenarbeit zwischen den Agenten ermöglicht.

Openai sitzt auch nicht nonetheless. Sie haben ihren Betreiber, den Webbrowsing-Agenten, auf das neue O3-Modell verbessert, das mehr Autonomie, Argumentation und kontextbezogenes Bewusstsein für alltägliche Aufgaben bringt.

In allen Ankündigungen taucht immer wieder ein Key phrase auf: Gaia. Jeder scheint zu Rennen zu sein, um seine Gaia -Ergebnisse zu melden, aber wissen Sie tatsächlich, was es ist?

Wenn Sie neugierig sind, mehr darüber zu erfahren, was sich hinter den Gaia -Ergebnissen befindet, sind Sie am richtigen Ort. Lassen Sie uns in diesem Weblog die Gaia auspacken Benchmark Und besprechen Sie, was es ist, wie es funktioniert und warum Sie sich bei der Auswahl von LLM -Agent -Instruments um diese Zahlen kümmern sollten.

1. Agenten AI -Bewertung: Von Drawback zur Lösung

Llm Agenten sind AI -Systeme, die LLM als Kern verwenden, der Aufgaben autonom ausführen kann, indem es das Verständnis der natürlichen Sprache kombiniert, mit Argumentation, Planung, Gedächtnis und Werkzeuggebrauch.

Im Gegensatz zu einem Commonplace -LLM sind sie nicht nur passive Responder für Eingabeaufforderungen. Stattdessen initiieren sie Aktionen, passen sich an den Kontext an und arbeiten mit Menschen (oder sogar mit anderen Agenten) zusammen, um komplexe Aufgaben zu lösen.

Wenn diese Agenten fähiger werden, folgt natürlich eine wichtige Frage: Wie finden wir heraus, wie intestine sie sind?

Wir brauchen Commonplace -Benchmark -Bewertungen.

Seit einer Weile stützt sich die LLM -Neighborhood auf Benchmarks, die sich hervorragend zum Testen spezifischer Fähigkeiten von LLM, z. MMLUarithmetisches Denken auf GSM8KCoding-Generierung auf Snippet-Ebene auf HumaneralVerständnis für eine Sprachverständnis von Einzelgezogenen auf Superklebe.

Diese Checks sind sicherlich wertvoll. Aber hier ist der Haken: Die Bewertung eines vollwertigen KI-Assistenten ist a völlig anderes Spiel.

Ein Assistent muss autonom planenAnwesend entscheidenUnd Akt über mehrere Schritte. Diese dynamischen, realen Fähigkeiten lagen nicht im Mittelpunkt dieser „älteren“ Bewertungsparadigmen.

Dies hob schnell eine Lücke hervor: Wir brauchen eine Möglichkeit, diese rundum praktische Intelligenz zu messen.

Geben Sie Gaia ein.

2. Gaia ausgepackt: Was ist unter der Motorhaube?

Gaia steht für General Ai ASSISTANTS Benchmark (1). Dieser Benchmark wurde eingeführt, um LLM-Agenten speziell auf ihre Fähigkeit zu bewerten, als Allzweck-AI-Assistenten zu fungieren. Es ist das Ergebnis einer gemeinsamen Anstrengung von Forschern von Meta-Truthful, Meta-Genai, umarmendem Gesicht und anderen, die mit der Autogpt-Initiative verbunden sind.

Um besser zu verstehen, lassen Sie uns diesen Benchmark aufschlüsseln, indem wir uns auf seine Struktur befassen, wie sie Ergebnisse erzielt und was ihn von anderen Benchmarks unterscheidet.

2.1 Gaia Struktur

Gaia ist im Grunde ein fragwürdiger Benchmark, bei dem LLM-Agenten die Aufgabe haben, diese Fragen zu lösen. Dies erfordert, dass sie eine breite Reihe von Fähigkeiten demonstrieren, einschließlich, aber nicht beschränkt auf:

• Logische Argumentation
• Multimodalitätsverständnis, z. B. Interpretation von Bildern, Daten in nicht-textuellen Formaten usw. dargestellt.
• Net -Surfen zum Abrufen von Informationen
• Verwendung verschiedener Softwaretools, z. B. Code -Dolmetscher, Dateimanipulatoren usw.
• Strategische Planung
• Aggregierte Informationen aus unterschiedlichen Quellen

Schauen wir uns eine der „harten“ Gaia -Fragen an.

Welcher der Früchte im Gemälde 2008 gezeigt? Stickerei aus Usbekistan wurden als Teil der serviert Oktober 1949 Frühstücksmenü Für den Ocean Liner wurde später als schwebende Requisite im Movie verwendet Die letzte Reise? Geben Sie die Gegenstände als von Kommas getrennte Liste an und bestellen Sie sie im Uhrzeigersinn aus der 12-Uhr-Place im Gemälde und verwenden Sie die Pluralform jeder Frucht.

Die Lösung dieser Frage zwingt einen Agenten zu (1) Bilderkennung durchführen, um die Früchte im Gemälde zu kennzeichnen, (2) Forschungsfilm Trivia, um den Namen des Schiffes zu lernen, (3) Abrufen und analysieren Sie ein historisches Menü von 1949, (4) Schneiden Sie die beiden Fruchtlisten und schneiden (5) Formatieren Sie die Antwort genau wie angefordert. Dies zeigt mehrere Fähigkeiten auf einmal.

Insgesamt besteht der Benchmark aus 466 kuratierten Fragen. Sie sind in a unterteilt Entwicklungs-/Validierungssatzwas öffentlich ist und privat Testset Von 300 Fragen werden die Antworten zurückbehalten, um die offizielle Rangliste mitzuwirken. Ein einzigartiges Merkmal von Gaia ist, dass sie eindeutige, sachliche Antworten haben sollen. Diese Eigenschaft vereinfacht den Bewertungsprozess erheblich und gewährleistet auch die Konsistenz bei der Bewertung.

Die Gaia -Fragen sind basierend auf drei Schwierigkeitsgraden strukturiert. Die Idee hinter diesem Design ist, zunehmend komplexere Fähigkeiten zu untersuchen:

• Stufe 1: Diese Aufgaben sollen durch sehr kompetente LLMs lösbar sein. Sie benötigen in der Regel weniger als fünf Schritte für die Ausführung und beinhalten nur minimale Werkzeugverwendung.
• Stufe 2: Diese Aufgaben erfordern komplexere Argumentation und die ordnungsgemäße Verwendung mehrerer Instruments. Die Lösung umfasst im Allgemeinen zwischen fünf und zehn Schritten.
• Stufe 3: Diese Aufgaben stellen die anspruchsvollsten Aufgaben innerhalb des Benchmarks dar. Die erfolgreiche Beantwortung dieser Fragen würde eine langfristige Planung und die ausgefeilte Integration verschiedener Instruments erfordern.

Nachdem wir verstehen, was Gaia testet, untersuchen wir, wie es den Erfolg misst.

2.2 Gaia’s Tor

Die Leistung eines LLM -Agenten wird hauptsächlich entlang von zwei Hauptabmessungen gemessen. Genauigkeit Und kosten.

Für die Genauigkeit ist dies zweifellos die Hauptmetrik für die Bewertung der Leistung. Das Besondere an Gaia ist, dass die Genauigkeitsmetrik normalerweise nicht nur als als gemeldet wird Gesamtpunktzahl über alle Fragen hinweg. Zusätzlich, Individuelle Bewertungen Für jede der drei Schwierigkeitsgrads wird auch berichtet, dass die Fähigkeiten eines Vertreters bei Fragen mit unterschiedlichen Komplexität ein klarer Aufschlüsselung der Fähigkeiten eines Vertreters ermöglichen.

Für die Kosten wird es in USD gemessen und spiegelt die gesamten API -Kosten wider, die einem Agenten entstehen, um alle Aufgaben im Bewertungssatz zu versuchen. Die Kostenmetrik ist in der Praxis sehr wertvoll, da sie das bewertet Effizienz Und Kosteneffizienz den Agenten in der realen Welt bereitzustellen. Ein leistungsstarker Agent, der übermäßige Kosten verursacht, wäre im Maßstab unpraktisch. Im Gegensatz dazu könnte ein kostengünstiges Modell in der Produktion eher vorzuziehen sein, selbst wenn es eine geringfügige Genauigkeit erreicht.

Betrachten Sie die folgenden Referenzpunkte:

• Menschen erreichen bei Gaia -Aufgaben eine Genauigkeit von rund 92%.
• Zum Vergleich starteten frühe LLM-Agenten (angetrieben von GPT-4 mit Plugin-Unterstützung) mit Punktzahlen von rund 15%.
• Neuere High-Performing-Agenten, z. B. H2OGPTE von H2O.AI (angetrieben von Claude-3,7-SONNet), haben einen Gesamtwert von ~ 74percentgeliefert, wobei Stufe 1/2/3 Punkte 86%, 74,8percentbzw. 53percentbetragen.

Diese Zahlen zeigen, wie viel Agenten verbessert haben, aber auch, wie herausfordernde Gaia auch für die High -LLM -Agentensysteme bleibt.

Aber was macht Gaia Schwierigkeiten so bedeutungsvoll für die Bewertung der realen Agentenfunktionen?

2.3 Gaia -Leitprinzipien

Was Gaia hervorhebt, ist nicht nur, dass es schwierig ist. Es ist so, dass die Schwierigkeit sorgfältig ausgelegt ist Testen Sie die Artwork von Fähigkeiten Diese Agenten brauchen in praktischen, realen Szenarien. Hinter diesem Design stehen einige wichtige Prinzipien:

• Schwierigkeitsgrad der realen Welt: Gaia -Aufgaben sind absichtlich herausfordernd. Sie erfordern in der Regel mehrstufige Argumentation, ein modales Verständnis und die Verwendung von Werkzeugen oder APIs. Diese Anforderungen spiegeln die Arten von Aufgaben, die Agenten in realen Anwendungen ausgesetzt sind, genau wider.
• Menschliche Interpretierbarkeit: Obwohl diese Aufgaben für LLM -Agenten eine Herausforderung sein können, bleiben sie für den Menschen intuitiv verständlich. Dies erleichtert Forschern und Praktikern das Verhalten von Fehlern und Verfolgung des Agenten.
• Nicht-Gammenfreundlichkeit: Die richtige Antwort abrufen bedeutet, dass der Agent die Aufgabe vollständig lösen und nicht nur Musteranpassungen erraten oder verwenden muss. Gaia hält auch die Überanpassung ab, indem er Argumentationsspuren verlangt und Fragen mit leicht durchsuchbaren Antworten vermeidet.
• Einfachheit der Bewertung: Antworten auf Gaia -Fragen sollen sein prägnant, sachlich und eindeutig. Dies ermöglicht eine automatisierte (und objektive) Bewertung, wodurch groß angelegte Vergleiche zuverlässiger und reproduzierbarer werden.

Mit einem klareren Verständnis von Gaia unter der Haube lautet die nächste Frage: Wie sollten wir diese Ergebnisse interpretieren, wenn wir sie in Forschungsarbeiten, Produktankündigungen oder Lieferantenvergleiche sehen?

3.. Gaia -Scores zur Arbeit bringen

Nicht alle Gaia -Scores werden gleich erzeugt, und mit einer Prise Salz sollten Schlagzeilennummern eingenommen werden. Hier sind vier wichtige Dinge zu beachten:

1. Priorisieren Sie die Ergebnisse des privaten Testsatzes. Denken Sie beim Betrachten von Gaia -Ergebnissen immer daran, zu überprüfen, wie die Bewertungen berechnet werden. Basiert es auf dem öffentlichen Validierungssatz oder dem privaten Testsatz? Die Fragen und Antworten für das Validierungssatz sind on-line weit verbreitet. Daher ist es sehr wahrscheinlich, dass die Modelle sie möglicherweise während ihres Trainings „auswendig gelernt“ haben, anstatt Lösungen aus echtem Denken abzuleiten. Der non-public Testsatz ist die „echte Prüfung“, während das öffentliche Set eher eine „offene Buchprüfung“ ist.
2. Schauen Sie über die allgemeine Genauigkeit hinaus und streichen Sie in Schwierigkeitsgrad. Während die Gesamtgenauigkeitsbewertung eine allgemeine Idee liefert, ist es oft besser, einen tieferen Blick darauf zu werfen, wie genau der Agent für unterschiedliche Schwierigkeitsgrads funktioniert. Achten Sie besonders auf die Aufgaben der Stufe 3, da starke Leistung erhebliche Fortschritte in den Fähigkeiten eines Agenten für die langfristige Planung und die anspruchsvolle Integration von Werkzeugen signalisiert.
3. Suchen Sie kostengünstige Lösungen. Ziehen Sie immer darauf ab, Agenten zu identifizieren, die die beste Leistung für eine bestimmte Kosten bieten. Wir sehen hier erhebliche Fortschritte. Zum Beispiel kann das jüngste Wissensgraphen der Gedanken (KGOT) (2) bis zu 57 Aufgaben aus dem GAIA-Validierungssatz (165 Aufgaben) zu ungefähr 5 US-Greenback mit GPT-4O-Mini-Kosten lösen, verglichen mit den früheren Versionen von Umarmungsmotiven, die rund 29 Aufgaben bei 187 $ unter Verwendung von GPT-4O lösen.
4. Beachten Sie potenzielle Unvollkommenheiten mit Datensatz. Etwa 5% der GAIA -Daten (über die Validierungs- und Testsätze hinweg) enthält Fehler/Mehrdeutigkeiten in den Grundwahrheitsantworten. Obwohl dies die Bewertung schwierig macht, gibt es ein Silberstreifen: Testen von LLM -Agenten auf Fragen mit unvollkommenen Antworten können deutlich zeigen, welche Agenten wirklich Grund im Vergleich zu ihren Trainingsdaten geben.

4. Schlussfolgerung

In diesem Beitrag haben wir die Gaia ausgepackt, einen Benchmark zur Bewertung von Agenten, der schnell zur Choice vor Ort geworden ist. Die wichtigsten Punkte, an die Sie sich erinnern sollten:

1. Gaia ist ein Actuality -Examine für AI -Assistenten. Es wurde speziell entwickelt, um eine hoch entwickelte Reihe von Fähigkeiten von LLM -Agenten als AI -Assistenten zu testen. Diese Fähigkeiten umfassen komplexes Denken, die Behandlung verschiedener Arten von Informationen, das Browsen von Net -Surfen und die effektive Verwendung verschiedener Instruments.
2. Schauen Sie über die Schlagzeilenzahlen hinaus. Überprüfen Sie die Quelle für den Testset, Schwierigkeitsgrad und Kosteneffizienz.

Gaia stellt einen erheblichen Schritt zur Bewertung von LLM-Agenten so dar, wie wir sie tatsächlich verwenden möchten: Als autonome Assistenten, die die chaotischen, facettenreichen Herausforderungen der realen Welt bewältigen können.

Vielleicht werden neue Bewertungsrahmen entstehen, aber Gaia’s Kernprinzipien, Relevanz, menschliche Interpretierbarkeit und Widerstand gegen Spiele, werden wahrscheinlich für die Messung von AI-Agenten zentral bleiben.

Referenzen

(1) Mialon et al., Gaia: Ein Maßstab für allgemeine KI -Assistenten2023, Arxiv.

(2) Besta et al., Erschwingliche AI ​​-Assistenten mit Wissensgrafik von Gedanken2025, Arxiv.

Ich habe in den letzten drei Jahren einen Wissenschaftsberater und hatte die Möglichkeit, an mehreren Projekten in verschiedenen Branchen zu arbeiten. Ich bemerkte jedoch einen gemeinsamen Nenner unter den meisten Kunden, mit denen ich gearbeitet habe:

Sie haben selten eine klare Vorstellung vom Projektziel.

Dies ist einer der wichtigsten Hindernisse, mit denen Datenwissenschaftler konfrontiert sind, insbesondere jetzt, wo Gen AI jede Domäne übernimmt.

Nehmen wir jedoch an, dass das Ziel klar wird, nach einigen Hin- und Herzuwaffen klar. Wir haben es geschafft, eine bestimmte Frage zu beantworten. Zum Beispiel:

Ich möchte meine Kunden gemäß ihrer Wahrscheinlichkeit, sich aufzuheben, in zwei Gruppen einteilen: „hohe Wahrscheinlichkeit, sich zu kreieren“ und „geringe Wahrscheinlichkeit, sich zu kämpfen“, um sich zu kreieren. “

Nun, was jetzt? Einfach, lass uns einige Modelle erstellen!

Falsch!

Wenn es selten ist, ein klares Ziel zu haben, ist es zuverlässig Benchmark ist noch seltener.

Meiner Meinung nach ist es einer der wichtigsten Schritte bei der Bereitstellung eines Datenwissenschaftsprojekts darin, eine zu definieren und zuzustimmen Set von Benchmarks mit dem Kunden.

In diesem Weblog -Beitrag werde ich erklären:

• Was für ein Benchmark ist,
• Warum es wichtig ist, einen Benchmark zu haben,
• Wie ich ein Beispielszenario bauen würde und
• Einige potenzielle Nachteile, die man beachten sollte

Was ist ein Benchmark?

A Benchmark ist eine standardisierte Methode zur Bewertung der Leistung eines Modells. Es bietet einen Bezugspunkt, an dem neue Modelle verglichen werden können.

Ein Benchmark benötigt zwei Schlüsselkomponenten, um als vollständig betrachtet zu werden:

1. Eine Reihe von Metriken Bewertung der Leistung
2. Eine Reihe einfacher Modelle als Baselines verwenden

Das Konzept im Kern ist einfach: Jedes Mal, wenn ich ein neues Modell entwickle, vergleiche ich es mit beiden früheren Versionen und den Basismodellen. Dies stellt sicher, dass die Verbesserungen actual und verfolgt sind.

Es ist wichtig zu verstehen, dass diese Basislinie kein Modell oder datensatzspezifisch sein sollte, sondern eher geschäftsfähige Geschäfte. Es sollte ein allgemeiner Benchmark für einen bestimmten Enterprise Case sein.

Wenn ich auf einen neuen Datensatz mit demselben Geschäftsziel begegne, sollte dieser Benchmark ein zuverlässiger Bezugspunkt sein.

Warum es wichtig ist, einen Benchmark zu bauen

Jetzt, da wir definiert haben, was ein Benchmark ist, lassen Sie uns darauf eingehen, warum ich glaube, dass es sich lohnt, eine zusätzliche Projektwoche für die Entwicklung eines starken Benchmarks zu verbringen.

1. Ohne einen Benchmark streben Sie nach Perfektion an – Wenn Sie ohne eindeutigen Bezugspunkt arbeiten, verliert jedes Ergebnis die Bedeutung. „Mein Modell hat eine MAE von 30.000“ Ist das intestine? Idk! Vielleicht würden Sie mit einem einfachen Mittel eine MAE von 25.000 bekommen. Durch Vergleich Ihres Modells mit a GrundlinieSie können beide messen Leistung Und Verbesserung.
2. Verbessert die Kommunikation mit Kunden – Kunden und Geschäftsteams verstehen die Standardausgabe eines Modells möglicherweise nicht sofort. Indem sie sie jedoch von Anfang an mit einfachen Baselines einbeziehen, wird es später leichter, Verbesserungen zu demonstrieren. In vielen Fällen können Benchmarks direkt aus dem Geschäft in verschiedenen Formen oder Formen kommen.
3. Hilft bei der Modellauswahl – Ein Benchmark gibt a Ausgangspunkt Um mehrere Modelle honest zu vergleichen. Ohne sie können Sie Zeit mit Testmodellen verschwenden, die es nicht wert sind, in Betracht zu ziehen.
4. Modelldrifterkennung und Überwachung – Modelle können degradieren im Laufe der Zeit. Durch einen Benchmark können Sie möglicherweise abfangen treibt früh Durch Vergleich neuer Modellausgaben mit früheren Benchmarks und Baselines.
5. Konsistenz zwischen verschiedenen Datensätzen – Datensätze entwickeln sich. Durch einen festen Satz von Metriken und Modellen stellen Sie sicher, dass die Leistungsvergleiche im Laufe der Zeit gültig bleiben.

Mit einem klaren Benchmark wird jeder Schritt in der Modellentwicklung bereitstellen Sofortiges Suggestionsden ganzen Prozess mehr machen vorsätzlich und datengetrieben.

Wie ich einen Benchmark bauen würde

Ich hoffe, ich habe Sie davon überzeugt, wie wichtig es ist, einen Benchmark zu haben. Lassen Sie uns jetzt tatsächlich einen bauen.

Beginnen wir mit der geschäftlichen Frage, die wir zu Beginn dieses Weblog -Beitrags vorgestellt haben:

Ich möchte meine Kunden gemäß ihrer Wahrscheinlichkeit, sich aufzuheben, in zwei Gruppen einteilen: „hohe Wahrscheinlichkeit, sich zu kreieren“ und „geringe Wahrscheinlichkeit, sich zu kämpfen“, um sich zu kreieren. “

Der Einfachheit halber werde ich annehmen Keine zusätzlichen Geschäftsbeschränkungen, In realen Szenarien existieren jedoch oft Einschränkungen.

In diesem Beispiel verwende ich Dieser Datensatz (CC0: Public Area). Die Daten enthält einige Attribute aus dem Kundenstamm eines Unternehmens (z. B. Alter, Geschlecht, Anzahl der Produkte,…) sowie deren Abwanderungsstatus.

Jetzt, wo wir etwas haben, an dem wir arbeiten können, lassen Sie uns den Benchmark bauen:

1. Definieren der Metriken

Wir haben es mit einem Abwanderungsnutzungsfall zu tun, insbesondere dies ist a Binärklassifizierungsproblem. Die Hauptmetriken, die wir verwenden könnten, sind additionally:

• Präzision – Prozentsatz der korrekt prognostizierten Ehrings aus allen vorhergesagten Werbemitteln
• Abrufen – Prozentsatz der tatsächlichen Acurer korrekt identifiziert
• F1 -Punktzahl – Gleicht Präzision und Rückruf aus
• Wahre Optimistic, falsche constructive, wahre destructive und falsche Unfavourable

Dies sind einige der „einfachen“ Metriken, die zur Bewertung der Ausgabe eines Modells verwendet werden könnten.

JedochEs ist keine umfassende Liste, Standardmetriken sind nicht immer aus. In vielen Anwendungsfällen kann es nützlich sein, um Bauen Sie benutzerdefinierte Metriken auf.

Nehmen wir an, dass in unserem Enterprise -Fall die Kunden, die als „hohe Wahrscheinlichkeit für die Abwanderung“ bezeichnet werden, werden einen Rabatt angeboten. Dies schafft:

• A kosten (250 US
• A profitieren ($ 1000) Beim Beibehalten eines aufgewühlten Kunden

Nach dieser Definition können wir eine benutzerdefinierte Metrik erstellen, die in unserem Szenario von entscheidender Bedeutung ist:

# Defining the enterprise case-specific reference metric
def financial_gain(y_true, y_pred):  
    loss_from_fp = np.sum(np.logical_and(y_pred == 1, y_true == 0)) * 250  
    gain_from_tp = np.sum(np.logical_and(y_pred == 1, y_true == 1)) * 1000  
    return gain_from_tp - loss_from_fp

Wenn Sie bauen geschäftsbedingte Metriken Diese sind normalerweise am relevantesten. Solche Kennzahlen könnten jede Type oder Type annehmen: finanzielle Ziele, Mindestanforderungen, Prozentsatz der Deckung und mehr.

2. Definieren der Benchmarks

Nachdem wir unsere Metriken definiert haben, können wir eine Reihe von Basismodellen definieren, die als Referenz verwendet werden sollen.

In dieser Part sollten Sie eine Liste von einfach zu Implementmodell in ihrer einfachsten Einrichtung definieren. Es gibt keinen Grund in diesem Zustand, Zeit und Ressourcen für die Optimierung dieser Modelle zu verbringen. Meine Denkweise lautet:

Wenn ich 15 Minuten hätte, wie würde ich dieses Modell implementieren?

In späteren Phasen des Modells können Sie im Verlauf des Projekts Modelle mit den Basismodellen des Projekts hinzufügen.

In diesem Fall werde ich die folgenden Modelle verwenden:

• Zufallsmodell – Weist Beschriftungen zufällig zu
• Mehrheitsmodell – Prognostiziert immer die häufigste Klasse
• Einfacher XGB
• Einfacher Knn

import numpy as np  
import xgboost as xgb  
from sklearn.neighbors import KNeighborsClassifier  
  
class BinaryMean():  
    @staticmethod  
    def run_benchmark(df_train, df_test):  
        np.random.seed(21)  
        return np.random.alternative(a=(1, 0), dimension=len(df_test), p=(df_train('y').imply(), 1 - df_train('y').imply()))  
      
class SimpleXbg():  
    @staticmethod  
    def run_benchmark(df_train, df_test):  
        mannequin = xgb.XGBClassifier()  
        mannequin.match(df_train.select_dtypes(embrace=np.quantity).drop(columns='y'), df_train('y'))  
        return mannequin.predict(df_test.select_dtypes(embrace=np.quantity).drop(columns='y'))  
      
class MajorityClass():  
    @staticmethod  
    def run_benchmark(df_train, df_test):  
        majority_class = df_train('y').mode()(0)  
        return np.full(len(df_test), majority_class)  
  
class SimpleKNN():  
    @staticmethod  
    def run_benchmark(df_train, df_test):  
        mannequin = KNeighborsClassifier()  
        mannequin.match(df_train.select_dtypes(embrace=np.quantity).drop(columns='y'), df_train('y'))  
        return mannequin.predict(df_test.select_dtypes(embrace=np.quantity).drop(columns='y'))

Auch hier können wir wie bei den Metriken bauen Benutzerdefinierte Benchmarks.

Nehmen wir an, dass in unserem Enterprise -Fall die Das Marketingteam kontaktiert jeden Kunden, der es ist:

• Über 50 Jahre/o Und
• Das heißt nicht mehr aktiv

Nach dieser Regel können wir dieses Modell erstellen:

# Defining the enterprise case-specific benchmark
class BusinessBenchmark():  
    @staticmethod  
    def run_benchmark(df_train, df_test):  
        df = df_test.copy()  
        df.loc(:,'y_hat') = 0  
        df.loc((df('IsActiveMember') == 0) & (df('Age') >= 50), 'y_hat') = 1  
        return df('y_hat')

Den Benchmark ausführen

Um den Benchmark auszuführen, werde ich die folgende Klasse verwenden. Der Einstiegspunkt ist die Methode compare_with_benchmark() In Anbetracht einer Vorhersage wird alle Modelle ausgeführt und alle Metriken berechnet.

import numpy as np  
  
class ChurnBinaryBenchmark():  
    def __init__(        
	    self,  
        metrics = (),  
        benchmark_models = (),        
        ):  
        self.metrics = metrics  
        self.benchmark_models = benchmark_models  
  
    def compare_pred_with_benchmark(        
	    self,  
        df_train,  
        df_test,  
        my_predictions,    
        ):  
       
        output_metrics = {  
            'Prediction': self._calculate_metrics(df_test('y'), my_predictions)  
        }  
        dct_benchmarks = {}  
  
        for mannequin in self.benchmark_models:  
            dct_benchmarks(mannequin.__name__) = mannequin.run_benchmark(df_train = df_train, df_test = df_test)  
            output_metrics(f'Benchmark - {mannequin.__name__}') = self._calculate_metrics(df_test('y'), dct_benchmarks(mannequin.__name__))  
  
        return output_metrics  
      
    def _calculate_metrics(self, y_true, y_pred):  
        return {getattr(func, '__name__', 'Unknown') : func(y_true = y_true, y_pred = y_pred) for func in self.metrics}

Jetzt brauchen wir nur noch eine Vorhersage. In diesem Beispiel habe ich ein schnelles Function -Engineering und einige Hyperparameter -Tuning erstellt.

Der letzte Schritt besteht nur darin, den Benchmark auszuführen:

binary_benchmark = ChurnBinaryBenchmark(  
    metrics=(f1_score, precision_score, recall_score, tp, tn, fp, fn, financial_gain),  
    benchmark_models=(BinaryMean, SimpleXbg, MajorityClass, SimpleKNN, BusinessBenchmark)  
    )  
  
res = binary_benchmark.compare_pred_with_benchmark(  
    df_train=df_train,  
    df_test=df_test,  
    my_predictions=preds,  
)  
  
pd.DataFrame(res)

Dies erzeugt a Vergleichstabelle von allen Modellen über alle Metriken hinweg. Mit dieser Tabelle ist es möglich, konkrete Schlussfolgerungen zu den Vorhersagen des Modells zu ziehen und fundierte Entscheidungen über die folgenden Schritte des Prozesses zu treffen.

Einige Nachteile

Wie wir gesehen haben, gibt es viele Gründe, warum es nützlich ist, einen Benchmark zu haben. Obwohl Benchmarks unglaublich nützlich sind, gibt es einige Fallstricke Zu achten auf:

1. Nicht-informative Benchmark – Wenn die Metriken oder Modelle schlecht definiert sind, sind die marginalen Auswirkungen eines Benchmarks abgenommen. Definieren Sie immer sinnvolle Basislinien.
2. Fehlinterpretation durch Stakeholder – Die Kommunikation mit dem Kunden ist unerlässlich. Es ist wichtig, klar zu sagen, welche Metriken messen. Das beste Modell ist bei allen definierten Metriken möglicherweise nicht das Beste.
3. Überanpassung an den Benchmark – Möglicherweise versuchen Sie, zu spezifische Funktionen zu erstellen, die den Benchmark möglicherweise übertreffen, aber nicht intestine in der Vorhersage verallgemeinert werden. Konzentrieren Sie sich nicht darauf, den Benchmark zu schlagen, sondern die bestmögliche Lösung für das Drawback zu erstellen.
4. Änderung des Ziels – Die definierten Ziele können sich aufgrund von Missverständnissen oder Änderungen der Pläne ändern. Halten Sie Ihren Benchmark flexibel, damit er sich bei Bedarf anpassen kann.

Letzte Gedanken

Benchmarks liefern Klarheit, stellen sicher, dass Verbesserungen messbar sind und a erstellen gemeinsamer Bezugspunkt zwischen Datenwissenschaftlern und Kunden. Sie helfen zu vermeiden, dass die Falle der Annahme, dass ein Modell ohne Beweise intestine abschneidet, intestine abschneidet und sicherstellen, dass jede Iteration einen echten Wert bringt.

Sie handeln auch als KommunikationsinstrumentErmächtigen Sie es einfacher, den Kunden den Fortschritt zu erklären. Anstatt nur Zahlen zu präsentieren, können Sie klare Vergleiche zeigen, die Verbesserungen hervorheben.

Hier finden Sie ein Notizbuch mit einer vollständigen Implementierung aus diesem Weblog -Beitrag.