Die meisten Biologie-Benchmarks stellen eng gefasste, faktenbasierte Fragen mit klaren Antworten. Wissenschaftler wägen unvollständige Beweise ab und treffen Entscheidungen. OpenAI hat LifeSciBench veröffentlicht und zielt direkt auf diese Lücke.
Selbst das stärkste Modell besteht ungefähr jede dritte Aufgabe. Der Benchmark ist noch lange nicht gesättigt.
Was ist LifeSciBench?
LifeSciBench enthält 750 von Experten verfasste Aufgaben. Sie umfassen sieben Arbeitsabläufe und sieben biologische Domänen. Zu jeder Aufgabe gehören eine Eingabeaufforderung, unterstützende Artefakte und eine Bewertungsrubrik.
Die sieben Arbeitsabläufe umfassen die Beweisverarbeitung und -analyse. Dazu gehören auch Design und Optimierung, wissenschaftliches Denken, Validierung und Betrieb, Übersetzung und wissenschaftliche Kommunikation.
Die sieben Bereiche reichen von Genomik und medizinischer Chemie bis hin zu klinischer und translationaler Wissenschaft.
Aufgaben werden so geschrieben, wie ein Wissenschaftler einen Kollegen unterrichten würde. Es handelt sich um eine freie Antwort, nicht um A number of-Selection. Rund 79 % erfordern mehrere Argumentations- oder Entscheidungsschritte, im Durchschnitt jeweils vier Schritte.
Wie der Benchmark aufgebaut wurde
Eine Kohorte von 173 Fachwissenschaftlern verfasste die Aufgaben. Jeder hatte einen Ph.D. und über Erfahrung in der Biotechnologie oder Pharmazie verfügten. Die angenommenen Aufgaben umfassten durchschnittlich sechs automatisierte Überprüfungszyklen und mindestens zwei Expertenbewertungen.
Viele Aufgaben werden mit Artefakten geliefert. Der Benchmark umfasst insgesamt 1.062 angehängte Artefakte. Etwa 53 % der Aufgaben erfordern mindestens ein Artefakt. Zu den Typen gehören Sequenzen, Abbildungen, Tabellen, PDFs und chemische Strukturen.
Eine separate kohortenvalidierte Qualität. Es gab 453 Gutachter und 97 % waren promoviert. Die allgemeine Zustimmung zu Relevanz, Argumentation, Begründung und Nützlichkeit lag bei über 96 %.
Das Rubrikensystem
Rubriken sind hier der Kernmechanismus. Sie umfassen im gesamten Benchmark 19.020 Kriterien. Das sind etwa 25 Kriterien professional Aufgabe.
Jedes Kriterium belohnt eine konkrete Eigenschaft. Beispiele hierfür sind eine bestimmte Tatsache, ein Argumentationsschritt oder eine numerische Antwort innerhalb der Toleranz. Die Bewertung erfolgt anhand der Rubrik, nicht anhand einer einzelnen Referenzzeichenfolge.
Zwei Kennzahlen fassen die Leistung zusammen. Der normalisierte Rubrikenwert dividiert die vergebenen Punkte durch die Gesamtpunktzahl. Bei der Aufgabenerfüllungsquote werden Aufgaben mit einer Punktzahl von 70 % oder mehr gezählt.
Diese Trennung ist für die Interpretation wichtig. Eine Antwort kann teilweise angerechnet werden, während die Aufgabe trotzdem nicht bestanden wird. Die Bestehensschwelle ist von Natur aus streng.
Hier ist die Bewertungslogik in einfachem Python:
def grade(rubric, awarded_ids):
complete = sum(c("pts") for c in rubric)
earned = sum(c("pts") for c in rubric if c("id") in awarded_ids)
normalized = earned / complete # partial credit score
handed = normalized >= 0.70 # task-level success
return normalized, handedWie die Modelle performten
OpenAI bewertete fünf Modelle in einer Single-Flip-Umgebung. Jedes Modell sah die Eingabeaufforderung und die Artefakte einmal. Uneingeschränktes Surfen im Web struggle erlaubt.
| Modell | Normalisierte Punktzahl | Erfolgsquote der Aufgabe |
|---|---|---|
| GPT-Rosalind | 0,576 | 36,1 % |
| GPT-5.5 | 0,519 | 25,7 % |
| Gemini 3.1 Professional | 0,515 | 23,6 % |
| GPT-5.4 | 0,479 | 20,7 % |
| Grok 4.3 | 0,399 | 13,0 % |
GPT-Rosalind, das domänenspezialisierte Modell von OpenAI, lag insgesamt an der Spitze. Bei 386 von 750 Aufgaben gab es den höchsten Mittelwert professional Aufgabe. Außerdem stieg die Gesamterfolgsquote gegenüber GPT-5.5 von 25,7 % auf 36,1 %. Die Erfolgsquoten blieben bei allen Modellen moderat.
Rankings sind nicht die ganze Geschichte. Gemini 3.1 Professional führte eindeutig bei 214 Aufgaben an. Aggregierte Bewertungen können aufgabenspezifische Stärken verbergen.
Wo Fashions gewinnen und wo sie scheitern
Modelle waren bei der strukturierten Beurteilung am stärksten. GPT-Rosalind erreichte bei der Übersetzung einen Durchschnittswert von 0,712. Wissenschaftliche Kommunikation erzielte einen Wert von 0,718, aber diese Kategorie ist klein, additionally lesen Sie sie sorgfältig durch.
Zwei Arbeitsabläufe blieben schwierig. Design, Optimierung und Vorhersage gehörten zu den schwierigsten Prüfungen, wobei GPT-Rosalind 30,7 % erreichte. Die Analyse lag mit 30,3 % knapp dahinter.
Der Einsatz von Artefakten struggle eindeutig ein Engpass. GPT-Rosalind sank von 45,1 % bei reinen Textaufgaben auf 28,1 % bei Artefaktaufgaben. GPT-5,5 fiel in gleicher Weise von 29,9 % auf 21,9 %.
Genaue Ausgaben waren am schwierigsten. Der Erfolg der Sequenz- und Strukturkriterien lag modellübergreifend zwischen 46,9 % und 18,0 %. Der Gewinn von GPT-Rosalind gegenüber GPT-5.5 beim Generieren/Konstruktieren von Gegenständen betrug nur +0,001.
Modelle blieben auch mitten in der Aufgabe stehen. Bei GPT-Rosalind erreichten 109 Aufgaben mindestens 50 % der Bewertungspunkte, lagen aber immer noch unter 20 %.
Die Kopffreiheit bleibt groß. Kein Modell hat 171 Aufgaben bestanden (22,8 %). Und bei 261 Aufgaben (34,8 %) lag die Erfolgsquote des besten Modells unter 20 %.
Stärken und Schwächen
Stärken:
- Breite Abdeckung über sieben Arbeitsabläufe und sieben biologische Bereiche
- Von Experten verfasste Rubriken mit 19.020 atomaren, benotebaren Kriterien
- Realistische Artefakte: Sequenzen, Abbildungen, Tabellen, PDFs und Strukturen
- Unabhängige Validierung durch 453 Gutachter, 97 % davon mit Doktortitel
Schwächen:
- Nur Singleturn; Echte Forschung ist iterativ und mehrschichtig
- Entwickelt von OpenAI, das auch die meisten evaluierten Modelle bereitstellt
- Die öffentliche Veröffentlichung kann durch Sicherheits- und Lizenzbeschränkungen eingeschränkt sein
- 750 Aufgaben können nicht alle wissenschaftlichen Fachgebiete abdecken
Probieren Sie es aus: Interaktiver Rubriken-Grader Demo
LifeSciBench – Interaktive Demo
Rubrik-Grader- und Modell-Rangliste
Sehen Sie, wie die auf Rubriken basierende Bewertung bei einer echten Benchmark-Aufgabe funktioniert. Schalten Sie die Kriterien um, die ein Modell „richtig gemacht“ hat, und sehen Sie sich die Aktualisierung der normalisierten Punktzahl und der 70 %-Bestehensschwelle stay an.
Aufgabe (Analyse – räumliche Transkriptomik): Gruppieren Sie die Spots anhand der beigefügten Visium-Daten von einem FFPE-Gebärmutterhalskrebs-Objektträger in Gruppen mit 4 k-Mitteln, kommentieren Sie den dominanten Zelltyp professional Cluster und empfehlen Sie die 1–2 vielversprechendsten gezielten Therapien (ADC, TCE oder CAR-T) basierend auf Antigen-Expressionsunterschieden zwischen Tumor- und Nicht-Tumorregionen.
Simulieren Sie eine Antwort:
0 / 76 Pkt
Normalisierte Punktzahl: 0%
▲ 70 % Bestehensschwelle (53,2 Punkte)
FAIL – unter 70 %
Eine Antwort kann einen Teil der Gutschrift erhalten, die Aufgabe aber trotzdem nicht erfüllen. Diese Lücke ist genau das, was LifeSciBench misst.
Single-Flip-Auswertung; uneingeschränktes Surfen im Web gestattet. GPT-Rosalind führte insgesamt, konnte aber nur bei 386 von 750 Aufgaben die Nase vorn haben; Gemini 3.1 Professional führte eindeutig auf 214.
Schauen Sie sich das an Papier Und Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150k+ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.
Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns
Michal Sutter ist ein Knowledge-Science-Experte mit einem Grasp of Science in Knowledge Science von der Universität Padua. Mit einer soliden Grundlage in statistischer Analyse, maschinellem Lernen und Datentechnik ist Michal hervorragend darin, komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.