Das AI Frontiers-Labor von Microsoft Analysis hat Fara1.5 veröffentlicht. Es handelt sich um eine Familie von Laptop-Use-Agent-Modellen (CUA) für den Browser. Die Veröffentlichung umfasst drei Größen: Fara1,5-4B, Fara1,5-9B und Fara1,5-27B. Die Modelle sind in MagenticLite integriert, der Sandbox-Browserschnittstelle von Microsoft für diese Agenten.

Laptop-Use-Brokers sind Pixel-to-Motion-Modelle, die einen echten Browser steuern. Sie lesen Screenshots und geben Maus- und Tastaturaktionen aus, um Aufgaben zu erledigen. Aktuelle Agentenprodukte wie Operator von OpenAI und Gemini 2.5 Laptop Use von Google fallen in diese Kategorie.

Fara1.5-27B erzielt auf On-line-Mind2Web einen Aufgabenerfolg von 72 %. Dieser Benchmark umfasst 300 Aufgaben auf 136 beliebten Web sites. Bei der gleichen Bewertung erreicht OpenAIs Operator 58,3 % und Gemini 2.5 Laptop Use 57,3 %. Yutoris Navigator n1 erreicht 64,7 % und Fara1.5-9B erreicht 63,4 %. Das ist quick das Doppelte des Vorgängers Fara-7B, der im gleichen Benchmark 34,1 % erreichte.

Architektur und Agentenschleife

Die Modelle verwenden Qwen3.5-Basisprüfpunkte in ihren Varianten 4B, 9B und 27B. Sie funktionieren durch eine Beobachten-Denken-Handeln-Schleife. Bei jedem Schritt erfasst das Modell den vorherigen Gesprächsverlauf und die drei neuesten Browser-Screenshots. Es sendet dann Gedanken und eine einzelne nächste Aktion aus.

Der Aktionsbereich umfasst Commonplace-Maus- und Tastatureingaben sowie webspezifische Aktionen wie die Websuche. Außerdem werden Metaaktionen für die Kontextverwaltung verfügbar gemacht. Dazu gehören das Auswendiglernen von Fakten zur späteren Verwendung und das Stellen von Klärungsfragen an den Benutzer. Diese Metaaktionen ermöglichen es dem Agenten, über längere Zeiträume hinweg zu agieren und mit Benutzern zusammenzuarbeiten.

Trainingsmix

Beim Coaching wird eine überwachte Feinabstimmung an etwa zwei Millionen Proben durchgeführt. Die Mischung besteht zu 60 % aus Internet-Trajektorien und zu 12,8 % aus synthetischen Umgebungen. Das Ausfüllen von Formularen und Benutzerinteraktionen machen 12,5 % aus. Die Erdung trägt 8,8 % und die VQA 4,9 % bei. Kleinere Abschnitte befassen sich mit dem Ziehen der Benutzeroberfläche, der Befolgung von Anweisungen und der Sicherheit. Der Verlust wird nur auf die drei letzten Kurven in jeder Flugbahn angewendet.

FaraGen1.5: die synthetische Datenpipeline

FaraGen1.5 ist die synthetische Pipeline, die die Trainingstrajektorien erstellt hat. Es besteht aus drei modularen Komponenten: Umgebungen, Lösern und Prüfern.

Umgebungen werden in zwei Typen unterteilt. Open-Web-Aufgaben werden auf Dwell-Web sites ausgeführt, für die keine Anmeldung erforderlich ist. Gated-Area-Aufgaben erfordern authentifizierte Sitzungen oder führen irreversible Aktionen aus, wie z. B. das Senden einer E-Mail.

Für geschlossene Domänen erstellte das Staff sechs synthetische Klone namens FaraEnvs. Sie umfassen Mail, Kalender, Stream, ML, Keep und Scheduler. Jeder Klon verfügt über ein realistisches Frontend, eine voll funktionsfähige API und eine Datenbank mit personabasierten Seed-Daten.

Diese Umgebungen wurden mit GitHub Copilot CLI und iterativer menschlicher Verfeinerung erstellt. Da das Staff den gesamten Stack kontrolliert, weiß es für jede Aufgabe das richtige Ergebnis. Bei Aufgaben, die das Backend verändern, vergleicht ein LLM-Richter Datenbank-Snapshots vor und nach der Ausführung. Aufgaben, deren Standing sich nicht ändert, werden anhand vorberechneter Referenzantworten bewertet.

Der Solver-Agent verwendet GPT-5.4 von OpenAI mit benutzerdefinierten Instruments, die den Aktionsraum von Fara1.5 widerspiegeln. Der Löser erzielt bei On-line-Mind2Web mithilfe des automatisierten WebJudge eine Punktzahl von 83 %. Der vorherige Fara-7B-Löser erreichte bei derselben Bewertung 67 %. Ein Benutzersimulator wird aufgerufen, wenn der Löser eine ausgibt ask_user Anruf oder wenn eine Aufgabe erledigt ist.

Drei Prüfer prüfen, welche Trajektorien in das Coaching einfließen. Correctness verwendet LLM-generierte Rubriken für Open-Web-Aufgaben und die Beurteilung privilegierter Datenbanken für synthetische Rubriken. Effizienz bestraft überflüssige oder unnötige Maßnahmen. Die Überprüfung der Benutzerinteraktion prüft, ob der Agent an kritischen Punkten pausiert hat.

Kritische Punkte und Sicherheit

Fara1.5 ist darauf trainiert, in drei Situationen anzuhalten und den Benutzer zu fragen. Erstens: Für die Aufgabe sind persönliche Informationen erforderlich, die der Benutzer nicht angegeben hat. Zweitens: Die Aufgabenbeschreibung ist mehrdeutig oder es fehlen Particulars, die zum Handeln erforderlich sind. Drittens: Eine unumkehrbare Handlung wird ohne vorherige Genehmigung durchgeführt.

Bei der Sicherheitsschulung werden öffentliche Sicherheitsdatensätze und interne Aufgaben verwendet, die an der Accountable AI Coverage von Microsoft ausgerichtet sind. In MagenticLite werden alle Agentenaktionen protokolliert und sind überprüfbar. Der Sandbox-Browser fungiert auch als Sicherheitsgrenze zwischen dem Agenten und dem Laptop des Benutzers.

Andere Benchmarks

Auf WebVoyager erreicht Fara1.5-27B 88,6 %, der 9B erreicht 86,6 % und der 4B erreicht 80,8 %. Der 9B übertrifft auch vergleichbare Konkurrenten wie MolmoWeb 8B, GUI-Owl-1.5 8B und Holo2 8B. Alle Fara1.5-Evaluierungsläufe nutzen Browserbase, um Sitzungen zu stabilisieren und Blockierungen auf Sitzungsebene zu reduzieren. Die Zahlen werden über drei unabhängige Läufe gemittelt.

Auf WebTailBench v1.5, das auf Lengthy-Tail-Webaufgaben abzielt, erzielt Fara1.5-9B einen Prozesserfolg von 64,5 % und einen Ergebniserfolg von 32,3 %. GPT-5.4 erreicht beim gleichen Benchmark einen Prozesswert von 79,6 % und einen Ergebniswert von 57,4 %.

Wichtige Erkenntnisse

Hier sind 5 wichtige Erkenntnisse aus einer Zeile:

• Microsoft Analysis hat Fara1.5 veröffentlicht, eine Familie von Browser-Agenten für die Computernutzung in den Größen 4B, 9B und 27B, die auf Qwen3.5 basieren.
• Fara1.5-27B erreicht 72 % bei On-line-Mind2Web und schlägt damit OpenAI Operator (58,3 %), Gemini 2.5 CU (57,3 %) und Yutori Navigator n1 (64,7 %).
• Die synthetische Datenpipeline FaraGen1.5 ermöglicht das Coaching auf geschlossenen Domänen über sechs funktionale App-Klone (FaraEnvs), die mit der GitHub Copilot CLI erstellt wurden.
• Fara1.5 hält inne, um den Benutzer an kritischen Punkten zu befragen: fehlende Informationen, unklare Aufgaben oder irreversible Aktionen ohne Genehmigung.

---

Schauen Sie sich das an Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Nach Metas Führung hat Openai nicht einen, sondern drei leistungsstarke neue Modelle fallen. Treffen Sie die GPT -4.1 -Serie mit GPT -4.1, GPT -4.1 Mini und GPT -4.1 Nano. Diese Modelle sind ein großer Sprung in der Fähigkeit der AI, in realen Anwendungen zu verstehen, zu generieren und zu interagieren. Obwohl diese Modelle nur über API verfügbar sind, werden sie für die praktische Leistung erstellt: schnellere Reaktionszeiten, intelligentlicheres Verständnis und erheblich niedrigere Kosten.

Das Beste daran?

Sie können sie kostenlos (mit Grenzen) über Instruments wie Windsurf und VS -Code -Codierungsassistenten ausprobieren. In diesem Weblog werde ich ihre wichtigsten Funktionen, Anwendungsfälle in der Praxis und ihre Leistung aufschlüsseln.

Was ist GPT-4.1?

GPT -4.1 ist OpenAs neuest Era großes Sprachmodell, das erfolgreich ist Gpt -4o Und GPT -4.5 mit großen Fortschritten in Bezug auf Intelligenz, Argumentation und Effizienz. Aber hier ist das, was GPT -4.1 unterscheidet: Es ist nicht nur ein Modell, es ist eine dreiköpfige Familie, die jeweils für unterschiedliche Bedürfnisse ausgelegt ist:

Modelle in der GPT-4.1-Familie:

• GPT -4.1: Das fähigste Modell für kognitive Aufgaben auf hoher Ebene-ideal für Softwareentwicklung, Forschung und Agenten-Workflows.
• GPT -4.1 Mini: Ein für den Gleichgewicht optimiertes mittelgroßes Modell-passt oder übertrifft die GPT-4O-Geheimdienste mit 83% niedrigeren Kosten und quick der Hälfte der Latenz.
• GPT -4.1 Nano: Ein leichtes Modell, das die Reaktionszeit und die solide Leistung in Klassifizierung, Textgenerierung und automatische Anwendungsfälle anbietet.

Alle drei Modelle unterstützen bis zu 1 Million Token des Kontextesgenug, um ganze Bücher, große Codebasen oder lange Transkripte zu bewältigen und gleichzeitig Kohärenz und Genauigkeit beizubehalten.

Notiz: GPT -4.1 ist derzeit nur über API erhältlich. Es ist noch nicht in die ChatGPT -Weboberfläche (plus oder kostenlos) integriert, sodass Benutzer nicht direkt auf GPT -4.1 zugreifen.

Schlüsselmerkmale von GPT -4.1

• 1 Million Token -Kontext: Perfect für die vollständige Codebasisanalyse, das Argumentieren von Multi-Dokument oder den Chat-Speicher über lange Interaktionen.
• Langkontextverständnis: Verbesserte Aufmerksamkeit und Abruf in großen Eingaben, wodurch „verlorene“ Fehler vermieden werden.
• Anweisung folgt: Finest-in-Class-Leistung in strukturierten Aufgaben: XML, YAML, Markdown, Negation, Rating usw.
• Hochmoderne Codierung: Prime-Torschütze auf SWE-Bench, Aider Polyglot und reale Entwickleraufgaben wie Frontend-Apps und PR-Bewertungen.
• Geschwindigkeit und Effizienz: GPT -4.1 Mini und Nano bieten enorme Latenz- und Kostensenkungen für skalierte Anwendungen.
• Multimodale Stärke: Verarbeitet Bilder, Diagramme, Videoverständnisse und visuelles Denken besser als GPT -4O.

GPT-4.1 gegen GPT 4O

Im Vergleich zu seinem Vorfahren GPT 4O; GPT -4.1 verbessert sich quick jeder Achse:

GPT-4.1 schlägt nicht nur die GPT-4O in Funktionen, sondern es ist in der realen Coding- und Enterprise-Bereitstellungen wesentlich robuster und bietet eine bessere Einhaltung von Formaten, weniger Halluzinationen und ein verbessertes Speicher. Infact, GPT-4O (die „aktuelle“ Chatgpt-Model) erbt nach und nach einige der Funktionen von GPT-4.1, aber Echtzeit und volle Funktionalität sind für die API ausschließlich.

Wie kann ich GPT-4.1-Modelle zugreifen?

• Openai API -Konsole: Verwenden Sie Ihren API -Schlüssel, um direkt mit allen Varianten von GPT -4.1 (Commonplace, Mini, Nano) zu interagieren. Sie können die Abschlüsse, die Temperatur, die Max -Token und andere Modellparameter testen, einstellen.
• Batch -API: Perfect für große Workloads wie Dokumentenanalyse, Datenextraktion oder Codegenerierung. Angebote bis zu 50% Rabatt Im Vergleich zu Echtzeit-API-Aufrufen.
• Openai SDK: Integrieren Sie GPT -4.1 in Ihre Anwendungen, Backend -Systeme und Agenten. Dies ermöglicht Streaming -Antworten, Funktionsaufrufe und Integration in andere Instruments.
• WindsurfVSCODE: Die Modelle sind auch in Windsurf und VSCode erhältlich und können dort auch direkt verwendet werden. Windsurf bietet derzeit die GPT-4,1-Modelle für die nächsten 7 Tage kostenlos an! Klicken Sie hier, um mehr zu erfahren

Zu den zusätzlichen erweiterten Optionen gehören ein schnelles Caching (um die Kosten zu reduzieren und die Antwortzeiten zu beschleunigen), die Anpassung der Systemnachrichten und die feinkörnige Kontrolle über die Antwortformatierung.

Versuchen wir GPT-4.1

Immediate: Erstellen Sie eine Karten -Webanwendung. Der Benutzer sollte in der Lage sein, Blitzkarten zu erstellen, seine vorhandenen Flash -Karten zu durchsuchen, Flitzelkarten zu überprüfen und Statistiken zu überprüften Flashkarten anzusehen. Zehn Karten mit einem Hindi -Wort oder -Phrase und seiner englischen Übersetzung vorladen.

Überprüfungsschnittstelle: In der Überprüfungsschnittstelle sollte das Klicken oder Drücken von Speicherplatz die Karte mit einer reibungslosen 3-D-Animation umdrehen, um die Übersetzung anzuzeigen. Wenn Sie die Pfeiltasten drücken, sollten Sie durch Karten navigieren. Suchschnittstelle: Die Suchleiste sollte dynamisch eine Liste von Ergebnissen liefern, wenn die Benutzer in einer Abfrage typen. Statistikschnittstelle: Die Statistikseite sollte ein Diagramm der Anzahl der Karten anzeigen, die der Benutzer überprüft hat, und der Prozentsatz, den sie korrekt geworden sind.

Kartenschnittstelle erstellen: Auf der Seite Karten erstellen kann der Benutzer die Vorder- und Rückseite einer Flitzkarte angeben und zur Sammlung des Benutzers hinzufügen. Jede dieser Schnittstellen sollte in der Seitenleiste zugänglich sein. Generieren Sie eine einzelne Seiten -React -App (setzen Sie alle Stile inline).

Ausgabe GPT-4.1:

Leistungsbenchmarks

Schauen wir uns nun die Leistung von GPT4.1 über Codierung, Anweisungen, Lengthy Context -Handhabung, Sehvermögen und mehr an.

Codierung

GPT-4.1 ist für die Softwareentwicklung für Produktionsqualität entwickelt. Es tritt stark über mehrere reale Codierungs-Benchmarks und Excels in Finish-to-Finish-Aufgaben mit Repositories, Zuganfragen und verschiedenen Formaten aus.

• SWE-Bench verifiziert: GPT-4.1 vervollständigt 54,6% der realen Github-Probleme, verglichen mit 33,2% von GPT-4O und 38% von GPT-4,5. Dies bedeutet, dass es funktionale Patches generiert, die Assessments bestehen, angesichts des Repo und der Ausgabebeschreibung.
• Frontendentwicklung: In einem Check für die Erzeugung von Webanwendungen wurde GPT -4.1 in 80% der Fälle im Vergleich zu GPT -4O aufgrund sauberer Schnittstellen und besserer UX von menschlichen Rezensenten bevorzugt.
• Aider Polyglot -Benchmark: GPT -4.1 zeigt eine überlegene Fähigkeit, Änderungen sowohl in „gesamten Datei“ als auch in „Diff“ -Formaten vorzunehmen, was für die kollaborative Codierung unerlässlich ist. Die Differenzgenauigkeit übertrifft GPT -4,5 um 8 Prozentpunkte.
• Fremdverluste reduziert: Von 9% (GPT -4O) bis nur 2%, wodurch der Code sauberer, fokussierter und effizienter zu überprüfen ist.

Darüber hinaus beobachtete Windsurf, ein KI -Codierungsassistent, a 60% Verbesserung In Code -Änderungen werden bei der ersten Überprüfung bei Verwendung von GPT -4.1 akzeptiert.

Während GPT-4.1 im Vergleich zu GPT-4.5 mit einer verbesserten Codierungsleistung ausgestattet ist; Im Vergleich zu den Topmodellen wie Gemini 2.5 Professional, Deepseek R1 & Claude 3.7 Sonett steht das Modell ziemlich niedriger.

Anweisung folgt

GPT -4.1 ist präziser, strukturierter und zuverlässiger, wenn sie komplexe Eingabeaufforderungen befolgen.

• Multichalenge -Benchmark: 38,3% Genauigkeit, ein Anstieg von 10,5% über GPT -4O. Dies misst die Modellspeicher und die Befehlseinhaltung mehrerer Konversationswunden.
• IFEVAL: 87,4% gegenüber 81,0% (GPT -4O). GPT -4.1 zeichnet sich aus, um explizite Anweisungen wie Ausgabebildform, verbotene Phrasen und Antwortlänge zu erfüllen.
• Hartes Umgang mit schnellem Dealing with: Besser bei der Verwaltung negativer Anweisungen (was nicht zu tun), mehrteilige bestellte Schritte und Rating-Aufgaben.

Blue J Authorized verbesserte Regulierungsforschungsgenauigkeit durch 53%insbesondere bei Aufgaben mit mehrstufiger Logik und dichten Rechtsdokumenten.

Langer Kontexthandling

GPT -4.1 -Modelle können verarbeiten und vermitteln 1 Million TokenSetzen Sie einen neuen Benchmark für eine langkontextbezogene Modellierung.

• MRCR -Benchmark: Misst die Fähigkeit, zwischen mehreren nahezu identischen Aufgaben zu unterscheiden, die über lange Eingänge verstreut sind. GPT -4.1 führt die besten bis zu 1m -Token durch.
• Graphwalks -Argumentation: Bei Multi-Hop-Logikaufgaben (z. 61,7% Genauigkeitweit über den 42percentvon GPT -4O.
• Nadel-in-a-Haystack: Ruft erfolgreich genaue Fakten ab, die an einer Place in einem Million-Token-Dokument platziert sind.

Carlyle erreichte a 50% erhöhen In finanzieller Erkenntnisförderung aus großen PDF- und Excel -Dokumenten. Thomson Reuters sah eine 17% Gewinn in Genauigkeit für die legale Multi-Dokument-Analyse.

Sichtfähigkeiten

Das multimodale Denken mit GPT -4.1 hat einen massiven Schub erhalten, insbesondere bei Textual content- + Bildaufgaben.

• MMMU (Diagramme und Karten): 74,8% Genauigkeit gegenüber 68,7% (GPT -4O)
• Mathvista (visuelle Mathematikaufgaben): 72,2% gegenüber 61,4%
• Charxiv (wissenschaftliche Diagramme): ~ 57%, den Boden mit GPT -4,5 halten
• Video-Mme: 72% Genauigkeit bei der Beantwortung von Fragen von 30 bis 60 Minuten Movies ohne Untertitel; ein neuer hochmoderner

GPT-4.1-Mini schlägt insbesondere GPT-4O im Bildverständnis und markiert eine Schrittveränderung im visuellen Denken. Dies entsperren bessere Dokument -Parsen, Diagramminterpretation und Video -QA.

Zusammen zeigen diese Benchmarks, dass GPT -4.1 in Labortests nicht nur stärker ist, sondern mehr, sondern mehr genau, zuverlässig und nützlich in komplexen, produktionsgradigen Einstellungen über Modalitäten hinweg.

Anwendungen und Anwendungsfälle

Verwenden Sie GPT-4.1, um intelligente Code-Rezensenten zu erstellen, die können:

• Erkennen Sie Fehler automatisch und schlagen Sie Korrekturen in verschiedenen Programmiersprachen vor.
• Nutzen Sie seine Fähigkeiten, um Rechts- und Finanzagenten zu betreiben, die dichte Dokumente analysieren und interpretieren, Inkonsistenzen identifizieren oder Schlüsselklauseln extrahieren können.
• Entwickeln Sie Lengthy-Reminiscence-Assistenten, die die Benutzerhistorie für die personalisierte Unterstützung in der Ausbildung oder im Kundenservice erhalten und abrufen.
• Automatisieren Sie komplexe Tabellenkalkulations-Workflows wie Finanzberichterstattung oder Datenreinigung, indem Sie strukturierte, formelbereitete Outputs generieren.
• Nutzen Sie die multimodalen Stärken des Modells, um Diagramme zu generieren, Videovorträge zu transkribieren und zu analysieren oder langwierige Lehrbücher und PDFs zusammenzufassen.
• Bereiten Sie intelligente Agent -Workflows nahtlos über Plattformen wie GitHub (für Codevorschläge), Begriff (für Content material Administration), Slack (für Teamkommunikation) und Google Sheets (für strukturierte Dateneingabe) ein.
• Erstellen Sie spezialisierte Assistenten, die für hochrangige Anleitungs-Workflows, von der Interpretation von medizinischen Diagrammen und Durchführung von Audits bis hin zum Anbieten von diagnostischen Unterstützung, erstellen.
• Bauen Sie fortgeschrittene Abrufgeräte-Systeme (RAG-Systeme), die ein langes Kontextverständnis verwenden, um hochrelevante Suche und Empfehlungen in Echtzeit zu liefern.

Endnote

GPT -4.1 ist nicht nur ein inkrementelles Improve, es ist eine praktische Plattformverschiebung. Mit neuen Modellvarianten, die für Leistung, Latenz und Skala optimiert sind, können Entwickler und Unternehmen fortschrittliche, zuverlässige und kostengünstige KI-Systeme erstellen, die autonomer, intelligenter und nützlicher sind. Es ist Zeit, über den Chat hinauszugehen. GPT-4.1 ist für Ihre Agenten, Workflows und Anwendungen der nächsten Era hier. Mit GPT 4.1; Es ist jetzt an der Zeit, sich von GPT-4,5 zu verabschieden, da diese neuesten Modelleserien eine ähnliche Leistung zu einem Bruchteil des Preises bieten.