Das AI Frontiers-Labor von Microsoft Analysis hat Fara1.5 veröffentlicht. Es handelt sich um eine Familie von Laptop-Use-Agent-Modellen (CUA) für den Browser. Die Veröffentlichung umfasst drei Größen: Fara1,5-4B, Fara1,5-9B und Fara1,5-27B. Die Modelle sind in MagenticLite integriert, der Sandbox-Browserschnittstelle von Microsoft für diese Agenten.

Laptop-Use-Brokers sind Pixel-to-Motion-Modelle, die einen echten Browser steuern. Sie lesen Screenshots und geben Maus- und Tastaturaktionen aus, um Aufgaben zu erledigen. Aktuelle Agentenprodukte wie Operator von OpenAI und Gemini 2.5 Laptop Use von Google fallen in diese Kategorie.

Fara1.5-27B erzielt auf On-line-Mind2Web einen Aufgabenerfolg von 72 %. Dieser Benchmark umfasst 300 Aufgaben auf 136 beliebten Web sites. Bei der gleichen Bewertung erreicht OpenAIs Operator 58,3 % und Gemini 2.5 Laptop Use 57,3 %. Yutoris Navigator n1 erreicht 64,7 % und Fara1.5-9B erreicht 63,4 %. Das ist quick das Doppelte des Vorgängers Fara-7B, der im gleichen Benchmark 34,1 % erreichte.

Architektur und Agentenschleife

Die Modelle verwenden Qwen3.5-Basisprüfpunkte in ihren Varianten 4B, 9B und 27B. Sie funktionieren durch eine Beobachten-Denken-Handeln-Schleife. Bei jedem Schritt erfasst das Modell den vorherigen Gesprächsverlauf und die drei neuesten Browser-Screenshots. Es sendet dann Gedanken und eine einzelne nächste Aktion aus.

Der Aktionsbereich umfasst Commonplace-Maus- und Tastatureingaben sowie webspezifische Aktionen wie die Websuche. Außerdem werden Metaaktionen für die Kontextverwaltung verfügbar gemacht. Dazu gehören das Auswendiglernen von Fakten zur späteren Verwendung und das Stellen von Klärungsfragen an den Benutzer. Diese Metaaktionen ermöglichen es dem Agenten, über längere Zeiträume hinweg zu agieren und mit Benutzern zusammenzuarbeiten.

Trainingsmix

Beim Coaching wird eine überwachte Feinabstimmung an etwa zwei Millionen Proben durchgeführt. Die Mischung besteht zu 60 % aus Internet-Trajektorien und zu 12,8 % aus synthetischen Umgebungen. Das Ausfüllen von Formularen und Benutzerinteraktionen machen 12,5 % aus. Die Erdung trägt 8,8 % und die VQA 4,9 % bei. Kleinere Abschnitte befassen sich mit dem Ziehen der Benutzeroberfläche, der Befolgung von Anweisungen und der Sicherheit. Der Verlust wird nur auf die drei letzten Kurven in jeder Flugbahn angewendet.

FaraGen1.5: die synthetische Datenpipeline

FaraGen1.5 ist die synthetische Pipeline, die die Trainingstrajektorien erstellt hat. Es besteht aus drei modularen Komponenten: Umgebungen, Lösern und Prüfern.

Umgebungen werden in zwei Typen unterteilt. Open-Web-Aufgaben werden auf Dwell-Web sites ausgeführt, für die keine Anmeldung erforderlich ist. Gated-Area-Aufgaben erfordern authentifizierte Sitzungen oder führen irreversible Aktionen aus, wie z. B. das Senden einer E-Mail.

Für geschlossene Domänen erstellte das Staff sechs synthetische Klone namens FaraEnvs. Sie umfassen Mail, Kalender, Stream, ML, Keep und Scheduler. Jeder Klon verfügt über ein realistisches Frontend, eine voll funktionsfähige API und eine Datenbank mit personabasierten Seed-Daten.

Diese Umgebungen wurden mit GitHub Copilot CLI und iterativer menschlicher Verfeinerung erstellt. Da das Staff den gesamten Stack kontrolliert, weiß es für jede Aufgabe das richtige Ergebnis. Bei Aufgaben, die das Backend verändern, vergleicht ein LLM-Richter Datenbank-Snapshots vor und nach der Ausführung. Aufgaben, deren Standing sich nicht ändert, werden anhand vorberechneter Referenzantworten bewertet.

Der Solver-Agent verwendet GPT-5.4 von OpenAI mit benutzerdefinierten Instruments, die den Aktionsraum von Fara1.5 widerspiegeln. Der Löser erzielt bei On-line-Mind2Web mithilfe des automatisierten WebJudge eine Punktzahl von 83 %. Der vorherige Fara-7B-Löser erreichte bei derselben Bewertung 67 %. Ein Benutzersimulator wird aufgerufen, wenn der Löser eine ausgibt ask_user Anruf oder wenn eine Aufgabe erledigt ist.

Drei Prüfer prüfen, welche Trajektorien in das Coaching einfließen. Correctness verwendet LLM-generierte Rubriken für Open-Web-Aufgaben und die Beurteilung privilegierter Datenbanken für synthetische Rubriken. Effizienz bestraft überflüssige oder unnötige Maßnahmen. Die Überprüfung der Benutzerinteraktion prüft, ob der Agent an kritischen Punkten pausiert hat.

Kritische Punkte und Sicherheit

Fara1.5 ist darauf trainiert, in drei Situationen anzuhalten und den Benutzer zu fragen. Erstens: Für die Aufgabe sind persönliche Informationen erforderlich, die der Benutzer nicht angegeben hat. Zweitens: Die Aufgabenbeschreibung ist mehrdeutig oder es fehlen Particulars, die zum Handeln erforderlich sind. Drittens: Eine unumkehrbare Handlung wird ohne vorherige Genehmigung durchgeführt.

Bei der Sicherheitsschulung werden öffentliche Sicherheitsdatensätze und interne Aufgaben verwendet, die an der Accountable AI Coverage von Microsoft ausgerichtet sind. In MagenticLite werden alle Agentenaktionen protokolliert und sind überprüfbar. Der Sandbox-Browser fungiert auch als Sicherheitsgrenze zwischen dem Agenten und dem Laptop des Benutzers.

Andere Benchmarks

Auf WebVoyager erreicht Fara1.5-27B 88,6 %, der 9B erreicht 86,6 % und der 4B erreicht 80,8 %. Der 9B übertrifft auch vergleichbare Konkurrenten wie MolmoWeb 8B, GUI-Owl-1.5 8B und Holo2 8B. Alle Fara1.5-Evaluierungsläufe nutzen Browserbase, um Sitzungen zu stabilisieren und Blockierungen auf Sitzungsebene zu reduzieren. Die Zahlen werden über drei unabhängige Läufe gemittelt.

Auf WebTailBench v1.5, das auf Lengthy-Tail-Webaufgaben abzielt, erzielt Fara1.5-9B einen Prozesserfolg von 64,5 % und einen Ergebniserfolg von 32,3 %. GPT-5.4 erreicht beim gleichen Benchmark einen Prozesswert von 79,6 % und einen Ergebniswert von 57,4 %.

Wichtige Erkenntnisse

Hier sind 5 wichtige Erkenntnisse aus einer Zeile:

• Microsoft Analysis hat Fara1.5 veröffentlicht, eine Familie von Browser-Agenten für die Computernutzung in den Größen 4B, 9B und 27B, die auf Qwen3.5 basieren.
• Fara1.5-27B erreicht 72 % bei On-line-Mind2Web und schlägt damit OpenAI Operator (58,3 %), Gemini 2.5 CU (57,3 %) und Yutori Navigator n1 (64,7 %).
• Die synthetische Datenpipeline FaraGen1.5 ermöglicht das Coaching auf geschlossenen Domänen über sechs funktionale App-Klone (FaraEnvs), die mit der GitHub Copilot CLI erstellt wurden.
• Fara1.5 hält inne, um den Benutzer an kritischen Punkten zu befragen: fehlende Informationen, unklare Aufgaben oder irreversible Aktionen ohne Genehmigung.

---

Schauen Sie sich das an Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Google hat gerade seinen neuen agentenbasierten Webbrowser von Google DeepMind vorgestellt, der auf Gemini 2.5 Professional basiert. Basierend auf der Gemini-API kann es Net- und App-Schnittstellen „sehen“ und mit ihnen interagieren: Klicken, Tippen und Scrollen wie ein Mensch. Dieses neue KI-Webautomatisierungsmodell schließt die Lücke zwischen Verstehen und Handeln. In diesem Artikel werden wir die wichtigsten Funktionen von Gemini Laptop Use, seine Fähigkeiten und die Integration in Ihr System untersuchen Agentische KI-Workflows.

Was ist Gemini 2.5 Computernutzung?

Gemini 2.5 Laptop Use ist ein KI-Assistent, der einen Browser mithilfe natürlicher Sprache steuern kann. Sie beschreiben ein Ziel und es führt die Schritte aus, die zu seiner Verwirklichung erforderlich sind. Basierend auf dem neuen computer_use-Instrument in der Gemini-API analysiert es Screenshots einer Webseite oder App und generiert dann Aktionen wie „Klicken“, „Eingeben“ oder „Scrollen“. Ein Consumer wie Playwright führt diese Aktionen aus und gibt den nächsten Bildschirm zurück, bis die Aufgabe erledigt ist.

Das Modell interpretiert Schaltflächen, Textfelder und andere Elemente der Benutzeroberfläche, um zu entscheiden, wie es vorgehen soll. Im Rahmen Gemini 2.5 Professionalverfügt es über ein starkes visuelles Denken, das es ihm ermöglicht, komplexe Aufgaben auf dem Bildschirm mit minimalem menschlichen Aufwand zu erledigen. Derzeit konzentriert es sich auf Browserumgebungen und steuert keine Desktop-Apps außerhalb des Browsers.

Schlüsselfunktionen

• Automatisieren Sie die Dateneingabe und das Ausfüllen von Formularen auf Web sites. Der Agent wird in der Lage sein, Felder zu finden, Textual content einzugeben und ggf. Formulare einzureichen.
• Führen Sie Exams von Webanwendungen und Benutzerflüssen durch, indem Sie auf Seiten klicken, Ereignisse auslösen und sicherstellen, dass Elemente korrekt angezeigt werden.
• Führen Sie Recherchen auf mehreren Web sites durch. Es kann beispielsweise Informationen zu Produkten, Preisen oder Bewertungen auf mehreren E-Commerce-Seiten sammeln und die Ergebnisse zusammenfassen.

Wie greife ich auf die Computernutzung von Gemini 2.5 zu?

Die experimentellen Funktionen von Gemini 2.5 Laptop Use sind jetzt für jeden Entwickler zum Spielen öffentlich verfügbar. Entwickler müssen sich lediglich über für die Gemini-API anmelden AI Studio oder Vertex AI und fordern Sie dann Zugriff auf das Computernutzungsmodell an. Google stellt Dokumentation, ausführbare Codebeispiele und Referenzimplementierungen bereit, die Sie ausprobieren können. Die Gemini-API-Dokumente bieten beispielsweise ein Beispiel für die vierstufige Agentenschleife, komplett mit Beispielen in Python unter Verwendung von Google Cloud GenAI SDK und Dramatiker.

Sie würden hierfür entweder eine Browser-Automatisierungsumgebung wie Playwright einrichten und die folgenden Schritte ausführen:

• Melden Sie sich über AI Studio oder Vertex AI für die Gemini-API an.
• Fordern Sie Zugriff auf das Computernutzungsmodell an.
• Sehen Sie sich die Dokumentation von Google, ausführbare Codebeispiele und Referenzimplementierungen an.

Als Beispiel gibt es ein Beispiel für eine Agentenschleife, bei der vier Schritte in Python verwendet werden, die von Google mit dem GenAI SDK und Playwright bereitgestellt werden, um den Browser zu automatisieren.

Lesen Sie auch: Wie kann ich auf die Gemini-API zugreifen und sie verwenden?

Einrichten der Umgebung

Hier ist das allgemeine Beispiel dafür, wie das Setup mit Ihrem Code aussieht:

Erstkonfiguration und Gemini-Consumer

# Load setting variables 

from dotenv import load_dotenv 

load_dotenv() 

# Initialize Gemini API consumer 

from google import genai 

consumer = genai.Consumer() 

# Set display screen dimensions (really useful by Google) 

SCREEN_WIDTH = 1440 

SCREEN_HEIGHT = 900 

Wir beginnen mit der Einrichtung der Umgebungsvariablen, dem Laden der API-Anmeldeinformationen und der Initialisierung des Gemini-Shoppers. Die von Google empfohlenen Bildschirmabmessungen werden definiert und später verwendet, um normalisierte Koordinaten in die tatsächlichen Pixelwerte umzuwandeln, die für Aktionen in der Benutzeroberfläche erforderlich sind.

Browser-Automatisierung mit Playwright

Als Nächstes richtet der Code Playwright für die Browser-Automatisierung ein:

from playwright.sync_api import sync_playwright 

playwright = sync_playwright().begin() 

browser = playwright.chromium.launch( 

headless=False, 

args=( 

'--disable-blink-features=AutomationControlled', 

'--disable-dev-shm-usage', 

'--no-sandbox', 

) 

) 

context = browser.new_context( 

viewport={"width": SCREEN_WIDTH, "peak": SCREEN_HEIGHT}, 

user_agent="Mozilla/5.0 (Home windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/131.0.0.0 Safari/537.36", 

) 

web page = context.new_page() 

Definieren der Aufgaben- und Modellkonfiguration

Hier starten wir einen Chromium-Browser und nutzen die Anti-Erkennungs-Flags, um zu verhindern, dass Webseiten die Automatisierung erkennen. Dann definieren wir ein realistisches Ansichtsfenster und einen Benutzeragenten, um einen normalen Benutzer zu emulieren und eine neue Seite zu erstellen, um zu navigieren und die Interaktion zu automatisieren.

Nachdem der Browser eingerichtet und einsatzbereit ist, wird das Modell mit dem Ziel des Benutzers und dem ersten Screenshot versehen:

from google.genai.varieties import Content material, Half 

USER_PROMPT = "Go to BBC Information and discover at the moment's prime expertise headlines" 

initial_screenshot = web page.screenshot(kind="png") 

contents = ( 

Content material(position="person", elements=( 

Half(textual content=USER_PROMPT), 

Half.from_bytes(information=initial_screenshot, mime_type="picture/png") 

)) 

) 

USER_PROMPT definiert, welche Aufgabe in natürlicher Sprache der Agent ausführen wird. Es erfasst einen ersten Screenshot des Standing der Browserseite, der dann zusammen mit der Eingabeaufforderung an das Modell gesendet wird. Sie werden mit dem Content material-Objekt gekapselt, das später auch an das Gemini-Modell übergeben wird.

Schließlich wird die Agentenschleife ausgeführt, indem sie den Standing an das Modell sendet und die von ihm zurückgegebenen Aktionen ausführt:

Das Instrument computer_use fordert das Modell auf, Funktionsaufrufe zu erstellen, die dann in der Browserumgebung ausgeführt werden. think_config enthält die Zwischenschritte der Argumentation, um dem Benutzer Transparenz zu bieten, was für die spätere Fehlerbehebung oder das Verständnis des Entscheidungsprozesses des Agenten nützlich sein kann.

from google.genai.varieties import varieties 

config = varieties.GenerateContentConfig( 

instruments=(varieties.Instrument( 

computer_use=varieties.ComputerUse( 

setting=varieties.Surroundings.ENVIRONMENT_BROWSER 

) 

)), 

thinking_config=varieties.ThinkingConfig(include_thoughts=True), 

)

Wie funktioniert es?

Gemini 2.5 Laptop Use läuft als Closed-Loop-Agent. Sie geben ihm ein Ziel und einen Screenshot vor, er sagt die nächste Aktion voraus, führt sie über den Consumer aus und überprüft dann den aktualisierten Bildschirm, um zu entscheiden, was als nächstes zu tun ist. Diese Rückkopplungsschleife ermöglicht es Zwillingen, ähnlich wie ein Mensch, der in einem Browser navigiert, zu sehen, zu denken und zu handeln. Der gesamte Prozess wird von der angetrieben computer_use Instrument in der Gemini-API.

Die Kern-Suggestions-Schleife

Der Agent arbeitet in einem kontinuierlichen Zyklus, bis die Aufgabe abgeschlossen ist:

1. Eingabeziel und Screenshot: Das Modell erhält die Anweisung des Benutzers (z. B. „High-Tech-Schlagzeilen finden“) und den Screenshot des aktuellen Standing des Browsers.
2. Generieren Sie Aktionen: Das Modell schlägt einen oder mehrere Funktionsaufrufe vor, die UI-Aktionen mit dem computer_use-Instrument entsprechen.
3. Aktionen ausführen: Das Consumer-Programm führt diese Funktionsaufrufe im Browser aus.
4. Erfassen Sie Suggestions: Ein neuer Screenshot und eine neue URL werden erfasst und an das Modell zurückgesendet.

Was das Modell in jeder Iteration sieht

Bei jeder Iteration erhält das Modell drei Schlüsselinformationen:

• Benutzeranfrage: Das Ziel oder die Anweisung in natürlicher Sprache (Beispiel: „Finden Sie die High-Schlagzeilen“)
• Aktueller Screenshot: Ein Bild Ihres Browser- oder App-Fensters und seines aktuellen Standing
• Aktionsgeschichte: Eine Aufzeichnung der bisher ergriffenen Maßnahmen (für den Kontext)

Das Modell analysiert den Screenshot und das Ziel des Benutzers und generiert dann einen oder mehrere Funktionsaufrufe– jeweils eine UI-Aktion darstellend. Zum Beispiel:

{"identify": "click_at", "args": {"x": 400, "y": 600}}

Dies würde den Agenten anweisen, auf diese Koordinaten zu klicken.

Aktionen im Browser ausführen

Das Consumer-Programm (unter Verwendung der Maus- und Tastatur-APIs von Playwright) führt diese Aktionen im Browser aus. Hier ist ein Beispiel, wie Funktionsaufrufe ausgeführt werden:

def execute_function_calls(candidate, web page, screen_width, screen_height):
    for half in candidate.content material.elements:
        if half.function_call:
            fname = half.function_call.identify
            args = half.function_call.args
            if fname == "click_at":
                actual_x = int(args("x") / 1000 * screen_width)
                actual_y = int(args("y") / 1000 * screen_height)
                web page.mouse.click on(actual_x, actual_y)
            elif fname == "type_text_at":
                actual_x = int(args("x") / 1000 * screen_width)
                actual_y = int(args("y") / 1000 * screen_height)
                web page.mouse.click on(actual_x, actual_y)
                web page.keyboard.kind(args("textual content"))
            # ...different supported actions...

Die Funktion analysiert die FunctionCall vom Modell zurückgegebenen Einträge und führt jede Aktion im Browser aus. Es wandelt normalisierte Koordinaten (0–1000) basierend auf der Bildschirmgröße in tatsächliche Pixelwerte um.

Erfassen von Suggestions für den nächsten Zyklus

Nach der Ausführung von Aktionen erfasst das System den neuen Zustand und sendet ihn an das Modell zurück:

def get_function_responses(web page, outcomes):
    screenshot_bytes = web page.screenshot(kind="png")
    current_url = web page.url
    function_responses = ()
    
    for identify, consequence, extra_fields in outcomes:
        response_data = {"url": current_url}
        response_data.replace(consequence)
        response_data.replace(extra_fields)
        function_responses.append(
            varieties.FunctionResponse(
                identify=identify,
                response=response_data,
                elements=(varieties.FunctionResponsePart(
                    inline_data=varieties.FunctionResponseBlob(
                        mime_type="picture/png",
                        information=screenshot_bytes
                    )
                ))
            )
        )
    return function_responses

Der neue Standing des Browsers wird eingepackt FunctionResponse Objekte, anhand derer das Modell darüber nachdenkt, was als nächstes zu tun ist. Die Schleife wird fortgesetzt, bis das Modell keine Funktionsaufrufe mehr zurückgibt oder bis die Aufgabe abgeschlossen ist.

Lesen Sie auch: High 7 Laptop Use Brokers

Schritte der Agentenschleife

Nach dem Laden des Instruments computer_use folgt eine typische Agentenschleife diesen Schritten:

1. Senden Sie eine Anfrage an das Modell: Fügen Sie das Ziel des Benutzers und einen Screenshot des aktuellen Browserstatus in den API-Aufruf ein
2. Modellantwort erhalten: Das Modell gibt eine Antwort zurück, die Textual content und/oder einen oder mehrere FunctionCall-Einträge enthält.
3. Führen Sie die Aktionen aus: Der Clientcode analysiert jeden Funktionsaufruf und führt die Aktion im Browser aus.
4. Suggestions erfassen und senden: Nach der Ausführung erstellt der Consumer einen neuen Screenshot und notiert die aktuelle URL. Diese werden in eine FunctionResponse verpackt und als nächste Benutzernachricht an das Modell zurückgesendet. Dadurch wird dem Modell das Ergebnis seiner Aktion mitgeteilt, sodass es den nächsten Schritt planen kann.

Dieser Vorgang läuft automatisch in einer Schleife ab. Wenn das Modell keine neuen Funktionsaufrufe mehr generiert, signalisiert es, dass die Aufgabe abgeschlossen ist. An diesem Punkt wird die endgültige Textausgabe zurückgegeben, beispielsweise eine Zusammenfassung der erreichten Ergebnisse. In den meisten Fällen durchläuft der Agent mehrere Zyklen, bevor er entweder das Ziel erreicht oder das festgelegte Zuglimit erreicht.

Weitere unterstützte Aktionen

Das Computernutzungstool von Gemini verfügt über Dutzende integrierter UI-Aktionen. Das Basisset umfasst Aktionen, die für webbasierte Anwendungen typisch sind, darunter:

• open_web_browser: Initialisiert den Browser, bevor die Agentenschleife beginnt (normalerweise vom Consumer verarbeitet).
• click_at: Klickt auf eine bestimmte (x, y)-Koordinate auf der Seite.
• type_text_at: Klicken Sie auf eine Stelle und geben Sie eine bestimmte Zeichenfolge ein. Drücken Sie optionally available die Eingabetaste.
• navigieren: Öffnet eine neue URL im Browser.
• go_back / go_forward: Geht im Browserverlauf vorwärts oder rückwärts.
• hover_at: Bewegt die Maus an einen bestimmten Punkt, um Hover-Effekte auszulösen.
• scroll_document / scroll_at: Scrollt die gesamte Seite oder einen bestimmten Abschnitt.
• Schlüsselkombination: Simuliert das Drücken von Tastaturkürzeln.
• wait_5_seconds: Hält die Ausführung an, nützlich zum Warten auf Animationen oder Seitenladevorgänge.
• Drag_and_Drop: Klicken Sie auf ein Aspect und ziehen Sie es an eine andere Place auf der Seite.

In der Dokumentation von Google wird erwähnt, dass die Beispielimplementierung die drei häufigsten Aktionen umfasst: open_web_browser, click_at und type_text_at. Sie können dies erweitern, indem Sie weitere benötigte Aktionen hinzufügen oder solche ausschließen, die für Ihren Workflow nicht related sind.

Leistung und Benchmarks

Gemini 2.5 Laptop Use bietet eine starke Leistung bei UI-Steuerungsaufgaben. In Googles Exams erreichte es eine Genauigkeit von über 70 % mit einer Latenz von etwa 225 ms und übertraf damit andere Modelle bei Net- und mobilen Benchmarks wie dem Durchsuchen von Web sites und dem Abschließen von App-Workflows.

In der Praxis kann der Agent Aufgaben wie das Ausfüllen von Formularen und das Abrufen von Daten zuverlässig erledigen. Unabhängige Benchmarks stufen es als das genaueste und schnellste öffentliche KI-Modell für die einfache Browserautomatisierung ein. Seine starke Leistung beruht auf der visuellen Argumentation von Gemini 2.5 Professional und einer optimierten API-Pipeline. Da es sich noch in der Vorschau befindet, sollten Sie seine Aktionen überwachen, da gelegentlich Fehler auftreten können.

Lesen Sie auch:

Abschluss

Die Gemini 2.5-Computernutzung ist eine bedeutende Entwicklung in der KI-gestützten Automatisierung, die es Agenten ermöglicht, effektiv und effizient mit realen Schnittstellen zu interagieren. Damit können Entwickler Aufgaben wie Webbrowsing, Dateneingabe oder Datenextraktion mit großer Genauigkeit und Geschwindigkeit automatisieren.

Im öffentlich zugänglichen Zustand können wir Entwicklern eine Möglichkeit bieten, sicher mit den Funktionen von Gemini 2.5 Laptop Use zu experimentieren und es in ihre eigenen Arbeitsabläufe zu integrieren. Insgesamt stellt es einen flexiblen Rahmen dar, mit dem intelligente Assistenten der nächsten Era oder leistungsstarke Automatisierungsworkflows für eine Vielzahl von Anwendungen und Bereichen erstellt werden können.

Die jüngsten Ankündigungen von Anthropic, Microsoft und Apple verändern unsere Einstellung zu KI-Agenten. Heutzutage ist der Begriff „KI-Agent“ überbewertet – quick jede KI-bezogene Ankündigung bezieht sich auf Agenten, aber ihre Ausgereiftheit und ihr Nutzen variieren stark.

Am einen Ende des Spektrums stehen fortschrittliche Agenten, die mehrere Schleifen für die Planung, Toolausführung und Zielbewertung nutzen und so lange iterieren, bis sie eine Aufgabe abgeschlossen haben. Diese Agenten könnten sogar Erinnerungen schaffen und nutzen und aus ihren vergangenen Fehlern lernen, um zukünftige Erfolge voranzutreiben. Die Bestimmung, was einen wirksamen Wirkstoff ausmacht, ist ein sehr aktives Gebiet der KI-Forschung. Dabei geht es darum, zu verstehen, welche Eigenschaften einen erfolgreichen Agenten ausmachen (z. B. wie sollte der Agent planen, wie sollte er den Speicher nutzen, wie viele Instruments sollte er verwenden, wie sollte er den Überblick über seine Aufgabe behalten) und den besten Ansatz zur Konfiguration eines Agententeams finden .

Am anderen Ende des Spektrums finden wir KI-Agenten, die Einzelaufgaben ausführen, die wenig oder gar keine Überlegungen erfordern. Diese Agenten sind häufig stärker auf den Arbeitsablauf ausgerichtet. Beispielsweise ein Agent, der ein Dokument konsistent zusammenfasst und das Ergebnis speichert. Diese Agenten sind in der Regel einfacher zu implementieren, da die Anwendungsfälle eng definiert sind und weniger Planung oder Koordination über mehrere Instruments hinweg und weniger komplexe Entscheidungen erfordern.

Mit den neuesten Ankündigungen von Anthropic, Microsoft und Apple sind wir es Wir erleben einen Wandel von textbasierten KI-Agenten zu multimodalen Agenten. Dies eröffnet die Möglichkeit, einem Agenten schriftliche oder mündliche Anweisungen zu geben und ihm zu ermöglichen, nahtlos auf Ihrem Telefon oder Laptop zu navigieren, um Aufgaben zu erledigen. Dies birgt großes Potenzial zur Verbesserung der geräteübergreifenden Barrierefreiheit, birgt jedoch auch erhebliche Risiken. Die Ankündigung von Anthropic zur Computernutzung hebt die Risiken hervor, die damit verbunden sind, der KI uneingeschränkten Zugriff auf Ihren Bildschirm zu gewähren, und bietet Taktiken zur Risikominderung, wie die Ausführung von Claude in einer dedizierten virtuellen Maschine oder einem dedizierten Container, die Beschränkung des Internetzugriffs auf eine Zulassungsliste zulässiger Domänen, einschließlich menschlicher In-Loop-Kontrollen, usw Vermeiden Sie, dem Modell Zugriff auf smart Daten zu gewähren. Sie weisen darauf hin, dass keine an die API übermittelten Inhalte für Schulungen verwendet werden.

Claude 3.5 Sonett von Anthropic: Der KI die Möglichkeit geben, Laptop zu nutzen

• Überblick: Das Ziel der Computernutzung besteht darin, der KI die Möglichkeit zu geben, mit einem Laptop auf die gleiche Weise zu interagieren, wie es ein Mensch tun würde. Im Idealfall wäre Claude in der Lage, Dokumente zu öffnen und zu bearbeiten, auf verschiedene Bereiche der Seite zu klicken, Seiten zu scrollen und zu lesen, Befehlszeilencode auszuführen und auszuführen und vieles mehr. Heute kann Claude den Anweisungen eines Menschen folgen, einen Cursor über den Computerbildschirm zu bewegen, auf relevante Bereiche des Bildschirms zu klicken und auf einer virtuellen Tastatur etwas zu tippen. Claude erzielte dabei 14,9 % OSWorld Benchmark, der höher ist als andere KI-Modelle auf demselben Benchmark, aber immer noch deutlich hinter Menschen zurück (Menschen erreichen normalerweise 70–75 %).
• Wie es funktioniert: Claude schaut sich die vom Benutzer übermittelten Screenshots an und zählt die Pixel, um festzustellen, wohin der Cursor bewegt werden muss, um die Aufgabe abzuschließen. Die Forscher stellen fest, dass Claude aus Sicherheitsgründen während des Trainings kein Internetzugang gewährt wurde, dass Claude jedoch in der Lage conflict, von Trainingsaufgaben wie der Verwendung eines Taschenrechners und eines Texteditors auf komplexere Aufgaben zu verallgemeinern. Es wurden sogar Aufgaben wiederholt, wenn sie fehlschlugen. Die Computernutzung umfasst drei von Anthropic definierte Werkzeuge: Laptop, Texteditor und Bash. Das Computertool dient zur Bildschirmnavigation, der Texteditor zum Anzeigen, Erstellen und Bearbeiten von Textdateien und Bash zum Ausführen von Bash-Shell-Befehlen.
• Herausforderungen: Trotz der vielversprechenden Leistung liegt bei Claudes Fähigkeiten im Umgang mit Computern noch ein weiter Weg vor uns. Heutzutage hat es Probleme mit dem Scrollen, der allgemeinen Zuverlässigkeit und ist anfällig für sofortige Injektionen.
• Verwendung: Öffentliche Beta verfügbar über die Anthropic API. Die Computernutzung kann mit der regelmäßigen Werkzeugnutzung kombiniert werden.

OmniParser und GPT-4V von Microsoft: Bildschirme für KI verständlich und umsetzbar machen

• Überblick: OmniParser wurde entwickelt, um Screenshots von Benutzeroberflächen zu analysieren und sie in strukturierte Ausgaben umzuwandeln. Diese Ausgaben können an ein Modell wie GPT-4V übergeben werden, um Aktionen basierend auf den erkannten Bildschirmelementen zu generieren. OmniParser + GPT-4V wurden in verschiedenen Benchmarks bewertet, darunter Home windows Agent Area Dadurch wird der OSWorld-Benchmark angepasst, um Home windows-spezifische Aufgaben zu erstellen. Diese Aufgaben dienen dazu, die Fähigkeit eines Agenten zu bewerten, zu planen, den Bildschirm zu verstehen und Instruments zu verwenden. OmniParser und GPT-4V erreichten ca. 20 %.
• Wie es funktioniert: OmniParser kombiniert mehrere fein abgestimmte Modelle, um Bildschirme zu verstehen. Es verwendet ein fein abgestimmtes interaktives Image-/Regionserkennungsmodell (YOLOv8), ein fein abgestimmtes Symbolbeschreibungsmodell (BLIP-2 oder Florenz2) und ein OCR-Modul. Diese Modelle werden verwendet, um Symbole und Textual content zu erkennen und Beschreibungen zu generieren, bevor diese Ausgabe an GPT-4V gesendet wird, das entscheidet, wie die Ausgabe für die Interaktion mit dem Bildschirm verwendet wird.
• Herausforderungen: Wenn OmniParser heute wiederholte Symbole oder Texte erkennt und diese an GPT-4V übergibt, klickt GPT-4V normalerweise nicht auf das richtige Image. Darüber hinaus unterliegt OmniParser der OCR-Ausgabe. Wenn der Begrenzungsrahmen deaktiviert ist, klickt das gesamte System möglicherweise nicht auf den entsprechenden Bereich für anklickbare Hyperlinks. Es gibt auch Schwierigkeiten beim Verständnis bestimmter Symbole, da manchmal dasselbe Image zur Beschreibung unterschiedlicher Konzepte verwendet wird (z. B. drei Punkte zum Laden im Vergleich zu einem Menüpunkt).
• Verwendung: OmniParser ist verfügbar unter GitHub & Umarmendes Gesicht Sie müssen die Anforderungen installieren und das Modell von HuggingFace laden. Als Nächstes können Sie versuchen, die Demo-Notebooks auszuführen, um zu sehen, wie OmniParser Bilder aufschlüsselt.

Apples Ferret-UI: Multimodale Intelligenz in cell Benutzeroberflächen bringen

• Überblick: Apples Ferret (Refer and Floor Something Wherever at Any Granularity) gibt es seit 2023, aber kürzlich hat Apple Ferret-UI veröffentlicht, ein MLLM (Multimodal Giant Language Mannequin), das „Referring-, Grounding- und Reasoning-Aufgaben“ auf mobilen UI-Bildschirmen ausführen kann . Zu den verweisenden Aufgaben gehören Aktionen wie die Widget-Klassifizierung und die Symbolerkennung. Zu den Erdungsaufgaben gehören Aufgaben wie das Suchen von Symbolen oder das Suchen von Textual content. Ferret-UI kann Benutzeroberflächen verstehen und Anweisungen zur Interaktion mit der Benutzeroberfläche befolgen.
• Wie es funktioniert: Ferret-UI basiert auf Ferret und wurde durch Coaching mit „jeder Auflösung“ für die Arbeit mit feinkörnigeren Bildern angepasst, damit cell Benutzeroberflächen besser verstanden werden können. Jedes Bild wird in zwei Teilbilder aufgeteilt, die ihre eigenen Merkmale generieren. Das LLM verwendet das vollständige Bild, beide Teilbilder, regionale Merkmale und Texteinbettungen, um eine Antwort zu generieren.
• Herausforderungen: Einige der im Ferret-UI-Artikel zitierten Ergebnisse zeigen Fälle, in denen Ferret nahegelegenen Textual content anstelle des Zieltexts vorhersagt, gültige Wörter vorhersagt, wenn ein Bildschirm mit falsch geschriebenen Wörtern angezeigt wird, und manchmal auch UI-Attribute falsch klassifiziert.
• Verwendung: Apple hat die Daten und den Code auf verfügbar gemacht GitHub Nur für Forschungszwecke. Apple hat zwei Ferret-UI-Kontrollpunkte veröffentlicht, einen auf Gemma-2b und einen auf Llama-3–8B. Die Ferret-UI-Modelle unterliegen den Lizenzen für Gemma und Llama, während der Datensatz eine nichtkommerzielle Nutzung zulässt.

Zusammenfassung: Drei Ansätze zur KI-gesteuerten Bildschirmnavigation

Zusammenfassend zeigt jedes dieser Systeme einen anderen Ansatz zum Aufbau multimodaler Agenten, die in unserem Namen mit Computern oder mobilen Geräten interagieren können.

Anthropics Claude 3.5 Sonnet konzentriert sich auf die allgemeine Computerinteraktion, bei der Claude Pixel zählt, um angemessen auf dem Bildschirm zu navigieren. Der OmniParser von Microsoft befasst sich mit spezifischen Herausforderungen bei der Aufteilung von Benutzeroberflächen in strukturierte Ausgaben, die dann an Modelle wie GPT-4V gesendet werden, um Aktionen zu bestimmen. Apples Ferret-UI ist auf das Verständnis der mobilen Benutzeroberfläche zugeschnitten und ermöglicht die Identifizierung von Symbolen, Textual content und Widgets sowie die Ausführung unbefristeter Anweisungen im Zusammenhang mit der Benutzeroberfläche.

In jedem System ist die Der Workflow besteht normalerweise aus zwei Schlüsselphasen: einer zum Parsen der visuellen Informationen und einer zum Überlegen, wie mit ihnen interagiert werden soll. Die genaue Analyse von Bildschirmen ist entscheidend für die richtige Planung der Interaktion mit dem Bildschirm und für die zuverlässige Ausführung von Aufgaben durch das System.

Meiner Meinung nach ist der spannendste Aspekt dieser Entwicklungen das Wie Multimodale Fähigkeiten und Denkrahmen beginnen sich anzunähern. Während diese Instruments bieten vielversprechende FähigkeitenDennoch hinken sie der menschlichen Leistungsfähigkeit deutlich hinterher. Es gibt auch serhebliche Bedenken hinsichtlich der KI-Sicherheit die bei der Implementierung eines Agentensystems mit Bildschirmzugriff berücksichtigt werden müssen.

Einer der größten Vorteile von Agentensystemen ist ihr Potenzial, die kognitiven Einschränkungen einzelner Modelle zu überwinden, indem sie Aufgaben in spezialisierte Komponenten zerlegen. Diese Systeme können auf viele Arten aufgebaut werden. In manchen Fällen erscheint es dem Benutzer so ein einzelner Agent kann, hinter den Kulissen, bestehen aus ein Staff von Unteragenten – jede Verwaltung unterschiedlicher Verantwortlichkeiten wie Planung, Bildschirminteraktion oder Speicherverwaltung. Beispielsweise könnte sich ein Reasoning-Agent mit einem anderen Agenten koordinieren, der auf das Parsen von Bildschirmdaten spezialisiert ist, während ein separater Agent Erinnerungen kuratiert, um die zukünftige Leistung zu verbessern.

Alternativ könnten diese Fähigkeiten sein kombiniert in einem robusten Agenten. In diesem Setup könnte der Agent über mehrere interne Planungsmodule verfügen – eines konzentriert sich auf die Planung der Bildschirminteraktionen und ein anderes konzentriert sich auf die Verwaltung der Gesamtaufgabe. Der beste Ansatz zur Strukturierung von Agenten bleibt abzuwarten, aber das Ziel bleibt dasselbe: Agenten zu schaffen, die zuverlässig über mehrere Modalitäten hinweg funktionieren und sich nahtlos an die Bedürfnisse des Benutzers anpassen.

Referenzen:

Sind Sie an einer weiteren Diskussion oder Zusammenarbeit interessiert? Kontaktieren Sie uns LinkedIn!