- Komplett Gui-Förståelse: Kan Bearbeta Multimodala Inmatningar (Textual content, Bilder, Interaktionen) För att Skapa en sammanhängande förståelse av gänssnitt.
- RealTidSinteraktion: Kontinuerligt övervakar dynamiska GUI: Er Och Svarar Exakt På Förändringar I REALTID.
- EnhetLigt AKItionsutryMMe: Standardiserade -AkptionsDefinitioner Över Plattformar (Skrivbord, Mobil Och Webb).
- Plattformspecifika Åtgärder: Stödjer Ytterligare Åtgärder Som Genvägar, Lång Tryckning Och Plattformspecifika -Jinus.
Bytedance Har Nyligen Lanserat en ny ai-Agent Som Kallas Ui-tarsVilket Står För ”Consumer Interface Job Automation und Argumentationssystem”. Denna Agent är designad för att interagäre med Grafiska Användargränsssnitt (GUI) och kan Användas på lokala datorer, vilket gör den ett Kraftfult Verktyg För Automatisering uppgifter uptgifter utan utan utan Behov aver Behov usch
Applikationden är
UI-Tars Desktop Gui-Agentapplikationsk Kombinerar en Imaginative and prescient-sp älter med naturlig Språkstyring för datorer. Systemet Möjhliggör Kontroll AV DATORNS GRANSSSNitt Genom Naturligt Språk, Med Stör för skärmbildsimenkänn Och summary mus-och tangentbordsStyring. Applikationden är
- Agenten Använder Loggböcker För att dokumentera Sina Erfarenheter Och Insikter, Liknande Hur terapeuter Och Patienter Använder Refklyna Verktyg I Rehabilitingssammanhang.
- Denna RefleKtiva Prozess Möjligigör för ui-tars attars identifiera mönster, Anpassa Sina Strategier Och Utveckla mer effektiva problemlsningsmetoder över tid.
- Genom att Integrera RefleKterande spår i Sin träningSprocess kan Ui-tars Hantera Altmer Komplexa Gui-Interaktioner Och Resonemangskrävande Szenarier Med Ökad Precision och effectivitet.
Lokal -Set up och Användning
För att Använder ui-tars lokalt finns det två huvudsakliga Alternativ:
- Lokal Set up Med Transformers Eller Vllm: Ger möjlighet Until Lokalt Införande Och in Minderens.
- Molndistribution: Rekommenderas att Använda Huggingface -Inferenzendpunkte För Snabb -Verteilung.
Det Finns också en dedikerad Model Kallad UI-Tars-Desktop Som Kan Operera Direkt På Persondatorer. Denna Model Rekommenderar ANVEndning AV 7B/72B DPO-Modellen För Bästa Prestanda.
UI-tars kan laddas ner och Användas på lokala über Github-Längernkarna:
SystemKrav
- Node.js> = 20
- Stödda Operativsystem:
- Home windows 10/11
- macOS 10.15+
Denna ai-Agent har potenziell att förenkla hur Använder Interagerar Med Sina Dator Genom Atomatisera Repetiva Uppgifter och förbättra effectiviteten I Arbetsflöden.