Wie würde sich Ihr Agenten-Stack verändern, wenn eine Richtlinie ausschließlich anhand ihrer eigenen ergebnisorientierten Rollouts trainieren könnte – keine Belohnungen, keine Demos – und dennoch das Nachahmungslernen in acht Benchmarks übertreffen könnte? Meta Superintelligence Labs schlagen vor:Frühe Erfahrung‚, ein belohnungsfreier Trainingsansatz, der das Coverage-Lernen bei Sprachagenten ohne große menschliche Demonstrationssätze und ohne Reinforcement Studying (RL) in der Hauptschleife verbessert. Die Kernidee ist einfach: Lassen Sie den Agenten von Expertenzuständen abzweigen, seine eigenen Maßnahmen ergreifen und die sammeln resultierende zukünftige Zuständeund diese Konsequenzen in Aufsicht umwandeln. Das Forschungsteam konkretisiert dies mit zwei konkreten Strategien:Implizite Weltmodellierung (IWM) Und Selbstreflexion (SR)– und meldet konsistente Gewinne über acht Umgebungen und mehrere Basismodelle hinweg.

Welche frühen Erfahrungen ändern sich?

Traditionelle Pipelines lehnen sich an Nachahmungslernen (IL) über Expertentrajektorien, die günstig zu optimieren, aber schwer zu skalieren und spröde außerhalb der Verteilung sind; Verstärkungslernen (RL) verspricht Lernen aus Erfahrung, benötigt aber nachprüfbare Belohnungen und eine stabile Infrastruktur – was in Internet- und Multitool-Umgebungen oft fehlt. Frühe Erfahrung sitzt zwischen ihnen: es ist belohnungsfrei wie Nachahmungslernen (IL)aber die Aufsicht ist verankert Folgen des eigenen Handelns des Agentennicht nur Expertenaktionen. Kurz gesagt: Der Agent macht Vorschläge, handelt und lernt aus dem, was tatsächlich als nächstes passiert – es ist keine Belohnungsfunktion erforderlich.

• Implizite Weltmodellierung (IWM): Trainieren Sie das Modell, um das vorherzusagen nächste Beobachtung Angesichts des Zustands und der gewählten Aktion wird das interne Modell der Umgebungsdynamik des Agenten gestrafft und Abweichungen von der Richtlinie verringert.
• Selbstreflexion (SR): Präsentieren Sie Experten- und Alternativklagen im selben Staat. Lassen Sie sich das Modell erklären warum die Expertenaktion besser ist Verwenden Sie die beobachteten Ergebnisse und optimieren Sie dann die Richtlinie anhand dieses kontrastierenden Alerts.

Beide Strategien verwenden dieselben Budgets und Decodierungseinstellungen wie IL; Lediglich die Datenquelle unterscheidet sich (vom Agenten generierte Zweige anstelle von Expertenverläufen).

Die Benchmarks verstehen

Das Forschungsteam bewertet weiter acht Sprachagentenumgebungen, die Webnavigation, langfristige Planung, wissenschaftliche/körperliche Aufgaben und Multi-Area-API-Workflows umfassen – z. B. WebShop (Transaktionales Surfen), Reiseplaner (einschränkungsreiche Planung), ScienceWorld, ALFWorld, Tau-Financial institutionund andere. Frühe Erfahrung Erträge durchschnittlicher absoluter Gewinn von +9,6 Erfolg Und +9,4 außerhalb der Domäne (OOD) über IL über die gesamte Matrix von Aufgaben und Modellen hinweg. Diese Vorteile bleiben bestehen, wenn dieselben Kontrollpunkte verwendet werden RL initialisieren (GRPO), Verbesserung der Publish-RL-Obergrenzen um bis zu +6,4 im Vergleich zu Verstärkungslernen (RL) angefangen von Nachahmungslernen (IL).

Effizienz: weniger Expertendaten, gleiches Optimierungsbudget

Ein wichtiger praktischer Gewinn ist Demo-Effizienz. Mit einem festen Optimierungsbudget, Frühe Erfahrung entspricht oder schlägt IL mit a Fraktion von Expertendaten. An WebShop, 1/8 der Demonstrationen mit Frühe Erfahrung bereits überschritten IL trainierte auf dem voll Demo-Set; An ALFWorldParität wird erreicht 1/2 die Demos. Der Vorteil wächst mit mehr Demonstrationen, was darauf hindeutet, dass die vom Agenten generierten Zukunftszustände Überwachungssignale liefern, die Demonstrationen allein nicht erfassen.

Wie die Daten aufgebaut sind?

Die Pipeline basiert auf einer begrenzten Anzahl von Experten-Rollouts, um repräsentative Staaten zu erhalten. Bei ausgewählten Zuständen schlägt der Agent vor different Maßnahmenführt sie aus und zeichnet die auf nächste Beobachtungen.

• Für IWMdie Trainingsdaten sind Tripletts ⟨Zustand, Aktion, nächster Zustand⟩ und das Ziel ist Vorhersage des nächsten Zustands.
• Für SRZu den Eingabeaufforderungen gehören die Expertenaktion und mehrere Alternativen sowie deren beobachtete Ergebnisse. Das Modell erzeugt a fundierte Begründung Erläutern, warum die Expertenmaßnahme vorzuziehen ist, und diese Überwachung wird dann zur Verbesserung der Richtlinie genutzt.

Wo Reinforcement Studying (RL) passt?

Frühe Erfahrung Ist nicht „RL ohne Belohnungen.“ es ist ein betreut Rezept, das verwendet agentenerprobte Ergebnisse als Etiketten. In Umgebungen mit nachweisbaren Belohnungen ist das Forschungsteam einfach RL danach hinzufügen Frühe Erfahrung. Da die Initialisierung besser ist als IL, ist die Gleicher RL-Zeitplan klettert höher und schneller, mit bis +6,4 Endgültiger Erfolg gegenüber IL-initialisiertem RL in allen getesteten Domänen. Dies positioniert Early Expertise als eine Brücke: belohnungsfreies Vortraining aus Konsequenzen, gefolgt (soweit möglich) vom Commonplace Verstärkungslernen (RL).

Wichtige Erkenntnisse

• Belohnungsfreies Coaching über vom Agenten generierte zukünftige Staaten (keine Belohnungen) verwenden Implizite Weltmodellierung Und Selbstreflexion übertrifft Nachahmungslernen in acht Umgebungen.
• Gemeldete absolute Gewinne gegenüber IL: +18,4 (WebShop), +15,0 (Reiseplaner), +13,3 (ScienceWorld) unter übereinstimmenden Budgets und Einstellungen.
• Demo-Effizienz: übertrifft IL im WebShop mit 1/8 von Demonstrationen; erreicht ALFWorld-Parität mit 1/2– zu festen Optimierungskosten.
• Als Initialisierer Frühe Erfahrung steigert nachfolgende RL (GRPO)-Endpunkte um bis +6,4 gegen RL, gestartet von IL.
• Validiert auf mehreren Spine-Familien (3B–8B) mit konsistenten Verbesserungen innerhalb und außerhalb der Domäne; als Brücke dazwischen positioniert Nachahmungslernen (IL) Und Verstärkungslernen (RL).

Frühe Erfahrung ist ein pragmatischer Beitrag: Er ersetzt die brüchige, rein rationale Erweiterung durch eine ergebnisorientierte Überwachung, die ein Agent in großem Maßstab ohne Belohnungsfunktionen generieren kann. Die beiden Varianten – Implicit World Modeling (Vorhersage der nächsten Beobachtung zur Verankerung der Umgebungsdynamik) und Self-Reflection (kontrastive, ergebnisüberprüfte Begründungen gegenüber Expertenaktionen) – greifen direkt Off-Coverage-Drift und Lengthy-Horizon-Fehlerakkumulation an und erklären die konsistenten Gewinne gegenüber Nachahmungslernen in acht Umgebungen und die stärkeren RL-Obergrenzen, wenn sie als Initialisierer für GRPO verwendet werden. In Internet- und Instrument-Nutzungsumgebungen, in denen nachweisbare Belohnungen knapp sind, ist diese belohnungsfreie Überwachung das fehlende Mittel zwischen IL und RL und ist für Produktionsagentenstapel sofort umsetzbar.

---

Schauen Sie sich das an PAPIER hier. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Austin, Texas, 1. Mai 2025 – Eine neue Umfrage von AI Voice Options Firm Vida Zeigt, dass kleine und mittelgroße Unternehmen, die frühzeitige Anwender von KI-betriebenen Sprachagenten sind, nach Angaben des Unternehmens erhöhte Einnahmen, ein verbessertes Kundenbindung und eine stärkere Positionierung als Branchenführer erzielen.

Die Eröffnungsumfrage für SMB AI Voice Agent Adoption & Impression ergaben, dass KMU, die sich für Branchenführer betrachten, mit größerer Wahrscheinlichkeit AI-Voice-Agenten, insbesondere für Inbound-Verkaufsanfragen und Kundenfragen, einsetzen. Die Adoption ist jedoch in der SMB -Landschaft noch früh und ungleichmäßig, was vor allem auf wahrgenommene Hindernisse wie Kundenpräferenzen für Menschen und eine mögliche komplexe Implementierung zurückzuführen ist.

Die SMB AI Voice Agent Adoption & Impression Survey wurde im März 2025 von VIDA und Survey Monkey durchgeführt, in denen 320 SMB -Eigentümer und -manager in verschiedenen Branchen gefragt wurden. Die Umfrage hat eine Fehlerquote von ± 5 Prozent, um statistisch zuverlässige Einblicke in die AI -Adoptionstrends, -vorteile und -herausforderungen innerhalb des SMB -Sektors zu gewährleisten.

Umfrageteile umfassen:

• Nur 22 Prozent der KMBs verwenden derzeit AI-Sprachagenten für ihr Geschäft, aber quick ein Drittel (31 Prozent) planen, innerhalb der nächsten 12 bis 24 Monate in AI-Stimme zu investieren.

ROI:

• 97 Prozent der KMBs, die AI -Sprachagenten verwenden, geben einen Umsatzsteigerung an.
• 82 Prozent sagen, dass diese Instruments das Kundenbindung verbessert haben, um verpasste Anrufe zu reduzieren und mehr Verkaufsmöglichkeiten zu erfassen.
• 80 Prozent geben an, fünf oder mehr Stunden professional Woche zu sparen und die Zeit für höherwertige Aufgaben zu befreien.

Anführervorteil:

• 69 Prozent der KMU, die sich als Führungskräfte klassifizieren, verwenden AI-Sprachagenten für den Kundenunterstützung oder den Umsatz, verglichen mit nur 22 Prozent, die sich selbst als wettbewerbsfähig identifizieren.
• 49 Prozent der KMBs, die sich als Führungskräfte einstufen, haben KI in ihren täglichen Betrieb ausgiebig übernommen.

Verpasste Anrufe

• 42 Prozent der KMUs schätzen, dass sie aufgrund verpasster Kundenanrufe mehr als 500 US -Greenback professional Monat oder 6.000 US -Greenback professional Jahr verlieren.
• 50 Prozent erkennen breitere Geschäftsauswirkungen aus verpassten Kommunikation an.
• Erhalten Sie zwischen 10 und 100 Kundendaten professional Tag.

Anwendungsfälle

• Die High -Anträge für AI -Sprachagenten sind Inbound -Umsatzanfragen (31 Prozent) und die Beantwortung von FAQs (20 Prozent) – Aufgaben, die häufig unbeaufsichtigt werden, aber Einnahmen beeinflussen.
• Überraschenderweise verwenden sie nur 7 Prozent für die Kundendienstteilung und signalisieren ein unerschlossenes Potenzial zur Verbesserung der Service -Workflows.

Hindernisse für die Adoption

• Zu den wichtigsten Gründen, warum KMUs zitieren, wenn sie keine AI -Sprachagenten annehmen, gehören die Wahrnehmung, dass Kunden es vorziehen, mit Menschen zu sprechen, und Bedenken hinsichtlich der Komplexität des Setups.
• In der Zwischenzeit geben 61 Prozent der KMU an, dass sie sich überhaupt nicht selbstbewusst fühlen oder nur etwas zuversichtlich sind, um neue Technologien zu implementieren und zu integrieren.

Trotz dieser Hürden sagen die meisten KMBs, dass sie in Bezug auf Technologie mit den Konkurrenten Schritt halten, aber das Vertrauen in die Implementierung erzählt eine andere Geschichte. Eine Mehrheit der Befragten bezeichnete sich entweder als „überhaupt nicht selbstbewusst“ oder nur „etwas zuversichtlich“ in ihrer Fähigkeit, neue Instruments wie KI -Sprachagenten zu integrieren.

„KMBs fehlen mehr als Anrufe – ihnen fehlen Einnahmen“, sagte Lyle Pratt, CEO und Gründerin von Vida. „Unsere Umfrage zeigt, dass KI-Sprachagenten nicht nur ein technischer Pattern sind, sondern ein strategischer Vorteil. Unternehmen, die sie verwenden, verzeichnen echte Gewinne, und wir erwarten, dass die Adoption schnell steigt, wenn mehr KMU die Chancen erkennen und die realen Anwendungsfälle verstehen.“

„Es gibt eindeutig eine Lücke zwischen wahrgenommener technisch versierte und tatsächliche Bereitschaft, diese Instruments zu übernehmen“, fügte Pratt hinzu. „Während KMU den Wert aufkommender Technologien erkennen, fehlen ihnen häufig die Ressourcen oder das Know -how, um sie effektiv in die Praxis umzusetzen. Wir möchten helfen, die Lücke mit Lösungen zu schließen, die einfach zu implementieren und ROI schnell zu liefern.“

Um mehr über die zu erfahren Vida Umfrage klicken Sie hier.