Empfindungsfähige KI hat veröffentlicht ROMA (Rekursiver offener Meta-Agent)ein Open-Supply-Meta-Agent-Framework zum Aufbau leistungsstarker Multi-Agent-Systeme. ROMA strukturiert Agenten-Workflows als hierarchischer, rekursiver Aufgabenbaum: Übergeordnete Knoten unterteilen ein komplexes Ziel Teilaufgabengeben Sie sie an untergeordnete Knoten weiter als Kontextund später Aggregat ihre Lösungen wenn die Ergebnisse wieder nach oben fließen– das machen Kontextfluss clear und vollständig nachvollziehbar über Knotenübergänge hinweg.

Architektur: Atomisieren → Planen → Ausführen → Aggregieren

ROMA definiert einen minimalen, rekursiven Regelkreis. Zuerst ein Knoten zerstäubt eine Anfrage (atomar oder nicht). Wenn nichtatomar, a Planer zerlegt es in Teilaufgaben; andernfalls ein Testamentsvollstrecker führt die Aufgabe über ein LLM, ein Instrument/eine API oder sogar einen verschachtelten Agenten aus. Ein Aggregator Anschließend werden die Ausgaben des Kindes mit der Antwort des Elternteils zusammengeführt. Diese Entscheidungsschleife wiederholt sich für jede Unteraufgabe und erzeugt einen abhängigkeitsbewussten Baum, der unabhängige Zweige parallel ausführt und eine Reihenfolge von hyperlinks nach rechts erzwingt, wenn eine Unteraufgabe von einer vorherigen Geschwisteraufgabe abhängt.

Informationen bewegen sich von oben nach unten da Aufgaben aufgeschlüsselt werden und von unten nach oben da die Ergebnisse aggregiert werden. ROMA erlaubt es auch menschliche Kontrollpunkte an jedem Knoten (z. B. um einen Plan zu bestätigen oder einen kritischen Sprung zu überprüfen) und an jeder Oberfläche Bühnenverfolgung– Eingaben/Ausgaben professional Knoten – sodass Entwickler Eingabeaufforderungen, Instruments und Routing-Richtlinien debuggen und verfeinern können, wobei jeder Übergang clear ist. Dadurch wird die häufige Beobachtbarkeitslücke in Agenten-Frameworks behoben.

Entwickleroberfläche und -stapel

ROMA bietet eine setup.sh Schnellstart mit Docker-Setup (empfohlen) oder Natives Setupplus Flags für E2B-Sandbox-Integration (--e2b, --test-e2b). Die Stapellisten Backend: Python 3.12+ mit FastAPI/Flask, Frontend: React + TypeScript mit Echtzeit-WebSocket, LLM-Unterstützung: jeder Anbieter über LiteLLMUnd Codeausführung: E2B-Sandboxen. Unterstützung für Datenpfade Enterprise S3-Montage mit Goofys SICHERUNGPfadinjektionsprüfungen und sichere Handhabung von AWS-Anmeldeinformationen, sodass Blattfähigkeiten austauschbar bleiben, während die Metaarchitektur das Aufgabendiagramm und die Abhängigkeiten verwaltet.

In der Entwicklung können Sie ROMA mit geschlossenen oder offenen LLMs, lokalen Modellen, deterministischen Instruments oder anderen Agenten verbinden, ohne die Metaschicht zu berühren; Ein-/Ausgänge werden mit definiert Pydantisch für strukturierte, überprüfbare E/A während der Ausführung und Nachverfolgung.

Warum die Rekursion wichtig ist?

ROMA-Strukturen funktionieren als hierarchischer, rekursiver Aufgabenbaum: übergeordnete Knoten Unterteilen Sie ein komplexes Ziel in Teilaufgabenübergebe sie als Kontext herunterund später Aggregat Kinderlösungen wenn die Ergebnisse wieder nach oben fließen. Diese rekursive Aufschlüsselung beschränkt den Kontext auf das, was jeder Knoten benötigt, und dämmt gleichzeitig die Ausbreitung von Eingabeaufforderungen ein Verfolgung auf Bühnenebene (mit strukturierter Pydantic-E/A) sorgt für den Fluss clear und vollständig nachvollziehbarsodass Ausfälle eher diagnostizierbar als eine Blackbox sind. Unabhängige Geschwister können laufen parallel und Abhängigkeitskanten erzwingen die Reihenfolge und verwandeln Modell-/Eingabeaufforderungs-/Werkzeugauswahlmöglichkeiten in kontrollierte, beobachtbare Komponenten innerhalb der Plan-Ausführung-Aggregations-Schleife.

Benchmarks: ROMA-Suche

Um die Architektur zu validieren, baute Sentient ROMA-Sucheein Web-Suchagent, der auf dem ROMA-Gerüst implementiert ist (keine domänenspezifischen „Deep Analysis“-Heuristiken beansprucht). An SEALQA (Siegel-0)– eine Teilmenge, die das Argumentieren aus mehreren Quellen hervorheben soll – über ROMA Search wird unter berichtet 45,6 % Genauigkeit, die Kimi Researcher übertrifft (36 %) und Gemini 2.5 Professional (19,8 %). Das berichtet auch die ROMA Stand der Technik bei FRAMES (mehrstufiges Denken) und Close to-SOTA auf SimpleQA (Faktenabruf). Behandeln Sie diese wie alle vom Anbieter veröffentlichten Ergebnisse als richtungsweisend, bis sie unabhängig reproduziert werden. Sie zeigen jedoch, dass die Architektur bei begründungsintensiven und faktenzentrierten Aufgaben konkurrenzfähig ist.

Für zusätzlichen Kontext zu SEALQA zielt der Benchmark auf suchgestützte Argumentation ab, bei der Webergebnisse widersprüchlich oder verrauscht sein können. Seal-0 konzentriert sich auf Fragen, die aktuelle Systeme herausfordern, und steht im Einklang mit ROMAs Schwerpunkt auf robusten Zerlegungs- und Verifizierungsschritten.

Wo ROMA passt?

ROMA positioniert sich als Rückgrat für Open-Supply-Meta-Agenten: Es bietet a hierarchischer, rekursiver Aufgabenbaum in dem übergeordnete Knoten Ziele in Unteraufgaben zerlegen, passieren Kontext bis hin zu untergeordneten Knoten (Agenten/Instruments) und später Aggregat Ergebnisse, wenn sie wieder nach oben fließen. Das Design betont Transparenz über Bühnenverfolgung und unterstützt Human-in-the-Loop-Kontrollpunktewährend seine modularen Knoten es Entwicklern ermöglichen, jedes Modell, Instrument oder jeden Agenten anzuschließen und auszunutzen Parallelisierung für unabhängige Niederlassungen. Dies führt zu mehrstufigen Arbeitsbelastungen – von Finanzanalyse zur kreativen Generierung – einfacher zu entwickeln mit explizitem Kontextfluss und beobachtbarer Ausführung.

ROMA ist kein weiterer „Agent-Wrapper“, sondern sieht aus wie ein diszipliniertes rekursives Gerüst: Zerstäuber → Planer → Executor → Aggregatorbei jedem Hop verfolgt, parallel, wo sicher, sequentiell, wo erforderlich. Die ersten Ergebnisse der ROMA-Suche sind vielversprechend und stimmen mit den Zielen des Frameworks überein, aber das wichtigere Ergebnis ist die Kontrolle der Entwickler – klare Aufgabendiagramme, typisierte Schnittstellen und transparenter Kontextfluss –, damit Groups schnell iterieren und jede Section überprüfen können. Mit der Apache-2.0-Lizenzierung und einer Implementierung, die bereits FastAPI/React-Instruments, LiteLLM-Integration und Sandbox-Ausführungspfade umfasst, ist ROMA eine praktische Foundation für den Aufbau von Agentensystemen mit langem Horizont und messbarem, überprüfbarem Verhalten.

---

Schauen Sie sich das an Codes Und Technische Particulars.. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Sakana Ai hat veröffentlicht Shinkaevolveein Open-Sourcing Programme entwickeln Bei wissenschaftlichen und technischen Problemen, die die Anzahl der zur Erreichung starken Lösungen erforderlichen Bewertungen drastisch reduzieren. Auf der Kanonisch Kreisverpackung Benchmark (n = 26 in einem Einheitsquadrat), Shinkaevolve meldet eine neue SOTA -Konfiguration mithilfe ~ 150 Programmbewertungenwo frühere Systeme normalerweise verbrannt wurden Tausende. Das Projekt schifft unter Apache-2.0mit einem Forschungsbericht und einem öffentlichen Kodex.

Welches Drawback löst es tatsächlich?

Die meisten „Agenten“ -Codes-Evolution-Systeme untersuchen durch Brute Drive: Sie mutieren Code, führen ihn aus, bewerten Sie es und wiederholen Sie-konsumieren Sie enorme Stichprobenbudgets. Shinkaevolve -Ziele, die explizit mit verschwenden Drei interagierende Komponenten:

1. Anpassungsfähige übergeordnete Abtastung Exploration/Ausbeutung ausgleichen. Die Eltern stammen aus „Inseln“ über Health- und Neuheitspolitik (Machtgesetz oder gewichtet von Leistung und Nachkommen), anstatt immer auf das aktuelle Beste zu klettern.
2. Neuheit basierende Ablehnungsfilterung Um zu vermeiden, dass Close to-Duplikate neu bewertet werden. Mutable Code -Segmente sind eingebettet; Wenn die Ähnlichkeit der Cosinus einen Schwellenwert überschreitet, dient eine sekundäre LLM vor der Ausführung als „Neuheitsrichter“.
3. Bandit-basierte LLM-Ensembling Das System lernt additionally, welches Modell (z. relativ Health springt und leitet zukünftige Mutationen entsprechend (UCB1-Replace zur Verbesserung gegenüber Eltern/Basislinie).

Geht der Probeneffizienzanspruch über Spielzeugprobleme hinaus?

Das Forschungsteam bewertet vier verschiedene Domänen und zeigt konsistente Gewinne mit kleinen Budgets:

• Kreisverpackung (n = 26): erreicht eine verbesserte Konfiguration in ungefähr 150 Bewertungen; Das Forschungsteam bestätigt auch eine strengere Überprüfung der exakten Bekämpfung.
• Aime Mathematik (2024 Set): entwickelt sich Agentengerüste das verfolgt a Pareto Frontier (Genauigkeit gegen LLM-Name-Price range), übertriffende handgefertigte Baselines unter begrenzten Abfragenbudgets / Pareto-Grenze der Genauigkeit im Vergleich zu Anrufen und Übertragung in andere Aime-Jahre und LLMs.
• Wettbewerbsprogrammierung (Ale-Bench Lite): Ausgehend von Ale-Agent Lösungen, Shinkaevolve liefert ~ 2,3% mittlere Verbesserung über 10 Aufgaben hinweg und schieben die Lösung einer Aufgabe aus 5. → 2. in einem Atcoder -Rangliste kontrafaktisch.
• LLM-Coaching (Expertenmischung): entwickelt a Neuer Verlust des Ladungsausgleichs Dies verbessert die Verwirrung und die nachgelagerte Genauigkeit bei mehreren Regularisierungsstärken im Vergleich zur weit verbreiteten globalen LBL.

Wie sieht die Evolutionsschleife in der Praxis aus?

Shinkaevolve unterhält eine Archiv von bewerteten Programmen mit Health, öffentlichen Metriken und Textfeedback. Für jede Era: Probieren Sie eine Insel und Eltern; Erstellen Sie einen Mutationskontext mit High-Ok- und zufälligen „Inspirations“ -Programmen; Schlagen Sie dann Änderungen über drei Operatoren vor –Diff -ÄnderungenAnwesend Vollständige UmschreibenUnd LLM-geführte Kreuzungen– Schutz unveränderlicher Coderegionen mit expliziten Markern. Ausgeführte Kandidaten aktualisieren sowohl das Archiv als auch das Banditstatistik Das steuert die nachfolgende LLM/Modellauswahl. Das System erzeugt regelmäßig a Meta-Scratchpad Dies fasst kürzlich erfolgreiche Strategien zusammen; Diese Zusammenfassungen werden in die Aufforderung, spätere Generationen zu beschleunigen, zurückversetzt.

Was sind die konkreten Ergebnisse?

• Kreisverpackung: kombiniert Strukturierte Initialisierung (z. B. Golden-Winkelmuster), Hybrid World -Lokal -Suche (simuliertes Glühen + SLSQP) und Fluchtmechanismen (Temperaturerwärmung, Ringrotationen), die vom System entdeckt wurden-nicht von Hand codiert a priori.
• Aime -Gerüste: Dreistufiges Experten-Ensemble (Era → Kritische Peer-Assessment → Synthese), die die Genauigkeit/Kosten bei ~ 7 Aufrufen trifft und gleichzeitig Robustheit beibehält, wenn sie auf verschiedene LLM-Backends ausgetauscht werden.
• Ale-Bench: Zieltechnische Gewinne (z. B., z. Ausschnitt KD-Tree-Substree-Statistiken; „Zielgeschwindige Randbewegungen“ zu falsch klassifizierten Elementen), die die Ergebnisse ohne Umschreibungen des Großhandels verschieben.
• MOE -Verlust: fügt dem globalen Batch-Ziel eine entropie modulierte Strafe hinzu; Reduziert empirisch Miss-Routing und verbessert Verwirrung/Benchmarks als Schichtrouting-Konzentrate.

Wie ist dies im Vergleich zu Alphaevolve und verwandten Systemen?

Alphaevolve zeigte starke Ergebnisse mit geschlossenen Supply, jedoch bei höheren Bewertungszählungen. Shinkaevolve reproduziert und übertrifft Das Kreisverpackungsergebnis mit Anordnungen weniger Proben und gibt alle Komponenten frei Open-Supply. Das Forschungsteam kontrastieren auch Varianten (Single-Mannequin vs. Fastened Ensemble Vs. Banditensemble) und ablieren Elternauswahl Und Neuheit Filterungund zeigt, dass jeder zur beobachteten Effizienz beiträgt.

Zusammenfassung

Shinkaevolve ist ein Apache-2.0 Rahmen für LLM-gesteuerte Programmentwicklung das schneidet die Bewertungen aus Tausende Zu Hunderte durch Kombination Health/neuheitspunkte übergeordnete StichprobeAnwesend Einbettungspluse-llm Neuheit Ablehnungund a Adaptives LLM-Ensemble im UCB1-Stil. Es legt a Neues Sota An Kreisverpackung (~ 150 Evals), findet stärker Aime Gerüste unter strengen Abfragebudgets, verbessert sich Ale-Bench Lösungen (~ 2,3% mittlere Verstärkung, 5. → 2. auf einer Aufgabe) und entdeckt a neuer MOE-Ladungsausgleichsverlust Das verbessert Verwirrung und nachgelagerte Genauigkeit. Code und Bericht sind öffentlich.

---

FAQs – Shinkaevolve

1) Was ist Shinkaevolve?
Ein Open-Supply-Framework, das LLM-gesteuerte Programmmutationen mit evolutionärer Suche zur Automatisierung der Algorithmus-Entdeckung und -Optimierung. Code und Bericht sind öffentlich.

2) Wie erreicht es eine höhere Probeneffizienz als frühere Evolutionssysteme?
Drei Mechanismen: Adaptive übergeordnete Stichproben (Discover/Exploit-Gleichgewicht), neuheitsbasierte Ablehnung zur Vermeidung doppelter Bewertungen und ein Bandit-basierter Selektor, der Mutationen an die vielversprechendsten LLM leitet.

3) Was unterstützt die Ergebnisse?
Es erreicht ein hochmodernes Kreisverpackung mit ~ 150 Bewertungen; Auf Aime-2024 entwickelt es Gerüste unter einer 10-Quer-Obergrenze professional Drawback; Es verbessert Ale-Bench-Lösungen über starke Baselines.

4) Wo kann ich es ausführen und wie lautet die Lizenz?
Das GitHub Repo bietet ein Webui und Beispiele. Shinkaevolve wird unter Apache-2.0 veröffentlicht.

---

Schauen Sie sich das an Technische ParticularsAnwesend Papier Und Github -Seite. Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser E-newsletter.

Crowdstrike und Meta für Cybersecurity-Unternehmen haben Cybersoceval veröffentlicht, eine Open-Supply-Benchmark-Suite zur Bewertung der Leistung von KI-Modellen in Sicherheitsbetriebszentren (SOCS). Das Software soll den Unternehmen helfen, die richtigen KI-betriebenen Cybersicherheitslösungen auszuwählen, indem sie eine standardisierte Möglichkeit bieten, ihre Funktionen bei wichtigen Sicherheitsaufgaben zu testen.

Die Herausforderung, das richtige KI -Sicherheitsinstrument auszuwählen

Da KI in eine wachsende Anzahl von Cybersicherheitsprodukten integriert wird, stehen Sicherheitsprofis der Herausforderung, aus einer Vielzahl von Optionen mit unterschiedlichen Kosten und Fähigkeiten auszuwählen. Cybersoceval befasst sich mit einer strukturierten Methode zum Testen von großsprachigen Modellen (LLMs) für Kern -SOC -Funktionen, einschließlich Vorfallreaktion, Bedrohungsanalyse und Malware -Erkennung.

Ohne klare Benchmarks ist es schwierig zu wissen, welche Systeme, Anwendungsfälle und Leistungsstandards einen echten AI-Vorteil gegenüber realen Angriffen bieten.

Durch die Standardisierung dieser Bewertungen ermöglicht der Benchmark es Unternehmen, objektiv zu messen, wie unterschiedliche KI -Modelle in realistischen Szenarien funktionieren und ihnen helfen, die Instruments zu identifizieren, die ihren operativen Bedürfnissen am besten entsprechen.

Wie Cybersoceval sowohl Unternehmen als auch Entwickler profitiert

Für Unternehmen liefert der Benchmark klare, vergleichbare Daten zur Modellleistung. Für KI -Entwickler bietet es wertvolle Einblicke in die Verwendung von Unternehmenskunden, die ihre Modelle für die Cybersicherheit verwenden. Dieses Suggestions kann zukünftige Verbesserungen leiten und die Macher dabei helfen, ihre Modelle zu verfeinern, um spezifische Branchenjargon oder komplexe Bedrohungsinformationen besser zu bewältigen. Das Framework ist so konzipiert, dass sie anpassungsfähig sind und die Einbeziehung neuer Checks wie Drohungen wie Zero-Day-Exploits ermöglichen.

Die Veröffentlichung von Cybersoceval erfolgt in einem digitalen Wettrüsten, bei dem sowohl Angreifer als auch Verteidiger die KI nutzen. Eine Umfrage von MasterCard und The Monetary Instances Longitude ergab, dass Finanzdienstleistungsunternehmen Millionen von Greenback gespart haben, indem sie KI-angetriebene Instrumente zur Bekämpfung von AI-fähigen Betrugsbetrug mit KI-angetrieben haben.

Ein Open-Supply-Ansatz zur Verbesserung der Sicherheit

Die Beteiligung von Meta am Projekt übereinstimmt mit seiner Geschichte, die Open-Supply-KI-Entwicklung wie seine Lama-Modelle zu unterstützen. Durch das Machen von Cybersoceval zu einem Open-Supply-Software fördern die Unternehmen die Zusammenarbeit der Gemeinschaft, um die Benchmarks im Laufe der Zeit zu verbessern und zu erweitern. Dieser Ansatz zielt darauf ab, den branchenweiten Fortschritt bei der Verteidigung gegen fortgeschrittene Bedrohungen auf KI zu beschleunigen.

Mit diesen Benchmarks und offen für die Sicherheits- und KI-Group können wir als Branche schneller arbeiten, um das Potenzial von KI beim Schutz vor fortgeschrittenen Angriffen, einschließlich der Bedrohungen auf KI, freizuschalten.

Cybersoceval ist ab sofort auf GitHub verfügbar, wo Benutzer die Suite herunterladen können, um Bewertungen auf ihren bevorzugten LLMs auszuführen. Das Repository enthält Dokumentation, Beispieldatensätze und Anweisungen zum Integrieren der Checks in vorhandene Sicherheitsplattformen.

---

Ausgewähltes Bildnachweis