Wir hatten bereits einen Hinweis. KI würde eines Tages die meisten menschlichen Fähigkeiten übertreffen. Im Bereich der Cybersicherheit kam dieser Tag mit der kürzlichen Ankündigung der Mythos Preview von viel zu früh Claude. Das neue KI-Modell verspricht ein Niveau an Codierungskompetenzen, das vermutlich „alle außer den geschicktesten Menschen beim Auffinden und Ausnutzen von Software program-Schwachstellen übertrifft“. Und diese Macht soll nun in einer neuen, „dringenden“ Initiative zur Sicherung des Our on-line world genutzt werden. Alles unter dem Namen „Undertaking Glasswing“.

Hier erfahren Sie alles über die neueste Leistung von Anthropic und warum sie für quick die ganze Welt wichtig ist.

Was ist Undertaking Glasswing?

Der Identify ist nicht zufällig. Es ist vom Glasflügel-Schmetterling (Greta oto) inspiriert und repräsentiert zwei Aspekte der Initiative. Der Schmetterling ist für seine transparenten Flügel bekannt, die es ihm ermöglichen, sich intestine zu verstecken. Genau so entstehen Software program-Schwachstellen häufig. Aus einer anderen Perspektive ermöglichen diese transparenten Flügel dem Schmetterling, Schaden zu vermeiden. Anthropic setzt sich in seinem Ansatz für die gleiche Transparenz ein.

Sobald Sie auf die Digitalisierung umsteigen, läuft im Backend eine Vielzahl von Diensten, die dafür sorgen, dass die Dinge so funktionieren, wie sie es heute tun. Die meisten dieser Systeme werden von einigen wenigen Technologiekonzernen auf der ganzen Welt kontrolliert. Denken Sie an Microsoft, Google, Amazon, Apple, Broadcom und solche Großen. Anthropic arbeitet nun mit diesen Firmen zusammen, um dabei zu helfen, ihre kritischsten Softwarenetzwerke zu schützen, die direkt oder indirekt die uns bekannte Cyberwelt antreiben.

Zu diesem Zweck hat Anthropic seine brandneue Mythos Preview bereitgestellt. Darüber hinaus hat das hochmoderne KI-Modell bereits „Tausende von Schwachstellen mit hohem Schweregrad“ gefunden. Das Erschreckende daran ist, dass diese Probleme in „jedem wichtigen Betriebssystem und Webbrowser“ gefunden wurden.

Daran ist Anthropic beteiligt Blogbeitrag Ankündigung der Undertaking Glasswing-Initiative. Daneben beleuchtet der Beitrag hauptsächlich die Funktionen von Mythos Preview. Das bringt uns zu unserem nächsten Schwerpunktthema:

Was ist Mythos Preview?

Im einfachsten Sinne ist Mythos Preview einfach ein weiteres LLM oder großes Sprachmodell aus dem Hause Anthropic, ähnlich wie Claude Opus oder Sonnet. Es gilt als äußerst effizient in den Bereichen Softwareentwicklung, Argumentation, Computernutzung, Wissensarbeit und Unterstützung bei der Forschung

Warum verbreitet es sich so viral? Wenn sich die reguläre KI, die wir verwenden, wie Jarvis anfühlt, ist Mythos Preview der Ultron unserer Zeit.

Und die Gründe sind ziemlich klar. Erstens ist es viel zu mächtig – mehr als die meisten Menschen, die sich mit Cybersicherheit befassen, wie aus einer Aussage hervorgeht, die ich von Anthropic in der Einleitung dieses Artikels zitiert habe. In seinem Debüt behauptet Anthropic, dass die Mythos Preview über Fähigkeiten verfügt, die „wesentlich über die aller Modelle hinausgehen, die wir zuvor trainiert haben“.

Hier sind einige Beispiele für die Vormachtstellung von Mythos Preview beim Testen:

Mythos-Vorschau: Eine Revolution der Cybersicherheit

Nach dem, was Anthropic bisher geteilt hat, scheint Mythos Preview nichts weniger als eine Cybersicherheitsrevolution zu sein. Hier ist ein Beispiel – Claudes Opus 4.6 hatte einige Schwachstellen in der JavaScript-Engine Firefox 147 von Mozilla gefunden. Als es damit beauftragt wurde, sie auszunutzen, konnte es dies nur „zweimal von mehreren hundert Versuchen“ tun.

Im Vergleich dazu entwickelte Mythos Preview „181-mal funktionierende Exploits und erreichte bei weiteren 29-mal die Registerkontrolle.“ Allerdings wurde Claude Opus 4.6 als das bisher leistungsstärkste Programmier-KI-Modell bezeichnet.

Anthropic erwähnt sogar, dass es seinen nicht sicherheitsrelevanten Ingenieuren gelungen ist, mit Mythos Preview vollständig funktionierende Exploits zu finden. Und das alles über Nacht, ohne menschliche Aufsicht.

Bisher ist es Mythos Preview gelungen, Zero-Day-Schwachstellen in „jedem wichtigen Betriebssystem und jedem großen Webbrowser“ zu finden und auszunutzen. Darüber hinaus sind diese Schwachstellen oft subtil und bis zu 27 Jahre alt.

Aber so viel Macht hat immer auch eine Kehrseite.

Mythos-Vorschau: Die dunkle Seite

Hier ist der zweite Grund für den Spitznamen „Ultron“: Mythos Preview kommt nicht ohne Schattenseiten daher. In einer typischen Ultron-ähnlichen Scenario ist es ihm gelungen, seine eigene Sandbox-Umgebung in der Forschung zu umgehen und dann eine Aufgabe auszuführen (eine E-Mail an den Forscher zu senden).

Anthropic teilt viele weitere solcher Beispiele dafür, dass Mythos Preview abtrünnig wird. In internen Checks verwendete das Modell verbotene Methoden, um zu einer Schlussfolgerung zu einigen Problemen zu gelangen, und versuchte dann sogar, seinen Prozess zu verbergen, indem es die Probleme mit anderen Methoden versuchte, nachdem es die richtigen Antworten erhalten hatte. Mythos Preview ließ bei einigen Gelegenheiten auch vertrauliche Particulars seiner Exploits auf öffentlich zugänglichen Web sites durchsickern.

Genau aus diesen Gründen hat sich Anthropic gegen die Veröffentlichung des Modells entschieden. Es ist einfach zu mächtig für ein normales, technisch nicht versiertes Publikum. Und das damit verbundene Risiko ist gigantisch.

Wie Anthropic es rechtfertigt

Hat man die Schattenseiten gesehen, sind die Vorteile weitaus größer. Sobald Sie die Schrecken solcher Aktionen hinter sich gelassen haben, erkennen Sie die eindeutige Erkenntnis: Mythos Preview ist ein wirklich leistungsstarkes KI-Modell, das alles übertrifft, was wir heute kennen.

Anthropic sagt:

„Wir glauben, dass das optimistic Potenzial des Modells, insbesondere im Bereich der defensiven Cybersicherheit, ausreicht, um die scheinbar überschaubaren Risiken zu rechtfertigen, die sein Verhalten mit sich bringen kann.“

Und sie begründet dies am Beispiel eines Bergführers. Je erfahrener der Information ist, desto schwierigere Routen werden er bewältigen. Das bedeutet beides – mehr Sicherheit und gleichzeitig mehr Risiko für die Kunden.

Wenn es beim Testen seine eigene Umgebung umgehen und Schwachstellen in bekannten Diensten ausnutzen kann, um bessere Ausführungsmethoden zu finden, ist dies durchaus auch mit anderen Softwarenetzwerken möglich. Das Aufdecken solcher Schwachstellen kann dann dazu beitragen, sie zu beheben und solche Netzwerke viel sicherer als je zuvor zu machen.

Und genau das ist mit dem Undertaking Glasswing geplant.

Projekt Glasswing: Wer alle dabei sind

Insgesamt scheinen 12 große Technologieunternehmen am Projekt Glasswing beteiligt zu sein. Hier sind ihre Namen:

• Amazon Net Companies
• Anthropisch
• Apfel
• Broadcom
• Cisco
• CrowdStrike
• Google
• JPMorganChase
• Linux Basis
• Microsoft
• NVIDIA
• Palo Alto

Es ist interessant festzustellen, dass einige von ihnen über eigene KI-Modelle verfügen, die mit den meisten Angeboten von Anthropic für die Weltöffentlichkeit, einschließlich Microsoft und Google, konkurrieren. Dennoch scheint dieses Konglomerat bei einer sehr wichtigen Aufgabe äußerst vielversprechend zu sein: der Cybersicherheit für die wichtigsten Softwarenetzwerke der Welt.

Dafür stellt Anthropic „bis zu 100 Millionen US-Greenback an Nutzungsguthaben“ für Mythos Preview bereit. Darüber hinaus werden 4 Millionen US-Greenback direkt an Open-Supply-Sicherheitsorganisationen gespendet. Das Unternehmen führt außerdem Gespräche mit US-Regierungsbeamten über Claude Mythos Preview und seine Cyber-Fähigkeiten, sowohl für den Angriff als auch für die Verteidigung.

Anthropic sagt, dass die Systeme der zwölf teilnehmenden Unternehmen zusammen „einen sehr großen Teil der weltweiten gemeinsamen Cyberangriffsfläche darstellen“. Und genau hier fügt sich Mythos Preview wunderbar ein, um das neue Projekt voranzutreiben.

Mythos-Vorschau: Eine Demo dessen, was kommen wird

In seinen bisherigen internen Checks hat sich Mythos Preview aufgrund von zwei seiner Stärken als Excalibur gegen Cyberangriffe erwiesen. Es ist in der Lage, Schwachstellen zu identifizieren, die den führenden Sicherheitsingenieuren jahrzehntelang verborgen geblieben sind. Darüber hinaus ist es in der Lage, diese Schwachstellen auf bisher undenkbare Weise auszunutzen. Sehen Sie sich die Leistung von Mythos Preview bei den Benchmark-Ergebnissen an:

Darüber hinaus teilt Anthropic drei Beispiele, die zeigen, wie sich Mythos Preview bisher bewährt hat:

1. 27 Jahre alte Sicherheitslücke in OpenBSD

OpenBSD ist für seine extremen Sicherheitsmaßnahmen bekannt und ein kostenloses, quelloffenes, Unix-ähnliches Betriebssystem, das auf 4.4BSD basiert. Sie gilt als die sicherste Plattform der Welt für Firewalls, Router und Webserver.

Nun, in einer so hochsicheren Plattform struggle die Schwachstelle, die Mythos Preview identifizieren konnte, geschäftskritisch. Es ermöglichte einem Distant-Angreifer, jede Maschine, die das Betriebssystem nutzte, zum Absturz zu bringen, indem er einfach eine Verbindung zu ihr herstellte. Nachdem Mythos Preview das Risiko entdeckt hatte, meldete Anthropic es den Betreuern und es wurde nun behoben.

2. 16 Jahre alte Sicherheitslücke in FFmpeg

FFmpeg ist ein Multimedia-Framework zum Aufzeichnen, Konvertieren (Transkodieren), Streamen und Abspielen von Audio- und Videodateien. Es handelt sich um eine führende, kostenlose Open-Supply-Plattform, die von den meisten modernen Diensten wie YouTube, TikTok und Instagram genutzt wird, mit Hunderten Millionen, wenn nicht Milliarden von Nutzern durch direkte und indirekte Nutzung.

Mythos Preview konnte eine Schwachstelle in einer Codezeile innerhalb der Plattform identifizieren. Beachten Sie, dass automatisierte Testtools dieses Drawback vor Mythos Preview „fünf Millionen Mal“ durchlaufen haben, ohne das Drawback jemals zu melden.

3. Vier verkettete Schwachstellen im Linux-Kernel

Mythos Preview hat völlig autonom bis zu vier Schwachstellen im Linux-Kernel gefunden und miteinander verkettet.

Es ist bekannt, dass die Plattform die meisten Server der Welt mit Strom versorgt. Die vom KI-Modell identifizierten Risiken ermöglichten es einem Angreifer, durch normalen Benutzerzugriff die vollständige Kontrolle über die Maschine zu erlangen.

Abgesehen von diesen hervorgehobenen Aufgaben hat die Mythos Preview laut Anthropic Schwachstellen „in jedem wichtigen Betriebssystem und jedem wichtigen Webbrowser“ sowie in vielen anderen wichtigen Softwareteilen identifiziert. Wie aus den oben genannten Fällen hervorgeht, blieben einige dieser Risiken auch nach jahrzehntelanger menschlicher Überprüfung und Millionen automatisierter Sicherheitstests verborgen.

Abschluss

Vor knapp einem Monat brachte Microsoft ein heraus Bericht dass Hacker in jeder Section eines Cyberangriffs KI einsetzen. Der Bericht struggle eine Warnung, dass die Welt der Cybersicherheit grundlegend auf eine neue Arbeitsweise umgestellt hat. Ob es uns gefällt oder nicht, KI ist heute ein wesentlicher Bestandteil der Cybersicherheit, sowohl für die Beschützer als auch für diejenigen mit böswilligen Absichten. Und es gibt kein Zurück.

Dies führt unbeabsichtigt zu einer alarmierenden Dringlichkeit beim endgültigen Einsatz von KI. Darüber hinaus bedeutet es auch, dass die in der Cybersicherheit eingesetzten KI-Fähigkeiten denen bei Cyberangriffen immer einen Schritt voraus sein müssen. Nur dann können alle Sicherheitsmaßnahmen ausreichend verstärkt werden, um Schäden an der kritischen Software program-Infrastruktur der Welt zu verhindern.

Die Mythos Preview von Anthropic ist ein solcher Schritt in diese Richtung. Und ich wage es zu sagen, es scheint im Second ein riesiger Sprung zu sein. Das Beste daran ist, dass Anthropic es vorerst auf wenige Auserwählte beschränkt hat, sodass es zumindest vorerst nicht missbraucht werden kann. Aber Anthropic muss genauso vorsichtig sein, da es einige seiner Fähigkeiten in seine Zukunft einbettet KI-Modelle das wird der Öffentlichkeit zugänglich gemacht. Im Second können wir beruhigt sein, weil wir wissen, dass uns das intelligenteste KI-Modell auf dem Markt dabei hilft, Cybersicherheit zu gewährleisten.

der Kontext ist wirklich alles. Die Qualität der Ergebnisse eines LLM hängt eng mit der Qualität und Menge der von Ihnen bereitgestellten Informationen zusammen. In der Praxis sind viele reale Anwendungsfälle mit massiven Kontexten verbunden: Codegenerierung über große Codebasen, Abfragen komplexer Wissenssysteme oder sogar lange, mäandrierende Chats bei der Suche nach dem perfekten Urlaubsziel (das haben wir alle schon erlebt).

Leider können LLMs nur mit einer begrenzten Menge an Kontext effizient arbeiten. Dabei geht es nicht nur um die harten Grenzen des Kontextfensters, insbesondere jetzt, da Grenzmodelle Hunderttausende oder sogar Millionen von Token unterstützen. Und diese Grenzen wachsen immer weiter. Die größere Herausforderung ist ein Phänomen namens Kontextfäulewobei die Modellleistung mit zunehmender Kontextlänge abnimmt.

Dieser Effekt wird in der Arbeit deutlich gezeigt „RULER: Wie groß ist die tatsächliche Kontextgröße Ihrer Langkontext-Sprachmodelle?“ von Hsieh et al. Die Autoren stellen RULER vor, einen neuen Benchmark zur Bewertung der Langkontextleistung, und testen eine Reihe von Modellen. Die Ergebnisse zeigen ein konsistentes Muster: Mit zunehmender Kontextlänge sinkt die Leistung bei allen Modellen erheblich. In vielen Fällen beträgt die effektive Kontextlänge (wobei die Leistung mit Llama 2–7B vergleichbar bleibt) nur etwa 50 % des angekündigten Kontextfensters oder sogar weniger.

In ihrem jüngsten Artikel „Rekursive Sprachmodelle“, Zhang et al. Schlagen Sie einen vielversprechenden Ansatz zur Lösung des Kontextfäuleproblems vor. In diesem Artikel möchte ich mir diese Idee genauer ansehen und untersuchen, wie sie in der Praxis funktioniert, indem ich die kürzlich hinzugefügte Unterstützung von DSPy für diese Inferenzstrategie nutze.

Rekursive Sprachmodelle

Rekursive Sprachmodelle (RLMs) wurden eingeführt, um Leistungseinbußen bei zunehmender Kontextlänge entgegenzuwirken und es LLMs zu ermöglichen, mit sehr großen Kontexten zu arbeiten (bis zu zwei Größenordnungen über das native Kontextfenster des Modells hinaus). Dies wird immer wichtiger, da wir LLMs für Aufgaben einsetzen, bei denen Hunderte Millionen Token verarbeitet werden.

Für die Bewältigung langfristiger Aufgaben gibt es bereits mehrere Ansätze. Das häufigste Downside (etwas, das Ihnen wahrscheinlich bei der Verwendung von Code-Agenten wie Cursor begegnet ist) ist Kontextzusammenfassung. In diesem Setup wird der Gesprächs- oder Arbeitskontext wiederholt zusammengefasst, sobald er sich der Kontextgrenze des Modells nähert. In der Praxis greift dies jedoch oft zu kurz: Wichtige Particulars und subtile Nuancen aus früheren Schritten gehen tendenziell verloren, da das Modell alte Informationen „vergisst“, um Platz für neue Token zu schaffen.

Rekursive Sprachmodelle verfolgen einen anderen und überraschend eleganten Ansatz. Anstatt jedes Mal die gesamte Eingabeaufforderung an das LLM zu übergeben, wird die Eingabeaufforderung als eine Reihe von Variablen behandelt, die in einer Python-REPL-Umgebung (Learn-Eval-Print-Loop) verfügbar sind. Das Modell ist mit Werkzeugen ausgestattet, die es ihm ermöglichen, diese Variablen zu überprüfen oder sich selbst rekursiv auf programmgesteuert ausgewählten Fragmenten aufzurufen.

Mit anderen Worten: RLMs ermutigen das LLM, Code zu schreiben, der seine eigenen Unteraufgaben erstellt, und diese Unteraufgaben dann zu lösen, indem es sich selbst rekursiv aufruft. Dadurch verlagert sich die Final von der Aufgabe, alles in einer einzigen Eingabeaufforderung zusammenzufassen, hin zur Strukturierung des Issues, sodass das Modell zuverlässiger in großen Kontexten navigieren kann.

Die Autoren bewerteten ihren Ansatz anhand mehrerer Langzeitaufgaben, bei denen RLMs sowohl bei GPT-5- als auch bei Qwen-3-Modellen starke Ergebnisse lieferten.

Die Ergebnisse sehen äußerst vielversprechend aus. RLMs (mit oder ohne Unteraufrufe) übertreffen andere Ansätze bei allen Aufgaben durchweg. Mal sehen, wie das in der Praxis funktioniert.

RLM in der Praxis nutzen

Ein häufiges Szenario, in dem ein langer Kontext besonders intestine zur Geltung kommt, ist die Beantwortung von Fragen in einer großen Wissensdatenbank. Genau das werden wir hier versuchen. Ich habe alle Artikel, die ich auf In direction of Knowledge Science veröffentlicht habe, in eine einzige Markdown-Datei geladen. Überraschenderweise summiert sich das auf quick 1,5 MB Textual content. Hoffentlich reicht das für das Modell aus.

Glücklicherweise hat DSPy kürzlich eine Implementierung des Inferenzansatzes rekursiver Sprachmodelle eingeführt. Das bedeutet, dass wir nichts selbst bauen müssen; wir benötigen lediglich DSPy Model 3.1.2 oder neuer.

pip set up dspy --upgrade

Beginnen wir mit dem Laden des Datensatzes.

with open('articles.md', 'r') as f:
    articles = f.learn()

Als nächstes überprüfen wir, wie viele Token darin enthalten sind.

import anthropic

consumer = anthropic.Anthropic(api_key=config('ANTHROPIC_API_KEY'))

# Rely tokens for messages
token_count = consumer.messages.count_tokens(
  mannequin="claude-sonnet-4-5",
  messages=(
    {"position": "person", "content material": articles}
  )
)

print(f"Enter tokens: {token_count.input_tokens}")
# Enter tokens: 386768

In unserem Kontext gibt es quick 400.000 Token. Claude Sonnet 4.5 unterstützt ein 200-KByte-Kontextfenster, sodass die Verarbeitung des gesamten Datensatzes in einer einzigen Eingabeaufforderung nicht möglich ist. Genau hier kommt RLM zum Einsatz.

Um DSPy verwenden zu können, müssen wir zunächst das Sprachmodell konfigurieren. Wie bereits erwähnt, ist RLM für die Interaktion mit der Eingabeaufforderung auf Code angewiesen und funktioniert daher am besten mit Modellen, die über starke Codierungsfunktionen verfügen. Aus diesem Grund verwende ich in diesem Beispiel Claude, da es bekanntermaßen eine gute Leistung bei Code-bezogenen Aufgaben erbringt.

lm = dspy.LM('anthropic/claude-sonnet-4-5', api_key=config('ANTHROPIC_API_KEY'))
dspy.configure(lm=lm)

Als nächstes initialisieren wir das RLM, indem wir seine Signatur angeben. In diesem Anwendungsfall übergebe ich den gesamten Artikelsatz zusammen mit einer Frage und erwarte, dass das Modell wichtige Tendencies extrahiert und sie als Liste von Zeichenfolgen zurückgibt.

rlm = dspy.RLM('articles, query -> tendencies: record(str)')

Hier verwende ich Claude Sonnet 4.5 sowohl für das Hauptmodell als auch für die rekursiven Unteraufrufe. Mit DSPy können Sie auch ein kleineres Modell für Unteranrufe über verwenden sub_lm Parameter, der zur Kostensenkung beitragen kann.

Jetzt können wir das RLM ausführen und darauf zugreifen tendencies Feld in der Ausgabe.

output = rlm(
  articles = articles, 
  query = '''What have been the primary AI tendencies of 2025 primarily based on supplied 
    articles? Take note of the content material not solely the titles.'''
)

print('n'.be part of(output.tendencies))

# Agentic AI and Autonomous Techniques: Self-reflection patterns, iterative enchancment via suggestions loops (Self-Refine, Reflexion, CRITIC), and LLMs as reasoning engines that may autonomously plan and execute duties
# Multi-Agent AI Techniques: Evolution from single brokers to collaborative groups of specialised brokers with distinct roles, utilizing frameworks like LangGraph, CrewAI, and AutoGen for orchestration
# Context Engineering and RAG: Shifting past static prompting to dynamic retrieval-augmented era (RAG), adaptive reminiscence programs, and self-improving contexts that study from expertise with out retraining
# Standardization Protocols: Emergence of Mannequin Context Protocol (MCP) for standardizing LLM-tool integrations and Agent Communication Protocol (ACP) for inter-agent communication, lowering integration complexity
# Device-Utilizing LLMs and Operate Calling: LLMs geared up with capability to invoke exterior instruments, execute SQL queries, browse net, and work together with APIs via structured perform calling mechanisms
# Manufacturing-Prepared AI Frameworks: Mature ecosystem together with LangGraph, DSPy, LangChain, NeMo Agent Toolkit, CrewAI, and AutoGen, targeted on shifting from prototype to manufacturing with built-in observability
# LLM Analysis and Observability: LLM-as-judge analysis patterns, complete metrics frameworks (Ragas, DeepEval, Evidently), trajectory analysis, and steady monitoring as important manufacturing infrastructure
# Programming Over Prompting: Shift towards declarative, code-based AI growth with frameworks like DSPy and configuration-driven approaches (YAML-based) changing immediate engineering
# Framework Interoperability: Instruments designed to combine throughout a number of frameworks slightly than create silos, enabling composable AI architectures that leverage greatest options from completely different ecosystems
# Native and Price-Efficient LLM Deployment: Operating smaller environment friendly fashions domestically (Llama, Ollama) to cut back API prices and allow experimentation, with concentrate on cost-quality-latency tradeoffs
# SQL Brokers and Knowledge Evaluation Automation: LLM brokers specialised in information evaluation duties, producing and executing SQL queries, with functions in changing or augmenting conventional information analyst workflows
# Manufacturing High quality and Accuracy Enhancement: Strategies for bettering LLM accuracy together with chain-of-thought reasoning, structured outputs via perform calling, and iterative refinement for business-critical functions

Die Ausführung dauerte etwa drei Minuten und das Ergebnis battle eine überraschend believable Zusammenfassung der Hauptthemen meiner Artikel. Wir sind jedoch nicht hier, um etwas über die Tendencies selbst zu erfahren. Die interessantere Frage ist, wie RLM dies überhaupt geschafft hat. Additionally lasst uns tiefer graben.

RLM unter der Haube

Das Faszinierendste ist natürlich, zu verstehen, was tatsächlich unter der Haube passiert.

RLM-Implementierung

Wie bereits erwähnt, besteht die Schlüsselidee hinter rekursiven Sprachmodellen darin, dass lange Kontexte als Teil einer externen Umgebung behandelt werden und nicht als einzelne Eingabeaufforderung direkt in das Modell eingespeist werden. Stattdessen schreibt das LLM Python-Code, um Unter-LLMs über kleinere Datenausschnitte programmgesteuert zu prüfen, zu zerlegen und rekursiv aufzurufen.

Auf hoher Ebene weist die Implementierung einige Kernmerkmale auf:

• Es verwendet eine Sandbox-Python-REPL (Learn-Eval-Print-Schleife), die es dem LLM ermöglicht, große Kontexte durch Codeausführung zu erkunden.
• Das LLM arbeitet in einer bekannten Agentenschleife: Es schreibt Python-Code, beobachtet die Ausgabe und entscheidet dann, was als nächstes zu tun ist.
• Es kann mit Instruments wie rekursive Unteraufrufe ausführen (additionally sich selbst aufrufen). llm_query() Und llm_query_batched() um kleinere Blöcke semantisch zu analysieren.
• Sobald das Modell mit dem Ergebnis zufrieden ist, schließt es den Prozess durch einen Aufruf ab SUBMIT() mit der Ausgabe.

Aufforderungen

Um wirklich zu verstehen, wie das funktioniert, finde ich es hilfreich, die tatsächlichen Nachrichten zu untersuchen, die an und von der LLM gesendet werden. DSPy macht dies mit dem folgenden Befehl einfach.

# Examine the uncooked LLM calls - reveals the precise prompts despatched to the mannequin
dspy.inspect_history(n=39)

Dies gibt uns einen vollständigen Einblick in das, was bei jedem Schritt mit dem Modell geteilt wurde.

Beginnen wir mit der Systemmeldung. Es definiert die für das Modell verfügbaren Eingabevariablen (wie in der RLM-Signatur angegeben) und listet die Funktionen auf, die das Modell aufrufen kann, z printrekursive LLM-Aufrufe und Standardbibliotheksdienstprogramme.

Insbesondere können Sie mit dem RLM-Modul auch benutzerdefinierte Funktionen für die Python REPL verfügbar machen instruments Parameter bei der Initialisierung des RLM. In diesem Beispiel habe ich mich nur auf die Standardfunktionen verlassen, aber in fortgeschritteneren Setups kann dies ein leistungsstarker Erweiterungspunkt sein.

Your enter fields are:
1. `variables_info` (str): Metadata in regards to the variables out there within the REPL
2. `repl_history` (REPLHistory): Earlier REPL code executions and their outputs
3. `iteration` (str): Present iteration quantity (1-indexed) out of max_iterations
Your output fields are:
1. `reasoning` (str): Assume step-by-step: what have you learnt? What stays? Plan your subsequent motion.
2. `code` (str): Python code to execute.
All interactions might be structured within the following means, with the suitable values crammed in.

(( ## variables_info ## ))
{variables_info}

(( ## repl_history ## ))
{repl_history}

(( ## iteration ## ))
{iteration}

(( ## reasoning ## ))
{reasoning}

(( ## code ## ))
{code}

(( ## accomplished ## ))
In adhering to this construction, your goal is: 
Given the fields `articles`, `query`, produce the fields `tendencies`.
        
You might be tasked with producing the next outputs given the inputs `articles`, `query`:
- {tendencies}        # observe: the worth you produce should adhere to the JSON schema: {"kind": "array", "objects": {"kind": "string"}}
        
You've gotten entry to a Python REPL setting. Write Python code and it will likely be executed. You will notice the output, then write extra code primarily based on what you discovered. That is an iterative course of.

Out there:
- Variables: `articles`, `query` (your enter information)
- `llm_query(immediate)` - question a sub-LLM (~500K char capability) for semantic evaluation
- `llm_query_batched(prompts)` - question a number of prompts concurrently (a lot quicker for a number of queries)
- `print()` - ALWAYS print to see outcomes
- `SUBMIT(tendencies)` - submit remaining output when achieved
- Customary libraries: re, json, collections, math, and many others.
        
IMPORTANT: That is ITERATIVE. Every code block you write will execute, you may see the output, then you definitely determine what to do subsequent. Do NOT attempt to clear up every thing in a single step.
        
1. EXPLORE FIRST - Take a look at your information earlier than processing it. Print samples, test varieties/lengths, perceive the construction.
2. ITERATE - Write small code snippets, observe outputs, then determine subsequent steps. State persists between iterations.
3. VERIFY BEFORE SUBMITTING - If outcomes appear fallacious (zeros, empty, sudden), rethink your method.
4. USE llm_query FOR SEMANTICS - String matching finds WHERE issues are; llm_query understands WHAT issues imply.
5. MINIMIZE RETYPING (INPUTS & OUTPUTS) - When values are lengthy, exact, or error-prone (IDs, numbers, code, quotes), re-access them through variables and parse/compute in code as an alternative of retyping. Use small, focused prints to sanity-check, however keep away from guide copying when variables can carry the precise worth.
6. SUBMIT ONLY AFTER SEEING OUTPUTS - SUBMIT ends the present run instantly. If you must examine printed output, run it in a single step, evaluate the end result, then name SUBMIT in a later step.
        
You've gotten max 50 sub-LLM calls. When achieved, name SUBMIT() together with your output.

Schauen wir uns auch die erste Benutzernachricht an, die an das LLM gesendet wurde. Dadurch erhält das Modell einen Überblick über die Eingabevariablen: deren Typen, Längen (damit das Modell weiß, wie viel es auf einmal lesen kann) und eine Vorschau des Inhalts, um die Struktur zu verstehen.

(( ## variables_info ## ))
(1) «««
    Variable: `articles` (entry it in your code)
    Sort: str
    Whole size: 1,392,921 characters
    Preview:
    ```
    ---
    title: "Agentic AI from First Rules: Reflection"
    date: "2025-10-24T12:00:00-05:00"
    class: "Agentic AI"
    read_time: "21 min learn"
    url: "https://towardsdatascience.com/agentic-ai-from-first-principles-reflection/"
    ---
    
    Arthur C. Clarke's Third Regulation says that "*any sufficiently superior know-how is indistinguishable from magic*". That is precisely how lots of immediately's AI frameworks really feel. Instruments like GitHub Copilot, Claude Desktop, OpenAI Operator, and Perplexity Comet are automating everyda...
    ```
»»»
(2) «««
    Variable: `query` (entry it in your code)
    Sort: str
    Whole size: 114 characters
    Preview:
    ```
    What have been the primary AI tendencies of 2025 primarily based on supplied articles? Take note of the content material not solely the titles.
    ```
»»»
(3) «««
    Variable: `verbose` (entry it in your code)
    Sort: bool
    Whole size: 4 characters
    Preview:
    ```
    True
    ```
»»»

(( ## repl_history ## ))
You haven't interacted with the REPL setting but.

(( ## iteration ## ))
1/20

Reply with the corresponding output fields, beginning with the sphere `(( ## reasoning ## ))`, then `(( ## code ## ))`, after which ending with the marker for `(( ## accomplished ## ))`.

Hier ist die erste Antwort des Modells entsprechend dem in der Benutzernachricht angegebenen Format.

(( ## reasoning ## ))
I want to research articles to determine important AI tendencies of 2025. Let me begin by exploring the information:

1. First, I am going to study the construction and content material of the `articles` variable to grasp what I am working with
2. I am going to want to take a look at a number of articles, not simply titles, to grasp the precise content material
3. Then I am going to use semantic evaluation (llm_query) to extract and determine tendencies
4. Lastly, I am going to compile the tendencies into a listing

Let me begin by exploring the articles information to see its construction and get a way of what is out there.

(( ## code ## ))
# First, let's perceive the construction of the articles
print("Sort of articles:", kind(articles))
print("nLength of articles:", len(articles))
print("n" + "="*80)
print("First 2000 characters:")
print(articles(:2000))
print("n" + "="*80)

# Let's examine if we will determine the construction - seems like articles are separated
# Let's attempt to break up and depend them
article_separator = "---ntitle:"
article_parts = articles.break up(article_separator)
print(f"nNumber of article elements discovered: {len(article_parts)}")
print(f"First half size: {len(article_parts(0))} (probably empty or header)")
print(f"Second half size: {len(article_parts(1)) if len(article_parts) > 1 else 0}")

(( ## accomplished ## ))

Die Rohprotokolle gaben uns ein solides Verständnis dafür, wie das LLM mit der Umgebung unter der Haube interagiert. Als nächstes untersuchen wir die Flugbahn, die das LLM verfolgte, um seine endgültige Ausgabe zu erreichen.

Flugbahn

Für eine strukturierte Sicht auf die Flugbahn können wir inspizieren output.trajectory. Dies ermöglicht den Zugriff auf jeden Schritt der Modellbegründung, den von ihm generierten Code und die resultierenden Ausgaben. Im Wesentlichen bietet es einen umfassenden Überblick über alle REPL-Interaktionen.

# Look at the total trajectory - this reveals all REPL interactions
for i, step in enumerate(output.trajectory):
  print(f"n{'='*60}")
  print(f"STEP {i+1}")
  print(f"{'='*60}")
  print(f"n REASONING:n{step('reasoning')}")
  print(f"n CODE:n{step('code')}")
  print(f"n OUTPUT:n{step('output')(:1000)}{'...' if len(step('output')) > 1000 else ''}")

Dort finden Sie auch die vollständige Anmeldung GitHub.

Die Überprüfung der Flugbahn hilft uns, die Hauptmuster zu verstehen, die das LLM zur Lösung des Issues verwendet. In diesem Fall waren 13 Schritte erforderlich, um zur endgültigen Antwort zu gelangen.

Der erste Schritt bestand erwartungsgemäß darin, das zu erkunden articles Variable: Untersuchung ihrer Struktur und Gewinnung eines Gefühls für die verfügbaren Daten. Diese erste Erkundung bildet die Grundlage für alle nachfolgenden Überlegungen und Unteraufrufe.

# First, let's perceive the construction of the articles
print("Sort of articles:", kind(articles))
print("nLength of articles:", len(articles))
print("n" + "="*80)
print("First 2000 characters:")
print(articles(:2000))
print("n" + "="*80)

# Let's examine if we will determine the construction - seems like articles are separated
# Let's attempt to break up and depend them
article_separator = "---ntitle:"
article_parts = articles.break up(article_separator)
print(f"nNumber of article elements discovered: {len(article_parts)}")
print(f"First half size: {len(article_parts(0))} (probably empty or header)")
print(f"Second half size: {len(article_parts(1)) if len(article_parts) > 1 else 0}")

Als nächstes stellte das LLM fest, dass es insgesamt 40 Artikel gab, die jeweils durch getrennt waren ---ntitle:und dass jeder Artikel Metadatenfelder wie enthielt title, date, class, read_timeUnd urlgefolgt vom Hauptinhalt. Allein die Identifizierung dieser Struktur anhand einer 1,5 MB großen Textdatei ist bereits eine bedeutende Leistung.

Aufbauend auf diesem Verständnis analysierte das LLM dann die Artikel und erstellte eine Zusammenfassung der Artikeltitel und Hauptthemen.

# Parse articles into structured format
import re

# Cut up by the article separator
raw_articles = articles.break up("---ntitle:")

# Course of every article (skip the primary empty aspect)
parsed_articles = ()
for i, raw_article in enumerate(raw_articles(1:), 1):  # Skip first empty aspect
  # Add again the "title:" that was eliminated by break up
  raw_article = "title:" + raw_article
  
  # Extract metadata utilizing regex
  title_match = re.search(r'title:s*"((^")*)"', raw_article)
  date_match = re.search(r'date:s*"((^")*)"', raw_article)
  category_match = re.search(r'class:s*"((^")*)"', raw_article)
  
  # Discover the place content material begins (after the second "---")
  content_start = raw_article.discover("---", 10)  # Skip the primary half
  content material = raw_article(content_start+3:).strip() if content_start != -1 else ""
  
  parsed_articles.append({
    'index': i,
    'title': title_match.group(1) if title_match else "Unknown",
    'date': date_match.group(1) if date_match else "Unknown",
    'class': category_match.group(1) if category_match else "Unknown",
    'content material': content material,
    'content_length': len(content material)
  })

print(f"Efficiently parsed {len(parsed_articles)} articlesn")
print("="*80)
print("Pattern of articles (titles and classes):")
print("="*80)
for i, article in enumerate(parsed_articles(:10), 1):
  print(f"{i}. ({article('class')}) {article('title')}")
  print(f"   Content material size: {article('content_length')} chars")
  print()

Nach der Analyse der Artikel entschied sich das LLM, sich ausschließlich auf KI-bezogene Inhalte zu konzentrieren, da es sich bei der Frage speziell um KI-Tendencies handelte.

# Let's concentrate on AI-related articles (AI, Agentic AI, LLM Purposes, ChatGPT classes)
# and pattern strategically to grasp content-based tendencies

ai_related = (a for a in parsed_articles if a('class') in (
  'Synthetic Intelligence', 'Agentic AI', 'LLM Purposes', 'ChatGPT', 'Deep Studying'
))

Als nächstes identifizierte das LLM die Schlüsselartikel, auf die es sich konzentrieren wollte. Es handelte sich um eine subjektive Auswahl nach Relevanz und Inhalt. Um diese im Element zu analysieren, wurden rekursive Unteraufrufe verwendet, wobei jeder Artikel programmgesteuert verarbeitet wurde.

Um die Arbeitsbelastung effizient zu bewältigen, teilte das LLM die Artikel in zwei Chargen auf und verarbeitete sie nacheinander. Für jeden Artikel wurde außerdem der Inhalt auf die ersten 15.000 Zeichen gekürzt. Diese Strategie ermöglichte es dem Modell, eine große Textmenge zu verarbeiten, ohne sein Kontextfenster zu überschreiten, und gleichzeitig die wichtigsten Erkenntnisse aus jedem Artikel zu erfassen.

# Create prompts to extract AI tendencies from article content material
# I am going to embody a considerable portion of every article's content material for evaluation

prompts_batch1 = ()

for i, article in enumerate(selected_for_analysis(:8)):  # First batch of 8
  # Take first ~15K chars of content material to remain inside LLM limits whereas getting substance
  content_sample = article('content material')(:15000)
  
  immediate = f"""Analyze this text about AI from 2025 and determine the primary AI tendencies, applied sciences, methodologies, or ideas it discusses.

Article Title: {article('title')}

Article Content material (excerpt):
{content_sample}

Primarily based on the content material above, record the important thing AI tendencies, applied sciences, or ideas mentioned on this article. Concentrate on:
- New frameworks, instruments, or methodologies talked about
- Rising patterns in AI growth (e.g., agentic AI, multi-agent programs)
- Vital methods or approaches
- Manufacturing/deployment issues

Present a concise record of 3-5 important tendencies/ideas from this text."""

  prompts_batch1.append(immediate)

print(f"Created {len(prompts_batch1)} prompts for first batch")
print("nProcessing first batch of articles...")

# Question the primary batch
results_batch1 = llm_query_batched(prompts_batch1)

print(f"nReceived {len(results_batch1)} outcomes")
print("nResults from first batch:")
print("="*80)

for i, (article, end result) in enumerate(zip(selected_for_analysis(:8), results_batch1), 1):
  print(f"n{i}. {article('title')}")
  print("-"*80)
  print(end result)
  print()

Abschließend überprüfte das LLM noch einmal die vollständige Liste der Artikel, identifizierte weitere relevante Themen und verarbeitete diese mithilfe rekursiver Unteraufrufe auf die gleiche Weise. Nachdem alle Informationen abgerufen worden waren, wurden die Ergebnisse zusammengefasst trends_2025 Variable (eine Liste von Zeichenfolgen, die die wichtigsten KI-Tendencies darstellen) und übermittelte sie als endgültige Antwort.

##### STEP 12 #####

# Now let me synthesize all findings into complete AI tendencies
# I am going to evaluate all the outcomes and create a structured abstract

print("SYNTHESIZING ALL FINDINGS FROM 20 ANALYZED ARTICLES")
print("="*80)
print("nBased on deep content material evaluation of 20 AI-focused articles from 2025,")
print("listed here are the primary AI tendencies recognized:n")

# Compile the excellent record of tendencies
trends_2025 = (
  "Agentic AI and Autonomous Techniques: Self-reflection patterns, iterative enchancment via suggestions loops (Self-Refine, Reflexion, CRITIC), and LLMs as reasoning engines that may autonomously plan and execute duties",
  "Multi-Agent AI Techniques: Evolution from single brokers to collaborative groups of specialised brokers with distinct roles, utilizing frameworks like LangGraph, CrewAI, and AutoGen for orchestration",
  "Context Engineering and RAG: Shifting past static prompting to dynamic retrieval-augmented era (RAG), adaptive reminiscence programs, and self-improving contexts that study from expertise with out retraining",
  "Standardization Protocols: Emergence of Mannequin Context Protocol (MCP) for standardizing LLM-tool integrations and Agent Communication Protocol (ACP) for inter-agent communication, lowering integration complexity",
  "Device-Utilizing LLMs and Operate Calling: LLMs geared up with capability to invoke exterior instruments, execute SQL queries, browse net, and work together with APIs via structured perform calling mechanisms",
  "Manufacturing-Prepared AI Frameworks: Mature ecosystem together with LangGraph, DSPy, LangChain, NeMo Agent Toolkit, CrewAI, and AutoGen, targeted on shifting from prototype to manufacturing with built-in observability",
  "LLM Analysis and Observability: LLM-as-judge analysis patterns, complete metrics frameworks (Ragas, DeepEval, Evidently), trajectory analysis, and steady monitoring as important manufacturing infrastructure",
  "Programming Over Prompting: Shift towards declarative, code-based AI growth with frameworks like DSPy and configuration-driven approaches (YAML-based) changing immediate engineering",
  "Framework Interoperability: Instruments designed to combine throughout a number of frameworks slightly than create silos, enabling composable AI architectures that leverage greatest options from completely different ecosystems",
  "Native and Price-Efficient LLM Deployment: Operating smaller environment friendly fashions domestically (Llama, Ollama) to cut back API prices and allow experimentation, with concentrate on cost-quality-latency tradeoffs",
  "SQL Brokers and Knowledge Evaluation Automation: LLM brokers specialised in information evaluation duties, producing and executing SQL queries, with functions in changing or augmenting conventional information analyst workflows",
  "Manufacturing High quality and Accuracy Enhancement: Strategies for bettering LLM accuracy together with chain-of-thought reasoning, structured outputs via perform calling, and iterative refinement for business-critical functions"
)

print("MAIN AI TRENDS OF 2025:")
print("="*80)
for i, pattern in enumerate(trends_2025, 1):
  print(f"n{i}. {pattern}")

print("n" + "="*80)
print(f"nTotal tendencies recognized: {len(trends_2025)}")
print("nThese tendencies are primarily based on content material evaluation of articles masking:")
print("- Agentic AI programs and design patterns")
print("- Multi-agent architectures and frameworks")
print("- Manufacturing deployment and analysis")
print("- Rising protocols and standardization")
print("- Device use and exterior system integration")
print("- Price-effective and correct LLM functions")

##### STEP 13 #####

# Submit the ultimate record of AI tendencies from 2025
SUBMIT(trends_2025)

Wir können sehen, dass das Modell ziemlich kreativ battle: Es verstand die Struktur unseres Inhalts, analysierte die Artikel und verwendete rekursive Aufrufe, um jeden einzelnen Artikel einzeln zu verarbeiten. Allerdings gab es in dieser Analyse eine wesentliche Lücke. Die Filterung nach Jahr wurde völlig übersehen, obwohl die Metadaten für jeden Artikel eindeutig das Veröffentlichungsdatum enthielten.

Um dieses Downside anzugehen, wiederholte ich die Anfrage und betonte diesmal die Wichtigkeit der Filterung für 2025, um sicherzustellen, dass sich das Modell nur auf Artikel aus diesem Jahr konzentriert.

output2 = rlm(
  articles = articles, 
  query = '''What have been the primary AI tendencies of 2025 primarily based on supplied 
    articles? Take note of the content material not solely the titles. 
    Remember to filter by yr, this data is current in 
    metadata for every article.'''
)

Dieses Mal berücksichtigte das Modell das Jahr und führte eine anspruchsvollere Analyse durch, indem es reguläre Ausdrücke verwendete, um das Veröffentlichungsdatum für jeden Artikel zu extrahieren.

import re
from datetime import datetime

# Cut up articles by the separator "---" firstly of metadata blocks
# The sample is: --- adopted by metadata, adopted by --- adopted by content material
article_blocks = re.break up(r'n---n', articles)

print(f"Whole article blocks discovered: {len(article_blocks)}")
print("n" + "="*80)

# Let's study the construction - articles appear to begin with "---ntitle:"
# Let me strive a distinct method - discover all articles by their metadata sample
article_pattern = r'---ntitle: "(.*?)"ndate: "(.*?)"ncategory: "(.*?)"nread_time: "(.*?)"nurl: "(.*?)"n---n(.*?)(?=n---ntitle:|$)'

matches = re.findall(article_pattern, articles, re.DOTALL)
print(f"Articles discovered with regex: {len(matches)}")

if len(matches) > 0:
  print("nFirst article metadata:")
  print(f"  Title: {matches(0)(0)}")
  print(f"  Date: {matches(0)(1)}")
  print(f"  Class: {matches(0)(2)}")
  print(f"  Content material preview (first 200 chars): {matches(0)(5)(:200)}")

Anschließend wurden die Artikel nach Jahr gefiltert und 13 Artikel aus dem Jahr 2025 identifiziert.

# Parse articles and filter for 2025
articles_2025 = ()

for match in matches:
  title, date_str, class, read_time, url, content material = match
  # Extract yr from date string (format: "2025-10-24T12:00:00-05:00")
  yr = date_str.break up('-')(0)
  
  if yr == "2025":
    articles_2025.append({
      'title': title,
      'date': date_str,
      'class': class,
      'content material': content material.strip()
    })

print(f"Whole articles: {len(matches)}")
print(f"Articles from 2025: {len(articles_2025)}")
print("n" + "="*80)
print("2025 Articles:")
print("="*80)

for i, article in enumerate(articles_2025, 1):
  print(f"n{i}. {article('title')}")
  print(f"   Date: {article('date')}")
  print(f"   Class: {article('class')}")
  print(f"   Content material size: {len(article('content material'))} chars")

Anschließend wurden diese 13 Artikel mithilfe rekursiver Unteraufrufe analysiert und eine aktualisierte Liste von Tendencies erstellt. Diesmal wurde die Aufgabe korrekt erledigt. Wie bei vielen anderen Beispielen wird auch hier hervorgehoben, wie wichtig es ist, klare, explizite Fragen zu stellen und die Kriterien und Aktionen anzugeben, denen das Modell folgen soll.

Agentic AI and Multi-Agent Techniques: Constructing autonomous AI brokers able to multi-step reasoning, software use, planning, and reflection, usually with a number of specialised brokers collaborating on complicated duties
Code Brokers: AI brokers that execute software calls utilizing precise code (Python) as an alternative of JSON-based software calling, enabling dynamic perform creation and reaching greater success charges with fewer steps
Mannequin Context Protocol (MCP): Anthropic's standardization protocol for connecting AI functions to exterior instruments and information sources, lowering integration complexity from M*N to M+N and enabling reusable, framework-agnostic parts
Agent Communication Protocol (ACP): Rising open protocol below the Linux Basis for standardizing communication between AI brokers through RESTful APIs, enabling interoperability throughout completely different frameworks
Reflection and Self-Refinement Patterns: LLMs reviewing and bettering their very own outputs via iterative suggestions loops, together with self-feedback, verbal reinforcement studying, and tool-interactive critiquing, reaching 10-30% accuracy enhancements
Framework Ecosystem Proliferation: A number of competing frameworks together with LangGraph, smolagents, CrewAI, DSPy, and NeMo Agent Toolkit, with rising emphasis on interoperability and declarative configuration approaches
Manufacturing-Prepared LLM Infrastructure: Shifting past prototypes to handle 'day 2' issues like API publicity, observability, monitoring, analysis frameworks, and deployment at scale
Parameter-Environment friendly Effective-Tuning (PEFT) and LoRA: Strategies for customizing LLMs by updating solely small subsets of parameters, enabling task-specific optimization whereas lowering computational prices and enabling on-premises deployment
Superior Effective-Tuning with Reminiscence Consultants: Lamini's Combination of Reminiscence Consultants (MoME) utilizing ~1 million LoRA adapters for near-perfect factual accuracy (95%) with zero loss on particular data
Shift from Prompting to Programming Paradigm: Frameworks like DSPy treating LLM duties as modular programming slightly than guide immediate crafting, with structured signatures and reusable parts
LLM Analysis and High quality Assurance: Complete analysis frameworks (Evidently, DeepEval, MLFlow, LangSmith) for testing, monitoring, and guaranteeing reliability in manufacturing, particularly for regulated industries
RAG (Retrieval-Augmented Era): Offering related context and data bases to boost LLM precision and allow specialised capabilities in brokers
Device Use and Orchestration: AI programs dynamically choosing and executing instruments from a number of sources, with standardized software definitions and security controls
YAML-Primarily based Declarative Configuration: Defining LLM workflows, fashions, and agent habits via configuration recordsdata slightly than purely code-based implementations
Interpretable AI and Rule-Primarily based Techniques: Utilizing choice timber, extracted guidelines, and clear fashions as alternate options to black-box approaches for compliance, explainability, and speedy deployment in regulated industries

Zusammenfassung

Es ist Zeit, die Dinge zusammenzufassen und über das Gelernte nachzudenken. In diesem Artikel haben wir RLM (Recursive Language Fashions) untersucht – eine neue Inferenzstrategie, die es LLMs ermöglicht, Kontexte zu verarbeiten, die bis zu zwei Größenordnungen größer als ihr Standardkontextfenster sind, und gleichzeitig das Downside der Kontextverrottung zu mildern.

Ich bin wirklich fasziniert von diesem Ansatz. Der Artikel schlägt eine einfache, aber elegante Methode zur Behandlung von Eingabeaufforderungen als Variablen in einer Python-Umgebung vor, die mich an mein bevorzugtes Agenten-Framework erinnert: Smolagenzien von HuggingFace. Ich glaube, dass diese Methode besonders effizient ist, weil LLMs auf so viel Code trainiert wurden, dass sich das Programmieren für sie wie eine Muttersprache anfühlt. Die Verwendung von Code als Schnittstelle für Argumentation und Rekursion ist sowohl praktisch als auch leistungsstark.

Insgesamt bieten rekursive Sprachmodelle eine praktische und elegante Möglichkeit, die Grenzen der Kontextlänge zu überschreiten und LLMs in der Lage zu machen, komplexe, umfangreiche Aufgaben zu bewältigen. Klare Anweisungen und eine durchdachte Anleitung sind jedoch nach wie vor der Schlüssel zum Erzielen der besten Ergebnisse.

Vielen Dank fürs Lesen. Ich hoffe, dieser Artikel battle aufschlussreich. Erinnern Sie sich an Einsteins Rat: „Wichtig ist, nicht mit dem Hinterfragen aufzuhören. Neugier hat ihre eigene Daseinsberechtigung.“ Möge Ihre Neugier Sie zu Ihrer nächsten großen Erkenntnis führen.

Referenz

Dieser Artikel basiert auf dem Artikel von Zhang et al., „Rekursive Sprachmodelle“veröffentlicht am 31. Dezember 2025.

(NLP) hat die Artwork und Weise, wie wir mit Technologie interagieren, revolutioniert.

Erinnern Sie sich, als Chatbots zum ersten Mal auftauchten und wie Roboter klangen? Zum Glück gehört das der Vergangenheit an!

Transformer-Modelle haben ihren Zauberstab geschwenkt und NLP-Aufgaben neu gestaltet. Aber bevor Sie diesen Beitrag fallen lassen, denken Sie darüber nach „Meine Güte, Transformatoren sind viel zu dicht, um sie zu lernen“, ertrage es mit mir. Wir werden nicht in einem weiteren technischen Artikel versuchen, Ihnen die Mathematik hinter dieser erstaunlichen Technologie beizubringen, sondern stattdessen in der Praxis lernen, was sie für uns tun kann.

Mit der Transformers Pipeline von Hugging Face sind NLP-Aufgaben einfacher als je zuvor.

Lasst uns erkunden!

Die einzige Erklärung, was ein Transformator ist

Denken Sie nach Transformatormodelle als Elite der NLP-Welt.

Transformer zeichnen sich durch ihre Fähigkeit aus, sich durch einen Mechanismus namens „Selbstaufmerksamkeit“ auf verschiedene Teile einer Eingabesequenz zu konzentrieren.

Transformatoren sind leistungsstark aufgrund „Selbstaufmerksamkeit“ Eine Funktion, mit der sie entscheiden können, auf welche spezifischen Teile eines Satzes sie sich zu einem bestimmten Zeitpunkt am wichtigsten konzentrieren möchten.

Schon mal was von BERT, GPT oder RoBERTa gehört? Das sind sie! BERT (Bidirektionale Encoder-Darstellungen von Transformers) ist ein revolutionäres KI-Sprachmodell von Google aus dem Jahr 2018, das den Textkontext versteht, indem es Wörter gleichzeitig von hyperlinks nach rechts und von rechts nach hyperlinks liest.

Genug geredet, fangen wir an, in die Materie einzutauchen transformers Paket (1).

Einführung in die Transformers-Pipeline

Die Transformers-Bibliothek bietet ein komplettes Toolkit zum Trainieren und Ausführen hochmoderner vorab trainierter Modelle. Die Pipeline-Klasse, die unser Hauptthema ist, bietet eine benutzerfreundliche Oberfläche für verschiedene Aufgaben, z. B.:

• Textgenerierung
• Bildsegmentierung
• Spracherkennung
• Dokument-QA.

Vorbereitung

Bevor wir beginnen, führen wir die Grundlagen durch und stellen unsere Instruments zusammen. Wir benötigen Python, die Transformers-Bibliothek und möglicherweise entweder PyTorch oder TensorFlow. Die Set up erfolgt wie gewohnt: pip set up transformers.

IDEs wie Anaconda oder Plattformen wie Google Colab bringen diese bereits als Standardinstallation mit. Keine Probleme.

Mit der Pipeline-Klasse können Sie viele maschinelle Lernaufgaben mit jedem auf dem Hugging Face Hub verfügbaren Modell ausführen. Es ist so einfach wie Anschließen und Spielen.

Während jede Aufgabe über ein vorkonfiguriertes Standardmodell und einen Präprozessor verfügt, können Sie diese ganz einfach anpassen, indem Sie den Modellparameter verwenden, um ein anderes Modell Ihrer Wahl einzutauschen.

Code

Beginnen wir mit den Transformatoren 101 und sehen wir uns an, wie es funktioniert, bevor wir näher darauf eingehen. Die erste Aufgabe, die wir durchführen werden, ist eine einfache Stimmungsanalyse zu einer bestimmten Schlagzeile.

from transformers import pipeline

classifier = pipeline("sentiment-analysis")
classifier("Instagram needs to restrict hashtag spam.")

Die Antwort ist die folgende.

No mannequin was provided, defaulted to distilbert/distilbert-base-uncased-finetuned-sst-2-english and revision 714eb0f (https://huggingface.co/distilbert/distilbert-base-uncased-finetuned-sst-2-english).
Utilizing a pipeline with out specifying a mannequin title and revision in manufacturing will not be advisable.

Machine set to make use of cpu
({'label': 'NEGATIVE', 'rating': 0.988932728767395})

Da wir keinen geliefert haben mannequin Parameter, es ging mit der Standardoption. Als Klassifizierung haben wir herausgefunden, dass die Stimmung über dieser Überschrift zu 98 % NEGATIV ist. Darüber hinaus könnten wir eine Liste von Sätzen zur Klassifizierung haben, nicht nur einen.

Tremendous einfach, oder? Aber das ist noch nicht alles. Wir können weiterhin andere coole Funktionen erkunden.

Zero-Shot-Klassifizierung

Eine Zero-Shot-Klassifizierung bedeutet die Kennzeichnung eines Textes, der noch nicht gekennzeichnet wurde. Wir haben additionally kein klares Muster dafür. Dann müssen wir nur noch ein paar Klassen bestehen, damit das Modell eine auswählen kann. Dies kann beim Erstellen von Trainingsdatensätzen für maschinelles Lernen sehr nützlich sein.

Dieses Mal füttern wir die Methode mit mannequin Argument und eine Liste der zu klassifizierenden Sätze.

classifier = pipeline("zero-shot-classification", mannequin = 'fb/bart-large-mnli')
classifier(
    ("Inter Miami wins the MLS", "Match tonight betwee Chiefs vs. Patriots", "Michael Jordan plans to promote Charlotte Hornets"),
    candidate_labels=("soccer", "soccer", "basketball")
    )

({'sequence': 'Inter Miami wins the MLS',
  'labels': ('soccer', 'soccer', 'basketball'),
  'scores': (0.9162040948867798, 0.07244189083576202, 0.011354007758200169)},
 {'sequence': 'Match tonight betwee Chiefs vs. Patriots',
  'labels': ('soccer', 'basketball', 'soccer'),
  'scores': (0.9281435608863831, 0.0391676239669323, 0.032688744366168976)},
 {'sequence': 'Michael Jordan plans to promote Charlotte Hornets',
  'labels': ('basketball', 'soccer', 'soccer'),
  'scores': (0.9859175682067871, 0.009983371943235397, 0.004099058918654919)})

Es sieht so aus, als ob das Mannequin beim Beschriften dieser Sätze großartige Arbeit geleistet hat!

Textgenerierung

Das Paket kann auch Textual content generieren. Dies ist eine gute Möglichkeit, einen netten kleinen Geschichtengenerator zu erstellen, den wir unseren Kindern vor dem Schlafengehen erzählen können. Wir erhöhen die temperature Parameter, um das Modell kreativer zu machen.

generator = pipeline("text-generation", temperature=0.8)
generator("As soon as upon a time, in a land the place the King Pineapple was")

({'generated_text': 
"As soon as upon a time, in a land the place the King Pineapple was a typical
 crop, the Queen of the North had lived in a small village. The Queen had all the time 
lived in a small village, and her daughter, who was additionally the daughter of the Queen,
 had lived in a bigger village. The royal household would come to the Queen's village,
 after which the Queen would return to her fort and stay there along with her daughters. 
In the course of the night time, she would lay down on the royal mattress and kiss the princess
 at the very least as soon as, after which she would return to her fort to stay there along with her males. 
Within the daytime, nevertheless, the Queen can be gone endlessly, and her mom can be alone.
The rationale for this disappearance, within the type of the Nice Northern Passage 
and the Nice Northern Passage, was the royal household had all the time needed to take 
the place of the Queen. Ultimately, they took the place of the Queen, and went 
with their daughter to satisfy the King. At the moment, the King was the one particular person 
on the island who had ever heard of the Nice Northern Passage, and his return was
 prior to now.
After Queen Elizabeth's dying, the royal household went to the 
Nice Northern Passage, to hunt out the Princess of England and put her there. 
The Princess of England had been in"})

Namens- und Entitätserkennung

Diese Aufgabe kann eine Particular person (PER), einen Ort (LOC) oder eine Entität (ORG) in einem bestimmten Textual content erkennen. Das eignet sich beispielsweise hervorragend für die schnelle Erstellung von Marketinglisten mit Lead-Namen.

ner = pipeline("ner", grouped_entities=True)
ner("The person landed on the moon in 1969. Neil Armstrong was the primary man to step on the Moon's floor. He was a NASA Astronaut.")

({'entity_group': 'PER', 'rating': np.float32(0.99960065),'phrase': 'Neil Armstrong',
  'begin': 36,  'finish': 50},

 {'entity_group': 'LOC',  'rating': np.float32(0.82190216),  'phrase': 'Moon',
  'begin': 84,  'finish': 88},

 {'entity_group': 'ORG',  'rating': np.float32(0.9842771),  'phrase': 'NASA',
  'begin': 109,  'finish': 113},

 {'entity_group': 'MISC',  'rating': np.float32(0.8394754),  'phrase': 'As',
  'begin': 114,  'finish': 116})

Zusammenfassung

Die Zusammenfassung ist möglicherweise eine der am häufigsten verwendeten Aufgaben und ermöglicht es uns, einen Textual content zu reduzieren und dabei seine Essenz und wichtigen Teile beizubehalten. Fassen wir das zusammen Wikipedia-Seite über Transformers.

summarizer = pipeline("summarization")
summarizer("""
In deep studying, the transformer is a synthetic neural community structure based mostly
on the multi-head consideration mechanism, during which textual content is transformed to numerical
 representations known as tokens, and every token is transformed right into a vector through lookup
 from a phrase embedding desk.(1) At every layer, every token is then contextualized inside the scope of the context window with different (unmasked) tokens through a parallel multi-head consideration mechanism, permitting the sign for key tokens to be amplified and fewer necessary tokens to be diminished.

Transformers have the benefit of getting no recurrent models, subsequently requiring 
much less coaching time than earlier recurrent neural architectures (RNNs) similar to lengthy 
short-term reminiscence (LSTM).(2) Later variations have been broadly adopted for coaching
 giant language fashions (LLMs) on giant (language) datasets.(3)
""")

({'summary_text': 
' In deep studying, the transformer is a synthetic neural community structure 
based mostly on the multi-head consideration mechanism . Transformerers have the benefit of
 having no recurrent models, subsequently requiring much less coaching time than earlier 
recurrent neural architectures (RNNs) similar to lengthy short-term reminiscence (LSTM)'})

Exzellent!

Bilderkennung

Es gibt andere, komplexere Aufgaben, wie zum Beispiel die Bilderkennung. Und genauso einfach zu bedienen wie die anderen.

image_classifier = pipeline(
    process="image-classification", mannequin="google/vit-base-patch16-224"
)
consequence = image_classifier(
    "https://photographs.unsplash.com/photo-1689009480504-6420452a7e8e?q=80&w=687&auto=format&match=crop&ixlib=rb-4.1.0&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fApercent3Dpercent3D"
)
print(consequence)

({'label': 'Yorkshire terrier', 'rating': 0.9792122840881348}, 
{'label': 'Australian terrier', 'rating': 0.00648861238732934}, 
{'label': 'silky terrier, Sydney silky', 'rating': 0.00571345305070281}, 
{'label': 'Norfolk terrier', 'rating': 0.0013639888493344188}, 
{'label': 'Norwich terrier', 'rating': 0.0010306559270247817})

Anhand dieser beiden Beispiele wird deutlich, wie einfach es ist, mit der Transformers-Bibliothek verschiedene Aufgaben mit sehr wenig Code auszuführen.

Zusammenfassung

Was wäre, wenn wir unser Wissen zusammenfassen, indem wir es in einem praktischen, kleinen Projekt anwenden?

Lassen Sie uns eine einfache Streamlit-App erstellen, die einen Lebenslauf lesen und die Stimmungsanalyse zurückgeben und den Ton des Textes klassifizieren kann ("Senior", "Junior", "Trainee", "Blue-collar", "White-collar", "Self-employed")

Im nächsten Code:

• Importieren Sie die Pakete
• Erstellen Sie Titel und Untertitel der Seite
• Fügen Sie einen Texteingabebereich hinzu
• Tokenisieren Sie den Textual content und teilen Sie ihn für die Transformationsaufgabe in Abschnitte auf. Siehe die Liste der Modelle (4).

import streamlit as st
import torch
from transformers import pipeline
from transformers import AutoTokenizer
from langchain_community.document_loaders import PyPDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

st.title("Resumé Sentiment Evaluation")
st.caption("Checking the sentiment and language tone of your resume")

# Add enter textual content space
textual content = st.text_area("Enter your resume textual content right here")

# 1. Load your required tokenizer
model_checkpoint = "bert-base-uncased" 
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)

# 2. Tokenize the textual content with out padding or truncation
# We return tensors or lists to slice them manually
tokens = tokenizer(textual content, add_special_tokens=False, return_tensors="pt")("input_ids")(0)

# 3. Instantiate Textual content Splitter with Chunk Dimension of 500 phrases and Overlap of 100 phrases in order that context will not be misplaced
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)

# 4. Cut up into chunks for environment friendly retrieval
chunks = text_splitter.split_documents(textual content)

# 5. Convert again to strings or add particular tokens for mannequin enter
decoded_chunks = ()
for chunk in chunks:
    # This provides (CLS) and (SEP) and converts again to a format the mannequin likes
    final_input = tokenizer.prepare_for_model(chunk.tolist(), add_special_tokens=True)
    decoded_chunks.append(tokenizer.decode(final_input('input_ids')))

st.write(f"Created {len(decoded_chunks)} chunks.")

Als Nächstes initiieren wir die Pipeline des Transformators, um:

• Führen Sie die Stimmungsanalyse durch und geben Sie den Konfidenzprozentsatz zurück.
• Klassifizieren Sie den Textton und geben Sie die Konfidenz % zurück.

# Initialize sentiment evaluation pipeline
sentiment_pipeline = pipeline("sentiment-analysis")

# Carry out sentiment evaluation    
if st.button("Analyze"):
    col1, col2 = st.columns(2)

    with col1:  
        # Sentiment evaluation
        sentiment = sentiment_pipeline(decoded_chunks)(0)
        st.write(f"Sentiment: {sentiment('label')}")
        st.write(f"Confidence: {100*sentiment('rating'):.1f}%")
    
    with col2:
        # Categorize tone
        tone_pipeline = pipeline("zero-shot-classification", mannequin = 'fb/bart-large-mnli',
                                candidate_labels=("Senior", "Junior", "Trainee", "Blue-collar", "White-collar", "Self-employed"))
        tone = tone_pipeline(decoded_chunks)(0)
        
        st.write(f"Tone: {tone('labels')(0)}")
        st.write(f"Confidence: {100*tone('scores')(0):.1f}%")

Hier ist der Screenshot.

Bevor Sie gehen

Hugging Face (HF) Transformers Pipelines sind für Datenanwender wirklich ein Wendepunkt. Sie bieten eine unglaublich effiziente Möglichkeit, komplexe maschinelle Lernaufgaben wie Textgenerierung oder Bildsegmentierung mit nur wenigen Codezeilen zu bewältigen.

HF hat die schwere Arbeit bereits erledigt, indem es anspruchsvolle Modelllogik in einfache, intuitive Methoden verpackt hat.

Dies verlagert den Fokus weg von der Low-Stage-Codierung und ermöglicht es uns, uns auf das Wesentliche zu konzentrieren: unsere Kreativität zu nutzen, um wirkungsvolle, reale Anwendungen zu erstellen.

Wenn Ihnen dieser Inhalt gefallen hat, finden Sie mehr über mich auf meiner Web site.

https://gustavorsantos.me

GitHub-Repository

https://github.com/gurezende/Resume-Sentiment-Evaluation

Referenzen

(1. Transformers-Paket) https://huggingface.co/docs/transformers/index

(2. Transformatoren-Pipelines) https://huggingface.co/docs/transformers/pipeline_tutorial

(3. Beispiele für Pipelines) https://huggingface.co/be taught/llm-course/chapter1/3#summarization

(3. HF-Modelle) Huggingface.co/fashions

Im Web gibt es eine Flut von Lehrvideos, die neugierigen Zuschauern alles Mögliche beibringen, vom Backen des perfekten Pfannkuchens bis zur Durchführung eines lebensrettenden Heimlich-Manövers.

Es kann jedoch mühsam sein, genau zu bestimmen, wann und wo in einem langen Video eine bestimmte Aktion stattfindet. Um den Prozess zu rationalisieren, versuchen Wissenschaftler, Computern beizubringen, diese Aufgabe auszuführen. Im Idealfall könnte ein Benutzer einfach die Aktion beschreiben, nach der er sucht, und ein KI-Modell würde zu ihrer Place im Video springen.

Um maschinellen Lernmodellen diese Fähigkeit beizubringen, sind allerdings in der Regel große Mengen teurer Videodaten erforderlich, die sorgfältig von Hand beschriftet wurden.

Ein neuer, effizienterer Ansatz von Forschern am MIT und dem MIT-IBM Watson AI Lab trainiert ein Modell für die Durchführung dieser als räumlich-zeitliche Erdung bezeichneten Aufgabe, indem ausschließlich Movies und deren automatisch generierte Transkripte verwendet werden.

Die Forscher bringen einem Modell auf zwei verschiedene Arten bei, ein unbeschriftetes Video zu verstehen: indem es kleine Particulars betrachtet, um herauszufinden, wo sich Objekte befinden (räumliche Informationen), und indem es das Gesamtbild betrachtet, um zu verstehen, wann die Aktion stattfindet (zeitliche Informationen).

Im Vergleich zu anderen KI-Ansätzen identifiziert ihre Methode Aktionen in längeren Movies mit mehreren Aktivitäten genauer. Interessanterweise stellten sie fest, dass das gleichzeitige Coaching mit räumlichen und zeitlichen Informationen ein Modell besser in der Lage macht, jede einzelne Info zu identifizieren.

Neben der Optimierung von On-line-Lern- und virtuellen Schulungsprozessen könnte diese Technik auch im Gesundheitswesen von Nutzen sein, um beispielsweise in Movies von Diagnoseverfahren schnell wichtige Momente zu finden.

„Wir lösen die Herausforderung, räumliche und zeitliche Informationen gleichzeitig zu kodieren, und betrachten es stattdessen als zwei Experten, die für sich arbeiten. Das stellt sich als eine explizitere Artwork heraus, die Informationen zu kodieren. Unser Modell, das diese beiden getrennten Zweige kombiniert, führt zu der besten Leistung“, sagt Brian Chen, Hauptautor einer Papier zu dieser Technik.

Chen, ein Absolvent der Columbia College im Jahr 2023, der diese Forschung als Gaststudent am MIT-IBM Watson AI Lab durchgeführt hat, wird an der Arbeit von James Glass unterstützt, einem leitenden Wissenschaftler, Mitglied des MIT-IBM Watson AI Lab und Leiter der Spoken Language Techniques Group im Laptop Science and Synthetic Intelligence Laboratory (CSAIL); Hilde Kuehne, Mitglied des MIT-IBM Watson AI Lab, die auch mit der Goethe-Universität Frankfurt verbunden ist; und anderen am MIT, der Goethe-Universität, dem MIT-IBM Watson AI Lab und der High quality Match GmbH. Die Forschung wird auf der Konferenz für Laptop Imaginative and prescient und Mustererkennung vorgestellt.

Globales und lokales Lernen

Normalerweise bringen Forscher ihren Modellen die räumlich-zeitliche Erdung mithilfe von Movies bei, in denen Menschen die Begin- und Endzeiten bestimmter Aufgaben notiert haben.

Die Generierung dieser Daten ist nicht nur teuer, sondern es kann für Menschen auch schwierig sein, genau zu bestimmen, was sie beschriften sollen. Wenn es sich bei der Aktion um „einen Pfannkuchen backen“ handelt, beginnt diese Aktion dann, wenn der Koch anfängt, den Teig zu mischen, oder wenn er ihn in die Pfanne gießt?

„Diesmal könnte es bei der Aufgabe ums Kochen gehen, das nächste Mal könnte es darum gehen, ein Auto zu reparieren. Es gibt so viele verschiedene Bereiche, die die Leute annotieren können. Aber wenn wir alles ohne Beschriftungen lernen können, ist das eine allgemeinere Lösung“, sagt Chen.

Für ihren Ansatz verwenden die Forscher unbeschriftete Lehrvideos und dazugehörige Texttranskripte von einer Web site wie YouTube als Trainingsdaten. Diese müssen nicht speziell aufbereitet werden.

Sie teilen den Trainingsprozess in zwei Teile auf. Zum einen bringen sie einem maschinellen Lernmodell bei, das gesamte Video anzuschauen, um zu verstehen, welche Aktionen zu bestimmten Zeiten stattfinden. Diese hochrangigen Informationen werden als globale Darstellung bezeichnet.

Im zweiten Schritt bringen sie dem Modell bei, sich auf einen bestimmten Bereich in Teilen des Movies zu konzentrieren, in dem etwas passiert. In einer großen Küche muss sich das Modell beispielsweise nur auf den Holzlöffel konzentrieren, mit dem ein Koch Pfannkuchenteig anrührt, und nicht auf die gesamte Theke. Diese feinkörnigen Informationen werden als lokale Darstellung bezeichnet.

Die Forscher haben eine zusätzliche Komponente in ihr Konzept integriert, um Abweichungen zwischen Erzählung und Video auszugleichen. Beispielsweise spricht der Koch zuerst über das Backen des Pfannkuchens und führt die Aktion später aus.

Um eine realistischere Lösung zu entwickeln, konzentrierten sich die Forscher auf ungeschnittene Movies, die mehrere Minuten lang sind. Im Gegensatz dazu trainieren die meisten KI-Techniken mit ein paar Sekunden langen Clips, die jemand so zugeschnitten hat, dass nur eine Aktion zu sehen ist.

Ein neuer Maßstab

Als die Forscher ihren Ansatz jedoch evaluieren wollten, konnten sie keinen effektiven Maßstab finden, um ein Modell anhand dieser längeren, ungeschnittenen Movies zu testen – additionally erstellten sie einen.

Um ihren Benchmark-Datensatz aufzubauen, entwickelten die Forscher eine neue Annotationstechnik, die sich intestine zum Identifizieren mehrstufiger Aktionen eignet. Sie ließen die Benutzer die Schnittpunkte von Objekten markieren, etwa den Punkt, an dem eine Messerschneide eine Tomate schneidet, anstatt ein Kästchen um wichtige Objekte zu zeichnen.

„Dies ist klarer definiert und beschleunigt den Annotationsprozess, was den Arbeitsaufwand und die Kosten reduziert“, sagt Chen.

Wenn mehrere Personen Punktanmerkungen zum selben Video vornehmen, können Aktionen, die sich über einen bestimmten Zeitraum hinweg ereignen, wie z. B. das Eingießen von Milch, besser erfasst werden. Nicht alle Annotatoren markieren exakt denselben Punkt im Flüssigkeitsfluss.

Als die Forscher ihren Ansatz anhand dieses Benchmarks testeten, stellten sie fest, dass er Aktionen präziser lokalisieren konnte als andere KI-Techniken.

Ihre Methode konnte sich auch besser auf Interaktionen zwischen Menschen und Objekten konzentrieren. Wenn die Aktion beispielsweise darin besteht, „einen Pfannkuchen zu servieren“, konzentrieren sich viele andere Ansätze möglicherweise nur auf Schlüsselobjekte, wie etwa einen Stapel Pfannkuchen auf einer Theke. Ihre Methode konzentriert sich stattdessen auf den tatsächlichen Second, in dem der Koch einen Pfannkuchen auf einen Teller wirft.

Als nächstes wollen die Forscher ihren Ansatz verbessern, sodass die Modelle automatisch erkennen können, wenn Textual content und Erzählung nicht übereinstimmen, und den Fokus von einer Modalität auf die andere verlagern können. Außerdem wollen sie ihren Rahmen auf Audiodaten ausweiten, da es normalerweise starke Korrelationen zwischen Aktionen und den Geräuschen gibt, die Objekte erzeugen.

„Die KI-Forschung hat unglaubliche Fortschritte bei der Entwicklung von Modellen wie ChatGPT gemacht, die Bilder verstehen. Aber unsere Fortschritte beim Verstehen von Movies hinken weit hinterher. Diese Arbeit stellt einen bedeutenden Schritt in diese Richtung dar“, sagt Kate Saenko, Professorin am Institut für Informatik der Boston College, die an dieser Arbeit nicht beteiligt conflict.

Diese Forschung wird zum Teil vom MIT-IBM Watson AI Lab finanziert.