Rechercheagenten übernehmen bereits heute echte Wissensarbeit. Die Groups delegieren ihnen Wettbewerbskartierung, Due Diligence und Literaturrecherche. Allerdings testen die meisten Benchmarks eine einzelne Antwort und keine großen, evidenzgestützten Sammlungen. Perplexity schließt diese Lücke mit einem neuen offenen Benchmark.

Ratlosigkeit befreit WANDR (Breite und tiefe Forschung). Es handelt sich um ein offenes Benchmark- und Bewertungssystem. Es besteht aus rund 500 realistischen, herausfordernden Datenerfassungsaufgaben für die Wissensarbeit. WANDR ist der große Bruder von Perplexitys DRACO-Benchmark für tiefgreifende Forschung. DRACO fragt, ob ein Agent einen genauen, vollständigen und objektiven Langformbericht erstellt. WANDR fragt stattdessen, ob es eine große Beweissammlung aufbauen kann.

Was ist WANDR

Im Kern testet WANDR zwei Anforderungen gemeinsam. Breit bedeutet, eine große, oft offene Gruppe qualifizierter Einheiten zu entdecken. Tief bedeutet, jedes Unternehmen ausreichend zu untersuchen, um jede Behauptung mit Beweisen zu untermauern. Durch die Kombination beider Faktoren ändert sich das Drawback für die Agenten. Ein paar überzeugende Beispiele reichen hier nicht aus. Eine ausgefeilte Erzählung, die auf unvollständigen Recherchen aufbaut, greift ebenfalls zu kurz.

Um dies zu erfassen, verwendet WANDR ein Composable Qualifikationsschlüsselhierarchie. Eine Aufgabe könnte eine Anforderung sein firm(n) -> worker(m) -> url(okay). Das bedeutet n qualifizierte Unternehmen, jeweils m Mitarbeiter und jeweils okay unterstützende Seiten. Jeder vollständige Pfad durch den Baum wird unabhängig validiert. Dieselbe Struktur kann eine flache Liste, eine verschachtelte Suche oder eine Matrix darstellen.

Ein konkretes Aufgabenbeispiel

Um diese Hierarchie zu begründen, betrachten Sie die Veröffentlichung ceo_cfo_appointments Aufgabe. Gefragt sind mindestens 70 in den USA ansässige Unternehmen. Für jeden muss eine Ernennung zum CEO oder CFO erstmals zwischen dem 1. März und dem 30. April 2026 bekannt gegeben werden. Für jeden stellt der Agent eine maßgebliche Terminseite bereit. Eine Unteraufgabe fügt professional Unternehmen eine Itemizing-Authority-Seite hinzu. Insgesamt erfordert die Aufgabe 140 quellengestützte Datensätze.

Konkret sehen die beiden Hierarchien und ein übermittelter Datensatz so aus:

# Job hierarchies
firm(70) -> company_appointee(1) -> url(1)   # 70 appointment information
firm(70) -> url(1)                           # 70 itemizing information

# One file the grader re-fetches and re-checks (values are illustrative)
{
  "merchandise":     "Instance Corp - new CFO",
  "url":      "https://issuer.instance.com/press/cfo-appointment",
  "excerpts": ("Instance Corp as we speak named Jane Doe as Chief Monetary Officer, efficient April 2026."),
  "reply":   "Jane Doe appointed CFO; introduced April 2026"
}

Realistische Aufgaben, maßstabsgetreu generiert

Über einzelne Beispiele hinaus baut WANDR seine Aufgaben auf der realen Nutzung auf. Es geht von nicht identifizierten Mustern aus, die in der Produktion zu sehen sind, und nicht von synthetischen Eingabeaufforderungen. Eine halbautomatische Pipeline wandelt diese Muster dann in Aufgaben um. Die Pipeline durchläuft vier Phasen: Seeding, Authoring, Zulassung und Kuration. Es verwendet eine verschachtelte Autor-Kritiker-Schleife mit mechanischer Flusenbildung.

Daher erfordert die mittlere Aufgabe insgesamt 50 Mitglieder und 245 Datensätze. Für alle 500 Aufgaben fordert WANDR 170.495 quellengestützte Datensätze. Die Aufgaben sind in 167 Aufgaben mit niedrigerem, 166 mittlerem und 167 höherem Schwierigkeitsgrad unterteilt. Der Schwierigkeitsgrad hängt von der Arbeit professional Datensatz ab, nicht nur vom Maßstab.

Wie WANDR Agenten bewertet

Im Gegensatz zu festen Antwortschlüsseln bewertet WANDR jeden Anspruch anhand der zitierten Beweise. Jeder Datensatz enthält ein Component, eine URL, ausgewählte Auszüge und eine Antwort. Der Bewerter ruft die Seite während der Bewertung erneut ab. Es prüft, ob die Seite nutzbar und im Umfang ist. Anschließend wird überprüft, ob die Auszüge tatsächlich vorliegen und alle Anforderungen erfüllen.

Diese binären Datensatzurteile werden dann in der Hierarchie zusammengefasst. Präzision misst die Qualität dessen, was ein System übermittelt hat. Abrufen misst die qualitätsbereinigte Fertigstellung und füllt etwaige Lücken mit Nullen. Weich Bei Partituren werden unvollständige Mitglieder teilweise angerechnet. Hart Scores zählen nur Mitglieder, deren vollständiger Teilbaum korrekt ist.

Die Benchmark-Ergebnisse

Mit dieser Methode führte Perplexity sechs Produktionssysteme für alle 500 Aufgaben aus. Sein eigenes Search as Code (SaC)-System führt. Dennoch kommt kein System auch nur annähernd an die Lösung des Benchmarks heran.

Mit mehr Aufwand erreicht Perplexity einen Gentle-F1-Wert von 0,447 xhigh Einstellung. Die Kosten über alle Einstellungen hinweg erstrecken sich über mehr als vier Größenordnungen. Der Preis reicht von 0,03 $ professional Aufgabe bis zu 324,83 $ professional Aufgabe.

Über die Bestenliste hinaus stechen vier Erkenntnisse hervor. Erstens ist ein teilweiser Fortschritt üblich, eine vollständige Abdeckung jedoch nicht. Jedes System zeigt einen Gentle-Recall unterhalb der Gentle-Präzision. Zweitens verschärft die Größenordnung das Drawback erheblich. Tiefere Hierarchien schaden am meisten, da jede Verzweigung einen Fehlerpunkt hinzufügt. Drittens ist die Entdeckung der erste strukturelle Engpass. Der Erkennungsabschluss auf oberster Ebene liegt systemübergreifend zwischen 0,611 und 0,951. Der größte Teil des fehlenden Volumens ist auf eine Unterlieferung zurückzuführen, nicht auf die Zusammenführung von Duplikaten. Viertens ist es normalerweise einfach, eine brauchbare Seite zu finden. Es ist der schwierige Teil, daraus vollständige Beweise zu machen. Bei Perplexity fehlt auf 41,4 % der Seiten eine wesentliche Anforderung. Außerdem stützen 57,5 ​​% der Auszüge nicht die vollständige Behauptung. Sein weicher F1 fällt von 0,531 bei einer reinen Abrufprüfung auf 0,363 bei der vollständigen Beurteilung.

Insbesondere passt Search as Code intestine zu dieser Aufgabenform. Ein Agent kann Abruf-, Filter-, Fanout-, Be a part of-, Deduplizierungs- und Stopplogik als Programm ausdrücken. Die deterministische Berechnung verarbeitet dann wiederholte Vorgänge außerhalb des Modellkontexts.

Anwendungsfälle mit Beispielen

Praktischerweise ordnet WANDR Jobs zu, die Groups bereits automatisieren. Ein Marktanalyst benötigt jeden qualifizierten Wettbewerber mit passenden Beweisen für jeden. Ein Due-Diligence-Workforce benötigt Dutzende von Unternehmen, dann Eigentümer, Führungskräfte und Finanzierung. Für die Talentsuche sind viele Kandidaten erforderlich, von denen jeder über unterstützende Profilseiten verfügt. WANDR testet genau diese breiten und tiefen Sammelmuster im professionellen Maßstab.

Da die Bewertung professional Datensatz erfolgt, können Groups Fehler präzise lokalisieren. Der Bewertungsbaum isoliert den Verlust durch Entdeckung, Anreicherung oder Beweisextraktion. Diese Diagnose hilft Ingenieuren, jeweils eine Schwachstelle zu verbessern.

Wichtige Erkenntnisse

• WANDR ist ein offener Benchmark mit 500 evidenzintensiven, umfassenden Aufgaben.
• Aufgaben verwenden eine Qualifikationsschlüsselhierarchie, die Pfad für Pfad validiert wird.
• Die Benotung erfolgt referenzfrei; Der Gutachter holt die zitierten Beweise erneut ab und prüft sie.
• Perplexity Search as Code liegt bei 0,363 Gentle F1 und 0,133 Exhausting F1.
• Entdeckung und vollständige Beweise bleiben die größten Fehlerquellen.

Schauen Sie sich das an Technische Particulars Und Repo hier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150k+ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Asif Razzaq ist CEO von Marktechpost Media Inc.. Als visionärer Unternehmer und Ingenieur setzt sich Asif dafür ein, das Potenzial der künstlichen Intelligenz für das soziale Wohl zu nutzen. Sein jüngstes Unterfangen ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch eine ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die sowohl technisch fundiert als auch für ein breites Publikum leicht verständlich ist. Die Plattform verfügt über mehr als 2 Millionen monatliche Aufrufe, was ihre Beliebtheit beim Publikum verdeutlicht.

1. Einführung

An der Schnittstelle verschiedener Bereiche – Statistik, Programmierung, KI – wird die Fähigkeit, komplexe Methoden und Erkenntnisse zu vermitteln, von entscheidender Bedeutung. Daher ist die Fähigkeit, mit umfassenden API-Konzepten umzugehen, für eine effektive Kommunikation im Workforce unerlässlich.

Erstens fördert es die Zusammenarbeit zwischen Teammitgliedern und Stakeholdern. An Information Science (DS)-Projekten sind häufig multidisziplinäre Groups beteiligt, die nicht nur aus Datenspezialisten, sondern auch aus Softwareentwicklern, Geschäftsanalysten, Projektmanagern usw. bestehen. Intestine dokumentierte APIs dienen als Brücke zwischen allen und ermöglichen es diesen unterschiedlichen Gruppen, DS-Modelle und -Instruments richtig zu verstehen und zu nutzen.

Zweitens verbessert eine hochwertige API-Dokumentation die Reproduzierbarkeit und kann die Einarbeitungszeit für Neueinsteiger verkürzen. In DS, wo Modelle und Analysen validiert und repliziert werden müssen, stellt eine klare API-Dokumentation sicher, dass andere dieselben Prozesse befolgen, dieselben Daten verwenden und konsistente Ergebnisse erzielen können. Dies ist besonders wichtig bei der Entwicklung einer datengesteuerten Entscheidungsfindung.

Da Information Science zunehmend in Geschäftsstrategien integriert wird, können intestine dokumentierte APIs schließlich die Skalierbarkeit von Datenlösungen verbessern und den Prozess der Arbeit mit Daten vereinfachen. Beispielsweise können APIs eine wichtige Rolle bei der Datenerfassung für Projekte spielen und ein schnelles Prototyping und die Entwicklung von Anwendungen ermöglichen, die auf aktuellen Informationen basieren. Durch die Nutzung von APIs zur Datenerfassung aus Quellen wie REST-Ländern (siehe Fall 6.1) können sich Datenwissenschaftler auf die Analyse statt auf die Datenerfassung konzentrieren.

In diesem Beitrag werden wir:

• Erkunden Sie kurz, was eine API ist und welchen Zweck sie in der Softwareentwicklung hat.
• Lernen Sie die Hauptkomponenten der REST-API kennen.
• Beschreiben Sie die gängigsten Formate und stellen Sie praktische Beispiele für API-Aufrufe und -Antworten bereit.
• Fassen Sie zusammen, wie eine gute API-Dokumentation aussehen sollte, mit Informationen zu Endpunkten, Parametern und Antworten.

2. Was ist API?

Eine API (Utility Programming Interface) umfasst eine Reihe von Methoden, mit denen verschiedene Programme miteinander kommunizieren und Daten austauschen. Im Wesentlichen handelt es sich um einen Vermittler, der es Anwendungen, Geräten, Servern und anderen Systemen ermöglicht, Informationen auszutauschen, während die Prozesse innerhalb der einzelnen Systeme voreinander verborgen bleiben.

Stellen Sie sich eine Bibliothek mit einer großen Büchersammlung vor und einen Bibliothekar, der weiß, wo genau das Buch zu finden ist, das ein bestimmter Leser benötigt. Hier können wir den Bibliothekar als API bezeichnen, die den Prozess des Zugriffs auf Informationen vereinfacht und den Lesern (unserem „Frontend“) die Zeitverschwendung beim Durchsuchen des gesamten Buchkatalogs (unseres „Backend“) erspart und es ihnen ermöglicht, sich nur auf ihre spezifische Anfrage zu konzentrieren. Wenn Leser außerdem weitere Bücher benötigen, können sie den Vorgang des Sendens einer Anfrage an die API erneut wiederholen.

Diese Analogie unterstreicht die Rolle der API als Vermittler zwischen dem Benutzer und der Datenquelle, die einen bequemen und effizienten Zugriff auf Informationen ermöglicht.

Ein Sonderfall der API ist eine REST-API, die den Konzepten der REST-Architektur (REpresentational State Switch) folgt. REST-APIs werden als Industriestandard bezeichnet, weil sie leichtgewichtig und flexibel sind und gängige Datenformate wie JSON oder XML verwenden.

3. Komponenten der REST-API

Jede der folgenden REST-API-Komponenten spielt eine wichtige Rolle bei der Organisation von Shopper-Server-Interaktionen.

3.1. Ressourcen

Eine Ressource ist jede Entität, auf die über die API zugegriffen werden kann. Jede Ressource verfügt über eine eindeutige Kennung (URI), zum Beispiel:

https://api.thecatapi.com/v1/photographs/search?dimension=med

Hier, photographs ist eine Sammlung von Katzenbildern von der The Cat API-Webseite (1) und search?dimension=med ist der Filter, um nur mittelgroße Bilder anzuzeigen.

3.2. HTTP-Methoden

Zur Interaktion mit Ressourcen werden HTTP-Methoden verwendet:

• GET – Daten über eine Ressource abrufen;
• POST – eine neue Ressource erstellen;
• PUT – eine Ressource aktualisieren;
• PATCH – teilweise Aktualisierung einer Ressource;
• DELETE – eine Ressource löschen.

3.3. Anfragen und Antworten

Der Datenaustausch zwischen Shopper und Server erfolgt über HTTP-Anfragen und -Antworten. In den meisten Fällen wird das JSON-Format verwendet, da es einfach zu lesen ist und von den allermeisten Programmiersprachen unterstützt wird.

3.4. HTTP-Header

Überschriften werden verwendet, um zusätzliche Informationen zu übermitteln, beispielsweise den Inhaltstyp (Content material-Sort) oder Authentifizierungsparameter (Authorization).

3.5. HTTP-Antwortcodes

Jede HTTP-Anfrage erhält eine Antwort mit einem bestimmten Statuscode:

• 200 OK – erfolgreiche Anfrage;
• 201 Erstellt – Ressource erfolgreich erstellt;
• 400 Dangerous Request – Shopper-Anfragefehler;
• 401 Nicht autorisiert – fehlende Zugriffsrechte;
• 404 Nicht gefunden – Ressource nicht gefunden;
• 500 Interner Serverfehler – serverseitiger Fehler.

4. API-Purchasers

API-Purchasers wie Postman oder Bruno (2) vereinfachen die API-Interaktion, indem sie einen dedizierten Arbeitsbereich zum Senden von Anfragen und Verwalten von Antworten bereitstellen. Anstatt Befehlszeilentools zu verwenden oder Code zu schreiben, wie wir es in Fall 6.1 getan haben, bieten diese Agenten visuelle Schnittstellen und Automatisierungsfunktionen, die Arbeitsabläufe beschleunigen.

Daher werden wir in Fall 6.2 erwägen, Bruno für die Interaktion mit der JokeAPI-Webseite (3) zu verwenden. Der Einsatz von Bruno vereinfacht den komplexen Prozess der Interaktion zwischen verschiedenen Softwaresystemen. Ohne Bruno und andere API-Purchasers müssten Entwickler jede HTTP-Anfrage manuell erstellen und jede Rohantwort von Grund auf neu verarbeiten.

5. Tipps zum Erstellen einer guten API-Dokumentation

Die Erstellung einer effektiven API-Dokumentation ist entscheidend, um sicherzustellen, dass Benutzer Ihre API leicht verstehen und nutzen können. Hier sind einige wichtige Tipps, die Sie beachten sollten:

5.1. Priorisieren Sie Einfachheit, Klarheit und Konsistenz

Vermeiden Sie Fachjargon und inkonsistente Terminologie. Verwenden Sie stattdessen eine unkomplizierte und einfache Sprache, die leicht zu verstehen ist. Erstellen Sie bei Bedarf einen Styleguide, um die Einheitlichkeit Ihrer gesamten Dokumentation zu gewährleisten. Hier können Sie die wichtigsten Regeln angeben, die in Ihrer Dokumentation verwendet werden, z. B. wie die Codeschnipsel, Schnappschüsse formatiert werden, der bevorzugte Tonfall usw.

5.2. Geben Sie umfassende Particulars an

Eine gründliche API-Dokumentation sollte mehrere wesentliche Elemente umfassen, insbesondere umfasst eine typische Seite mit API-Methode Folgendes:

• Eine kurze Beschreibung (1-2 Sätze), die den Hauptzweck des Endpunkts klar umreißen.
• Die Anforderungssyntax: Eine Übersicht über API-Aufrufe.
• Authentifizierungsmethoden: Detailliert die Authentifizierungsprozesse, die für den sicheren Zugriff auf die API erforderlich sind.
• Parameter und Datentypen: Geben Sie die erforderlichen Parameter und die entsprechenden Datentypen für Anfragen an.
• Beispiele für Anfragen: Stellen Sie Beispiele für korrekte und fehlerhafte Anfragen bereit, um zu veranschaulichen, wie die API effektiv genutzt werden kann.

6. Praktische Fälle

Fall 6.1: Stellen Sie mit Python eine Anfrage an eine RESTful-API

Das Sammeln von Daten auf Länderebene ist für das Verständnis globaler, regionaler oder nationaler Tendencies von entscheidender Bedeutung und ermöglicht eine fundierte Entscheidungsfindung für Regierungen, Unternehmen und einzelne Forscher. Bei der Arbeit mit Länderdaten wie der REST-Länder-Web site (4) können Datenwissenschaftler über eine RESTful-API Informationen über Länder abrufen, um Fläche, Bevölkerung und Demonyme effizient abzurufen, ohne Tonnen von Webdaten manuell durchsuchen zu müssen. Der folgende Code ruft Daten über Länder in Mittelamerika ab und zeigt sie an:

import requests
import json

url = 'https://restcountries.com/v3.1/subregion/Central America/?fields=identify,space,inhabitants,demonyms'
response = requests.get(url)
jdata = response.json()
formatted_json = json.dumps(jdata, indent=4)
print(formatted_json)

Geografische Regionen werden mithilfe der UN-Methodik definiert (5). Sie können die Antworten auch nach bestimmten Feldern filtern (6): In unserem Fall sind dies Title, Gebiet, Bevölkerungszahl und Demonyme.

Die Ausgabe erfolgt als für Menschen lesbare JSON-Datei:

(
    {
        "identify": {
            "widespread": "Honduras",
            "official": "Republic of Honduras",
            "nativeName": {
                "spa": {
                    "official": "Repu00fablica de Honduras",
                    "widespread": "Honduras"
                }
            }
        },
        "demonyms": {
            "eng": {
                "f": "Honduran",
                "m": "Honduran"
            },
            "fra": {
                "f": "Hondurienne",
                "m": "Hondurien"
            }
        },
        "space": 112492.0,
        "inhabitants": 9892632
    },
    {
        "identify": {
            "widespread": "Costa Rica",
            "official": "Republic of Costa Rica",
            "nativeName": {
                "spa": {
                    "official": "Repu00fablica de Costa Rica",
                    "widespread": "Costa Rica"
                }
            }
        },
        "demonyms": {
            "eng": {
                "f": "Costa Rican",
                "m": "Costa Rican"
            },
            "fra": {
                "f": "Costaricaine",
                "m": "Costaricain"
            }
        },
        "space": 51100.0,
        "inhabitants": 5309625
    },
    {
        "identify": {
            "widespread": "Guatemala",
            "official": "Republic of Guatemala",
            "nativeName": {
                "spa": {
                    "official": "Repu00fablica de Guatemala",
                    "widespread": "Guatemala"
                }
            }
        },
        "demonyms": {
            "eng": {
                "f": "Guatemalan",
                "m": "Guatemalan"
            },
            "fra": {
                "f": "Guatu00e9maltu00e8que",
                "m": "Guatu00e9maltu00e8que"
            }
        },
        "space": 108889.0,
        "inhabitants": 18079810
    },
    {
        "identify": {
            "widespread": "Panama",
            "official": "Republic of Panama",
            "nativeName": {
                "spa": {
                    "official": "Repu00fablica de Panamu00e1",
                    "widespread": "Panamu00e1"
                }
            }
        },
        "demonyms": {
            "eng": {
                "f": "Panamanian",
                "m": "Panamanian"
            },
            "fra": {
                "f": "Panamu00e9enne",
                "m": "Panamu00e9en"
            }
        },
        "space": 75417.0,
        "inhabitants": 4064780
    },
    {
        "identify": {
            "widespread": "Nicaragua",
            "official": "Republic of Nicaragua",
            "nativeName": {
                "spa": {
                    "official": "Repu00fablica de Nicaragua",
                    "widespread": "Nicaragua"
                }
            }
        },
        "demonyms": {
            "eng": {
                "f": "Nicaraguan",
                "m": "Nicaraguan"
            },
            "fra": {
                "f": "Nicaraguayenne",
                "m": "Nicaraguayen"
            }
        },
        "space": 130373.0,
        "inhabitants": 6803886
    },
    {
        "identify": {
            "widespread": "Belize",
            "official": "Belize",
            "nativeName": {
                "bjz": {
                    "official": "Belize",
                    "widespread": "Belize"
                },
                "eng": {
                    "official": "Belize",
                    "widespread": "Belize"
                },
                "spa": {
                    "official": "Belice",
                    "widespread": "Belice"
                }
            }
        },
        "demonyms": {
            "eng": {
                "f": "Belizean",
                "m": "Belizean"
            },
            "fra": {
                "f": "Bu00e9lizienne",
                "m": "Bu00e9lizien"
            }
        },
        "space": 22966.0,
        "inhabitants": 417634
    },
    {
        "identify": {
            "widespread": "El Salvador",
            "official": "Republic of El Salvador",
            "nativeName": {
                "spa": {
                    "official": "Repu00fablica de El Salvador",
                    "widespread": "El Salvador"
                }
            }
        },
        "demonyms": {
            "eng": {
                "f": "Salvadoran",
                "m": "Salvadoran"
            },
            "fra": {
                "f": "Salvadorienne",
                "m": "Salvadorien"
            }
        },
        "space": 21041.0,
        "inhabitants": 6029976
    }
)

Fall 6.2: Stellen Sie mit Bruno eine Anfrage an JokeAPI

JokeAPI ist eine kostenlose Open-Supply-REST-API, die Witze in verschiedenen Formaten liefert, z. B. JSON, XML, YAML oder Klartext (3).

1. Öffnen Sie Bruno und wählen Sie aus Sammlungen → + Sammlung erstellen.
2. Wählen Sie einen Namen für Ihre Sammlung, z Beispiel-API.
3. Die erstellte Sammlung wird im linken Bereich angezeigt. Um eine Anfrage zu erstellen, klicken Sie auf … → Neue Anfrage.
4. Wählen Sie den Anfragetyp (HTTP) und geben Sie seinen Namen an, z joke_request.
5. Im URL Zelle, wählen Sie die Methode (ERHALTEN) und geben Sie den Endpunkt ein https://v2.jokeapi.dev/joke/Any?blacklistFlags=spiritual,political,racist,sexist&kind=single.
   Die URL wurde basierend auf den von Ihnen auf der JokeAPI-Web site ausgewählten Einstellungen erstellt. In unserem Beispiel haben wir eine beliebige Witzkategorie ausgewählt, außer NSFW, religiöse, politische, rassistische und sexistische (sie wurden markiert und auf die schwarze Liste gesetzt).
6. Die Parameter, die wir auf der Web site ausgewählt und kopiert haben, erschienen in der Anfrage danach ? als Abfragezeichenfolge an die Endpunkt-URL im GET Feld, getrennt durch & voneinander. Sie werden auch in einer Tabelle im angezeigt Parameter Tab.
7. Klicken Schickenwarte ein bisschen … und als Antwort bekommst du einen gar nicht so schlechten Witz („Die Generierung von Zufallszahlen ist zu wichtig, um sie dem Zufall zu überlassen.“). Achten Sie auf den Standing unserer Anfrage – er ist 200 OK, was Erfolg bedeutet.

Es ist wichtig zu beachten, dass wir in diesem Beispiel keinen API-Schlüssel benötigten, um auf unsere REST-API-Ressource zuzugreifen. Andernfalls müssten wir es als Header in einem separaten übergeben Überschriften Tab.

Fall 6.3: Stellen Sie eine Anfrage an NASA Open APIs mit API-Schlüssel

Der APOD (Astronomy Image of the Day) der NASA ist ein beliebter Dienst, der Benutzern Zugriff auf das tägliche Foto oder Video zum Thema Astronomie zusammen mit einer Beschreibung bietet (7).

Lassen Sie uns kurz ein Beispiel für die NASA APOD API-Dokumentation erstellen, basierend auf den Tipps aus dem 5. Absatz.

NASA APOD API-Dokumentation

Beschreibung: Mit dieser API können Benutzer Bilder oder Movies für bestimmte Daten, Zeiträume oder einfach nur zufällig ausgewählte von der APOD-NASA-Web site abrufen.

Anforderungssyntax: GET https://api.nasa.gov/planetary/apod

Authentifizierungsmethoden: Um auf die APOD-API zuzugreifen, sollten Sie Ihrer Anfrage einen API-Schlüssel hinzufügen. Um einen kostenlosen API-Schlüssel zu erhalten, müssen Sie aufseufzen https://api.nasa.gov/. Dieser Schlüssel sollte als Abfrageparameter in der Anfrage enthalten sein.

Parameter und Datentypen: siehe Tabelle unten

* – erforderliche Parameter

Beispiele für Anfragen

Korrekte Anfrage mit 200 OK-Standing

GET https://api.nasa.gov/planetary/apod?api_key=<your_API_key>

{
    "copyright": "Simone Curzi",
    "date": "2026-05-18",
    "rationalization": "Spiral galaxy NGC 3169 seems to be unraveling like a ball of cosmic yarn. It lies some 70 million light-years away, south of vivid star Regulus towards the faint constellation Sextans. Wound up spiral arms are pulled out into sweeping tidal tails as NGC 3169 (left) and neighboring NGC 3166 work together gravitationally. Ultimately the galaxies will merge into one, a typical destiny even for vivid galaxies within the native universe. Drawn out stellar arcs and plumes are clear indications of the continuing gravitational interactions throughout the deep and colourful galaxy group picture. The telescopic body spans about 20 arc minutes or about 400,000 light-years on the group's estimated distance, and contains smaller, bluish NGC 3165 to the appropriate. NGC 3169 can be recognized to shine throughout the spectrum from radio to X-rays, harboring an lively galactic nucleus that's the web site of a supermassive black gap.",
    "hdurl": "https://apod.nasa.gov/apod/picture/2605/ngc3169_ngc3166_ngc3165.jpg",
    "media_type": "picture",
    "service_version": "v1",
    "title": "Unraveling NGC 3169",
    "url": "https://apod.nasa.gov/apod/picture/2605/ngc3169_ngc3166_ngc3165px1024.jpg"
}

Korrekte Anfrage mit dem Standing „200 OK“ für einen Datumsbereich

GET https://api.nasa.gov/planetary/apod?start_date=2025-03-03&end_date=2025-03-05&api_key=<your_API_key>

(
    {
        "date": "2025-03-03",
        "rationalization": "There is a new lander on the Moon. Yesterday Firefly Aerospace's Blue Ghost executed the first-ever profitable business lunar touchdown. Throughout its deliberate 60-day mission, Blue Ghost will deploy a number of NASA-commissioned scientific devices, together with PlanetVac which captures lunar mud after making a small whirlwind of gasoline. Blue Ghost can even host the telescope LEXI that captures X-ray photographs of the Earth's magnetosphere. LEXI information ought to allow a greater understanding of how Earth's magnetic subject protects the Earth from the Solar's wind and flares.  Pictured, the shadow of the Blue Ghost lander is seen on the cratered lunar floor, whereas the glowing orb of the planet Earth hovers simply over the horizon. Objectives for future robotic Blue Ghost landers embody supporting lunar astronauts in NASA's Artemis program, with Artemis III at present scheduled to land people again on the Moon in 2027.",
        "hdurl": "https://apod.nasa.gov/apod/picture/2503/BlueGhostShadow_Firefly_4096.jpg",
        "media_type": "picture",
        "service_version": "v1",
        "title": "Blue Ghost on the Moon",
        "url": "https://apod.nasa.gov/apod/picture/2503/BlueGhostShadow_Firefly_960.jpg"
    },
    {
        "copyright": "Valerio Minato",
        "date": "2025-03-04",
        "rationalization": "Why does this Moon look so uncommon?  A key purpose is its vivid pink colour. The colour is attributable to the deflection of blue mild by Earth's ambiance -- the identical purpose that the daytime sky seems blue.  The Moon additionally seems unusually distorted.  Its unusual structuring is an optical impact arising from layers within the Earth's ambiance that refract mild in another way as a result of sudden variations in temperature or strain.  A 3rd purpose the Moon seems so uncommon is that there's, by probability, an airplane flying in entrance. The featured picturesque gibbous Moon was captured about two weeks in the past above Turin, Italy. Our acquainted hovering sky orb was a part of an uncommon quadruple alignment that included two historic floor buildings: the Sacra di San Michele on the close to hill and Basilica of Superga simply past.   Your Sky Shock: What image did APOD function in your buddy's birthday? (publish 1995)",
        "hdurl": "https://apod.nasa.gov/apod/picture/2503/QuadMoon_Minato_960.jpg",
        "media_type": "picture",
        "service_version": "v1",
        "title": "A Quadruple Alignment over Italy",
        "url": "https://apod.nasa.gov/apod/picture/2503/QuadMoon_Minato_960.jpg"
    },
    {
        "copyright": "Todd Anderson",
        "date": "2025-03-05",
        "rationalization": "On the appropriate, wearing blue, is the Pleiades.  Also referred to as the Seven Sisters and M45, the Pleiades is without doubt one of the brightest and most simply seen open clusters on the sky. The Pleiades comprises over 3,000 stars, is about 400 mild years away, and solely 13 mild years throughout. Surrounding the celebrities is a spectacular blue reflection nebula fabricated from high-quality mud.  A standard legend is that one of many brighter stars pale because the cluster was named. On the left, shining in pink, is the California Nebula.  Named for its form, the California Nebula is far dimmer and therefore tougher to see than the Pleiades.  Also referred to as NGC 1499, this mass of pink glowing hydrogen gasoline is about 1,500 mild years away. Though about 25 full moons may match between them, the featured vast angle, deep subject picture composite has captured them each.  A cautious inspection of the deep picture can even reveal the star forming area IC 348 and the molecular cloud LBN 777 (the Child Eagle Nebula).    Soar Across the Universe: Random APOD Generator",
        "hdurl": "https://apod.nasa.gov/apod/picture/2503/California2Pleiades_Anderson_9953.jpg",
        "media_type": "picture",
        "service_version": "v1",
        "title": "Seven Sisters versus California",
        "url": "https://apod.nasa.gov/apod/picture/2503/California2Pleiades_Anderson_960.jpg"
    }
)

Fehleranforderung mit dem Standing „400 Dangerous Request“.

GET https://api.nasa.gov/planetary/apod?date=2023-03-01&end_date=2023-03-01&api_key=<your_API_key>

{
    "code": 400,
    "msg": "Dangerous Request: invalid subject mixture handed. Allowed request fields for apod technique are 'concept_tags', 'date', 'hd', 'rely', 'start_date', 'end_date', 'thumbs'",
    "service_version": "v1"
}

7. Fazit

Zu wissen, wie man API-Dokumentation liest (und vielleicht schreibt), ist nicht nur eine technische Aufgabe; Es ist ein wesentlicher Bestandteil einer erfolgreichen Datenanalysepraxis und verbessert die Zusammenarbeit, Reproduzierbarkeit, Akzeptanz und Skalierbarkeit. Durch die Priorisierung einer klaren und detaillierten Dokumentation können Datenwissenschaftler sicherstellen, dass sie mit modernen Instruments problemlos arbeiten können.

Beispielsweise verwenden viele Datenwissenschaftler mittlerweile Instruments wie Claude Code, einen programmierenden KI-Agenten. Mit Claude Code werden Ihre Dateien lokal auf Ihrem Pc gespeichert, der KI-Assistent liest sie von dort aus und sendet den Textinhalt zur Verarbeitung an die Anthropic API. Es ist erwähnenswert, dass die umfassende Dokumentation der Claude-API alle Nuancen ihrer Funktionsweise beschreibt. Konkret handelt es sich bei der Claude API um eine RESTful API https://api.anthropic.com Dies bietet programmgesteuerten Zugriff auf Claude-Modelle und verwaltete Claude-Agenten (8). Hoffentlich verstehen Sie nach dem Lesen dieses Beitrags diese (und andere) Dokumentation etwas besser

Danke fürs Lesen!

Referenzliste

1. Die Cat-API-Webseite: https://thecatapi.com/
2. Bruno-Dokumentation: https://docs.usebruno.com/introduction/getting-started
3. JokeAPI-Webseite: https://jokeapi.dev/
4. REST-Länder v3.1: https://restcountries.com/
5. UNSD-Methodik: Commonplace-Länder- oder Gebietscodes für statistische Zwecke (M49)
6. Liste der Felder auf der GitLab-Seite des Projekts: https://gitlab.com/restcountries/restcountries/-/blob/grasp/FIELDS.md
7. Offene NASA-APIs: https://api.nasa.gov/
8. Claude API-Dokumente – Ein Überblick: https://platform.claude.com/docs/en/api/overview

Ein Roboter, der die falsche Kiste auswählt, vor den Augen einer Particular person einfriert oder ein zerbrechliches Teil fallen lässt, scheitert selten an fehlerhaftem Code. Es schlägt fehl, weil etwas, das es zu erkennen gelernt hat, nicht richtig – oder überhaupt nicht – gekennzeichnet struggle. Annotation von Robotikdaten ist das, was zwischen rohen Sensorströmen und einem Roboter steht, der sich in der realen Welt vorhersehbar verhält. Stellen Sie sich das so vor, als würden Sie einem Roboter fünf verschiedene Vokabulare der physischen Welt beibringen – Objekte, Aktionen, Absicht, Bewegung und Fehlermodi – und das Modell wird nur dann fließend, wenn alle fünf intestine gelehrt werden. In diesem Playbook erfahren Sie genau, wie Sie jede Dimension mit Anmerkungen versehen und wie Sie die Arbeit von Ende zu Ende sequenzieren.

Wichtige Erkenntnisse

• Die Annotation von Robotikdaten beschriftet multimodale Sensorströme, damit Roboter sicher wahrnehmen und handeln können.
• Die fünf Dimensionen sind Objekte, Aktionen, Absicht, Bewegung und Fehlermodi.
• Für die Sensorfusion müssen RGB-, LiDAR- und IMU-Streams vor der Beschriftung synchronisiert werden.
• Aktions- und Bewegungsanmerkungen unterscheiden sich – Aktionen sind diskret; Bewegung ist kontinuierlich.
• Die Fehlermoduskennzeichnung erfasst Randfälle, die zu den meisten Roboterfehlern in der realen Welt führen.
• Ein sechsstufiger HITL-Workflow sorgt dafür, dass die multimodale Annotation im großen Maßstab konsistent bleibt.

Warum unterscheidet sich die Annotation von Robotikdaten von anderen KI-Trainingsdaten?

Die Annotation von Robotikdaten ist schwieriger als die typische Etikettierung mit maschinellem Sehen, da Roboter multimodale, zeitlich ausgerichtete und sicherheitskritische Daten verbrauchen. Eine einzelne Sekunde der Roboterwahrnehmung kann RGB-Bilder, LiDAR-Punktwolken, IMU-Bewegungsmesswerte und Audio umfassen – jeweils mit unterschiedlichen Geschwindigkeiten und Auflösungen erfasst. Im Gegensatz zur statischen Bildbeschriftung muss jede Anmerkung allen Sensoren, allen Frames und den physischen Konsequenzen der darauf folgenden Einwirkung standhalten. Die weltweiten Installationen von Industrierobotern erreichten im Jahr 2024 542.076 Einheiten (IFR World Robotics, 2025), und dieser Maßstab bedeutet, dass sich selbst kleine Beschriftungsfehler über Millionen von Bildern hinweg verstärken. Die Robotik-Datenannotationspipelines von Shaip richten RGB-, LiDAR- und IMU-Streams vor Beginn der Beschriftung auf einer einzigen Zeitachse aus und reduzieren so die modalübergreifende Abweichung nach unten.

Welche 5 Arten von Robotik-Datenanmerkungen benötigt jedes KI-Workforce?

Die fünf Arten der Annotation von Robotikdaten sind Objekte, Aktionen, Absicht, Bewegung und Fehlermodi. Jede Dimension beantwortet eine andere Frage, die der Roboter lernen muss: Was ist es, was passiert, warum passiert es, wie bewegt es sich, Und Was läuft schief. Indem man sie als separate Anmerkungsspuren behandelt, wird der häufigste Fehler vermieden – sie in einem einzigen „Beschriftungs“-Feld zusammenzufassen, das das Sign verliert.

Bei Multisensorsystemen, die Sensorfusion durchführen, sollten Annotatoren dasselbe Objekt über alle Modalitäten hinweg im selben Body kennzeichnen, damit das Modell eine konsistente Identität lernt und nicht fünf driftende.

Wie kommentieren Sie Aktionen und Bewegungen in Robotertrainingsdaten?

Aktions- und Bewegungsanmerkungen sind miteinander verbunden, aber unterschiedlich: Aktionen sind diskrete, gekennzeichnete Verhaltenssegmente, während Bewegung die kontinuierliche Trajektorie darunter ist. Beide erfordern eine genaue zeitliche Ausrichtung, und die meisten Groups unterschätzen, wie oft die beiden miteinander in Konflikt geraten.

Was ist Aktionsanmerkung in der Robotik?

Aktionsanmerkungen unterteilen einen kontinuierlichen Video- oder Sensorstream in benannte Segmente – annähern, greifen, heben, drehen, platzieren, zurückziehen – jeweils mit einem Startrahmen und einem Endrahmen. Annotatoren sollten einem festen Aktionsvokabular und einer Tie-Break-Regel für mehrdeutige Übergänge folgen (z. B. tut). Aufzug endet, wenn das Objekt den Behälter verlässt oder wenn der Arm seinen Wegpunkt erreicht?). Konsistente Regeln über Hunderte von Stunden Filmmaterial hinweg führen dazu, dass Aktivitätserkennungsmodelle tatsächlich verallgemeinert werden. Eng Videoanmerkungspipelines Halten Sie diese Segmentgrenzen teamübergreifend reproduzierbar.

Was ist Bewegungsanmerkung in der Robotik?

Bewegungsanmerkungen erfassen die kontinuierliche Physik, wie sich etwas bewegt – Gelenkwinkel, Endeffektor-Trajektorien, Geschwindigkeiten und Beschleunigungen. Dies wird normalerweise kombiniert Posenschätzung (Schlüsselpunkte an einem Roboterarm oder menschlichen Körper) mit synchronisierten IMU-Messwerten, die mit einer ausreichend hohen Charge erfasst werden, damit schnelle Bewegungen nicht verwischt werden. Die Ausgabe ist eine Zeitreihe von Posen, die das Modell vorhersagen, glätten oder antizipieren kann.

Wie kommentieren Sie die Absicht der Mensch-Roboter-Interaktion?

Absichtsanmerkungen kennzeichnen die Zweck hinter einem beobachteten Verhalten, nicht das Verhalten selbst. Ein Mensch, der auf ein Regal zeigt, ist die Aktion; „Den Roboter bitten, die blaue Kiste zu holen“ ist die Absicht. Absichtsbezeichnungen stammen typischerweise aus drei Quellen: Gesten- und Blickhinweise, Befehle in natürlicher Sprache gepaart mit dem passenden Aktionssegment und Nähe oder sozialer Kontext (eine gehende Particular person). zu der Roboter vs. Vergangenheit Es). Für kollaborative und Serviceroboter – einschließlich humanoider Roboter – ist die Absichtsannotation die Ebene, die sichere Übergaben, Antizipation und elegantes Scheitern ermöglicht. Die domänengeschulten Annotatoren von Shaip wenden konsistente Absichtsbezeichnungen auf Choose-and-Place-Sequenzen, Gestenhinweise und Befehle in natürlicher Sprache an, sodass Modelle den Zweck und nicht nur die Bewegung lernen.

Wie kommentieren Sie Fehlermodi und Randfälle in Robotik-Datensätzen?

Anmerkungen zum Fehlermodus beschriften, was schief gelaufen ist quick schief gelaufen ist, und die Bedingungen, die dazu geführt haben. Dies ist die Dimension, die die meisten Trainingssätze vernachlässigen – und die die Zuverlässigkeit in der realen Welt am besten vorhersagt. Stellen Sie sich ein mittelgroßes Lager vor, in dem ein Choose-and-Place-Roboter eingesetzt wird: Der Roboter leistet gute Arbeit bei Normal-SKUs, wirft jedoch zweimal professional Schicht durchsichtige Flaschen ab. Das Drawback besteht nicht darin, dass die Daten sauberer werden; Es ist mit Beispielen beschriftet Versagen – reflektierende Oberflächen, teilweise Okklusion, außermittige Griffe und Beinaheunfälle, bei denen der Greifer abrutschte, sich aber wieder erholte. Bis zu 80 % der KI-Projektzeit werden für die Vorbereitung von Daten aufgewendet (Cognilytica, 2024), und das Überspringen von Fehlermodi verschwendet den größten Teil dieses Aufwands. Die Qualität sollte mit konkreten Metriken verfolgt werden – Intersection over Union (IoU) für Objektüberlappung, F1 für Klassengenauigkeit und Edge-Case-Abdeckungsraten professional Szenariotyp. Frameworks wie das NIST AI Danger Administration Framework Benennen Sie die dokumentierte Fehleranalyse ausdrücklich als zentrale Anforderung an die Vertrauenswürdigkeit. Die Annotations-Playbooks von Shaip umfassen explizite Fehlermodus-Taxonomien – Wahrnehmungsfehler, Greiffehler, Navigations-Beinaheunfälle, Sensorfehler und Verstöße gegen die menschliche Interaktion –, sodass Modelle aus Randfällen und nicht nur aus sauberen Trajektorien lernen.

Was ist der beste Workflow, um Robotikdaten durchgängig mit Anmerkungen zu versehen?

Der beste Workflow ist eine sechsstufige, wiederholbare Pipeline, die multimodale Annotationen von einem einmaligen Beschriftungssprint in eine kontinuierliche Schleife umwandelt. Führen Sie diese Schritte der Reihe nach aus:

1. Definieren Sie das operative Ziel. Geben Sie an, was der Roboter wahrnehmen muss, was eine Aktion auslösen soll und was als kritischer Fehlalarm im Vergleich zu einem akzeptablen Fehlalarm gilt.
2. Sensorströme synchronisieren. Richten Sie RGB, LiDAR, IMU und Audio auf einer einzigen Zeitleiste aus – typischerweise über ROS-Bag-Dateien oder Ähnliches – bevor mit der Beschriftung begonnen wird.
3. Erstellen Sie ein fünfdimensionales Schema. Erstellen Sie separate Felder für Objekte, Aktionen, Absichten, Bewegungen und Fehlermodi. Fassen Sie sie niemals zu einem Etikett zusammen.
4. Vorbeschriften mit Automatisierung und synthetischen Daten. Verwenden Sie Basismodelle für Objekt- und Aktionsbezeichnungen im ersten Durchgang und ergänzen Sie seltene Szenarien mit durch Simulationen generierten Daten.
5. Führen Sie eine Human-in-the-Loop-Validierung (HITL) durch. Domänengeschulte Annotatoren überprüfen Vorbeschriftungen, korrigieren Randfälle und lösen mehrdeutige Grenzen auf – das gleiche Aufsichtsmuster im RLHF-Stil, das im modernen LLM-Coaching verwendet wird.
6. Verfolgen Sie Versionen und geben Sie Bereitstellungsdaten zurück. Kennzeichnen Sie jede Datensatzversion, protokollieren Sie Modellregressionen dagegen und fügen Sie vor Ort erfasste Fehler in den nächsten Annotationszyklus ein.

Abschluss

Starke Robotikmodelle basieren nicht auf mehr Daten – sie basieren auf Daten, die in den richtigen Dimensionen gekennzeichnet sind. Objekte sagen dem Roboter, was da ist, Aktionen und Bewegungen sagen ihm, was passiert, Absicht sagt ihm, warum und Fehlermodi sagen ihm, wo er vorsichtig sein muss. Groups, die diese als fünf unterschiedliche Anmerkungsspuren behandeln, liefern zuverlässigere Systeme und erholen sich schneller, wenn die reale Welt sie überrascht. Für Groups, die über Pilotprojekte hinausgehen, die Zusammenarbeit mit erfahrenen Groups Annotationsdienste für Robotikdaten ist oft der schnellste Weg vom Prototyp zur Produktion. Um tiefer in die multimodale Kennzeichnung für Autonomie einzusteigen, sehen Sie sich an, wie physische KI-Trainingsdaten prägt die reale Roboterleistung.

Aktie

Submit


Aktie

In diesem Artikel erfahren Sie, was rekursive Sprachmodelle sind, warum sie für die Argumentation mit langen Eingaben wichtig sind und wie sie sich von standardmäßigen Eingabeaufforderungs-, Abfrage- und Agentensystemen für lange Kontexte unterscheiden.

Zu den Themen, die wir behandeln werden, gehören:

• Warum ein langer Kontext allein die Argumentation über sehr große Eingaben nicht löst
• Wie rekursive Sprachmodelle eine externe Laufzeit und rekursive Unteraufrufe verwenden, um Informationen zu verarbeiten
• Die wichtigsten Kompromisse, Einschränkungen und praktischen Anwendungsfälle dieses Ansatzes

Kommen wir gleich zur Sache.

Alles, was Sie über rekursive Sprachmodelle wissen müssen
Bild vom Herausgeber

Einführung

Wenn Sie hier sind, haben Sie wahrscheinlich von neueren Arbeiten zu rekursiven Sprachmodellen gehört. Die Idee battle auf LinkedIn und Ich denke, wir sind uns alle einig, dass sich große Sprachmodelle (LLMs) in den letzten Jahren rasant verbessert haben, insbesondere hinsichtlich ihrer Fähigkeit, große Eingaben zu verarbeiten. Dieser Fortschritt hat viele Menschen zu der Annahme veranlasst, dass der lange Kontext ein weitgehend gelöstes Downside sei, aber das ist nicht der Fall. Wenn Sie versucht haben, Modellen sehr lange Eingaben nahe oder gleich ihrem Kontextfenster zu geben, ist Ihnen möglicherweise aufgefallen, dass sie weniger zuverlässig werden. Sie übersehen häufig Particulars in den bereitgestellten Informationen, widersprechen früheren Aussagen oder geben oberflächliche Antworten, anstatt sorgfältig zu argumentieren. Dieses Downside wird oft als bezeichnet „Kontextfäule“was ein recht interessanter Title ist.

Eine Antwort auf dieses Downside sind rekursive Sprachmodelle (RLMs). Anstatt immer mehr Textual content in einen einzigen Vorwärtsdurchlauf eines Sprachmodells zu schieben, ändern RLMs zunächst einmal die Artwork und Weise, wie das Modell mit langen Eingaben interagiert. In diesem Artikel werden wir uns damit befassen, was sie sind, wie sie funktionieren und welche Artwork von Problemen sie lösen sollen.

Warum ein langer Kontext nicht ausreicht

Sie können diesen Abschnitt überspringen, wenn Sie die Motivation aus der Einleitung bereits verstanden haben. Aber wenn Sie neugierig sind oder die Idee beim ersten Mal nicht ganz überzeugen konnte, lassen Sie mich sie weiter aufschlüsseln.

Die Funktionsweise dieser LLMs ist ziemlich einfach. Alles, was das Modell berücksichtigen soll, wird ihm als einzelne Eingabeaufforderung übermittelt, und basierend auf diesen Informationen generiert das Modell die Ausgabe Token für Token. Dies funktioniert intestine, wenn die Eingabeaufforderung kurz ist. Wenn es jedoch sehr lang wird, beginnt die Leistung nachzulassen. Dies ist nicht unbedingt auf Speicherbeschränkungen zurückzuführen. Selbst wenn das Modell die vollständige Eingabeaufforderung sehen kann, kann es diese häufig nicht effektiv nutzen. Hier sind einige Gründe, die zu diesem Verhalten beitragen können:

1. Bei diesen LLMs handelt es sich hauptsächlich um transformatorbasierte Modelle mit einem Aufmerksamkeitsmechanismus. Je länger die Aufforderung wird, desto diffuser wird die Aufmerksamkeit. Dem Modell fällt es schwer, sich klar auf das Wesentliche zu konzentrieren, wenn es Zehntausende oder Hunderttausende von Token verwalten muss.
2. Ein weiterer Grund ist das Vorhandensein heterogener Informationen wie Protokolle, Dokumente, Code, Chat-Verlauf und Zwischenausgaben.
3. Schließlich geht es bei vielen Aufgaben nicht nur darum, einen relevanten Ausschnitt aus einer riesigen Menge an Inhalten abzurufen oder zu finden. Dabei werden häufig Informationen über die gesamte Eingabe hinweg aggregiert.

Aufgrund der oben diskutierten Probleme wurden Ideen wie Zusammenfassung und Abruf vorgeschlagen. Diese Ansätze helfen zwar in manchen Fällen, sind aber keine universellen Lösungen. Zusammenfassungen sind von Natur aus verlustbehaftet und der Abruf geht davon aus, dass die Relevanz zuverlässig identifiziert werden kann, bevor mit der Argumentation begonnen wird. Viele Aufgaben in der realen Welt verstoßen gegen diese Annahmen. Aus diesem Grund schlagen RLMs einen anderen Ansatz vor. Anstatt das Modell zu zwingen, die gesamte Eingabeaufforderung auf einmal zu absorbieren, lassen sie das Modell die Eingabeaufforderung aktiv erkunden und verarbeiten. Nachdem wir nun den grundlegenden Hintergrund kennen, schauen wir uns genauer an, wie das funktioniert.

Wie ein rekursives Sprachmodell in der Praxis funktioniert

In einem RLM-Setup wird die Eingabeaufforderung als Teil der externen Umgebung behandelt. Dies bedeutet, dass das Modell nicht die gesamte Eingabe direkt liest. Stattdessen befindet sich die Eingabe außerhalb des Modells, oft als Variable, und das Modell erhält nur Metadaten über die Eingabeaufforderung sowie Anweisungen zum Zugriff darauf. Wenn das Modell Informationen benötigt, gibt es Befehle aus, um bestimmte Teile der Eingabeaufforderung zu untersuchen. Durch dieses einfache Design bleibt der interne Kontext des Modells klein und fokussiert, selbst wenn die zugrunde liegende Eingabe extrem groß ist. Um RLMs konkreter zu verstehen, gehen wir Schritt für Schritt eine typische Ausführung durch.

Schritt 1: Initialisieren einer persistenten REPL-Umgebung

Zu Beginn eines RLM-Laufs initialisiert das System eine Laufzeitumgebung, typischerweise eine Python REPL. Diese Umgebung enthält:

• Eine Variable, die die vollständige Benutzeraufforderung enthält und beliebig groß sein kann
• Eine Funktion (zum Beispiel llm_query(...) oder sub_RLM(...)), die es dem System ermöglicht, zusätzliche Sprachmodellaufrufe für ausgewählte Textteile aufzurufen

Aus der Sicht des Benutzers bleibt die Schnittstelle einfach, mit einer Texteingabe und einer Ausgabe, aber intern fungiert die REPL als Gerüst, das skalierbares Denken ermöglicht.

Schritt 2: Aufrufen des Root-Modells nur mit Immediate-Metadaten

Anschließend wird das Root-Sprachmodell aufgerufen, es erhält jedoch nicht die vollständige Eingabeaufforderung. Stattdessen heißt es:

• Metadaten mit konstanter Größe über die Eingabeaufforderung, z. B. ihre Länge oder ein kurzes Präfix
• Anweisungen, die die Aufgabe beschreiben
• Greifen Sie über die REPL-Umgebung auf Anweisungen zur Interaktion mit der Eingabeaufforderung zu

Durch das Zurückhalten der vollständigen Eingabeaufforderung zwingt das System das Modell dazu, absichtlich mit der Eingabe zu interagieren, anstatt sie passiv in das Kontextfenster aufzunehmen. Ab diesem Zeitpunkt interagiert das Modell indirekt mit der Eingabeaufforderung.

Schritt 3: Überprüfen und Zerlegen der Eingabeaufforderung durch Codeausführung

Das Modell könnte mit der Überprüfung der Struktur der Eingabe beginnen. Es kann beispielsweise die ersten paar Zeilen drucken, nach Überschriften suchen oder den Textual content anhand von Trennzeichen in Abschnitte aufteilen. Diese Vorgänge werden durch die Generierung von Code ausgeführt, der dann in der Umgebung ausgeführt wird. Die Ausgaben dieser Vorgänge werden gekürzt, bevor sie dem Modell angezeigt werden, um sicherzustellen, dass das Kontextfenster nicht überlastet wird.

Schritt 4: Rekursive Unteraufrufe für ausgewählte Slices ausgeben

Sobald das Modell die Struktur der Eingabeaufforderung versteht, kann es entscheiden, wie es vorgehen soll. Wenn die Aufgabe ein semantisches Verständnis bestimmter Abschnitte erfordert, kann das Modell Unterabfragen ausgeben. Jede Unterabfrage ist ein separater Sprachmodellaufruf für einen kleineren Teil der Eingabeaufforderung. Hier kommt eigentlich der „rekursive“ Teil ins Spiel. Das Modell zerlegt das Downside immer wieder, verarbeitet Teile der Eingabe und speichert Zwischenergebnisse. Diese Ergebnisse leben in der Umgebung, nicht im Kontext des Modells.

Schritt 5: Zusammenstellen und Zurücksenden der endgültigen Antwort

Nachdem genügend Informationen gesammelt und verarbeitet wurden, erstellt das Modell schließlich die endgültige Antwort. Wenn die Ausgabe lang ist:

• Das Modell baut es inkrementell innerhalb einer REPL-Variablen auf, z Ultimate
• Einmal Ultimate gesetzt ist, endet die RLM-Schleife
• Der Wert von Ultimate wird als Antwort zurückgegeben

Dieser Mechanismus ermöglicht es dem RLM, Ausgaben zu erzeugen, die die Token-Grenzwerte eines einzelnen Sprachmodellaufrufs überschreiten. Während dieses Prozesses muss kein einziger Sprachmodellaufruf jemals die vollständige Eingabeaufforderung sehen.

Was unterscheidet RLMs von Agenten und Abrufsystemen?

Wenn Sie Zeit im LLM-Bereich verbringen, verwechseln Sie diesen Ansatz möglicherweise mit Agenten-Frameworks oder Retrieval-Augmented Technology (RAG). Dies sind jedoch unterschiedliche Ideen, auch wenn die Unterschiede subtil erscheinen können.

In vielen Agentensystemen wird der gesamte Gesprächsverlauf oder Arbeitsspeicher wiederholt in den Kontext des Modells eingefügt. Wenn der Kontext zu groß wird, werden ältere Informationen zusammengefasst oder gelöscht. RLMs vermeiden dieses Muster vollständig, indem sie die Eingabeaufforderung von Anfang an extern halten. Im Gegensatz dazu verlassen sich Retrieval-Systeme darauf, eine kleine Menge relevanter Teile zu identifizieren, bevor mit der Argumentation begonnen wird. Dies funktioniert intestine, wenn die Relevanz gering ist. RLMs sind für Umgebungen konzipiert, in denen die Relevanz dicht und verteilt ist und eine Aggregation über viele Teile der Eingabe erforderlich ist. Ein weiterer wichtiger Unterschied ist die Rekursion. In RLMs ist Rekursion nicht metaphorisch. Das Modell ruft buchstäblich Sprachmodelle innerhalb von als Code generierten Schleifen auf, sodass die Arbeit auf kontrollierte Weise mit der Eingabegröße skaliert werden kann.

Kosten, Kompromisse und Einschränkungen

Es lohnt sich auch, einige Nachteile dieser Methode hervorzuheben. RLMs eliminieren keine Rechenkosten. Sie verschieben es. Anstatt für einen einzelnen, sehr großen Modellaufruf zu zahlen, zahlen Sie für viele kleinere, zusammen mit dem Mehraufwand für die Codeausführung und Orchestrierung. In vielen Fällen sind die Gesamtkosten vergleichbar mit einem Commonplace-Langkontextanruf, die Abweichung kann jedoch höher sein. Es gibt auch praktische Herausforderungen. Das Modell muss in der Lage sein, zuverlässigen Code zu schreiben. Schlecht eingeschränkte Modelle generieren möglicherweise zu viele Unteraufrufe oder werden nicht sauber beendet. Ausgabeprotokolle müssen sorgfältig entworfen werden, um Zwischenschritte von endgültigen Antworten zu unterscheiden. Dies sind technische Probleme, keine konzeptionellen Mängel, aber sie sind dennoch wichtig.

Fazit und Referenzen

Eine nützliche Faustregel lautet: Wenn Ihre Aufgabe allein deshalb schwieriger wird, weil die Eingabe länger ist, und wenn beim Zusammenfassen oder Abrufen wichtige Informationen verloren gehen, ist ein RLM wahrscheinlich eine Überlegung wert. Wenn die Eingabe kurz und die Aufgabe einfach ist, ist ein Aufruf eines Standardsprachenmodells normalerweise schneller und kostengünstiger. Wenn Sie sich eingehender mit rekursiven Sprachmodellen befassen möchten, sind die folgenden Ressourcen nützliche Ausgangspunkte:

Aktie

Submit


Aktie

Gesponserte Inhalte

Die neuen Erkenntnisse von Gartner „5 Vital Shifts D&A Leaders Should Make to Drive Analytics and AI Success“ liefern wichtige, evidenzbasierte Leitlinien für Chief Knowledge & Analytics Officers, Datenleiter und alle, die dafür verantwortlich sind, Analysen und KI vom Versprechen zum Geschäftswert zu machen.

Was Sie entdecken werden:

• Die fünf notwendigen Veränderungen: Erfahren Sie, welche entscheidenden Veränderungen D&A-Führungskräfte benötigen, um echte Analyse- und KI-Ergebnisse zu erzielen – bevor es zu spät ist.
• Vom Risiko zum Vertrauen: Finden Sie heraus, wie Sie Ihr Unternehmen von der KI-Skepsis zu einer Vertrauensbasis bewegen können, die die Akzeptanz und den Wert beschleunigt.
• Enterprise-First-Denkweise: Erfahren Sie, warum es nicht nachhaltig ist, Analysen und KI als Kostenstellen zu behandeln, und wie Sie die Diskussion über geschäftliche Auswirkungen neu gestalten können.
• Governance für Wachstum: Entdecken Sie, wie Sie von chaotischen Analyseumgebungen zu einer robusten, skalierbaren Governance übergehen.
• Einfluss im großen Maßstab: Verstehen Sie, warum die Beeinflussung von Entscheidungen und Verhaltensweisen im gesamten Unternehmen der neue Maßstab für D&A-Führung ist.

Diese Erkenntnisse geben Ihnen umsetzbare Schritte, um:

• Bauen Sie Vertrauen auf und fördern Sie die Einführung von KI in Ihrem gesamten Unternehmen
• Richten Sie D&A-Initiativen an den Geschäftsprioritäten aus, um einen nachhaltigen Wert zu erzielen
• Gehen Sie von technologieorientierten zu geschäftsorientierten Lösungen über
• Beeinflussen Sie Ergebnisse, die über Ihren direkten Einfluss hinausgehen

Sind Sie bereit, sich Ihren Platz am Führungstisch zu sichern?
Greifen Sie jetzt auf die kostenlosen Erkenntnisse von Gartner zu und erfahren Sie, wie Sie die Veränderungen bewirken können, die für den Erfolg von Analysen und KI am wichtigsten sind.

Laden Sie die kostenlosen Gartner-Einblicke herunter Hier.

# Einführung

OpenClaw ist eines der leistungsstärksten Open-Supply-Frameworks für autonome Agenten, die im Jahr 2026 verfügbar sind. Es handelt sich nicht nur um eine Chatbot-Ebene. Es führt einen Gateway-Prozess aus, installiert ausführbare Fähigkeiten, stellt eine Verbindung zu externen Instruments her und kann reale Aktionen auf Ihren System- und Messaging-Plattformen durchführen.

Diese Fähigkeit ist genau das, was OpenClaw von anderen unterscheidet, und es ist auch wichtig, mit derselben Denkweise vorzugehen, die Sie auch bei der laufenden Infrastruktur anwenden würden.

Sobald Sie damit beginnen, Fähigkeiten zu aktivieren, ein Gateway offenzulegen oder einem Agenten Zugriff auf Dateien, Geheimnisse und Plugins zu gewähren, betreiben Sie etwas, das echte Sicherheits- und Betriebsrisiken birgt.

Bevor Sie OpenClaw lokal oder in der Produktion bereitstellen, müssen Sie die folgenden fünf wesentlichen Dinge darüber verstehen, wie es funktioniert, wo die größten Risiken bestehen und wie Sie es sicher einrichten.

# 1. Behandeln Sie es wie einen Server, denn es ist einer

OpenClaw führt einen Gateway-Prozess aus, der Kanäle, Instruments und Modelle verbindet. Sobald Sie es einem Netzwerk aussetzen, führen Sie etwas aus, das angegriffen werden kann.

Tun Sie dies frühzeitig:

• Behalten Sie es nur lokal bei, bis Sie Ihrer Konfiguration vertrauen
• Überprüfen Sie Protokolle und aktuelle Sitzungen auf unerwartete Toolaufrufe
• Führen Sie die integrierte Prüfung nach Änderungen erneut aus

Laufen:

openclaw safety audit --deep

# 2. OpenClaw-Fähigkeiten sind Code, keine „Add-ons“

ClawHub ist der Ort, an dem die meisten Menschen OpenClaw-Fähigkeiten entdecken und installieren. Aber das Wichtigste, was es zu verstehen gilt, ist einfach:

Fähigkeiten sind ausführbarer Code.

Es handelt sich nicht um harmlose Plugins. Ein Talent kann Befehle ausführen, auf Dateien zugreifen, Workflows auslösen und direkt mit Ihrem System interagieren. Das macht sie extrem leistungsfähig, birgt aber auch ein echtes Risiko für die Lieferkette.

Sicherheitsforscher haben bereits berichtet, dass bösartige Fähigkeiten in Register wie ClawHub hochgeladen werden, wobei sie häufig auf Social Engineering zurückgreifen, um Benutzer dazu zu verleiten, unsichere Befehle auszuführen.

Die gute Nachricht ist, dass ClawHub jetzt über integrierte Sicherheitsscans verfügt, einschließlich VirusTotal-Berichten, sodass Sie einen Talent überprüfen können, bevor Sie ihn installieren. Beispielsweise können Ergebnisse wie die folgenden angezeigt werden:

• Sicherheitsscan: Gutartig
• VirusTotal: Bericht ansehen
• OpenClaw-Bewertung: Verdächtig (hohes Vertrauen)

Nehmen Sie diese Warnungen immer ernst, insbesondere wenn eine Fertigkeit als verdächtig gekennzeichnet ist.

Praktische Regeln:

• Installieren Sie zu Beginn weniger Fähigkeiten, nur von vertrauenswürdigen Autoren
• Lesen Sie immer die Dokumentation und das Repository des Expertise, bevor Sie ihn ausführen
• Seien Sie vorsichtig bei Fertigkeiten, die Sie zum Einfügen langer oder unverständlicher Shell-Befehle auffordern
• Überprüfen Sie vor dem Herunterladen den Sicherheitsscan und den VirusTotal-Bericht
• Halten Sie alles regelmäßig auf dem neuesten Stand:

# 3. Verwenden Sie immer ein starkes Modell

Die Sicherheit und Zuverlässigkeit von OpenClaw hängt stark von dem Modell ab, mit dem Sie es verbinden. Da OpenClaw Instruments ausführen und echte Aktionen ausführen kann, generiert das Modell nicht nur Textual content. Es trifft Entscheidungen, die sich auf Ihr System auswirken können.

Ein schwaches Modell kann:

• Fehlzündende Werkzeugaufrufe
• Befolgen Sie unsichere Anweisungen
• Lösen Sie Aktionen aus, die Sie nicht beabsichtigt haben
• Seien Sie verwirrt, wenn mehrere Instruments verfügbar sind

Verwenden Sie ein erstklassiges, werkzeugfähiges Modell. Im Jahr 2026 gehören zu den beständigsten Optionen für Agenten-Workflows und -Codierung:

• Claude Opus 4.6 für Planung, Zuverlässigkeit und Arbeit im Agentenstil
• GPT-5.3-Codex für Agenten-Codierung und lang laufende Instrument-Aufgaben
• GLM-5 wenn Sie eine starke Open-Supply-Studying-Choice wünschen, die sich auf Langfristigkeit und Agentenfähigkeit konzentriert
• Kimi K2.5 für multimodale und Agenten-Workflows, einschließlich größerer Aufgabenausführungsfunktionen

Praktische Aufbauregeln:

• Bevorzugen Sie nach Möglichkeit offizielle Anbieterintegrationen, da diese in der Regel eine bessere Streaming- und Instrument-Unterstützung bieten
• Vermeiden Sie experimentelle oder minderwertige Modelle, wenn Instruments aktiviert sind
• Halten Sie das Routing explizit. Entscheiden Sie, welche Aufgaben werkzeugaktiviert und welche rein textbasiert sind, damit Sie nicht versehentlich dem falschen Modell Zugriff mit hohen Berechtigungen gewähren

Wenn Datenschutz für Sie Priorität hat, ist die lokale Ausführung von OpenClaw mit Ollama ein üblicher Ausgangspunkt:

# 4. Sperren Sie Geheimnisse und Ihren Arbeitsbereich

Das größte Risiko in der realen Welt sind nicht nur schlechte Fähigkeiten. Das größere Risiko ist Offenlegung von Anmeldeinformationen.

OpenClaw landet oft neben Ihren sensibelsten Belongings: API-Schlüssel, Zugriffstokens, SSH-Anmeldeinformationen, Browsersitzungen und Konfigurationsdateien. Wenn eines davon ausläuft, muss ein Angreifer das Modell nicht zerstören. Sie müssen lediglich Ihre Anmeldeinformationen wiederverwenden.

Behandeln Sie Geheimnisse als hochwertige Ziele:

• API-Schlüssel und Anbieter-Tokens
• Slack-, Telegram- und WhatsApp-Sitzungen
• GitHub-Tokens und Bereitstellungsschlüssel
• SSH-Schlüssel und Cloud-Anmeldeinformationen
• Browser-Cookies und gespeicherte Sitzungen

Tun Sie dies in der Praxis:

• Speichern Sie Geheimnisse in Umgebungsvariablen oder einem Geheimnisse-Supervisor, nicht in Talent-Konfigurationen oder Nur-Textual content-Dateien
• Halten Sie Ihren OpenClaw-Arbeitsbereich minimal. Mounten Sie nicht Ihr gesamtes Dwelling-Verzeichnis
• Beschränken Sie die Dateiberechtigungen für den OpenClaw-Arbeitsbereich, sodass nur der Agent-Benutzer darauf zugreifen kann
• Wechseln Sie die Token sofort, wenn Sie jemals etwas Verdächtiges installieren oder unerwartete Instrument-Aufrufe feststellen
• Bevorzugen Sie die Isolation bei ernsten Dingen. Führen Sie OpenClaw in einem Container oder einer isolierten VM aus, damit ein gefährdeter Talent nicht auf den Relaxation Ihres Computer systems zugreifen kann

Wenn Sie OpenClaw auf einem gemeinsam genutzten Server ausführen, behandeln Sie ihn wie eine Produktionsinfrastruktur. Das geringste Privileg ist der Unterschied zwischen einem sicheren Agenten und einer vollständigen Kontoübernahme.

# 5. Sprachanrufe sind echte Macht … und ein Risiko

Das Voice Name-Plugin bringt OpenClaw über den Textual content hinaus in die reale Welt. Es ermöglicht ausgehende Telefonanrufe und Sprachgespräche mit mehreren Runden, was bedeutet, dass Ihr Agent nicht mehr nur im Chat antwortet. Es spricht direkt zu den Menschen.

Das ist eine große Fähigkeit, birgt aber auch ein höheres operatives und finanzielles Risiko.

Bevor Sie Sprachanrufe aktivieren, sollten Sie klare Grenzen definieren:

• Wer kann wann und zu welchem ​​Zweck angerufen werden?
• Was der Agent während eines Dwell-Gesprächs sagen darf
• So verhindern Sie versehentliche Anrufschleifen, Spam-Verhalten oder unerwartete Nutzungskosten
• Ob Anrufe vor dem Tätigen einer menschlichen Genehmigung bedürfen

Sprachtools sollten immer als Aktionen mit hohen Berechtigungen behandelt werden, ähnlich wie Zahlungen oder Administratorzugriff.

# Letzte Gedanken

OpenClaw ist eines der leistungsfähigsten Open-Supply-Agent-Frameworks, die heute verfügbar sind. Es kann eine Verbindung zu echten Instruments herstellen, ausführbare Fähigkeiten installieren, Arbeitsabläufe automatisieren und über Messaging- und Sprachkanäle hinweg arbeiten.

Gerade deshalb sollte es mit Sorgfalt behandelt werden.

Wenn Sie OpenClaw wie eine Infrastruktur angehen, die Fähigkeiten auf ein Minimal beschränken, ein starkes Modell wählen, Geheimnisse sperren und Plugins mit hohen Berechtigungen nur mit klaren Kontrollen aktivieren, wird es zu einer äußerst leistungsstarken Plattform für den Aufbau echter autonomer Systeme.

Bei der Zukunft von KI-Agenten geht es nicht nur um Intelligenz. Es geht um Ausführung, Vertrauen und Sicherheit. OpenClaw gibt Ihnen die Macht, diese Zukunft zu gestalten, aber es liegt in Ihrer Verantwortung, sie bewusst einzusetzen.

Abid Ali Awan (@1abidaliawan) ist ein zertifizierter Datenwissenschaftler, der gerne Modelle für maschinelles Lernen erstellt. Derzeit konzentriert er sich auf die Erstellung von Inhalten und das Schreiben technischer Blogs zu maschinellem Lernen und Datenwissenschaftstechnologien. Abid verfügt über einen Grasp-Abschluss in Technologiemanagement und einen Bachelor-Abschluss in Telekommunikationstechnik. Seine Imaginative and prescient ist es, ein KI-Produkt mithilfe eines graphischen neuronalen Netzwerks für Schüler mit psychischen Erkrankungen zu entwickeln.

Bild vom Herausgeber

Python wächst jedes Jahr weiter. Es entstehen regelmäßig neue Bibliotheken, die die Codierungsabläufe optimieren. Im Jahr 2026 haben mehrere bereits unsere Aufmerksamkeit erregt und Instruments für Daten, KI-Agenten, Code-Analyse, Dokumentation und synthetische Daten angeboten. Die meisten sind Open Supply und zugänglich.

# 12 Python-Bibliotheken für 2026

Dies sind 12 Python-Bibliotheken, die im Jahr 2025 für Aufsehen gesorgt haben und die jeder Entwickler im Jahr 2026 ausprobieren sollte.

// 1. MarkItDown

Repo: https://github.com/microsoft/markitdown
Sterne: ~86.000+ auf GitHub (schnelle Einführung im Jahr 2025)
Merkmale: MarkItDown konvertiert Dokumente wie PDFs, Phrase, Excel und PowerPoint in Markdown. Es behält Strukturen wie Überschriften, Tabellen und Hear bei und ist für LLM-Workflows (Giant Language Mannequin) konzipiert.

// 2. Polaren

Repo: https://github.com/pola-rs/polars
Sterne: ~37k+ auf GitHub
Merkmale: Polars ist eine schnelle DataFrame-Bibliothek, in die geschrieben wurde Rost mit Python-Unterstützung. Es bietet eine verzögerte und eifrige Ausführung, Multithreading und eine geringe Speichernutzung. Polars funktioniert mit CSV, Parquet und JSON und ist viel schneller als Pandas für große Datensätze.

// 3. GPT-Pilot (früher Pythagora)

Repo: https://github.com/Pythagora-io/gpt-pilot
Sterne: ~33,8k+ auf GitHub
Merkmale: Pythagora nutzt KI, um Code zu erklären und Dokumentation zu erstellen. GPT Pilot dient als Kerntechnologie für Pythagora VS Code-Erweiterungdas darauf abzielt, den ersten echten KI-Entwicklerbegleiter bereitzustellen, der in der Lage ist, vollständige Funktionen zu schreiben, Code zu debuggen, Probleme zu diskutieren und Rezensionen anzufordern.

// 4. Smolagenzien

Repo: https://github.com/huggingface/smolagents
Sterne: ~25.000+ auf GitHub
Merkmale: Smolagents ist ein KI-Agent-Framework von Umarmendes Gesicht. Es hilft Ihnen beim Aufbau intelligenter Agenten, die Code schreiben oder Instruments aufrufen, unterstützt mehrere LLMs und ermöglicht mehrstufiges Denken. Es lässt sich auch in Sandbox-Ausführungsumgebungen integrieren (Blaxel, Docker, WebAssembly).

// 5. LangExtract

Repo: https://github.com/google/langextract
Sterne: ~24k+ auf GitHub
Merkmale: LangExtract extrahiert mithilfe von LLMs strukturierte Daten aus unstrukturiertem Textual content. Es kann Entitäten erkennen, Schemata anwenden und Ergebnisse visualisieren. Es unterstützt Cloud-Modelle (z. B. Gemini) und lokale Modelle über Anbieter-Plugins und ist für die Verarbeitung langer Dokumente optimiert.

// 6. FastMCP

Repo: https://github.com/jlowin/fastmcp
Sterne: ~22k+ auf GitHub
Merkmale: FastMCP ist ein Framework zum Erstellen von Mannequin Context Protocol (MCP)-Servern und -Shoppers. Es vereinfacht die Verbindung von Shoppers und Servern und die Verwaltung von Datentransformationen. Diese Integrationsmuster machen es besser als reine MCP-Implementierungen.

// 7. Datenformulierer

Repo: https://github.com/microsoft/data-formulator
Sterne: ~15.000+ auf GitHub
Merkmale: Knowledge Formulator ist ein Microsoft Analysis-Projekt, das KI-Agenten zur Datenexploration über umfassende Visualisierungen nutzt. Es ermöglicht Ihnen, Absichten und Daten über einen interaktiven Workflow in Diagramme umzuwandeln.

// 8. Pydantic-KI

Repo: https://github.com/pydantic/pydantic-ai
Sterne: ~14k+ auf GitHub
Merkmale: Pydantic-AI ist ein Agenten-Framework, das beim Erstellen von generativen KI-Anwendungen (GenAI) in Produktionsqualität hilft. Es verbindet Pydantisch Typen mit generativen Modellmustern, um sicherzustellen, dass die Ausgaben validiert und konsistent sind.

// 9. Pyrefly

Repo: https://github.com/fb/pyrefly
Sterne: ~5k+ auf GitHub
Merkmale: Pyrefly ist ein statisches Python-Analyse- und Typprüfungstool. Es lässt sich in Pydantic integrieren und bietet eine moderne, schnelle und genaue Typprüfung für große Projekte.

// 10. Morphik-Kern

Repo: https://github.com/morphik-org/morphik-core
Sterne: ~3,5k+ auf GitHub
Merkmale: Morphik ist ein KI-Toolset für die Arbeit mit visuell reichhaltigen und multimodalen Dokumenten. Mit dem Python Software program Improvement Package (SDK) und der Webkonsolenunterstützung können Entwickler PDFs, Bilder, Movies und mehr speichern, durchsuchen und analysieren.

// 11. ChainForge

Repo: https://github.com/ianarawjo/ChainForge
Sterne: ~2,9k+ auf GitHub
Merkmale: ChainForge ist ein visuelles Toolkit für schnelles Engineering und Hypothesentests mit LLMs. Es hilft, Strategien zu vergleichen und Modellverhalten zu untersuchen.

// 12. Meistens KI

Repo: https://github.com/mostly-ai/mostlyai
Sterne: ~700+ auf GitHub
Merkmale: MostlyAI generiert realistische synthetische Daten für Exams und maschinelles Lernen. Es bewahrt die statistischen Eigenschaften realer Daten und hält sie gleichzeitig privat.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Technology Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Range in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

Seit seiner Einführung hat Kimi K2.5 die Erwartungen an große Sprachmodelle auf den Kopf gestellt. Aus eigener Erfahrung weiß ich, dass sich die meisten KI-Modelle, die täglich verwendet werden, immer noch auf Antworten im Chat-Stil konzentrieren. In eine solche KI-Ära kam Kimi K2.5 mit einem anderen Ziel: das KI-Potenzial für echte, nutzbare Ergebnisse zu nutzen, die Sie sofort in Ihrer täglichen Arbeit nutzen können. Vom Code bis zum Inhalt, von Dokumenten bis zum Design scheint Kimi K2.5 alles zu können, mit einer Menge Funktionen, insbesondere für Entwickler.

Und das ist der Grund, warum das KI-Modell von Moonshot AI heute beispiellosen Ruhm erlangt. Wir früher abgedeckt wie es Profis dabei hilft, in Sekundenschnelle komplette PDF-Berichte, PPT-Präsentationen und Excel-Tabellen zu erstellen. Dieser Artikel konzentriert sich mehr auf seine Verwendung für die Entwicklung.

Wenn Sie ein Entwickler sind und auch von Kimi K2.5 gehört haben, sich aber immer noch fragen, ob es das Richtige für Sie ist, finden Sie hier etwas, das Ihnen bei der Entscheidung hilft. In diesem Artikel stellen wir die fünf wichtigsten Funktionen von Kimi K2.5 vor, die jeder Entwickler kennen sollte. Dies sind nicht die Funktionen, die auf dem Papier cool klingen, aber sie lösen reale Probleme, auf die man jeden Tag stößt.

Bevor wir zur Liste kommen, hier ein kurzer Überblick über Kimi K2.5

Was ist Kimi K2.5?

Aus technischer Sicht ist Kimi K2.5 ein Open-Supply-Programm der nächsten Technology multimodales KI-Modell das auf wichtigen Architektur- und Trainingsverbesserungen aufbaut, die nach Kimi K2 eingeführt wurden. Diese Upgrades ermöglichen eine Leistung, die weit über das textbasierte Denken hinausgeht. Kimi K2.5 übernimmt jetzt die Agentenentscheidung, das visuelle Verständnis und die Ausführung umfangreicher Aufgaben und arbeitet dabei nahtlos mit Textual content, Bildern, Movies und externen Instruments in einem einzigen Workflow zusammen.

Natürlich gibt es auch noch andere Highlights. Lassen Sie uns hier all dies untersuchen und herausfinden, was Kimi K2.5 Trul für Entwickler auszeichnet.

Funktion 1: Agentenschwarm für parallele Ausführung

Dies ist zweifellos die leistungsstärkste und daher am meisten diskutierte Funktion von Kimi K2.5, insbesondere aus der Sicht eines Programmierers. Durch den Einsatz einer Agentenschwarmarchitektur geht Kimi K2.5 über ein einzelnes, monolithisches KI-Modell hinaus und verhält sich eher wie ein koordiniertes Workforce.

Lesen Sie auch: OpenAI Swarm: Ein praktischer Leitfaden für Multi-Agent-Systeme

Anstatt Aufgaben nacheinander abzuarbeiten, kann Kimi K2.5 autonom mehrere Unteragenten – bis zu hundert davon – einrichten und jedem Agenten eine bestimmte Verantwortung zuweisen. Diese Agenten arbeiten parallel und tauschen Kontext und Ergebnisse miteinander aus, während das Hauptsystem lediglich die Koordination überwacht. Das Ergebnis – eine drastische Verkürzung der Ausführungszeit für komplexe, mehrstufige Aufgaben.

Für Entwickler ändert sich dadurch die Artwork und Weise, wie große Probleme angegangen werden. Sie können Kimi K2.5 bitten, eine Codebasis zu analysieren, Komponenten umzugestalten, Dokumentation zu generieren und gleichzeitig Ausgaben zu validieren. Das bedeutet, dass Sie nicht mehr darauf warten müssen, dass jeder Schritt nacheinander abgeschlossen wird. Das Modell ermittelt die Aufgabenzerlegung selbstständig, ohne dass Sie Workflows explizit definieren müssen.

In der Praxis bedeutet dies eine schnellere Prototypenerstellung, schnelleres Debuggen und eine reibungslosere Ausführung großer technischer Aufgaben. Kimi K2.5 orchestriert aktiv die Arbeit, wodurch er sich einem echten technischen Assistenten viel näher kommt als einem herkömmlichen KI-Chatbot.

Kurz gesagt, der Agentenschwarm von Kimi K2.5 ermöglicht Entwicklern:

• Führen Sie mehrere komplexe Aufgaben parallel aus
• Vermeiden Sie die manuelle Definition schrittweiser Arbeitsabläufe
• Teilen Sie große technische Probleme automatisch in koordinierte Teilaufgaben auf
• Reduzieren Sie die Bearbeitungszeit für Analyse, Refactoring und Dokumentation
• Arbeiten Sie mit einem KI-System, das sich eher wie ein Workforce als wie ein einzelnes Werkzeug verhält

Funktion 2: Natives multimodales Verständnis (Textual content, Bilder und Video)

Wie ich bereits erwähnt habe, sind die meisten anderen KI-Modelle immer noch von Natur aus textbasiert und verfügen über zusätzliche visuelle Ebenen, die zeitnah weiterentwickelt werden. Kimi K2.5 stellt diese Vorstellung auf den Kopf. Multimodalität ist in seinem Kern integriert, was bedeutet, dass es gleichzeitig über Textual content, Bilder und Movies nachdenken kann, ohne den Kontext zu unterbrechen oder den Modus zu wechseln.

Für Programmierer ist das weitaus nützlicher, als es auf dem Papier klingt. Kimi K2.5 kann sich UI-Screenshots, Architekturdiagramme, Flussdiagramme, Fehlerprotokolle und sogar kurze Videoaufzeichnungen ansehen und sie als Teil desselben Issues verstehen. Sie sind nicht mehr gezwungen, alles in Worten zu beschreiben, wenn das Downside eindeutig visuell ist. Machen Sie einfach einen Screenshot, teilen Sie ihn mit Kimi und lassen Sie Ihre Fragen in Echtzeit klären.

Dies ist besonders wertvoll beim Debuggen und Systemdesign. Sie können einen Screenshot einer defekten Benutzeroberfläche hochladen, ihn mit einem Code-Snippet koppeln und Kimi K2.5 bitten, herauszufinden, was schief läuft. Sie können sogar ein Design-Mockup freigeben und auf einmal die Modellbegründung zu Format-Auswahl, Barrierefreiheitsproblemen und Komponentenstruktur erhalten. Das Modell versteht, wie es mit der zugrunde liegenden Logik verknüpft ist, und reagiert entsprechend.

Diese Artwork des Verständnisses bringt eine neue Kind der Macht mit sich – die Kontextkontinuität. Kimi K2.5 behandelt visuelle Eingaben nicht als isolierte Abfragen. Bilder und Movies werden Teil derselben Argumentationskette wie Ihr Code, Ihre Dokumentation und Ihre Anweisungen. Dadurch wird ein großer Reibungspunkt in modernen Entwicklungsabläufen beseitigt, bei denen visuelle und textliche Informationen oft in getrennten Gesprächen stattfinden.

Kurz gesagt: Die multimodalen Funktionen von Kimi K2.5 ermöglichen Entwicklern Folgendes:

• Kombinieren Sie Textual content, Bilder und Movies in einem einzigen Problemlösungs-Workflow
• Beheben Sie UI- und Frontend-Probleme mithilfe von Screenshots anstelle langer Erklärungen
• Denken Sie über Diagramme, Modelle und Architekturvisualisierungen neben Code nach
• Reduzieren Sie den Kontextwechsel zwischen Design- und Entwicklungstools
• Lösen Sie visuell gesteuerte Probleme deutlich klarer und schneller

Funktion 3: Visible-to-Code-Übersetzung

Eine der praktischsten Erweiterungen der multimodalen Intelligenz von Kimi K2.5, insbesondere im Entwicklungskontext, ist seine Fähigkeit, visuelle Eingaben direkt in nutzbaren Code umzuwandeln. Jeder Entwickler, der sich mit Code auskennt, kann vorhersagen, dass dies in der Praxis eine enorme Zeitersparnis bedeuten kann.

Mit Kimi K2.5 können Screenshots von UI-Designs, Wireframes, Dashboards oder sogar handgezeichnete Skizzen als erstklassige Eingaben behandelt werden. Das Modell kann diese visuellen Elemente analysieren, Layoutstrukturen, Komponenten, Abstände und Hierarchien identifizieren und sie in funktionierenden Frontend-Code oder strukturierte Komponentenlogik übersetzen. Das bedeutet im Grunde, dass Sie nicht mehr jedes Element eines Designs manuell beschreiben müssen, bevor Sie Code schreiben.

Denken Sie jetzt beim Speedy Prototyping und der Frontend-Entwicklung darüber nach. Anstatt zwischen Design-Instruments und Code-Editoren hin und her zu wechseln, können Sie ein Design-Mockup hochladen und Kimi K2.5 bitten, eine Startimplementierung in HTML, CSS oder einem komponentenbasierten Framework zu generieren. Die Ausgabe ist nicht perfekt für die Produktion, aber sie bietet Ihnen eine solide, logisch strukturierte Grundlage, auf der Sie aufbauen können.

Über die Benutzeroberfläche hinaus funktioniert dies auch für Diagramme und visuelle Workflows. Flussdiagramme, Systemdiagramme und sogar kommentierte Screenshots können in Codelogik, Pseudocode oder strukturierte Erklärungen umgewandelt werden, die direkt bei der Implementierung helfen. Dies reduziert die Reibung zwischen Planung und Ausführung, insbesondere in schnell agierenden Groups.

Kurz gesagt, die Visible-to-Code-Funktionen von Kimi K2.5 ermöglichen Entwicklern Folgendes:

• Konvertieren Sie UI-Designs und Mockups direkt in Code
• Überspringen Sie ausführliche visuelle Beschreibungen beim Prototyping von Schnittstellen
• Erstellen Sie schneller strukturierte Frontend-Layouts
• Übersetzen Sie Diagramme und Arbeitsabläufe in umsetzbare Logik
• Verkürzen Sie die Lücke zwischen Designabsicht und funktionierendem Code

Funktion 4: Produktionsbereite Asset-Generierung (über die Codierung hinaus)

Was kann besser sein als das perfekte Code-Snippet? Das fertig geformte Asset, das einsatzbereit ist, oder? Kimi K2.5 ermöglicht dies und erstellt vollständig geformte, produktionsbereite Property, die Entwickler tatsächlich in echten Arbeitsabläufen verwenden können.

Dazu gehören vollständige Dokumente, Präsentationen, Tabellenkalkulationen, PDFs und strukturierte Berichte. Und nein, wir sprechen nicht von Rohtext-Dumps, sondern von ordnungsgemäß formatierten, herunterladbaren Property. Für Programmierer ist dies eine große Hilfe bei Angelegenheiten, die über das Codieren hinausgehen. Alltägliche Aufgaben wie Dokumentation, technische Vorschläge, Architekturzusammenfassungen, Berichte für Stakeholder und interne Instrument-Artefakte werden jetzt mit Kimi K2.5 vereinfacht.

Im realen Einsatz sieht das etwa so aus: Sie können Kimi K2.5 bitten, aus einer Codebasis ein technisches Designdokument zu generieren. Es durchläuft die Codebasis, dann alle von Ihnen definierten Parameter und generiert dann ein A-Grade-PDF, das so genau ist, wie Sie es sich nur vorgestellt haben.

Das Beste daran ist, dass diese Vermögenswerte nicht statisch sind. Sie befolgen Anweisungen, respektieren die Struktur und beziehen häufig Logik wie Formeln, Referenzen und Formatierungsregeln ein. Ich habe versucht, mit Kimi K2.5 PDFs, PPTs und Excel-Dateien zu erstellen, und das Endergebnis hat mich quick nie enttäuscht.

Wenn Sie darüber nachdenken, verwandelt diese Funktion Kimi K2.5 effektiv in eine Brücke zwischen technischer Leistung und geschäftsfertigen Ergebnissen. Anstatt Instruments zu wechseln oder Dateien manuell zusammenzustellen, können Entwickler direkt aus einer einzigen Eingabeaufforderung heraus verwendbare Property generieren.

Kurz gesagt, die Funktionen zur Asset-Generierung von Kimi K2.5 ermöglichen Entwicklern Folgendes:

• Erstellen Sie fertige Dokumente, Tabellenkalkulationen und PDFs, nicht nur Entwürfe
• Generieren Sie Property, die strukturiert, formatiert und bearbeitbar sind
• Reduzieren Sie den Zeitaufwand für Dokumentation und Berichterstattung
• Übersetzen Sie technische Arbeit in für Stakeholder geeignete Ergebnisse
• Gehen Sie schneller von der Implementierung bis zur Lieferung

Characteristic 5: Large Kontextverarbeitung für reale Codebasen

Das letzte Merkmal, das Kimi K2.5 für Programmierer besonders related macht, ist seine Fähigkeit, extrem große Kontextfenster zu verarbeiten, ohne die Kohärenz zu verlieren. Dies ist keine Benchmark-Funktion, sondern eine praktische.

Wir alle wissen, wie große moderne Softwareprojekte wachsen können. Reale Codebasen umfassen mehrere Dateien, Frameworks, Konfigurationsebenen und Dokumentation. Mit Kimi K2.5 sind Sie nicht darauf beschränkt, kleine Schnipsel oder isolierte Dateien zu teilen. Sie können ganze Module, lange Spezifikationen, API-Verträge und unterstützende Dokumentation auf einmal bereitstellen, und das Modell kann alles konsistent berücksichtigen.

Dies hat direkte Auswirkungen auf Aufgaben wie Debugging, Refactoring und Analyse auf Systemebene. Anstatt den Kontext immer wieder neu zu erklären, können Sie Kimi K2.5 bitten, die Logik über Dateien hinweg zu verfolgen, Architekturprobleme zu identifizieren, Refaktoren vorzuschlagen oder zu erklären, wie verschiedene Komponenten interagieren. Das Modell bewahrt das Bewusstsein für das umfassendere System und nicht nur für die letzte Eingabeaufforderung.

Kombiniert mit seinem Agentische Ausführung und multimodalen Fähigkeiten ermöglicht dieses Denken im großen Kontext es Kimi K2.5, als langfristiger Mitarbeiter zu fungieren. Es versteht das gesamte Downside und geht entsprechend vor.

Kurz gesagt, die Handhabung großer Kontexte von Kimi K2.5 ermöglicht Entwicklern Folgendes:

• Arbeiten Sie mit ganzen Codebasen statt mit isolierten Snippets
• Reduzieren Sie die wiederholte Kontexteinrichtung bei komplexen Aufgaben
• Führen Sie Debugging und Refactoring auf Systemebene durch
• Analysieren Sie lange Spezifikationen und API-Verträge zuverlässig
• Behandeln Sie KI als beständigen Kollaborateur und nicht als zustandsloses Werkzeug

Abschluss

Ob Sie es als „das beste KI-Modell“ zum Codieren empfinden oder nicht, eines ist bei Kimi K2.5 ziemlich klar. Es geht nicht darum, nur ein weiterer Chatbot mit besseren Antworten zu sein. Es positioniert sich als überaus praktisches KI-System, das sich natürlich in die Moderne einfügt Programmierworkflows. Von der parallelen Agentenausführung und dem multimodalen Denken bis hin zur visuellen Code-Übersetzung, der Asset-Generierung und der Handhabung großer Kontexte trägt jede Funktion dazu bei, die Reibung zwischen Absicht und Ausgabe auf ihre eigene Weise zu verringern.

Für Programmierer bedeutet dies, dass sie weniger Zeit damit verbringen müssen, Instruments zusammenzufügen, und sich mehr auf die Lösung echter Probleme konzentrieren können. Kimi K2.5 ersetzt nicht das technische Urteilsvermögen, beschleunigt jedoch die Teile der Arbeit, die Groups verlangsamen, wie Kontexteinrichtung, sich wiederholende Strukturierung und mehrstufige Koordination, erheblich.

Da sich KI-Modelle ständig weiterentwickeln, wird das Unterscheidungsmerkmal nicht mehr allein die reine Intelligenz sein. Es wird darauf ankommen, wie effektiv sich diese Intelligenz in die reale Arbeit integrieren lässt. In dieser Hinsicht ist Kimi K2.5 ein überzeugender, produktionsbereiter Assistent, auf den sich Entwickler tatsächlich verlassen können. Am besten oder nicht, nutzen Sie es und entscheiden Sie dann selbst.

NeurIPS hat seine Liste der besten Forschungsarbeiten für das Jahr 2025 gestrichen, und die Liste leistet mehr, als nur beeindruckende Namen zu nennen. Es bietet eine Karte zur Navigation durch die Probleme, die das Fachgebiet jetzt beschäftigt. Dieser Artikel würde etwas Licht darauf werfen, was diese Papiere sind und wie sie zur KI beitragen konnten. Für den Fall, dass Sie neugierig sind, haben wir auch Hyperlinks zu den vollständigen Artikeln eingefügt.

Die Auswahlkriterien

Die Komitees zur Auszeichnung der besten Beiträge wurden damit beauftragt, eine Handvoll äußerst wirkungsvoller Beiträge aus dem auszuwählen Hauptgleis und die Datensätze und Benchmark Monitor der Konferenz. Als Sieger gingen vier Papiere hervor.

Die Gewinner!

Künstliches Hivemind: Die ergebnisoffene Homogenität von Sprachmodellen (und darüber hinaus)

Vielfalt ist etwas, das große Sprachmodelle seit ihrer Entstehung gefehlt hatte. Es wurden umfangreiche Anstrengungen unternommen, um die Ergebnisse eines Modells von den anderen zu unterscheiden, aber die Bemühungen waren vergeblich.

Die Homogenität der Reaktion von LLMs über Architekturen und Unternehmen hinweg verdeutlicht durchweg den Mangel an Kreativität in LLMs. Wir nähern uns langsam dem Punkt, an dem eine Modellreaktion nicht mehr von der anderen zu unterscheiden wäre.

Das Papier skizziert das Downside traditioneller Benchmarks. Die meisten Benchmarks verwenden enge, aufgabenähnliche Abfragen (Mathematik, Wissenswertes, Code). Aber echte Benutzer stellen chaotische, kreative und subjektive Fragen. Und genau da sind sie Modelle zerfallen in ähnliche Ausgaben. Das Papier schlägt einen Datensatz vor, der dieses Gebiet systematisch untersucht.

Diese beiden Konzepte stehen im Mittelpunkt des Papiers:

• Wiederholung innerhalb des Modells: Ein einzelnes Modell wiederholt sich über verschiedene Eingabeaufforderungen oder verschiedene Läufe hinweg.
• Homogenität zwischen Modellen: Verschiedene Modelle liefern erschreckend ähnliche Antworten.

Der zweite Teil ist besorgniserregend: Wenn Anthropic, Google und Meta alle unterschiedliche Modelle hätten, die dieselbe Reaktion nachahmen, was ist dann der Sinn dieser unterschiedlichen Entwicklungen?

Die Lösung: Infinity-Chat

Infinity-Chat, der als Lösung für dieses Downside vorgeschlagene Datensatz, enthält mehr als 30.000 menschliche Anmerkungen, die jeder Eingabeaufforderung 25 unabhängige Bewertungen verleihen. Diese Dichte ermöglicht es, zu untersuchen, wie sich die Geschmäcker der Menschen unterscheiden, und nicht nur, wo sie übereinstimmen. Als die Autoren diese menschlichen Urteile mit Modellergebnissen, Belohnungsmodellen und automatisierten LLM-Evaluatoren verglichen, fanden sie ein klares Muster: Systeme sehen intestine kalibriert aus, wenn die Präferenzen einheitlich sind, aber sie geraten ins Wanken, sobald die Antworten echte Meinungsverschiedenheiten auslösen. Das ist der wahre Wert von Infinity-Chat!

Autoren: Liwei Jiang, Yuanjun Chai, Margaret Li, Mickel Liu, Raymond Fok, Nouha Dziri, Yulia Tsvetkov, Maarten Sap, Yejin Choi

Vollständiges Papier: https://openreview.internet/discussion board?id=saDOrrnNTz

Gated Consideration für große Sprachmodelle: Nichtlinearität, Sparsity und Aufmerksamkeitssenkenfrei

Transformatoren gibt es schon lange genug, dass die Leute davon ausgehen, dass der Aufmerksamkeitsmechanismus ein fester Entwurf ist. Es stellt sich heraus, dass das nicht der Fall ist! Trotz aller architektonischen Methods, die im Laufe der Jahre hinzugefügt wurden, ist die Aufmerksamkeit immer noch mit Kosten für Instabilität, massiven Aktivierungen und der bekannten Aufmerksamkeitssenke verbunden, die dafür sorgt, dass sich Modelle auf irrelevante Token konzentrieren.

Die Autoren dieser Studie gingen einer einfachen Frage nach und formulierten sie energisch: Was passiert, wenn man nach der Aufmerksamkeitsberechnung ein Gate hinzufügt und nichts weiter? Sie führen mehr als dreißig Experimente mit dichten Modellen durch MoE (Expertenmischung) Modelle, die auf Billionen von Token trainiert wurden. Das Überraschende daran ist, wie konsistent diese kleine Änderung in allen Einstellungen hilft.

Es gibt zwei Ideen, die erklären, warum Gating so intestine funktioniert:

• Nichtlinearität und Sparsity: Kopfspezifische Sigmoid-Gates fügen nach der Aufmerksamkeit eine neue Nichtlinearität hinzu und überlassen es dem Modell, zu steuern, welche Informationen vorwärts fließen.
• Kleine Veränderung, große Wirkung: Die Modifikation ist zwar winzig, steigert aber die Leistung bei allen Modellgrößen kontinuierlich.

Die Lösung: Output Gating

Das Papier empfiehlt eine einfache Modifikation: Wenden Sie ein Gate auf die Aufmerksamkeitsleistung professional Kopf an. Mehr nicht. Die Experimente zeigen, dass dieser Repair die Leistung über alle Modellgrößen hinweg kontinuierlich verbessert. Da der Mechanismus einfach ist, wird von der breiteren Gemeinschaft erwartet, dass er ihn reibungslos übernimmt. Die Arbeit zeigt, dass selbst ausgereifte Architekturen noch Raum für sinnvolle Verbesserungen haben.

Autoren: Zihan Qiu, Zekun Wang, Bo Zheng, Zeyu Huang, Kaiyue Wen, Songlin Yang, Rui Males, Le Yu, Fei Huang, Suozhi Huang, Dayiheng Liu, Jingren Zhou, Junyang Lin

Vollständiges Papier: https://openreview.internet/discussion board?id=1b7whO4SfY

Abgesehen von diesen beiden Dokumenten bieten die anderen beiden Papiere nicht unbedingt eine Lösung, sondern schlagen vielmehr einige Hinweise vor, die befolgt werden könnten.

1000-Layer-Netzwerke für selbstüberwachtes RL: Skalierungstiefe kann neue Möglichkeiten zur Zielerreichung ermöglichen

RDurchsetzungslernen blieb lange bei flachen Modellen hängen, weil das Trainingssignal zu schwach ist, um sehr tiefe Netzwerke zu steuern. Dieses Papier widerlegt diese Annahme und zeigt, dass Tiefe keine Belastung darstellt. Es handelt sich um eine Fähigkeitsfreischaltung.

Die Autoren trainieren Netzwerke mit bis zu tausend Schichten in einem zielkonditionierten, selbstüberwachten Aufbau. Keine Belohnungen. Keine Demonstrationen. Der Agent lernt, indem er erforscht und vorhersagt, wie er befohlene Ziele erreichen kann. Tiefergehende Modelle verbessern nicht nur die Erfolgsquoten. Sie lernen Verhaltensweisen, die oberflächliche Modelle nie entdecken.

Zwei Ideen stehen im Mittelpunkt, warum Tiefe hier funktioniert:

• Kontrastive Selbstüberwachung: Der Agent lernt durch den Vergleich von Zuständen und Zielen, wodurch ein stabiles, dichtes Lernsignal entsteht.
• Chargengröße und Stabilität: Das Coaching sehr tiefer Netzwerke funktioniert nur, wenn die Batch-Größe mit der Tiefe zunimmt. Größere Chargen halten die Kontrastaktualisierungen stabil und verhindern einen Zusammenbruch.

Autoren: Kevin Wang, Ishaan Javali, Michał Bortkiewicz, Tomasz Trzcinski, Benjamin Eysenbach
Vollständiges Papier: https://openreview.internet/discussion board?id=s0JVsx3bx1

Warum sich Diffusionsmodelle nicht merken: Die Rolle der impliziten dynamischen Regularisierung im Coaching

Verbreitung models merken sich ihre Trainingsdaten selten, selbst wenn sie stark parametrisiert sind. Dieses Papier befasst sich mit dem Trainingsprozess, um zu erklären, warum dies geschieht.

Die Autoren identifizieren zwei Trainingszeitskalen. Man markiert, wann das Modell beginnt, qualitativ hochwertige Proben zu produzieren. Die Sekunde markiert den Beginn des Auswendiglernens. Der entscheidende Punkt ist, dass die Generalisierungszeit unabhängig von der Größe des Datensatzes gleich bleibt, während die Speicherzeit mit zunehmendem Datensatz zunimmt. Dadurch entsteht ein erweitertes Fenster, in dem das Modell ohne Überanpassung verallgemeinert wird.

Zwei Ideen stehen im Mittelpunkt, warum das Auswendiglernen weiterhin unterdrückt wird:

• Trainingszeiten: Die Generalisierung tritt schon früh im Coaching auf. Das Auswendiglernen tritt nur auf, wenn das Coaching weit über diesen Punkt hinaus fortgesetzt wird.
• Implizite dynamische Regularisierung: Die Aktualisierungsdynamik lenkt das Modell natürlich eher in Richtung einer breiten Struktur als in Richtung spezifischer Stichproben.

In diesem Artikel wird weder ein Modell noch eine Methode vorgestellt. Es gibt eine klare Erklärung für ein Verhalten, das Menschen beobachtet hatten, aber nicht vollständig rechtfertigen konnten. Es verdeutlicht, warum sich Diffusionsmodelle so intestine verallgemeinern lassen und warum sie nicht auf die bei anderen beobachteten Gedächtnisprobleme stoßen generative Modelle.

Autoren: Tony Bonnaire, Raphaël Urfin, Giulio Biroli, Marc Mezard
Vollständiges Papier: https://openreview.internet/discussion board?id=BSZqpqgqM0

Abschluss

Die vier Beiträge geben einen klaren Ton für die Richtung vor, in die sich die Forschung entwickeln wird. Anstatt größere Modelle um ihrer selbst willen zu jagen, liegt der Schwerpunkt darauf, deren Grenzen zu verstehen, seit langem bestehende Engpässe zu beheben und die Stellen aufzudecken, an denen Modelle stillschweigend scheitern. Ob es sich um die schleichende Homogenisierung der LLM-Ergebnisse, die übersehene Schwäche der Aufmerksamkeitsmechanismen, das ungenutzte Potenzial der Tiefe in RL oder die verborgene Dynamik handelt, die das Auswendiglernen von Diffusionsmodellen verhindert, jeder Artikel treibt das Feld in Richtung einer fundierteren Sicht auf das tatsächliche Verhalten dieser Systeme. Es ist eine Erinnerung daran, dass echter Fortschritt auf Klarheit beruht und nicht nur auf der Größe.

Häufig gestellte Fragen

Ich bin auf die Überprüfung und Verfeinerung von KI-gestützter Forschung, technischer Dokumentation und Inhalten im Zusammenhang mit neuen KI-Technologien spezialisiert. Meine Erfahrung umfasst KI-Modelltraining, Datenanalyse und Informationsabruf und ermöglicht es mir, Inhalte zu erstellen, die sowohl technisch korrekt als auch zugänglich sind.