Einsatz klassischer ML zur Stärkung von KI-Agenten

In diesen Tagen bei der Arbeit habe ich das Gefühl, dass sie manchmal überrascht sind, wenn ich sage „CatBoost-Klassifikatoren erstellen“ oder „Isolationswälder anpassen“. Aber genau das ist es, womit ich einen Großteil meiner Zeit verbringe. Das Produkt meines Unternehmens ist eine hochentwickelte Agenten-KI-Plattform, aber ich beschäftige mich in meinem Alltag nicht viel mit Immediate Engineering.

Wenn Sie mich vor ein oder zwei Jahren gefragt hätten, hätte ich mir ernsthafte Sorgen um die Zukunft der klassischen ML-Arbeit im Bereich des maschinellen Lernens gemacht, weil wir uns so tief in ein Paradigma vertieften, LLMs zur Bewältigung von Dingen zu verwenden, unabhängig davon, ob sie gute Arbeit geleistet haben oder nicht. Es stellt sich jedoch heraus, dass Agentische KI braucht klassisches ML viel mehr, als wir wahrscheinlich dachten.

Für eine kurze Zusammenfassung, falls die Leser nicht vertraut sind:

• Ein KI-Agent bedeutet, LLMs und andere Softwaretools miteinander zu kombinieren, um Arbeitsabläufe mit minimalem oder keinem menschlichen Eingriff zu erstellen und eine beliebige Anzahl von Modellen oder Instruments zu orchestrieren.
• Das LLM ist normalerweise die Schnittstelle zwischen menschlichen Benutzern und allen anderen Softwaretools, einschließlich Aufgaben wie der Übersetzung menschlicher Eingabeaufforderungen in Computersprache. Das LLM interpretiert auch Werkzeugausgaben und wählt aus, welche Instruments im richtigen Second aufgerufen werden sollen.
• Dies ermöglicht viel mehr Funktionalität als ein LLM allein, denn wie ich hier schon oft erwähnt habe, ist ein LLM lediglich ein Token-generierendes Modell, das das nächste Wort oder die nächste Phrase in einer Passage basierend auf ihrem Kontext vorhersagt.
• Abgesehen von autonomen Agenten ist die Kombination einer LLM-Schnittstelle mit anderen Instruments erforderlich, um eine Vielzahl der Dinge zu tun, die wir umgangssprachlich unter LLM-Chatbots verstehen. ChatGPT, Gemini und Claude machen so etwas, indem sie die LLM-Schnittstelle mit Dingen wie Datenabruf, Websuche, Mathematikrechnern usw. verketten.

Wie Sie sehen, ist die Werkzeugausstattung ein wichtiger Aspekt des gesamten Agenten-KI-Ökosystems – Ihr Agent muss Zugriff auf Instruments haben, um Aufgaben außerhalb der LLM-Kernfunktionen effektiv erledigen zu können.

Diese Instruments können alle möglichen Formen annehmen – viele davon sind heute im Geschäftsumfeld Instruments zum Abrufen und Organisieren von Daten, Diagrammdatenbanken, RAG-Wissensdatenbanken, Abfragekonstruktion und -validierung usw.

Warum klassisches ML

Ich möchte Sie jedoch daran erinnern, dass klassische ML-Modelle auch für Ihren Agenten sehr wertvolle Werkzeuge sein können. Gehen Sie noch einen Schritt weiter, als nur rudimentäre Instruments aufzurufen, und stellen Sie Ihren KI-Agenten Modelle zur Verfügung! Betrachten Sie beispielsweise einen Makler, der für die Immobilienanalyse konzipiert ist. Wenn Sie den angemessenen Marktpreis für eine Immobilie erfahren möchten, geben Sie Ihrem Makler die Adresse. Mithilfe eines API-Abruftools können Particulars zur Immobilie abgerufen und diese formatierten Particulars dann an ein Regressionsmodell übergeben werden, das eine Preisschätzung generiert.

Natürlich könnte man den LLM theoretisch bitten, die Werte einfach selbst zu schätzen. Dies ist jedoch aus mehreren Gründen fraglich und sogar riskant.

• Genauigkeit: Ein LLM eignet sich besonders schlecht für alle Aufgaben, bei denen Sie eine aussagekräftige Zahl berechnen müssen – es handelt sich dabei um Vermutungen und nicht um die Durchführung einer empirischen, evidenzbasierten Berechnung. Ein intestine trainiertes klassisches ML-Modell wird wesentlich genauer und vertrauenswürdiger sein.
• Interpretierbarkeit: Sie haben nur eine minimale Interpretierbarkeit und Erklärbarkeit durch die LLM-Vermutungen. Wir wissen, dass LLMs in der Regel eine Black Field sind, und dies schränkt Ihre Fähigkeit, den Weg zu beurteilen, den Sie zurückgelegt haben, um zu dem Kostenvoranschlag zu gelangen, den Sie erhalten haben, erheblich ein. Mit einem klassischen ML-Modell können Sie die Entscheidungen identifizieren, die Sie getroffen haben, um zu Ihren Schlussfolgerungen zu gelangen, und diese anhand Ihrer Fachkenntnisse validieren.
• Kosten: Der Betrieb eines LLM wird sehr schnell teuer (siehe meine Artikel der letzten Monate über Token-Kosten). Wenn Sie viele Fälle bearbeiten müssen, werden die Token-Preise schnell aussagekräftig. Die Ausführung eines Klassifikators oder eines Regressionsmodells ist selbst bei großen Volumina unglaublich einfach und kostengünstig. Darüber hinaus haben Sie in einem LLM nicht die Kontrolle über die Kosten jedes Anrufs, und die Token-Nutzung und -Ausgaben können steigen – das sehen wir bereits in der gesamten Technologiebranche.
• Präzision: Sie haben keine Kontrolle über das Coaching oder die Optimierung des LLM (es sei denn, Sie optimieren ein Basismodell). Sie können darauf vertrauen, dass das generische LLM die Arbeit erledigt, aber Sie gehen ein großes Risiko ein, und wie oben erwähnt, ist die Validierung der Arbeit äußerst schwierig. Auf der anderen Seite könnte die Feinabstimmung eines Basismodells effektiv sein, erfordert jedoch viel mehr Daten und speziellere Fähigkeiten als nur das Coaching einer Regression oder eines Klassifikators und führt dennoch zu Interpretierbarkeitsproblemen.
• Kontrolle über Ihre Daten: Ihre Daten verlassen möglicherweise Ihre kontrollierte Umgebung und werden von einem LLM-Modell-Drittanbieter abgerufen, was ein Risiko darstellen kann.
• Kontrolle der Infrastruktur: Bei einem LLM haben Sie keine Autorität über die Infrastrukturverwaltung, sodass Ausfallzeiten Dritter ein Risiko für Ihr Unternehmen darstellen.

Natürlich erfordert die Erstellung eines klassischen Modells andere Fähigkeiten als die bloße Festlegung einer LLM-Aufgabe. Sie müssen Ihre Daten intestine verstehen, darauf vorbereitet sein, das Characteristic-Engineering mit Fachwissen durchzuführen, und Sie müssen über ausreichend Rechenleistung und Daten verfügen, um das Modell zu trainieren. Wenn Sie keine beschrifteten Daten haben, sind Sie auf unbeaufsichtigtes Lernen oder möglicherweise das Bootstrapping Ihrer eigenen Beschriftungen beschränkt. Glücklicherweise gibt es eine Fülle von Inhalten darüber, wie man diese Modelle erstellt und wie man sie nach der Bereitstellung gründlich evaluiert und überwacht.

Verbinden Sie Ihr Modell mit Ihrem Agenten

Sie werden vielleicht davon überzeugt sein, es auszuprobieren, aber bevor Sie beginnen, müssen Sie auch einige architektonische Entscheidungen berücksichtigen. Wie werden Ihr Mannequin und Ihr Agent interagieren?

Direktanrufe

Der vielleicht schnellste Weg, loszulegen, besteht darin, dem Agenten einfach das Modell als Werkzeug zur Verfügung zu stellen, mit dem er direkt anrufen kann. Dies ist die Kind meines Immobilien-Recherche-Software-Beispiels: Der Agent kann auf der Grundlage einer Eingabeaufforderung ein Modell für eine Simply-in-Time-Inferenz aufrufen. Um dies einzurichten, muss Ihr KI-Agent in der Lage sein, seine Anfragen korrekt an das klassische Modell anzupassen. Ihr Agent muss verstehen, wofür dieses Modell gedacht ist, wann er es aufrufen und wann etwas anderes verwenden sollte. Das bedeutet, den Zweck und die Fähigkeiten des Modells klar zu dokumentieren. Wenn Sie jedoch bereits eine Agenten-KI erstellen, ist dies eine vertraute Aufgabe.

Bei der Ausgabe muss Ihre Modellantwort so strukturiert sein, dass der KI-Agent sie effektiv verarbeiten kann. Die einfache Rückgabe eines numerischen Ergebnisses reicht möglicherweise nicht aus, da der Agent Kontextinformationen benötigt, um diese zu interpretieren und optimum zu nutzen. Für meine Modelle verwende ich oft F-Strings, um Textbeschreibungen als Teil der Schlussfolgerung zu erstellen, die beispielsweise angeben, was die wichtigsten Merkmale des Modells waren, wie hoch die Wahrscheinlichkeit des Ergebnisses ist und so weiter. Allein die Rückgabe einer Wahrscheinlichkeit schränkt die Fähigkeit Ihres Agenten ein, die Ausgabe zu interpretieren und eine hilfreiche Antwort für den Endbenutzer zu erstellen.

Datenbankzugriff

Eine andere Möglichkeit besteht darin, das Modell nicht zu einem direkten Werkzeug des Agenten, sondern zu einem Anbieter von Kontextdaten zu machen. Sie können die Schlussfolgerungen vorab berechnen, indem Sie Ihr klassisches ML-Modell als geplanten Job ausführen und diese Schlussfolgerungen in der Datenspeicherlösung speichern, auf die Ihr Agent Zugriff hat. Anstatt dass der Agent einen ersten Inferenzaufruf direkt an eine Modell-API durchführt, schreibt er eine Abfrage und übergibt sie an Ihre Datenbank.

Wenn Sie eine endliche Menge von Fällen haben, für die Sie möglicherweise die Vervollständigung der Schlussfolgerung benötigen könnten, kann dies eine gute Lösung sein. Wenn Sie beispielsweise 500 Personen in Ihrer Datenbank haben und Ihr Agent Informationen über die finanzielle Gesundheit dieser Personen abrufen soll, könnten Sie ein Kreditbewertungsmodell verwenden und deren Kreditwürdigkeit vorab berechnen, damit der Agent sie zur Laufzeit zusammen mit allen anderen von ihm erfassten Daten abruft. Abhängig von Ihrer Modellinfrastruktur können dadurch Latenz und Wiederholungen reduziert werden, indem die Ergebnisse effektiv zwischengespeichert werden.

Dieser Ansatz stellt andere Anforderungen an den Aufruf und Abruf als der direkte Software-Aufruf. Wenn Sie die Schlussfolgerungen vorab berechnen und sie Ihrem Agenten lediglich über eine Datenbank zur Verfügung stellen, muss Ihr Agent wissen, dass diese Ergebnisse vorliegen. Wenn die Tabelle oder der verfügbare Inhalt nicht bekannt ist, werden sie bei Bedarf nicht verwendet. Möglicherweise verfügen Sie in Ihrem Immediate Engineering bereits über die Infrastruktur, um dem Agenten mitzuteilen, was die Datenbank enthält, wenn Ihr Agent die Datenbank für andere Informationen anruft. Durch die Wiederverwendung können Sie sich additionally Doppelarbeit ersparen. Wenn nicht, benötigt Ihr Agent möglicherweise spezielle Instruments, mit denen er die Datenbankmetadaten überprüfen kann.

Was das Ergebnisformat angeht, ähneln die Anforderungen dem Fall des direkten Werkzeugzugriffs. Eine textbasierte Beschreibung der Ergebnisse ist eine gute Wahl, da der Agent unabhängig von der Quelle in der Lage sein muss, zu interpretieren, was er abruft.

Abschluss

Bevor LLMs auf den Markt kamen, waren klassische ML-Modelle über ein Jahrzehnt lang die modernsten Funktionen in vielen verschiedenen Branchen und ermöglichten den Menschen Einblicke in Daten, die sie sonst nicht hätten erlangen können. Diese Leistung sollte nicht vernachlässigt werden, sondern kann mit den Kapazitäten von LLMs kombiniert werden. Wir können die Stärken des LLM nutzen, indem wir menschliche Sprache in Computersprache umwandeln, verschiedene Software-Aufrufe aneinanderreihen und Ergebnisse aus diesen Instruments abrufen, und innerhalb dieses Rahmens dennoch klassische Modelle verwenden, um die Arbeit zu erledigen, für die ein LLM nicht geeignet ist.

Die Eintrittsbarriere ist die Fähigkeit, hochwertige klassische ML-Modelle zu erstellen, die heutzutage leider nicht so glamourös ist wie einige der KI-bezogenen Arbeiten. Aufgrund der Vorteile lohnt sich der Aufwand jedoch: Genauigkeit, Präzision, Interpretierbarkeit, Kosten und Kontrolle. Ich empfehle den Praktikern, ihre Fähigkeiten mit Instruments wie XGBoost, LightGBM und scikit-learn aufzufrischen, um sich selbst von den Ergebnissen zu überzeugen.

Lesen Sie mehr über meine Arbeit unter www.stephaniekirmer.com.

Weiterführende Literatur

https://arxiv.org/pdf/2602.14295

https://github.com/Tejas-TA/predikit

https://arxiv.org/pdf/2506.20430

Einführung in das Python-Paket – Dokumentation zu xgboost 3.3.0
Dieses Dokument enthält eine grundlegende Anleitung zum xgboost-Paket für Python. Das Python-Paket besteht aus 3…xgboost.readthedocs.io

Einführung in das Python-Paket – Dokumentation zu LightGBM 4.6.0.99
Dieses Dokument bietet eine grundlegende Einführung in das LightGBM-Python-Paket. Liste weiterer hilfreicher Hyperlinks Der bevorzugte Weg, um…lightgbm.readthedocs.io

Tutorials |
CatBoost bietet zahlreiche Lehrmaterialien für Anfänger und Fortgeschrittene im Bereich maschinelles Lernen und Datenwissenschaftler.catboost.ai

Erste Schritte
Scikit-learn ist eine Open-Supply-Bibliothek für maschinelles Lernen, die überwachtes und unbeaufsichtigtes Lernen unterstützt. Es ist auch…scikit-learn.org

Lernen Sie Tutorials zum maschinellen Lernen für Fortgeschrittene
Behandeln Sie fehlende Werte, nicht numerische Werte, Datenlecks und mehr.www.kaggle.com

arounddatascience.com/tool-calling-explained-how-ai-agents-decide-what-to-do-next/

hin zu datascience.com/ai-agents-explained-what-is-a-react-loop-and-how-does-it-work/