Von Harsha KumarCEO von NewRocket

Unternehmen haben nicht zu wenig in KI investiert. Sie haben es übermäßig eingeschränkt.

Bis Ende 2025 nutzt nahezu jedes große Unternehmen in irgendeiner Type künstliche Intelligenz. Entsprechend McKinseys Umfrage zum Stand der KI 202588 Prozent der Unternehmen berichten mittlerweile über den regelmäßigen KI-Einsatz in mindestens einer Geschäftsfunktion und 62 Prozent experimentieren bereits mit KI-Agenten. Dennoch ist es nur einem Drittel gelungen, die KI über die Pilotphase hinaus zu skalieren, und nur 39 Prozent berichten über messbare Auswirkungen auf das EBIT auf Unternehmensebene.

Diese Lücke ist kein Versagen von Modellen, Rechenleistung oder Ambitionen. Es handelt sich um ein Versagen der Vollstreckungsbehörde.

Die meisten Unternehmen betrachten KI immer noch als Empfehlungsmaschine und nicht als operativen Akteur. Modelle analysieren, schlagen vor, fassen zusammen und prognostizieren, aber sie schrecken davor zurück, zu handeln. Der Mensch ist weiterhin dafür verantwortlich, Einblicke in Arbeitsabläufe zu gewinnen, Routineentscheidungen zu genehmigen und die Arbeit manuell voranzutreiben. Dadurch beschleunigt die KI Arbeitsfragmente, während das System selbst unverändert bleibt. Die Produktivität verbessert sich auf Aufgabenebene, stagniert jedoch auf der Organisationsebene.

Die unbequeme Wahrheit ist: KI kann ein Unternehmen nicht verändern, wenn sie nicht durchgängig an Entscheidungen beteiligt sein darf.

Die Pilotenfalle ist ein Autoritätsproblem

Das vorherrschende KI-Muster in Unternehmen ist heute vorsichtiges Experimentieren. Modelle werden in isolierten Funktionen bereitgestellt. Copiloten unterstützen Einzelpersonen. Dashboards liefern Einblicke. Der Arbeitsablauf rund um diese Erkenntnisse ist jedoch nach wie vor von Menschen gesteuert, sequenziell und genehmigungsintensiv.

Untersuchungen von McKinsey zeigen, dass quick zwei Drittel der Unternehmen in der Experimentier- oder Pilotphase stecken bleiben, selbst wenn die KI-Nutzung abteilungsübergreifend zunimmt. Was die kleine Gruppe der Leistungsträger auszeichnet, ist nicht der Zugang zu besseren Modellen, sondern die Bereitschaft, Arbeitsabläufe neu zu gestalten. Bei Leistungsträgern ist die Wahrscheinlichkeit quick dreimal so hoch, dass sie die Artwork und Weise, wie ihre Arbeit erledigt wird, grundlegend umgestalten, und es ist weitaus wahrscheinlicher, dass sie Agentensysteme über mehrere Funktionen hinweg skalieren.

KI schafft Mehrwert, wenn sie in das Betriebsmodell eingebettet und nicht darüber geschichtet wird.

Dies erfordert eine Änderung in der Artwork und Weise, wie Führungskräfte über Kontrolle denken. Unternehmen lassen Maschinen gerne Routen optimieren, Lasten ausgleichen oder die Infrastruktur autonom verwalten. Sie fühlen sich weitaus weniger wohl damit, KI Kundenprobleme lösen zu lassen, Lieferentscheidungen anzupassen oder finanzielle Maßnahmen ohne menschliche Zustimmung durchzuführen. Dieses Zögern ist verständlich, aber es ist auch der Hauptgrund dafür, dass die Auswirkungen der KI inkrementell bleiben.

Autonomie ist die nächste Unternehmensfähigkeit

Gartner beschreibt die nächste Part der Unternehmenstransformation als autonomes Geschäft. In diesem Modell informieren Systeme nicht nur über Entscheidungen. Sie spüren, entscheiden und handeln selbstständig innerhalb definierter Grenzen.

Entsprechend Gartners Analyse autonomer UnternehmenBis 2028 werden 40 Prozent der Dienstleistungen KI-erweitert sein, wodurch die Mitarbeiter von der Ausführung auf die Aufsicht verlagert werden. Bis 2030 könnten Maschinenkunden Einkäufe im Wert von bis zu 18 Billionen US-Greenback beeinflussen. Diese Verschiebungen sind nicht theoretisch. Sie verändern bereits die Artwork und Weise, wie Unternehmen miteinander konkurrieren.

Autonome Abläufe leiten Lieferketten bei Störungen um. KI-gesteuerte Serviceplattformen lösen Probleme, bevor ein menschlicher Agent eingreift. Systeme korrigieren Leistungsabweichungen in Echtzeit ohne Eskalation. Wenn Autonomie funktioniert, verbringen Menschen weniger Zeit damit, die Probleme von gestern zu lösen, und haben mehr Zeit, die Strategie von morgen zu gestalten.

Aber Autonomie bedeutet nicht Verzicht. Es erfordert Governance, Leitplanken und Klarheit darüber, wann KI unabhängig agiert und wann sie eskaliert. Die erfolgreichsten Organisationen definieren Entscheidungsklassen explizit. Risikoarme, wiederholbare Entscheidungen werden vollständig automatisiert. Entscheidungen mit großer Auswirkung oder mehrdeutige Entscheidungen werden zur menschlichen Überprüfung gekennzeichnet. Mit der Zeit, wenn das Selbstvertrauen wächst, verschieben sich die Grenzen.

Was zählt, ist nicht Perfektion. Es ist Schwung.

Warum Vertrauen allein nicht ausreicht

Ein Großteil der KI-Debatte dreht sich um Vertrauen. Können wir Modellen bei der Entscheidungsfindung vertrauen? Sollten Menschen immer auf dem Laufenden bleiben? Diese Fragen sind wichtig, aber sie lassen ein tieferes Downside außer Acht. Vertrauen ohne Neugestaltung erzeugt Reibung. Autorität ohne Kontext schafft Risiko.

Forschung von Stanfords Institute for Human-Centered AI verstärkt diese Unterscheidung. Ihre Arbeit spricht nicht gegen Autonomie. Es zeigt, dass Autonomie bewusst angewendet werden muss, basierend auf der Artwork der getroffenen Entscheidung.

In kontrollierten Experimenten verbesserte sich die Entscheidungsqualität, wenn KI-Systeme eher auf Komplementarität als auf pauschalen Ersatz ausgelegt waren, insbesondere in Szenarien mit hoher Unsicherheit oder hohem Urteilsvermögen. In diesen Fällen half der selektive KI-Eingriff dem Menschen, Fehler zu vermeiden, ohne die menschliche Verantwortung zu verlieren.

Dies bedeutet jedoch nicht, dass KI im gesamten Unternehmen beratend bleiben sollte. Dies impliziert, dass unterschiedliche Klassen von Entscheidungen unterschiedliche Ausführungsmodelle erfordern. Einige Arbeitsabläufe profitieren von der Erweiterung, bei der die KI das menschliche Urteilsvermögen leitet, markiert oder herausfordert. Andere profitieren von völliger Autonomie, bei der Geschwindigkeit, Skalierbarkeit und Konsistenz wichtiger sind als Diskretion.

Der eigentliche Fehlermodus ist nicht die Autonomie selbst. Es zwingt alle Entscheidungen nach dem gleichen Human-in-the-Loop-Muster, unabhängig von Risiko, Häufigkeit oder Auswirkungen. Wenn KI selbst in wiederholbaren Arbeitsabläufen mit geringem Risiko auf beratende Funktionen beschränkt ist, verlassen sich Menschen entweder zu sehr auf Empfehlungen oder ignorieren sie vollständig. Beide Ergebnisse begrenzen den Wert.

Komplementäre Systeme sind erfolgreich, weil sie darauf ausgerichtet sind, wie die Arbeit tatsächlich abläuft. Sie definieren, wann KI selbstständig agiert, wann sie eskaliert und wann der Mensch eingreift. Die Vollstreckungsbefugnis wird nicht entzogen. Es ist kalibriert.

Die Lektion hier ist eine praktische Lektion für Unternehmen. KI sollte nicht ausschließlich nach ihrer Genauigkeit bewertet werden. Es sollte danach bewertet werden, wie intestine es sich in reale Arbeitsabläufe, Entscheidungsrechte und Verantwortlichkeitsstrukturen integriert.

Was sich im Jahr 2026 ändert

Auf dem Weg ins Jahr 2026 stellt sich für Unternehmen nicht mehr die Frage, ob KI funktioniert. Diese Debatte ist vorbei. Die Frage wird sein, ob Unternehmen bereit sind, KI als Teil des Geschäfts statt als unterstützende Funktion agieren zu lassen.

Die Daten von McKinsey zeigen, dass Unternehmen, die bedeutende KI-Auswirkungen sehen, eher Wachstums- und Innovationsziele neben der Effizienz verfolgen. Sie investieren stärker. Mehr als ein Drittel der KI-Excessive-Performer wenden über 20 Prozent ihres digitalen Budgets für KI auf. Sie skalieren schneller. Sie gestalten Arbeitsabläufe bewusst neu. Und sie verlangen von den Führungskräften, dass sie die Verantwortung für die KI-Ergebnisse übernehmen und sie nicht an Experimentierteams delegieren.

Dies ist keine technologische Herausforderung. Es ist eine Führungsaufgabe.

Erfolgreich werden nicht die Unternehmen sein, die über die ausgefeiltesten Modelle verfügen. Sie werden diejenigen sein, die die Arbeit so umgestalten, dass Mensch und Maschine als koordiniertes System funktionieren. Die KI übernimmt die Ausführung mit Maschinengeschwindigkeit. Der Mensch definiert Absichten, Werte und Richtung. Gemeinsam werden sie schneller vorankommen, als es einer von beiden allein könnte.

Bis dahin wird KI beeindruckend, teuer und unzureichend genutzt bleiben.

Über den Autor:

Harsha Kumar ist der CEO von NewRocketum Unternehmen mit vertrauenswürdiger KI zu unterstützen und dabei die Agentic AI IP von NewRocket und die ServiceNow AI-Plattform zu nutzen.

Von KI und datengesteuerten Projekten wurde die Bedeutung von Daten und ihrer Qualität als kritisch für den Erfolg eines Projekts anerkannt. Einige mögen sogar sagen, dass Projekte früher einen einzelnen Ausfallpunkt hatten: Daten!

Die berüchtigten „Müll in, Müll raus“ battle wahrscheinlich der erste Ausdruck, der die Datenindustrie im Sturm eroberte (von „Daten ist das neue Öl“). Wir alle wussten, ob Daten nicht intestine strukturiert, gereinigt und validiert waren.

Aus diesem Grund konzentrierten sich im Laufe der Jahre zahlreiche Studien und Forscher auf die Definition der Säulen der Datenqualität und welche Metriken zur Bewertung verwendet werden können.

A 1991 Forschungspapier Identifizierte 20 verschiedene Datenqualitätsabmessungen, die alle sehr auf den Hauptaugenmerk und die zu diesem Zeitpunkt strukturierten Datenbanken ausgerichtet waren. Schneller Vorlauf zu 2020, das Forschungsarbeiten über die Dimensionen der Datenqualität (DDQ)identifizierte eine erstaunliche Anzahl von Datenqualitätsdimensionen (ca. 65 !!), was nicht nur widerspiegelte, wie sich die Datenqualitätsdefinition ständig weiterentwickelt, sondern auch, wie Daten selbst verwendet wurden.

Mit dem Anstieg des Hype mit tiefem Lernen battle die Idee, dass die Datenqualität nicht mehr wichtig battle, in den Köpfen der technisch versierten Ingenieure. Der Wunsch zu glauben, dass Fashions und Engineering allein ausreichten, um leistungsstarke Lösungen zu liefern, gibt es schon seit einiger Zeit. Glücklich für uns, begeisterte DatenpraktikerAnwesend 2021/2022 markierte den Aufstieg von Datenzentrierte AI! Dieses Konzept ist nicht weit vom Klassiker entfernt „Müll in, Müll aus“verstärkt die Idee, dass wir in der KI -Entwicklung Daten als Component der Gleichung behandeln, die optimiert werden muss, werden wir eine bessere Leistung und Ergebnisse erzielen als die Modelle allein (UPS! Immerhin dreht sich nicht alles um Hyperparameter -Tuning).

Warum können wir die Gerüchte wieder hören, dass Daten keinen Wassergraben haben?!

Die Kapazität von großer Sprachmodellen (LLMS), die menschliche Argumentation widerspiegeln, hat uns verblüfft. Da sie in einer immensen Korpora in Kombination mit der Rechenleistung von GPUs geschult sind, können LLMs nicht nur gute Inhalte erzeugen, sondern tatsächlich Inhalt, die unserem Ton und unserer Denkweise ähneln können. Weil sie es so bemerkenswert intestine machen, und oft mit einem minimalen Kontext, hatte dies viele zu einer mutigen Schlussfolgerung geführt:

„Daten haben keinen Wassergraben.“
„Wir brauchen keine proprietären Daten mehr, um zu differenzieren.“
„Verwenden Sie einfach ein besseres Modell.“

Ist die Datenqualität eine Likelihood gegen LLM- und AI -Agenten?

Meiner Meinung nach – absolut ja! Unabhängig von den aktuellen Überzeugungen, dass Daten im Alter von LLMs und AI -Agenten keine Differenzierung darstellen, bleiben die Daten wesentlich. Ich werde sogar herausfordern, indem ich sagen soll, dass die fähigeren und verantwortlicheren Agenten ihre Abhängigkeit von guten Daten noch kritischer werden!

Warum ist die Datenqualität noch wichtig?

Beginnend mit dem offensichtlichsten Müll, Müll aus. Es spielt keine Rolle, wie viel schlauer Ihre Modelle und Agenten bekommen, wenn sie den Unterschied zwischen Intestine und Schlecht nicht erkennen können. Wenn schlechte Daten oder Eingaben von geringer Qualität in das Modell eingespeist werden, erhalten Sie falsche Antworten und irreführende Ergebnisse. LLMs sind generative Modelle, was bedeutet, dass sie letztendlich einfach Muster reproduzieren, denen sie begegnet sind. Was mehr denn je besorgt als je zuvor ist, dass die Validierungsmechanismen, auf die wir uns einmal verlassen haben, in vielen Anwendungsfällen nicht mehr vorhanden sind, was zu potenziell irreführenden Ergebnissen führt.

Darüber hinaus haben diese Modelle kein Bewusstsein in der realen Welt, ähnlich wie bei anderen bisher dominierenden generativen Modellen. Wenn etwas veraltet oder sogar Vorurteile ist, werden sie es einfach nicht erkennen, es sei denn, sie sind dafür geschult, und das beginnt mit hochwertigen, validierten und sorgfältig kuratierten Daten.

Insbesondere, wenn es um KI -Agenten geht, die häufig auf Instruments wie Speicher oder Dokumentenabruf angewiesen sind, um Aktivitäten über Aktivitäten hinweg zu arbeiten, ist die Bedeutung großer Daten noch offensichtlicher. Wenn ihr Wissen auf unzuverlässigen Informationen basiert, können sie keine gute Entscheidungsfindung durchführen. Sie erhalten eine Antwort oder ein Ergebnis, aber das bedeutet nicht, dass es nützlich ist!

Warum sind Daten immer noch ein Wassergraben?

Während Hindernisse wie Computerinfrastruktur, Speicherkapazität sowie spezialisiertes Fachwissen als related erwähnt werden, um in einer Zukunft wettbewerbsfähig zu bleiben, die von AI -Agenten und LLM -basierten Anwendungen dominiert wird, werden sie wettbewerbsfähig. Die Zugänglichkeit der Daten ist nach wie vor eine der am häufigsten als Paramount für die Wettbewerbsfähigkeit zitierte. Hier ist der Grund:

1. Zugang ist Strom
   In Domänen mit eingeschränkten oder proprietären Daten wie Gesundheitswesen, Anwälten, Unternehmens -Workflows oder sogar Benutzerinteraktionsdaten können KI -Agenten nur von Personen mit privilegiertem Zugriff auf Daten erstellt werden. Ohne sie fliegen die entwickelten Anwendungen blind.
2. Das öffentliche Internet wird nicht genug sein
   Kostenlose und reichlich vorhandene öffentliche Daten verblassen, nicht weil sie nicht mehr verfügbar sind, sondern weil es schnell verblasst. Hochwertige öffentliche Datensätze wurden stark mit mit Algorithmen generierten Daten abgebaut, und einige der übrig bleiben entweder hinter Paywalls oder durch API-Beschränkungen geschützt.
   Darüber hinaus schließen die Hauptplattform den Zugang zugunsten der Monetarisierung zunehmend ab.
3. Datenvergiftung ist der neue Angriffsvektor
   Wenn die Einführung von Grundmodellen wächst, verlagern sich die Angriffe vom Modellcode zum Coaching und der Feinabstimmung des Modells selbst. Warum? Es ist einfacher zu tun und schwerer zu erkennen!
   Wir treten in eine Ära ein, in der Gegner das System nicht brechen müssen, sondern nur die Daten verschmutzen müssen. Von subtiler Fehlinformationen bis hin zu böswilliger Kennzeichnung sind Datenvergiftungsangriffe eine Realität, auf die Organisationen, auf die AI -Agenten adoptiert werden, vorbereitet werden müssen. Die Steuerung von Datenorschinen, Pipeline und Integrität ist jetzt für den Aufbau einer vertrauenswürdigen KI von wesentlicher Bedeutung.

Was sind die Datenstrategien für vertrauenswürdige KI?

Um der Innovation voraus zu sein, müssen wir überdenken, wie Daten behandelt werden können. Daten sind nicht mehr nur ein Component des Prozesses, sondern eine Kerninfrastruktur für die KI. Bauen und Bereitstellen von KI betreffen Code und Algorithmen, aber auch den Datenlebenszyklus: Wie er gesammelt, filtriert und gereinigt, geschützt und vor allem verwendet wird. Was sind die Strategien, die wir anwenden können, um Daten besser zu nutzen?

1. Datenmanagement als Kerninfrastruktur
   Behandeln Sie Daten mit der gleichen Relevanz und Priorität wie die Cloud -Infrastruktur oder -versicherung. Dies bedeutet, die Governance zu zentralisieren, Zugriffskontrollen zu implementieren und sicherzustellen, dass die Datenströme nachvollziehbar und prüfbar sind. AI-fähige Organisationen entwerfen Systeme, bei denen Daten ein absichtlicher, verwalteter Enter sind, kein nachträglicher Gedanke.
2. Aktive Datenqualitätsmechanismen
   Die Qualität Ihrer Daten definiert, wie zuverlässig und leistungsfähig Ihre Agenten sind! Legen Sie Pipelines fest, die automatisch Anomalien oder unterschiedliche Aufzeichnungen erkennen, die Kennzeichnungsstandards durchsetzen und die Drift oder Kontamination überwachen. Information Engineering ist die Zukunft und grundlegend für KI. Daten müssen nicht nur gesammelt werden, sondern vor allem kuratiert!
3. Synthetische Daten zum Schließen von Lücken und zur Erhaltung der Privatsphäre
   Wenn reale Daten begrenzt, voreingenommen oder Privatsphäre sensitiv sind, Synthetische Daten bieten eine leistungsstarke Various. Von der Simulation bis zur generativen Modellierung ermöglichen Sie synthetischen Daten, dass Sie hochwertige Datensätze zum Coaching von Modellen erstellen. Es ist der Schlüssel, um Szenarien freizuschalten, in denen die Grundwahrheit teuer oder eingeschränkt ist.
4. Defensivdesign gegen Datenvergiftung
   Die Sicherheit in AI beginnt jetzt an der Datenschicht. Implementieren Sie Maßnahmen wie Quellenüberprüfung, Versioning und Echtzeitvalidierung, um sich vor Vergiftungen und subtiler Manipulation zu schützen. Nicht nur für die Datenquellen, sondern auch für Eingabeaufforderungen, die die Systeme eingeben. Dies ist besonders wichtig für das Lernen von Systemen durch Benutzereingaben oder externe Datenfeeds.
5. Datenfeedback -Schleifen
   Daten sollten in Ihren KI -Systemen nicht als unveränderlich angesehen werden. Es sollte in der Lage sein, sich im Laufe der Zeit zu entwickeln und sich anzupassen! Suggestions -Schleifen sind obligatorisch, um ein Gefühl der Evolution zu schaffen, wenn es um Daten geht. In Kombination mit starken Qualitätsfiltern machen diese Schleifen Ihre KI-basierten Lösungen im Laufe der Zeit intelligenter und besser ausgerichtet.

Zusammenfassend ist Daten der Wassergraben und die Zukunft der Defensivität der AI -Lösung. Die datenzentrierte KI ist wichtiger denn je, auch wenn der Hype etwas anderes sagt. Sollte KI additionally nur um den Hype gehen? Nur die Systeme, die tatsächlich die Produktion erreichen, können über mich hinaussehenT.

Ich habe die Möglichkeit, einen MCP -Server für eine Observierbarkeitsanwendung zu erstellen, um dem AI -Agenten dynamische Codesanalysefunktionen bereitzustellen. Aufgrund seines Potenzials, Anwendungen zu transformieren, ist MCP eine Technologie, über die ich noch ekstatischer bin als ich ursprünglich um Genai im Allgemeinen. Ich habe mehr darüber und einige Intro an MCPS im Allgemeinen in einem früheren geschrieben Submit.

Während ein anfänglicher POCs zeigte, dass es eine gab immens Das Potenzial, dass dies ein Kraftmultiplikator für den Wert unseres Produkts darstellt, dauerte es mehrere Iterationen und mehrere Stolperfaktoren, um dieses Versprechen zu erfüllen. In diesem Beitrag werde ich versuchen, einige der gewonnenen Lektionen zu erfassen, da ich denke, dass dies anderen MCP -Server -Entwicklern zugute kommen kann.

Mein Stapel

• Ich habe benutzt Cursor Und VSCODE zeitweise als Haupt MCP -Shopper
• Um den MCP -Server selbst zu entwickeln, habe ich das verwendet .NET MCP SDKals ich mich entschied, den Server auf einem anderen in .NET geschriebenen Dienst zu hosten

Lektion 1: Lassen Sie nicht alle Ihre Daten auf den Agenten abgeben

In meiner Anwendung gibt ein Instrument aggregierte Informationen zu Fehlern und Ausnahmen zurück. Die API ist sehr detailliert, da sie eine komplexe UI -Ansicht dient und große Mengen von tief verknüpften Daten ausspricht:

• Fehlerrahmen
• Betroffene Endpunkte
• Stapelspuren
• Priorität und Tendencies
• Histogramme

Meine erste Vermutung warfare es, die API einfach aufzudecken wie ist als MCP -Instrument. Schließlich sollte der Agent in der Lage sein, mehr Sinn als jede Benutzeroberfläche zu erkennen und sich mit interessanten Particulars oder Verbindungen zwischen Ereignissen zu befassen. Es gab mehrere Szenarien, die ich im Sinn hatte, wie ich erwarten würde, dass diese Daten nützlich sind. Der Agent könnte automatisch Korrekturen für jüngste Ausnahmen anbieten, die in der Produktion oder in der Testumgebung aufgezeichnet wurden, mich über Fehler informieren, die sich hervorheben, oder helfen mir, einige systematische Probleme anzugehen, die die Grundursache für die Probleme darstellen.

Die grundlegende Prämisse bestand daher darin, dem Agenten zu ermöglichen, seine „Magie“ zu bearbeiten, wobei mehr Daten möglicherweise mehr Hooks für den Agenten bedeuten, um sich in seinen Untersuchungsbemühungen zu verringern. Ich habe schnell einen Wrapper um unsere API am MCP -Endpunkt codiert und beschloss, mit einer grundlegenden Aufforderung zu beginnen, ob alles funktioniert:

Wir können sehen, dass der Agent klug genug warfare, um zu wissen, dass es ein weiteres Instrument anrufen musste, um die Umgebungs -ID dafür zu erfassen. ‚prüfen‚Umgebung, die ich erwähnt habe. Nachdem dies in den letzten 24 Stunden festgestellt hatte, dass es in den letzten 24 Stunden tatsächlich keine Ausnahme gab, dauerte es die Freiheit, einen längeren Zeitraum zu scannen, und dann wurde es ein wenig seltsam:

Was für eine seltsame Antwort. Der Agent wechselt nach Ausnahmen aus den letzten sieben Tagen, erzielt diesmal einige materielle Ergebnisse und fordert dennoch weiter, als ob Sie die Daten insgesamt ignorieren. Es versucht weiterhin zu versuchen, das Instrument auf unterschiedliche Weise und unterschiedliche Parameterkombinationen zu verwenden, die offensichtlich fummeln, bis ich feststellte, dass die Daten dafür völlig unsichtbar sind. Während Fehler in der Antwort wieder gesendet werden, behauptet der Agent tatsächlich, dass es dort gibt Keine Fehler. Was ist los?

Nach einigen Untersuchungen wurde herausgestellt, dass das Drawback die Tatsache warfare, dass wir einfach eine Obergrenze in der Fähigkeit des Agenten erreicht haben, große Datenmengen in der Antwort zu verarbeiten.

Ich habe eine extrem ausführliche API verwendet, die ich ursprünglich sogar als Vorteil betrachtete. Das Endergebnis warfare jedoch, dass ich es irgendwie geschafft habe, das Modell zu überwältigen. Insgesamt gab es rund 360.000 Charaktere und 16.000 Wörter in der Antwort JSON. Dies beinhaltet Anrufstapel, Fehlerrahmen und Referenzen. Das sollen wurden nur durch Betrachtung der Kontextfenstergrenze für das von mir verwendete Modell unterstützt (Claude 3.7 Sonett sollte bis zu 200 Okay -Token unterstützen), aber der große Datenablager hat den Agenten dennoch gründlich stumpft.

Eine Strategie wäre, das Modell in eine zu ändern, die ein noch größeres Kontextfenster unterstützt. Ich wechselte auf die Gemini 2.5 Professional Modell, um diese Theorie zu testen, da es eine unerhörte Grenze von einer Million Token hat. Sicher genug, die gleiche Frage ergab jetzt eine viel intelligentere Reaktion:

Das ist großartig! Der Agent konnte die Fehler analysieren und die systematische Ursache vieler von ihnen mit einiger grundlegender Begründung finden. Wir können uns jedoch nicht darauf verlassen, dass der Benutzer ein bestimmtes Modell verwendet, und um Dinge zu komplizieren, wurde dies aus einer relativ niedrigen Bandbreiten -Testumgebung ausgegeben. Was wäre, wenn der Datensatz noch größer wäre?
Um dieses Drawback zu lösen, habe ich einige grundlegende Änderungen an der Struktur der API vorgenommen:

• Verschachtelte Datenhierarchie: Halten Sie die anfängliche Antwort auf hochrangige Particulars und Aggregationen. Erstellen Sie eine separate API, um die Anrufstapel bestimmter Frames nach Bedarf abzurufen.
• Verbesserung der Abfragbarkeit: Alle bisher von dem Agent vorgenommenen Abfragen verwendeten eine sehr kleine Seitengröße für die Daten (10). Wenn wir möchten, dass der Agent in der Lage ist, relevantere Teilmengen der Daten zugreifen, um mit den Einschränkungen seines Kontextes zu passen, müssen wir mehr APIs für Abfragefehler anhand verschiedener Dimensionen, beispielsweise betroffen: betroffene Methoden, Fehlertyp, Priorität und Einfluss usw. angeben.

Mit den neuen Änderungen analysiert das Instrument nun konsequent wichtige neue Ausnahmen und erstellt Fixvorschläge. Ich warf einen anderen kleinen Element, das ich sortieren musste, bevor ich es wirklich zuverlässig verwenden konnte.

Lektion 2: Wie ist es Zeit?

Der Leser mit Kree-Eyed-Leser hat möglicherweise festgestellt, dass der Agent im vorherigen Beispiel die Fehler in einem bestimmten Zeitbereich verwendet ISO 8601 Zeitdauer Format anstelle der tatsächlichen Daten und Zeiten. Additionally anstatt Normal einzubeziehen ‚Aus‚ Und ‚Zu‚Parameter mit DateTime -Werten, die KI sendete beispielsweise sieben Tage oder einen Dauerwert, zum Beispiel sieben Tage oder P7d, Um anzuzeigen, möchte es in der vergangenen Woche auf Fehler suchen.

Der Grund dafür ist etwas seltsam – Der Agent kennt das aktuelle Datum und die aktuelle Uhrzeit nicht! Sie können dies selbst überprüfen, indem Sie dem Agenten diese einfache Frage stellen. Das folgende hätte Sinn gemacht, wenn ich nicht die Tatsache, dass ich diese Eingabeaufforderung gegen Mittag am 4. Mai tippte…

Zeit verwenden Dauer Die Werte stellten sich als großartige Lösung heraus, die der Agent ziemlich intestine behandelte. Vergessen Sie jedoch nicht, den erwarteten Wert und die Beispielsyntax in der Beschreibung des Toolparameters zu dokumentieren!

Lektion 3: Wenn der Agent einen Fehler macht, zeigen Sie ihm, wie man es besser macht

Im ersten Beispiel warfare ich tatsächlich überrascht, wie der Agent die Abhängigkeiten zwischen den verschiedenen Toolaufrufen entschlüsseln konnte, um die richtige Umgebungskennung bereitzustellen. Bei der Untersuchung des MCP -Vertrags wurde herausgefunden, dass ein anderes Instrument von einem abhängigen Instrument anrufen musste, um die Liste der Umgebungs -IDs zuerst zu erhalten.

Als Reaktion auf andere Anfragen nahm der Agent jedoch manchmal die in der forderten wörtlichen genannten Umgebungsnamen auf. Zum Beispiel bemerkte ich das als Antwort auf diese Frage: Vergleichen Sie langsame Spuren für diese Methode zwischen den Take a look at- und Produktumgebungen. Gibt es signifikante Unterschiede? Abhängig vom Kontext, Der Agent verwendete manchmal die in der Anfrage genannten Umgebungsnamen und sendete die Zeichenfolgen „Take a look at“ und „Prod“ als Umgebungs -ID.

In meiner ursprünglichen Implementierung würde mein MCP -Server in diesem Szenario stillschweigend versagen und eine leere Antwort zurückgeben. Der Agent würde nach Erhalt keines Daten oder eines generischen Fehlers einfach beenden und versuchten, die Anforderung mit einer anderen Strategie zu lösen. Um dieses Verhalten auszugleichen, habe ich meine Implementierung schnell geändert, so dass die JSON -Antwort genau beschreiben würde, was schief gelaufen ist, und sogar eine gültige Liste möglicher Werte bereitzustellen, um dem Agenten einen anderen Instrument -Aufruf zu speichern.

Dies warfare genug für den Agenten, das aus seinem Fehler lernte, den Anruf mit dem richtigen Wert wiederholte und irgendwie auch vermieden wurde, den gleichen Fehler in der Zukunft zu machen.

Lektion 4: Konzentrieren Sie sich auf Benutzerabsichten und nicht auf Funktionen

Es ist zwar verlockend, einfach zu beschreiben, was die API tut, aber die generischen Begriffe ermöglichen es dem Agenten manchmal nicht ganz, die Artwork der Anforderungen zu erkennen, für die diese Funktionalität am besten gelten.

Nehmen wir ein einfaches Beispiel: Mein MCP -Server verfügt über ein Instrument, mit dem für jede Methode, jeder Endpunkt oder für jede Codesposition angegeben werden kann, wie es zur Laufzeit verwendet wird. Insbesondere wird die Verfolgungsdaten verwendet, um anzugeben, welche Anwendungsflüsse die spezifische Funktion oder Methode erreichen.

In der Originaldokumentation wurden diese Funktionalität einfach beschrieben:

(McpServerTool,
Description(
@"For this technique, see which runtime flows within the software
(together with different microservices and code not on this undertaking)
use this perform or technique.
This knowledge is predicated on analyzing distributed tracing."))
public static async Job<string> GetUsagesForMethod(IMcpService shopper,
(Description("The atmosphere id to verify for usages"))
string environmentId,
(Description("The title of the category. Present solely the category title with out the namespace prefix."))
string codeClass,
(Description("The title of the tactic to verify, should specify a particular technique to verify"))
string codeMethod)

Das obige stellt eine funktional genaue Beschreibung dessen dar, was dieses Instrument tut, aber es macht nicht unbedingt klar, für welche Arten von Aktivitäten es related sein könnte. Nachdem ich festgestellt hatte, dass der Agent dieses Instrument nicht für verschiedene Eingabeaufforderungen ausgewählt hatte, dachte ich, dass es ziemlich nützlich wäre, ich habe mich entschlossen, die Toolbeschreibung neu zu schreiben. Diesmal betonte ich die Anwendungsfälle:

(McpServerTool,
Description(
@"Discover out what's the how a particular code location is getting used and by
which different providers/code.
Helpful to be able to detect doable breaking modifications, to verify whether or not
the generated code will match the present usages,
to generate exams primarily based on the runtime utilization of this technique,
or to verify for associated points on the endpoints triggering this code
after any change to make sure it didnt affect it"

Die Aktualisierung des Textes half dem Agenten, zu verwirklichen Warum Die Informationen waren nützlich. Vor diesem Änderung würde der Agent beispielsweise das Instrument als Reaktion auf eine Eingabeaufforderung, die der folgenden ähnelt, nicht einmal auslösen. Jetzt ist es völlig nahtlos geworden, ohne dass der Benutzer direkt erwähnen muss, dass dieses Instrument verwendet werden sollte:

Lektion 5: Dokumentieren Sie Ihre JSON -Antworten

Der JSON -Normal unterstützt zumindest offiziell keine Kommentare. Das heißt, wenn der JSON alles, was der Agent hat, muss er einige Hinweise auf den Kontext der von Ihnen zurückgegebenen Daten fehlen. Zum Beispiel habe ich in meiner aggregierten Fehlerantwort die folgenden zurückgegeben Punktzahl Objekt:

"Rating": {"Rating":21,
"ScoreParams":{ "Occurrences":1,
"Development":0,
"Latest":20,
"Unhandled":0,
"Surprising":0}}

Ohne ordnungsgemäße Dokumentation wäre es jedem Nicht-Klebstoff-Agenten schwer zu verstehen, was diese Zahlen bedeuten. Zum Glück ist es einfach, zu Beginn der JSON -Datei ein Kommentarelement mit zusätzlichen Informationen zu den angegebenen Daten hinzuzufügen:

"_comment": "Every error comprises a hyperlink to the error hint,
which could be retrieved utilizing the GetTrace instrument,
details about the affected endpoints the code and the
related stacktrace.
Every error within the listing represents quite a few situations
of the identical error and is given a rating after its been
prioritized.
The rating displays the criticality of the error.
The quantity is between 0 and 100 and is comprised of a number of
parameters, every can contribute to the error criticality,
all are normalized in relation to the system
and the opposite strategies.
The rating parameters worth represents its contributation to the
total rating, they embody:

1. 'Occurrences', representing the variety of situations of this error
in comparison with others.
2. 'Development' whether or not this error is escalating in its
frequency.
3. 'Unhandled' represents whether or not this error is caught
internally or poropagates all the way in which
out of the endpoint scope
4. 'Surprising' are errors which might be in excessive chance
bugs, for instance NullPointerExcetion or
KeyNotFound",
"EnvironmentErrors":()

Auf diese Weise kann der Agent dem Benutzer erklären, was die Punktzahl bedeutet, wenn er fragt, aber auch diese Erklärung in seine eigenen Argumentation und Empfehlungen einspeisen.

Auswahl der richtigen Architektur: SSE vs Stdio,

Es gibt zwei Architekturen, die Sie bei der Entwicklung eines MCP -Servers verwenden können. Die häufigere und weit verbreitete Implementierung macht Ihren Server als verfügbar Befehl vom MCP -Shopper ausgelöst. Dies könnte ein CLI-ausgelösterter Befehl sein; NPX, DockerUnd Python sind einige häufige Beispiele. In dieser Konfiguration erfolgt die gesamte Kommunikation über den ProzessStdiound der Prozess selbst wird auf dem Shopper -Laptop ausgeführt. Der Shopper ist für die Instanziierung und Aufrechterhaltung des Lebenszyklus des MCP -Servers verantwortlich.

Diese clientseitige Architektur hat aus meiner Sicht einen wichtigen Nachteil: Da die MCP-Server-Implementierung vom Shopper auf der lokalen Maschine ausgeführt wird, ist es viel schwieriger, Updates oder neue Funktionen auszurüsten. Selbst wenn dieses Drawback irgendwie gelöst wird, würde die enge Kopplung zwischen dem MCP -Server und den Backend -APIs, von denen er in unseren Anwendungen abhängt, dieses Modell in Bezug auf Versioning und Vorwärts-/Rückwärtskompatibilität weiter komplizieren.

Aus diesen Gründen habe ich die zweite Artwork von MCP -Server ausgewählt – ein SSE Server wird als Teil unserer Anwendungsdienste gehostet. Dadurch wird jede Reibung vom Ausführen von CLI -Befehlen auf dem Shopper -Laptop entfernt und ermöglicht es mir, den MCP -Servercode zusammen mit dem von ihm konsumierten Anwendungscode zu aktualisieren und zu übertreffen. In diesem Szenario erhält der Kunde eine URL des SSE -Endpunkts, mit dem er interagiert. Obwohl nicht alle Kunden diese Possibility unterstützen, gibt es einen brillanten Kommandomcp auf dem Namen Supergateway Dies kann als Proxy für die SSE -Server -Implementierung verwendet werden. Das bedeutet, dass Benutzer weiterhin die weit verbreitete STDIO -Variante hinzufügen und die auf Ihrem SSE -Backend gehostete Funktionen weiterhin konsumieren können.

MCPs sind immer noch neu

Es gibt viel mehr Lektionen und Nuancen, diese täuschend einfache Technologie zu nutzen. Ich habe festgestellt, dass es eine große Lücke zwischen der Implementierung eines praktikablen MCP zu einem gibt, das sich tatsächlich in die Bedürfnisse der Benutzer und die Nutzungsszenarien integrieren kann, selbst über diejenigen, die Sie erwartet haben. Hoffentlich sehen wir, wie die Technologie reift, weitere Beiträge auf Greatest Practices.

Willst du eine Verbindung herstellen? Sie können mich auf Twitter erreichen @doppleware oder über LinkedIn.
Folge mir MCP Für die dynamische Codeanalyse unter Verwendung von Beobachtbarkeit bei https://github.com/digma-ai/digma-mcp-server

Meinung

Die Leute richten ihre Augen auf das nächste glänzende Ding. FOMO ist Teil der menschlichen Natur. Und das gilt auch für Unternehmen. So wie Information Science zu einem Pattern für die Analysefunktion jedes Unternehmens wurde, ist die Agentic Structure das heißeste Ziel auf den meisten KI-Radaren.

Haben Sie schon einmal darüber nachgedacht, ob Sie es wirklich brauchen?

Hallo, ich bin Louis Chan, Tech Lead bei KPMG World Lighthouse. Es ist über ein Jahr her, dass ich KPMGs Enterprise GenAI-as-a-Service-Plattform – KPMG AVA – mitbegründet habe, die über 18.000 Benutzer weltweit bei all ihren GenAI-Anforderungen unterstützt. Es ist faszinierend zu sehen, wie Unternehmen und Kunden die neuesten Schlagworte aufgreifen – von AI, GenAI, Chat, RAG, Agent bis hin zu Agentic Structure.

Dies ist ein aufstrebendes Feld, und die meisten von uns (mich eingeschlossen) wissen nicht einmal die Hälfte von dem, worüber wir sprechen. Der allgemeine Optimismus, dass LLM die Geschäftseffizienz auf wundersame Weise steigern kann, und die Angst vor den Auswirkungen und der Haftung der Spitzentechnologie treiben den Wunsch an, nach dem nächsten, besseren und komplexeren System zu streben.

Tatsächlich benötigen Sie keine Agentenarchitektur und sind auch besser dran, wenn Sie in Ihrem Unternehmen keine verwenden.

LLM Agent & Agentenarchitektur in…