Das Vertrauensproblem, das Verstöße der Regierung und Angriffe von KI-Agenten verbindet

Der derzeit gefährlichste Punkt in der Unternehmenssicherheit ist nicht der Netzwerkperimeter. Es ist der Second, in dem ein vertrauenswürdiges System eine Identität, ein Dokument, eine Webseite oder eine Anweisung akzeptiert und beschließt, entsprechend zu handeln.

Zwei Geschichten aus der Mitte des Jahres 2026 verdeutlichen dies von entgegengesetzten Enden des Technologie-Stacks. Zum einen handelt es sich um eine bundesweite Informationsaustauschplattform, die seit zwei Jahrzehnten läuft. Bei der anderen handelt es sich um KI-Agenten, die gewöhnliche Webinhalte lesen. Keine der beiden Geschichten löste die andere aus. Zusammengenommen decken sie die gleiche betriebliche Lücke auf: Unternehmen gewähren weiterhin vertrauenswürdigen Zugriff schneller, als sie ihn überprüfen können.

Was der HSIN-Vorfall feststellt

Das Division of Homeland Safety bestätigte Ende Juni, dass Hacker auf das Homeland Safety Data Community zugegriffen hatten. Companion auf Bundes-, Landes-, lokaler, Stammes-, territorialer, internationaler und privater Ebene nutzen die Plattform, um smart, aber nicht klassifizierte Informationen auszutauschen und Notfallmaßnahmen zu koordinieren. Ein DHS-Sprecher beschrieb das Ziel als „eine spezifische, nicht klassifizierte Umgebung für den Austausch alter Informationen“ und betonte, dass geheime Netzwerke keine Anzeichen von Auswirkungen zeigten, so Nextgov/FCW, das den Verstoß zuerst gemeldet hatte.

Zwei mit der Untersuchung vertraute Personen teilten Nextgov/FCW mit, dass der Einbruch wahrscheinlich zwischen Ende Mai und Anfang Juni stattgefunden habe. Berichten zufolge zielten die Hacker auf HSIN-Server und ein SharePoint-System ab, das die Agentur für die Zusammenarbeit nutzt. Die Ermittler hatten bis Anfang Juli weder die Identität, Zugehörigkeit noch das Motiv des Angreifers geklärt und nicht bestätigt, ob irgendwelche Unterlagen die Plattform verlassen hatten.

Der stellvertretende Vorsitzende des Geheimdienstausschusses des Senats, Mark Warner, erhöhte den Einsatz noch weiter. In einer öffentlichen Erklärung, die von TechCrunch abgedeckt wurde, stellte Warner fest, dass HSIN aktiv die Sicherheitskoordination für die laufenden Weltmeisterschaftsspiele in den Vereinigten Staaten unterstützt. Die Plattform hat auch dazu beigetragen, die Reaktion auf die Kollision zwischen einem American-Airways-Jet und einem Military-Black-Hawk-Hubschrauber in der Nähe von Washington, D.C. letztes Jahr in der Luft zu bewältigen. In öffentlichen Berichten wurde nicht bestätigt, dass Angreifer konkrete Einsatzpläne im Zusammenhang mit einem der beiden Ereignisse eingesehen oder entfernt haben. Der Heimatschutzausschuss des Repräsentantenhauses hat eine Unterrichtung beantragt, ein Schritt, der zeigt, wie ernst es der Kongress damit meint, dass eine Plattform dieser Größenordnung wochenlang unbeaufsichtigt bleibt.

Nichts davon ist Neuland für HSIN. Nextgov/FCW berichtete zuvor über einen Codierungsfehler von Auftragnehmern im Jahr 2023, bei dem eingeschränkte HSIN-Daten, einschließlich sensibler persönlicher Daten, Benutzern zugänglich gemacht wurden, die niemals Zugriff darauf hätten haben sollen. Betrachten Sie den Vorfall von 2023 als eine frühere Fehlkonfiguration und nicht als Beweis im Zusammenhang mit dem Verstoß von 2026. Das Muster bei beiden Vorfällen bleibt bestehen: Eine Plattform, die für die Bedienung einer breiten, verteilten Partnerbasis konzipiert ist, baut Zugriffsbeziehungen schneller auf, als irgendjemand sie erneut validiert.

Immediate Injection verwandelt Inhalte in eine Angriffsfläche

Unit 42 von Palo Alto Networks veröffentlichte im März eine Studie, in der etwas beschrieben wurde, was Sicherheitsteams größtenteils nur in der Theorie diskutiert hatten. Gegen KI-Agenten auf Reside-Web sites wurden indirekte Immediate-Injection-Angriffe ausgeführt. Angreifer betten versteckte Anweisungen in gewöhnlich aussehende Inhalte ein und warten dann darauf, dass ein KI-Agent den Inhalt liest, während er eine legitime Aufgabe ausführt.

Unit 42 katalogisierte 22 verschiedene Techniken, mit denen Angreifer solche Nutzlasten in Webseiten verbergen, darunter Klartextanweisungen, HTML-Attribut-Cloaking und CSS-basiertes Verstecken. Zu den dokumentierten Absichten des Angreifers gehörten die Umgehung von Anzeigenbewertungen, Suchmanipulationen, Datenvernichtung, Denial-of-Service, nicht autorisierte Transaktionen und die Weitergabe von Systemaufforderungen oder vertraulichen Informationen. Einheit 42 sagte, sie habe keinen Fall bestätigt, in dem ein eingesetzter Advert-Checking-Agent durch die von ihm genannte spezifische Nutzlast kompromittiert wurde, ein wichtiger Unterschied zwischen einem versuchten Angriff und einem abgeschlossenen Verstoß.

Der Mechanismus ist wichtiger als jede einzelne Nutzlast. Ein KI-Agent, der Webseiten, E-Mails, Codekommentare oder Instrument-Ausgaben liest, während er über die Berechtigung zum Senden von Nachrichten, zum Genehmigen von Transaktionen oder zum Ändern von Datensätzen verfügt, behandelt vom Angreifer bereitgestellten Textual content als potenzielle Anweisung und nicht als inaktiven Inhalt. Die Leitlinien von Unit 42 bezeichnen Leitplanken auf Modellebene als „weiche“ Abwehrmaßnahmen und empfehlen stattdessen harte Kontrollen, insbesondere strenge Beschränkungen für die Instruments, die ein Agent aufrufen kann.

Der gemeinsame Fehler ist grenzenloses Vertrauen

Ordnen Sie die beiden Vorfälle aneinander und vier Schwachstellen wiederholen sich über sie hinweg:

• Breite Zugangsbeziehungen. HSIN verbindet eine breite, fortlaufende Gemeinschaft von Partneragenturen und Auftragnehmern. KI-Agenten stellen zunehmend eine Verbindung zu E-Mails, Repositorys, Browsern, Datenbanken und Unternehmens-APIs her.
• Ohne kontinuierliche Überprüfung werden Eingaben als vertrauenswürdig erachtet. Ein gültiges HSIN-Konto kann kompromittiert werden, lange bevor es jemand bemerkt. Eine legitim aussehende Webseite kann eine versteckte Anweisung enthalten, der ein Agent folgen wird.
• Der Berechtigungsbereich überschreitet den Aufgabenbereich. Wenn ein Auftragnehmerkonto, ein Service-Zugangsdatensatz oder ein KI-Agent den Zugriff über seine eigentliche Aufgabe hinaus behält, vervielfacht sich der Schaden, den eine einzelne Kompromittierung verursachen kann.
• Schwache Sichtbarkeit auf der Aktionsebene. Standardprotokolle können zeigen, dass ein gültiges Konto oder ein gültiger Agent eine Anfrage gestellt hat, ohne dass der Angreifer die dahinterstehende Absicht manipuliert.

Sicherheitsprogramme neigen immer noch dazu, die beiden Probleme getrennten Groups zuzuordnen: eines für die Legacy-Infrastruktur, ein anderes für die KI-Governance. Die daraus resultierende Spaltung erzeugt blinde Flecken genau dort, wo ein Angreifer nur eine schwache Identität, ein veraltetes System oder eine versteckte Anweisung benötigt, um vertrauenswürdigen Zugriff in einen Angriffspfad umzuwandeln.

KI komprimiert den Arbeitszyklus des Angreifers

Die Menace Intelligence Group von Google berichtete im Mai, sie habe den ihrer Meinung nach ersten Zero-Day-Exploit identifiziert, der mit KI-Unterstützung entwickelt wurde. Der Exploit zielte auf eine Umgehung der Zwei-Faktor-Authentifizierung in einem Open-Supply-Systemverwaltungstool ab. GTIG arbeitete mit dem Anbieter zusammen, um den Fehler aufzudecken und die Aktivität zu unterbrechen, bevor der Bedrohungsakteur ihn in großem Umfang ausnutzen konnte. Die Gruppe brachte ein breiteres Interesse an der KI-gesteuerten Schwachstellenerkennung mit Akteuren im Zusammenhang mit China und Nordkorea in Verbindung und dokumentierte die KI-gestützte Malware-Entwicklung, einschließlich Instruments, die zur Laufzeit Befehle aus der Modellausgabe generieren.

Nichts davon bedeutet, dass jeder Angreifer plötzlich mit nationalstaatlicher Raffinesse agiert. Genauer gesagt: KI verkürzt den Forschungs- und Iterationszyklus, auf den Angreifer angewiesen sind. Das Testen von Variationen gegenüber einem Ziel kostet jetzt weniger Zeit und weniger Aufwand. Verteidiger haben unterdessen immer noch mit Änderungskontrollprozessen, Anbieterabhängigkeiten, unvollständigen Asset-Inventaren und bestenfalls vierteljährlichen Berechtigungsüberprüfungen zu kämpfen. Die Asymmetrie ist struktureller und nicht universeller Natur: Angreifer können breit angelegte und schnelle Assessments durchführen, während die Verteidiger das Gesamtgewicht aller Identitäten, Systeme und Integrationen tragen, die ein Unternehmen jemals hinzugefügt hat.

Ein Kontrollmodell für Legacy-Systeme und KI-Agenten

Das Ausführen separater Playbooks für „traditionelle Infrastruktur“ und „KI-Sicherheit“ ist nicht mehr haltbar. Jede Seite braucht die gleichen Disziplinen.

Bilden Sie jeden Vertrauenspfad ab, nicht nur jedes Asset. Dokumentieren Sie, welche Personen, Dienstkonten, Auftragnehmer, Verbundpartner, OAuth-Zuschüsse, API-Schlüssel und KI-Agenten lesen, ändern, genehmigen, senden, löschen oder kaufen können, und zeichnen Sie dies für jeden einzelnen und nicht für das System als Ganzes auf.

Beschneiden Sie Privilegien auf der Aktionsebene. Trennen Sie den Lesezugriff vom Schreibzugriff für KI-Instruments: Ein Agent, der E-Mails zusammenfasst, benötigt keine Erlaubnis zum Senden, und ein Agent, der Code überprüft, benötigt keine Anmeldeinformationen für die Bereitstellung. Wenden Sie die gleiche Logik auf ältere Plattformen an, indem Sie veraltete Konten entfernen und den Auftragnehmer- und Partnerzugriff nach einem festen Zeitplan erneut validieren.

Behandeln Sie abgerufene Inhalte standardmäßig als feindselig. KI-Systeme sollten die Herkunft von Webseiten, Dokumenten, Nachrichten und Instrument-Ausgaben markieren und verhindern, dass der Inhalt direkt privilegierte Funktionen auslöst.

Fordern Sie einen Menschen auf, wichtige Aktionen zu genehmigen: externe Kommunikation, Zahlungen, Änderungen an Anmeldeinformationen, Produktionsbereitstellung, Datenlöschung, Zugriffsgewährung und Massenänderungen von Datensätzen. Der Genehmigungsbildschirm muss die genaue Aktion, das Ziel und die Parameter anzeigen. Eine Schaltfläche mit der Bezeichnung „Aufgabe genehmigen“ gibt Ihnen keine wirkliche Kontrolle.

Beobachten Sie das Verhalten, nicht nur die Anmeldungen. Neue Zugriffsmuster, ungewöhnliche Downloads, wiederholte fehlgeschlagene Instrument-Aufrufe und ein Agent, der nach einer Area greift, die niemand genehmigt hat, verdienen Aufmerksamkeit, bevor sie zu einem Vorfallbericht werden.

Führen Sie ein wiederkehrendes Pink-Workforce für den gesamten Workflow durch, einschließlich abgerufener Inhalte, Speicher, Plugins, verbundener Server und des Genehmigungsablaufs selbst, nicht nur des zugrunde liegenden Modells.

Entwerfen Sie eine Eindämmungslösung für die Annahme, dass sich ein Konto oder ein Agent letztendlich schlecht benimmt. Begrenzte Token, kurzlebige Anmeldeinformationen, Sandboxes professional Aufgabe und ein schneller Widerruf begrenzen die Reichweite eines einzelnen böswilligen Akteurs oder einer böswilligen Eingabeaufforderung.

Metriken, die Operatoren verwenden können

Sie brauchen keine neue Abteilung, um die Lücke zu schließen. Verfolgen Sie eine kleine Anzahl von Zahlen, die Ihnen sagen, ob das Vertrauen überprüft wird:

• Prozentsatz der in den letzten 90 Tagen überprüften privilegierten Konten
• Anzahl der ruhenden Companion-, Auftragnehmer- oder Dienstkonten, die noch Zugriff haben
• Prozentsatz der KI-Agenten mit schreibfähigen Instruments und wie viele eine Genehmigung für wirkungsvolle Aktionen benötigen
• Mittlere Zeit, um eine offengelegte Identität oder Integration zu widerrufen
• Abdeckung der Protokollierung auf Aktionsebene über Legacy-Systeme und KI-Agenten hinweg

Keine der oben genannten Metriken erfordert exotische Werkzeuge. Die meisten Organisationen verfügen bereits über die Daten. Was ihnen fehlt, ist die Angewohnheit, die Frage nach einem festen Zeitplan zu stellen, anstatt erst nach einem Vorfall eine Überprüfung erforderlich zu machen.

HSIN und die von Unit 42 dokumentierten Immediate-Injection-Nutzlasten stammten nicht vom selben Angreifer, vom gleichen Exploit oder gar vom gleichen Jahrzehnt der Technologie. Ordnen Sie sie trotzdem an und die Lektion gilt: Keine Identität, kein System, kein Modell, kein Dokument und kein Agent sollte mehr Vertrauen haben, als die vor ihr liegende Aufgabe erfordert, und jede daraus resultierende Aktion muss beobachtbar und umkehrbar bleiben. Unternehmen behandeln Legacy-Infrastruktur und KI-Sicherheit weiterhin als getrennte Disziplinen und werden die Lücke weiterhin auf die gleiche Weise entdecken wie das DHS: im Nachhinein.

Eine Arbeiterin in einer Autofabrik kann sich an den Lagerplatz erinnern, in dem sie am Abend zuvor ein teilweise zusammengebautes Bauteil zurückgelassen hat, und schnell dorthin zurückkehren, um es abzuholen. Aber Roboter, die möglicherweise Seite an Seite mit ihr arbeiten, würden Schwierigkeiten haben, dieselbe Artwork von „räumlich-zeitlichem“ Gedächtnis zu entwickeln und darauf zuzugreifen.

Jetzt haben MIT-Forscher ein Langzeitgedächtnis-Framework entwickelt, das es Robotern ermöglicht, schnell ein detailliertes mentales Modell komplizierter, großräumiger Umgebungen zu bilden und abzurufen.

In Zukunft könnte dieser Fortschritt es dem Fabrikarbeiter ermöglichen, einen Roboterassistenten zum Abholen des Artikels zu schicken, indem er ihn einfach auffordert, „die Komponente zu holen, mit deren Montage wir gestern Abend begonnen haben“.

Diese neue Methode kombiniert fortschrittliche Kartendarstellungen mit ausführlichen Beschreibungen der Umgebung, die der Roboter auf seiner Reise über einen langen Zeitraum sammelt. Auf diesen Speicher kann der Roboter schnell zugreifen, um komplexe Fragen zu seiner Umgebung im Klartext zu beantworten.

Dieses Speicher-Framework, das Fragen genauer beantwortet als modernste Methoden, läuft schnell genug, damit ein mobiler Roboter es in Echtzeit nutzen kann.

Zusätzlich zu ihren potenziellen Einsatzmöglichkeiten in der Robotik könnte diese Methode in Augmented-Actuality-Systemen Anwendung finden, die Wartungsarbeitern bei der Erkennung von Anomalien oder Pendlern bei der Wegfindung helfen.

„Wenn wir wollen, dass Roboter Seite an Seite mit Menschen arbeiten und besser mit Menschen interagieren, müssen sie dieselbe Sprache sprechen. Der Roboter muss in der Lage sein, über Zeit und Raum auf die gleiche Weise zu denken wie Menschen. Genau das macht unsere Methode im Wesentlichen. Sie wandelt eine traditionelle Karte in eine sprachbasierte Karte um, die für den Roboter einfacher zu denken und mithilfe von Sprache leichter zugänglich ist“, sagt Luca Carlone, außerordentlicher Professor an der Abteilung für Luft- und Raumfahrttechnik (AeroAstro) des MIT und leitender Forscher im Labor für Data und Entscheidungssysteme (LIDS) und Direktor des MIT SPARK Laboratory.

Er ist dabei Papier vom Hauptautor Nicolas Gorlo, einem MIT-Absolventen; und Lukas Schmid, ehemaliger Forscher am MIT und jetzt Professor an der Technischen Universität Nürnberg in Deutschland. Die Forschung wurde kürzlich auf der Convention on Pc Imaginative and prescient and Sample Recognition (CVPR) vorgestellt.

Raumzeitliches Gedächtnis

Das Gedächtnis ermöglicht es einem künstlichen Intelligenzsystem, wie einem Chatbot, komplexe Fragen zu beantworten und über frühere Interaktionen mit seinem Benutzer nachzudenken.

„Wir wollen eine neue Artwork von Gedächtnis entwerfen, ein raumzeitliches Gedächtnis, das es einem KI-gesteuerten Roboter ermöglicht, sich an reale Interaktionen und Sensorbeobachtungen zu erinnern. Wie ChatGPT, aber in der realen Welt verankert und in der Lage, jede Frage über die Umgebung zu beantworten, wie zum Beispiel ‚Wo habe ich meine Brieftasche gelassen?‘“, sagt Carlone.

Um ein solches Speicher-Framework zu entwickeln, haben die MIT-Forscher zwei Arbeitsbereiche miteinander verbunden: Pc Imaginative and prescient und Robotic Mapping.

Multimodale Pc-Imaginative and prescient-Modelle können die Objekte in einer Szene verstehen und umfassend beschreiben, verarbeiten jedoch häufig jeweils nur eine einzige Anmerkung. Auf der anderen Seite erstellen Roboter-Mapping-Frameworks 3D-Karten einer Umgebung, etwa einer ganzen Wohnung oder eines Universitätscampus, aber in der Regel fehlen detaillierte Beschreibungen von Objekten oder sie sind rechenintensiv.

Die von den MIT-Forschern entwickelte Methode namens Describe Something, Wherever, Anytime, at Any Second (DAAAM) nutzt das Beste aus beiden Ansätzen.

Wenn ein Roboter mithilfe von DAAAM seine Umgebung durchquert, fügt er den Objekten, die er sieht, ausführliche Beschreibungen hinzu. Beispielsweise kann der Roboter feststellen, dass ein bestimmtes Gebäude auf dem MIT-Campus Stata Heart heißt und mit einer bestimmten Architektur entworfen wurde, oder dass ein Fahrradständer fünf Fahrräder fasst und das rote einen platten Reifen hat.

Diese detaillierten Informationen werden in einer 3D-kartenbasierten Darstellung gespeichert, die räumlich angeordnet ist, sodass Objekte in separate Regionen gruppiert werden. Auf diese Weise kann sich der Roboter merken, dass das rote Fahrrad mit dem platten Reifen im Fahrradständer vor dem Stata Heart steht.

Aber bestehende Techniken, die derart umfangreiche Beschreibungen erfassen, benötigen in der Regel einige Sekunden, um einige Objekte mit Anmerkungen zu versehen. Dies ist für eine Echtzeitleistung zu langsam, da ein Roboter während der Erkundung in wenigen Minuten Hunderte von Objekten sehen könnte.

„Je schneller der Roboter dieses räumliche Gedächtnis aufbauen kann, desto effizienter wird er Aktionen in der Umgebung ausführen“, fügt Carlone hinzu.

Optimierung des Prozesses

Um die Arbeit zu beschleunigen, aggregiert DAAAM auf seiner Reise in der Nähe befindliche Objekte und verwendet eine Optimierungsmethode, um Schlüsselbilder zum Kommentieren auszuwählen. Hierbei handelt es sich um Bilder mit der klarsten Sicht auf mehrere Objekte, die es dem System ermöglichen, mehrere Elemente parallel gründlich zu beschreiben und so die Berechnung um das Zehnfache zu beschleunigen.

Während der Roboter den Raum erkundet, fügt er jeden Stapel von Anmerkungen mehreren Objekten an einem bestimmten Ort auf der 3D-Karte hinzu.

„Wir kommentieren jedes Objekt nur einmal, sodass unser Framework in sehr großen Umgebungen in Echtzeit ausgeführt werden kann. Und durch die Gruppierung von Objekten in Regionen kann es eine breite Palette von Anfragen zu Objekten und Standorten in der Umgebung beantworten“, erklärt Gorlo.

Sobald das System dieses räumliche Gedächtnis aufgebaut hat, muss es auf effiziente Weise Informationen aus einer riesigen Datenbank mit Objekten und Beschreibungen abrufen.

Um dies zu ermöglichen, nutzten die Forscher ein LLM, das auf verschiedene Instruments zurückgreift, die schnell spezifische Informationen abrufen und so Halluzinationen reduzieren können. Dadurch kann DAAAM eine Benutzeranfrage in nur wenigen Sekunden präzise beantworten.

Wenn man beispielsweise einen Roboter nach einer bestimmten Skulptur fragt, die er in der Nähe eines MIT-Campusgebäudes gesehen hat, kann DAAAM ein semantisches Suchtool verwenden, um Informationen basierend auf dem Wort „Skulptur“ abzurufen, oder ein anderes Device, um Informationen basierend auf dem Standort des Gebäudes abzurufen.

Beim Take a look at und Vergleich mit anderen Methoden struggle DAAAM je nach Fragetyp zwischen 21 und 53 Prozent genauer.

Zukünftig wollen die Forscher DAAAM erweitern, damit das System bedeutende Ereignisse in der Umgebung erfassen kann. Sie arbeiten auch daran, Vertrauensniveaus in die Antworten des Techniques einzubeziehen.

„Letztendlich wollen wir Roboter haben, die bei jeder Artwork von Aufgabe helfen können. Mit diesem Rahmen versuchen wir, die Grundlagen zu schaffen, um einen generalistischen Agenten zu ermöglichen, der alles tun kann, was Sie verlangen“, sagt Gorlo.

Diese Forschung wurde teilweise vom US Military Analysis Laboratory und dem Workplace of Naval Analysis finanziert. Carlone befindet sich derzeit im Sabbatical als Amazon Scholar; Dieser Artikel beschreibt die am MIT durchgeführte Arbeit und steht in keiner Verbindung zu Amazon.

Die Preisverschiebung von GitHub Copilot: Warum KI-Codierungsassistenten in die Ära der Unit Economics eintreten

Durch die Preisänderung von GitHub Copilot am 1. Juni wurde aus einem vorhersehbaren Monatsabonnement eine gestaffelt berechnete Rechenleistung. Die Gegenreaktion der Entwickler kam sofort. Wichtiger als der Lärm ist jedoch, was die Gegenreaktion signalisiert: KI-Codierungsassistenten können die Kosten auf Infrastrukturebene nicht länger hinter einfachen SaaS-Abonnements verbergen.

GitHub hat Copilot von Anfragen auf AI Credit verschoben

Vor dem 1. Juni 2026 verbrauchten Copilot-Benutzer „Premium-Anfrageeinheiten“, die an ihre Planstufe gebunden waren. Ab dem 1. Juni läuft die gesamte Copilot-Nutzung auf GitHub AI Credit, wobei 1 AI Credit score 0,01 $ entspricht und der tatsächliche Verbrauch vom ausgewählten Modell und der Anzahl der verarbeiteten Token, Eingabetoken, Ausgabetoken und zwischengespeicherten Token abhängt.

GitHub ließ die Grundpreise für Abonnements unverändert. Copilot Professional bleibt bei 10 $ professional Monat. Professional+ kostet weiterhin 39 $ professional Monat. Der Geschäftspreis beträgt 19 US-Greenback professional Benutzer und Monat. Enterprise bleibt bei 39 US-Greenback professional Benutzer und Monat. Copilot Max, die höchste Einzelstufe, kostet 100 US-Greenback professional Monat. GitHub hat die inbegriffene Nutzung in monatliche AI-Credit umgewandelt: Professional-Pläne erhalten insgesamt 1.500 monatliche AI-Credit, Professional+-Pläne erhalten 7.000 und Max-Pläne erhalten 20.000.

GitHub kann ehrlich sagen, dass es die Preise nicht erhöht hat. Die Artwork und Weise, wie die Nutzung gemessen wird, hat sich jedoch in einer Weise verändert, die für Vielnutzer von enormer Bedeutung ist.

Was noch im Lieferumfang enthalten ist

Code-Vervollständigungen und Vorschläge für die nächste Bearbeitung bleiben bei kostenpflichtigen Plänen enthalten und verbrauchen keine AI-Credit. Für Entwickler, die Copilot hauptsächlich als Inline-Autovervollständigungs-Engine verwenden, hat die Änderung am 1. Juni nur minimale finanzielle Auswirkungen.

Die kreditbasierte Abrechnung gilt für Funktionen, die mehr Rechenleistung verbrauchen: Copilot Chat, Copilot CLI, der Cloud-Agent, Copilot Areas, Spark und Codierungsagenten von Drittanbietern. Die Copilot-Codeüberprüfung ist mit einer komplizierten Kostenstruktur verbunden, da sie sowohl AI-Credit als auch GitHub-Aktionsminuten in Anspruch nimmt.

Der Schmerz konzentriert sich auf Agenten-Workflows und lange Kontextsitzungen. Ein Entwickler, der mehrstufige Agentenaufgaben, ausgedehnte Chat-Sitzungen mit Frontier-Modellen oder große Codebasis-Refaktoren ausführt, sieht möglicherweise eine ganz andere Rechnung als jemand, der bei Standardvervollständigungen bleibt.

Warum Entwickler so heftig reagierten

Die Gegenreaktion begann quick unmittelbar nach Inkrafttreten des 1. Juni. Enterprise Insider berichtete, dass Benutzer Screenshots gepostet haben, auf denen Rechnungen zu sehen waren, die Hunderte von Greenback über den vorherigen monatlichen Kosten lagen. Ein Reddit-Benutzer prognostizierte für den nächsten Monat eine Rechnung von 847 US-Greenback. Ein separater, von Benutzern gemeldeter Vergleich ergab, dass die Kosten von 44,68 $ auf 754,29 $ stiegen. Enterprise Insider führte beide Zahlen auf Benutzer-Screenshots und -Beiträge zurück, nicht auf verifizierte durchschnittliche Kundenergebnisse, aber die Kluft zwischen alten und neuen Kosten ist kaum zu übersehen.

Die Frustration geht tiefer als Geld. Die Entwickler akzeptierten Copilot, weil es sich vorhersehbar anfühlte. Eine monatliche Pauschalgebühr dient als Erlaubnis zur Nutzung eines Instruments, ohne dass die Kosten für jede Interaktion berechnet werden. Durch die Token-Preisgestaltung wird diese Erlaubnis aufgehoben. Ein Entwickler kann nicht einfach vorhersagen, ob ein Refactoring, eine Codeüberprüfung oder eine Agentensitzung einen bescheidenen Teil des monatlichen Guthabens verbrauchen oder das gesamte Guthaben aufbrauchen wird, bevor der Abrechnungszeitraum endet.

GitHub verschlimmerte das Unbehagen, indem es das Fallback-Erlebnis entfernte, das Benutzern, die Premium-Anfragen ausgeschöpft hatten, zuvor ermöglichte, weiterhin mit kostengünstigeren Modellen zu arbeiten. Energy-Consumer haben nach Überschreitung der enthaltenen Nutzungsdauer kein Sicherheitsnetz mehr.

Neue Anmeldungen werden unterbrochen, da GitHub den Übergang verwaltet

Auf der aktuellen Preisseite von GitHub ist zu sehen, dass neue Anmeldungen für die Pläne Copilot Professional, Professional+ und Max vorübergehend ausgesetzt sind. Die Plattform gibt an, dass sie daran arbeitet, „ein qualitativ hochwertiges Erlebnis zu gewährleisten“, bevor die Registrierung wieder aufgenommen wird. Bestehende Benutzer können weiterhin zwischen den Stufen upgraden, und der kostenlose Plan bleibt für neue Benutzer offen, aber jeder, der zum ersten Mal versucht, einen kostenpflichtigen Einzelplan zu abonnieren, wird feststellen, dass die Tür verschlossen ist.

Das Pausieren neuer Anmeldungen während einer umfassenden Rechnungsüberarbeitung ist für ein Produkt in einem wettbewerbsintensiven Markt keine gängige Praxis. Dies deutet darauf hin, dass GitHub etwas verwaltet: sei es die Infrastrukturlast durch das neue Kreditsystem, das Supportvolumen durch verwirrte bestehende Benutzer oder die Notwendigkeit, zu überprüfen, ob das Abrechnungserlebnis zuverlässig und in großem Maßstab funktioniert, bevor neue Abonnenten gewonnen werden. Was auch immer der interne Grund sein magazine, die Optik landet schlecht in einem Second, in dem sich die Entwickler bereits fragen, ob das neue Preismodell zu ihren Gunsten funktioniert. Ein Produkt, das sich seiner Markteinführung sicher ist, verschließt nicht die Haustür.

Das Margenproblem von GitHub ist das Margenproblem der KI-Branche

Die Begründung von GitHub ist eindeutig. GitHubs Chief Product Officer Mario Rodriguez schrieb, dass eine kurze Chat-Frage und eine mehrstündige autonome Codierungssitzung den Benutzer zuvor denselben monatlichen Betrag kosten konnten, während GitHub einen Großteil der steigenden Inferenzkosten auf sich nahm.

Die Logik gilt aus infrastruktureller Sicht. Herkömmliche SaaS-Produkte verzeichnen tendenziell bessere Bruttomargen, wenn die Benutzerbasis wächst, da die Grenzkosten niedrig sind und die Infrastruktur effizient skaliert werden kann. KI-Assistenten stehen unter unterschiedlichem Druck. Ein intensiver Benutzer, der Agenten-Workflows ausführt, kann mehrere Modellaufrufe auslösen, große Kontextfenster verarbeiten, lange Ausgaben generieren und die Software-Nutzung über viele Dateien hinweg ausführen. Die Bereitstellung einer einzelnen Sitzung kann weitaus mehr kosten als eine Woche mit Standardabschlüssen.

Wenn eine kleine Gruppe von Energy-Usern einen unverhältnismäßig großen Anteil an Inferenzressourcen verbraucht und dabei die gleiche Pauschalgebühr zahlt wie Gelegenheitsnutzer, bricht das Geschäftsmodell zusammen. Der Schritt von GitHub hin zu AI Credit ist ein Versuch, die Margendisziplin wiederherzustellen, indem die Kundenrechnungen an den tatsächlichen Rechenverbrauch angepasst werden.

Der Gartner-Analyst Arun Chandrasekaran sagte gegenüber Enterprise Insider, dass Copilot „ein frühes Beispiel“ dafür sein könnte, dass mehr Anbieter auf token- oder verbrauchsbasierte Preise umsteigen, da fortschrittliche Argumentationsmodelle und Agenten-Workflows die Inferenzkosten in die Höhe treiben. Die Preisverschiebung ist für GitHub nicht eigenwillig. Es spiegelt ein strukturelles Spannungsverhältnis wider, das jeder Anbieter, der Grenzmodelle einbettet, irgendwann lösen muss.

Der Unternehmensvorteil

Das kreditbasierte Modell schafft eine sichtbare Spaltung zwischen Unternehmenskäufern und einzelnen Entwicklern.

Unternehmenspläne geben Unternehmen die Werkzeuge an die Hand, um den Verbrauch zu absorbieren und zu steuern. GitHub Enterprise- und Enterprise-Pläne umfassen gepoolte Nutzung, Administratorkontrollen und Budgettransparenz. Ein Unternehmen kann Ausgabenrichtlinien festlegen, die Nutzung durch das Staff überwachen und KI-Kosten anhand dokumentierter Produktivitätsergebnisse rechtfertigen. Wenn eine große geplante Rechnung ein Beschaffungssystem erreicht, das den ROI von Hunderten von Entwicklern verfolgt, ist die Rechnung überschaubar. Wenn dieselbe Rechnung auf der Kreditkarte eines einzelnen Entwicklers oder auf der monatlichen Ausgabenlinie eines kleinen Studios landet, stellt das einen echten Budgetschock dar.

Einzelne Entwickler und kleine Groups tragen die volle Belastung eines jeden Monats mit hoher Auslastung, ohne die Möglichkeit zu haben, Credit zu bündeln oder Spitzen über eine große Benutzerbasis hinweg zu absorbieren. Die Subventionsphase von KI-Codierungstools, in der die Anbieter hohe Kosten übernahmen, um die Einführung voranzutreiben, scheint zunächst für einzelne Benutzer zu enden.

Das Muster bei GitHub ist nicht exklusiv für GitHub. Cursor verwendet ein hybrides Preismodell, bei dem die Pläne eine festgelegte Menge an Modellnutzung beinhalten, während Kunden die On-Demand-Nutzung aktivieren können, nachdem sie das enthaltene Kontingent verbraucht haben. Das zu Cognition gehörende Unternehmen Windsurf ist im März 2026 von einer kreditbasierten Preisgestaltung auf tägliche und wöchentliche Nutzungskontingente umgestiegen. Auf dem gesamten KI-Codierungsmarkt preisen Anbieter Knappheit an: Rechenzugriff, Frontier-Modell-Inferenz, lange Kontextfenster und Agentenausführung.

Die Analogie, an der es sich zu halten lohnt: Entwickler verstehen Professional-Seat-SaaS. Eine Lizenzgebühr professional Individual und Monat ist einfach und vorhersehbar. Entwickler verstehen auch die Pay-as-you-go-Cloud-Abrechnung, bei der jeder API-Aufruf und jede Rechenminute einen Preis hat. KI-Codierungstools vermischen zunehmend beide Modelle und präsentieren sich als SaaS-Produkte, verhalten sich aber unter der Oberfläche wie eine Cloud-Infrastruktur.

Das Risiko für KI-SaaS-Anbieter

Der Übergang von GitHub offenbart ein Dilemma, mit dem jedes Unternehmen konfrontiert ist, das KI-Produkte auf der Grundlage von Frontier-Inferenz entwickelt.

Der Preis ist zu niedrig und starke Nutzer zerstören die Margen. Zu aggressiv messen, und Kunden reduzieren den Verbrauch oder suchen nach Alternativen. Verheimlichen Sie die wahre Kostenstruktur, und Überraschungsrechnungen untergraben das Vertrauen. Wenn zu viele Messdetails offengelegt werden, fühlt sich das Produkt eher wie eine Abrechnungsübung als wie ein Produktivitätstool an.

Das beste Benutzererlebnis für einen KI-Codierungsassistenten fühlt sich unbegrenzt und reibungslos an. Ein finanziell nachhaltiges Geschäftsmodell erfordert Nutzungsdisziplin. Die Lücke zwischen diesen beiden Anforderungen zu schließen, ist die zentrale Herausforderung für KI-SaaS-Anbieter bis zum Ende des Jahres 2026.

Was der Markt als nächstes erwarten sollte

Immer mehr KI-Produkte werden sich hybriden Preisstrukturen zuwenden: ein Basisabonnement gepaart mit Credit, Modellstufen, Nutzungsbudgets und Unternehmenspooling. Anbieter werden Benutzer zunehmend zu günstigeren Modellen für Routineaufgaben leiten, während sie Grenzinferenzen für hochwertige Arbeiten reservieren. Unternehmenskäufer bewerten KI-Instruments nicht nur nach der Ausgabequalität, sondern auch nach Kostenvorhersehbarkeit, Verwaltungskontrollen und messbaren Produktivitätsrenditen.

Der Preisrückgang von GitHub Copilot bedeutet nicht, dass die KI-Codierungsassistenten versagen. Das bedeutet, dass die Förderphase endet. In der nächsten Part werden KI-Produkte belohnt, die Nutzungskosten sichtbar, kontrollierbar und vertretbar machen können, ohne jede Aufforderung in eine Budgetierungsübung zu verwandeln. Anbieter, die das Nutzungskostenproblem lösen, werden ein dauerhaftes Geschäft haben. Anbieter, die dies nicht tun, werden mit einer Model der Krise vom 1. Juni in größerem Ausmaß konfrontiert sein.

ChatGPT ist ein typisches einmonatiges Praktikumsproblem im Datenbereich. Das Drawback wurde in gewisser Weise „gelöst“, aber ich bin mir nicht sicher, ob es das bedeutet, was ich mir vorgestellt habe. Für Daten- und KI-Praktiker ist dies mittlerweile eine sehr praktische Frage. Viele Groups nutzen Praktikanten oder Forschungsspitzen, um Ideen zu erkunden: Ist KI jetzt intestine genug? Geht es bei diesen Projekten nur um das endgültige Artefakt?

Praktikanten als Entdecker

Die Erstellung einer Technologie-Roadmap bei einem Daten-Startup in der Frühphase unterscheidet sich nicht wesentlich von einer typischen Videospiel-Karte:

Die Roadmap ist nicht nur viel umfassender als das, was Sie tun können, sondern auch was Sie können sehen. Wenn wir nur einen Blick über den „(Produkt-)Horizont“ werfen könnten, indem wir einen Entdecker schicken, um die Karte zu räumen, dann würden wir uns darüber im Klaren sein, was Sie erwartet sobald du dort angekommen bist (Der Entdecker könnte sterben, daher ist die Analogie bis zu einem gewissen Punkt intestine).

Bauplan (welches Ich conflict Mitbegründer im Jahr 2024) hat die (für seine Größe) ungewöhnliche Entscheidung getroffen, Sommerpraktika an Prime-Institutionen (Columbia College, CMU, College of Wisconsin–Madison) anzubieten, um einen Blick über den Horizont zu werfen. Es hat bisher sehr intestine funktioniert. Abgesehen von einem besseren Einstellungstrichter, einem besseren Ansehen in der Gemeinschaft und einer gewissen sozialen Schlagkraft wurden Untersuchungen durchgeführt ihren Weg in unser Produktund werden im Zuge des Unternehmenswachstums zu strategischen Vermögenswerten.

Während ich Praktikumsangebote für den Sommer 2026 verschicke, sagt mir die Hälfte meines X-Feeds, dass ich alles falsch mache. Alles andere als ein hypothetisches Drawback, in unterschiedlichen Stadien, Größen und Einschränkungen, alle Daten- und KI-Groups Heute stehen vor der gleichen Frage: Gibt es jetzt eine bessere Möglichkeit, Forschungsspitzen mit Agenten durchzuführen? Wenn ja, was ist ein gutes, getestetes KI-Setup, das sich leicht anpassen lässt?

In der Hoffnung, dass unsere Erfahrung und Perspektive für viele Datenpraktiker wertvoll sein werden, ist dies unser Aufbau und die Lehren, die wir aus einem echten Forschungsschub durch die Kombination mit ChatGPT gezogen haben.

Zuerst kamen sie, um die Berater zu holen, und ich habe mich nicht dazu geäußert …

In einer Zeit, in der KI eine Bedrohung für Wissensarbeiter darstellt, scheinen die Junior-Positionen diejenigen zu sein, die zuerst fallen. Warum sollte McKinsey einen Ivy-League-Analysten engagieren, wenn ein 200-Greenback-Abonnement schneller mehr Berichte produziert? In letzter Zeit scheint mein Feed darauf hinzudeuten, dass die KI möglicherweise auch hinter Forschern her ist und Akademiker versuchen, sich selbst zu automatisieren – „völlig autonome Forschung von der Idee zum Papier“ – und Professoren diskutieren darüber, ob das so ist Stellen Sie keine Assistenten mehr ein.

Es gibt offensichtliche Argumente, sich dem Development zu widersetzen. Wir können das angreifen Ergebnisund argumentieren, dass die Technologie immer noch fehlerhaft ist, sodass die versprochene „Ivy League“-Parität einfach nicht gegeben ist. Wir können argumentieren, dass die Gesellschaftsvertrag wird gebrochen: Natürlich waren junge Forscher immer (in gewissem Sinne) eine „Final“, aber diese Final conflict sowohl eine Möglichkeit, sie voranzutreiben, als auch eine Investition in die nächste Era. Wir können auch das Potenzial hervorheben Langzeitschäden einen wohlverstandenen Denkprozess durch einen neuen, ungetesteten Arbeitsablauf zu ersetzen.

Obwohl hinter all diesen Argumenten Gewicht steckt, könnten oberflächlich betrachtet parallele Argumente für die Erfindung von Autos oder was auch immer ausgelegt werden. Es gibt immer eine Zeit und einen Ort für diese Debatten, aber mein Interesse Heute ist viel lokaler und persönlicher: Wie würde es sich anfühlen, wenn ICH Sollte ich meine Praktikanten für ein 200-Greenback-Abonnement im Stich lassen?

Additionally (nicht unähnlich diese Physik (Experiment, das ich kürzlich entdeckt habe) Ich habe versucht, den Monat eines Praktikanten mit ChatGPT in ein Wochenende zu quetschen.

Auch wenn das genaue Drawback nicht besonders wichtig ist, kann es hilfreich sein, den Rahmen des Praktikums festzulegen, um ein Gefühl dafür zu bekommen Typ was Praktikanten bei Bauplan machen (gerne überspringen!). Bauplan ist eine verzweigte Datenplattform: Agenten und Menschen können Git-ähnliche Zweige auf ihrer Plattform öffnen Tische. Infolgedessen kann dieselbe Tabelle in verschiedenen Zweigen unterschiedliche Versionen haben. In unserem motivierenden Beispiel Acme Inc. ist ein On-line-Händler, bei dem ein Schwarm von Datenagenten damit beauftragt ist, unterschiedliche Vorhersagen über die Verkäufe von morgen zu treffen:

Im Idealfall würde ein Mensch die Arbeit überprüfen, die Ergebnisse vergleichen und gegenüberstellen und sie dann zusammenführen Vorhersagen Tabelle als Die kanonische Datendarstellung. Was aber, wenn jemand eine Frage stellt, bevor das passiert?

Bestehende Systeme würden sich einfach weigern, eine Antwort zu geben, selbst wenn sich das intuitiv als Verschwendung anfühlt: Zwei Agenten, die den monatlichen Umsatz berechnen, sind sich möglicherweise nicht einig über die genaue Zahl, aber beide sind sich einig, dass der Umsatz im Vergleich zum Vorquartal um mehr als 10 % gestiegen ist. Mit anderen Worten: Auch wenn es keine systemweit vereinbarte Model der Daten gibt, können wir könnte noch viele interessante Fragen beantworten.

Unser Praktikumsziel ist es dann, einen Prototyp eines solchen Techniques zu bauen. Es erfordert das Erlernen von Verzweigungen, das Erlernen neuer Mathematik, das Entwerfen einer Lösung auf der Grundlage von Bauplan sowie die Erstellung eines Textual content-zu-SQL-Moduls (einfach) und eines benutzerdefinierten Abfragepfads (schwer).

Das KI-Setup

Bauplaner hatten kürzlich das Privileg, den einzigartigen Wes McKinney bei einer Dwell-Demo seines Setups zu sehen, additionally habe ich beschlossen, es zu übernehmen (mit einigen kleinen Änderungen):

• ChatGPT 5.2 zum Planen und Entscheiden von Strategien (z. B. wie man einen Benchmark entwirft, der den Unterschied zwischen technischen Ansätzen hervorhebt);
• Claude Code in Visible Studio, um die eigentliche Entwicklungsschleife durchzuführen;
• Roborev um Commits lokal kontradiktorisch zu überprüfen. Die von Codex unterstützten Bewertungen heben potenzielle Probleme hervor und schlagen Verbesserungen vor.
• Roborev überprüft etwa alle 10 Commits, um die Projektkomplexität zu bändigen: Diese Überprüfungen nehmen einen architektonischen Standpunkt ein und helfen dabei, die Aufblähung zu reduzieren.

Der wahre Schatz waren die Freunde, die wir unterwegs kennengelernt haben

Da ich den Gedanken nicht ertragen kann, dass KI für mich schreibt (weil ich ehrlich gesagt auch den Gedanken nicht ertragen kann, dass Praktikanten das für mich tun), habe ich den letzten Textual content geschrieben ich selbst. Da Praktika in der Regel damit enden, dass die Ergebnisse mit der Group geteilt werden, hatte ich am Ende genug Dinge für ein ACM SAO Papier, „Alles überall auf einmal abfragen“.

In gewisser Hinsicht hatte die X-Crowd Recht: Selbst wenn man eine Qualitätsinkongruenz zugab, habe ich die KI 48 Stunden lang betreut, um, sagen wir, 80 % dessen zu erledigen, was Wochen gedauert hätte. Interessanterweise ist Babysitten von anderer Natur: Die KI ist so begierig darauf, zufrieden zu sein, dass sie am Ende oft „schummelt“, um durch fest codierte Verknüpfungen oberflächliche Ergebnisse zu erzielen. Während viele Daten- und KI-Probleme oberflächlich betrachtet leicht zu überprüfen sind, lassen sie sich unserer Erfahrung nach auch leicht ausspielen: Dies gilt insbesondere dann, wenn die Interpretation des Versuchsaufbaus differenziert ist oder die endgültige Metrik nicht eindeutig ist: Sie sollten dreimal überprüfen, ob Ihre KI-Agenten bergauf klettern oder nur so tun.

Andererseits muss die KI nicht über Tarskis Modelle oder Wahrheitsschwemme aufgeklärt werden, da das Anhängen einiger Papiere ausreicht, um sofort loslegen zu können. Die Ergebnisse waren auch „greifbar“: Ich habe eine intestine aussehende Net-App, ohne D3.js erneut in die Hand nehmen zu müssen (10 Jahre nach meinem letzten Mal!), und ein Demo-Skript, das Agenten-Pipelines und Geschäftsfragen über Zweige simuliert. Wenn Sie das glauben (wie ich). Prototypen schlagen im Allgemeinen PowerPoint (oder Papiere) besteht kein Zweifel am gelieferten KI-Stack etwas.

Schwieriger in Worte zu fassen ist, was nicht geliefert wurde, oder genauer gesagt, was ICH dabei verloren. Bei aller Aufregung über das unglaubliche Diagramm und den überraschenden Benchmark hat nichts davon wirklich mehr hervorgebracht Verständnis. Ich bin nicht klüger geworden, weil ich den Forschungsvorgang durchlaufen habe: Ich habe etwas mehr Instinct als zuvor (z. B. wie ich besser zu guten SQL-Übersetzungen auffordern kann), aber meine mentalen Modelle haben weitgehend die gleiche Auflösung wie zu Beginn. Die Arbeit mit Praktikanten kann zeitaufwändig und manchmal sogar frustrierend sein, aber sie bringt bei ihnen immer bessere Gedanken hervor Und mich selbst: Indem sie sie erklären und betreuen, erklären und betreuen sie mich in gewisser Weise auch.

Wenn ich jetzt Ergebnisse bekomme, ohne viel zu lernen, fühle ich mich unwohl, vor allem weil nicht klar ist, ob das so ist sollte wichtig sein. Ich meine nicht, ob es auf globaler Ebene wichtig ist: Natürlich Wenn unsere Kinder nicht mehr lernen und unsere Wissenschaftler das Denken auf ein Gespräch verlagern, ist das schlecht. Ich bin jetzt nur noch bescheiden darauf konzentriert Das: Ist es für mich, für mein Unternehmen, für meine Investoren von Bedeutung?

Die lokale, persönliche Antwort ist weniger eindeutig – es sei denn, Sie haben ein sehr übertriebenes Selbstbewusstsein. Ich weiß, wie man programmiert, und ich könnte wahrscheinlich noch ein wenig mathematische Logik beibringen, daher geht dieses Projekt in gewisser Weise sowieso nicht auf neue Wege: Vielleicht ist es das auch nicht so viel zu lernen Hier (abgesehen von der Machbarkeit des Ganzen, die ich natürlich von Anfang an vermutet habe) und dem Unbehagen, das ich empfinde, ist das Erbe einer früheren Denkweise. OderVielleicht gibt es keine Aufgabe, die zu bescheiden ist, um eine etwas bessere Model von mir selbst zu werden: die Kleinarbeit zu erledigen, unsere APIs mit einem Diagramm zu verbinden, DataFusion 13 Mal nicht zu kompilieren, hin und her zu gehen, wie man Abfragen für einen überzeugenden Benchmark auswählt, bei dem kein anderes System unseren Abfragepfad ausdrücken – geschweige denn berechnen – kann. Ich fühle mich unwohl, weil reale Projekte für reale, nicht zu sehr egoistische Menschen eine sehr große Oberfläche von Problemen aufweisen, bei denen es sich offensichtlich weder um das Denken nach den ersten Prinzipien noch um offensichtliche Implementierungsdetails handelt.

Ich habe kein Drawback Heute (Morgen werden wir sehen…) mit der vereinfachenden Ansicht, dass Menschen denken sollten und LLMs die Matplotlib-Syntax korrigieren sollten. Aber ich habe mit der großen Grauzone zu kämpfen dazwischenund die innere Stimme flüstert das durch die Behandlung alles Als Implementierungsdetail werden meine Gedanken bald nicht mehr scharf sein. Werden wir wie diese VCs, die „Muster anpassen“ und alle Nuancen verlieren? Ist der Sinn eines Beweises, der einen Satz beweist (jedoch Außerirdisch aussehend, könnte der Beweis sein) oder uns einen Roman geben Verständnis?

Die Zukunft kann (ein bisschen) warten

Beobachten meine Entscheidungen (und nicht meine Gefühle) für den Sommer 2026 offenbaren tatsächlich die Konsequenzen dieses Experiments. Bauplan hat zwei (menschliche) Praktikanten eingestellt, zwei junge, talentierte, motivierte Informatiker, die dafür verantwortlich sind, die Grenzen unserer Produktkarte im Hinblick auf die Finish-to-Finish-KI-Optimierung (Fähigkeitsentwicklung mit GEPA) und die Skalierung von Git-for-Knowledge zu erkunden. Aus praktischer Sicht habe ich die gleiche Entscheidung getroffen wie vor diesem Projekt. Allerdings glaube ich nicht, dass ich unversehrt davongekommen bin: Meine Gefühle werden sich irgendwann in neuen Konzepten kristallisieren und dann meine Entscheidungen beeinflussen.

Einerseits als großer Fan des Kleiner PrinzMir ist nicht entgangen, dass es die mit dieser Rose verschwendete Zeit conflict, die es wichtig gemacht hat: Die Zeit, die ich diesen Sommer mit meinen Praktikanten verbringe, wird sie (glaube ich) und unser gemeinsames Projekt noch wichtiger machen. Andererseits trifft das meine heutige Stimmung nur teilweise zu. Ich musste im Internetarchiv stöbern, um etwas wiederherzustellen, an das ich mich kürzlich aus dem Jahr 2006 erinnerte (anscheinend ist die mathematische Logik nicht das Einzige, woran ich mich aus meinen Zwanzigern erinnere). Dies ist der Eintrag Nr. 1 in Blenders „50 Am schlimmsten Dinge, die mit Musik passieren können“:

#01. KINDER HEUTE

Damals hatten wir keine Ihrer schicken iPods, Klingeltöne und Downloads. Wir hatten nicht den Luxus und die Bequemlichkeit Ihrer Hodensackringe und Ihrer World Broad Net-Protokolle. Als wir das neue URIAH HEEP-Album stehlen wollten, konnten wir nicht einfach im Web danach suchen, sondern mussten es auf die altmodische Artwork und Weise tun – indem wir zum Laden gingen (bergauf, in beide Richtungen) und 12″ Vinyl unter unsere Pullover schoben (die wir selbst stricken mussten). Das ist der Grund, warum ihr heulenden Peitschenhiebe den wahren Wert der Musik nicht zu schätzen weißt. Oder Uriah Heep. Und jetzt verschwinde von unserem Rasen!

Werden wir den „wahren Wert der Dinge“ immer noch zu schätzen wissen, wenn wir sie jetzt bequem von unseren Laptops aus „stehlen“ können?

Wir sehen uns, Agenten-Cowboys

Vielen Dank an Luca, Colin und Ethan für ihre Kommentare zu einem früheren Entwurf dieses Artikels.

Wenn Sie ein Bauplan-Praktikant werden und coole Daten- und KI-Sachen machen möchten (wie Das oder Das oder Das), ich akzeptiere immer noch menschliche Kandidaten: Nehmen Sie Kontakt auf!

80 Jahre. Unzählige Mathematiker. Eine KI-Eingabeaufforderung.

Quick 80 Jahre lang versuchten die besten mathematischen Köpfe der Welt, das Erdős-Einheitsentfernungsproblem zu lösen. Keiner von ihnen tat es. Im Mai 2026 widerlegte ein internes OpenAI-Argumentationsmodell die seit langem vermutete Obergrenze, indem es mit einer einzigen Eingabeaufforderung arbeitete und 125 Seiten Originalmathematik produzierte, die neun externe Mathematiker, darunter Fields-Medaillengewinner Tim Gowers, als korrekt bestätigten.

Die Frage ist nun nicht, ob KI forschen kann. Die Frage ist, was mit der Forschung passiert.

Das Downside, das niemand lösen konnte

Die Erdős-Einheitsabstandsvermutung stellt eine täuschend einfache geometrische Frage: Wie viele Paare können bei gegebenen n Punkten in einer Ebene maximal genau eine Einheit voneinander entfernt sein? Quick acht Jahrzehnte lang waren quadratische Gitter führend. Die mathematische Gemeinschaft ging davon aus, dass keine Anordnung wesentlich besser sein könnte. Niemand konnte das Gegenteil beweisen.

Das interne Modell von OpenAI widerlegte die Annahme anhand einer einzigen Eingabeaufforderung. Bei dem Modell handelte es sich um ein allgemeines Argumentationssystem, das nicht für die Mathematik entwickelt, auf Beweisstrategien trainiert oder auf das Einheitsdistanzproblem ausgerichtet warfare. Aus einer maschinell umgeschriebenen Model von Erdős‘ ursprünglicher Frage entstand eine 125-seitige Argumentationskette, die sich auf die Golod-Shafarevich-Theorie und unendliche Klassenfeldtürme stützte, Zweige der algebraischen Zahlentheorie, die weit außerhalb des Mainstreams der diskreten Geometrie liegen. Das Ergebnis: eine unendliche Familie von Punktkonfigurationen, die mindestens n^(1+δ) Einheitsabstandspaare für ein festes δ größer als Null erzeugt, eine polynomielle Verbesserung gegenüber den gitterbasierten Konstruktionen, die das Downside jahrzehntelang dominiert hatten.

Die neun externen Mathematiker-Co-Autoren des Begleitpapiers, darunter Gowers, Will Sawin (Luisa und Robert Fernholz ’62 Professor für Mathematik in Princeton) und Noga Alon, überprüften das Ergebnis und beschrieben es als eine vom Menschen verifizierte Model des von OpenAI generierten Gegenbeispiels. Sawin leitete am selben Tag unabhängig eine schärfere Grenze ab und setzte δ auf 0,014.

Gowers, einer der anerkanntesten Mathematiker der Gegenwart, brachte es klar auf den Punkt: „Es besteht kein Zweifel daran, dass die Lösung des Einheitsabstandsproblems ein Meilenstein in der KI-Mathematik ist: Wenn ein Mensch die Arbeit geschrieben und bei den Annals of Arithmetic eingereicht hätte und ich um eine schnelle Meinung gebeten worden wäre, hätte ich die Annahme ohne zu zögern empfohlen. Kein früherer KI-generierter Beweis kam dem nahe.“

Warum sich dies vom KI-Mathe-Hype zuvor unterscheidet

OpenAI hat bereits Fortschritte bei mathematischen Benchmarks vermeldet. So auch Google DeepMind. Beide stießen auf Skepsis, und das zu Recht. Die Benchmark-Leistung misst die Mustererkennung, nicht den ursprünglichen Gedanken. Ein Modell kann bei Mathematiktests intestine abschneiden, indem es die Exams lernt.

Das Erdős-Ergebnis unterscheidet sich in drei konkreten Punkten. Das Downside warfare offen und wirklich ungelöst, was bedeutete, dass das Modell eine bekannte Antwort nicht abrufen oder neu kombinieren konnte. Das Begleitpapier von neun externen Mathematikern ist ein überprüfbares Artefakt in den öffentlichen Aufzeichnungen, kein Benchmark-Diagramm oder eine Pressemitteilung. Und OpenAIs eigener Rahmen ist bewusst eng: Dies ist das erste Mal, dass KI ein wichtiges offenes Downside, das für ein Teilgebiet der Mathematik von zentraler Bedeutung ist, autonom gelöst hat. Der Rahmen ist sorgfältig, denn die Leistung ist actual.

Eine Einschränkung verdient Aufmerksamkeit. Die Menschen haben den Beweis vor der Einreichung noch bereinigt und verfeinert. Sawins schärfere Bindung entstammte der unabhängigen menschlichen Arbeit. Das Modell erzeugte das ursprüngliche Gegenbeispiel; Den Relaxation erledigten die Mathematiker. Das genaue asymptotische Most für das Einheitsabstandsproblem bleibt ebenfalls ungelöst, wobei die bekannteste Obergrenze immer noch bei O(n^(4/3)) liegt. KI widerlegte die Vermutung. Das Feld wurde nicht geschlossen.

Was die meisten Berichterstattungen über diese Geschichte falsch machen

Die meisten Berichte über die Ergebnisse von OpenAI hören beim Meilenstein auf und gehen weiter. Das geht an der schwierigeren Frage vorbei.

Kurzfristig bestätigt das Ergebnis, dass Argumentationsmodelle etwas sind, das sich qualitativ von den Produktivitätstools unterscheidet, die die meisten Unternehmen derzeit einsetzen. Ein Allzweckmodell ohne mathematische Spezialisierung arbeitete 125 Seiten algebraischer Beweise mit Werkzeugen durch, für die es nicht gedacht warfare. Wenn dies in diskreter Geometrie möglich ist, verschieben sich die Grenzen dessen, was KI ohne menschliches Gerüst in der Wirtschaftsforschung, Rechtsanalyse, Finanzmodellierung und Arzneimittelforschung bewältigen kann, erheblich.

Die strukturelle Implikation ist bedeutender. Wenn ein Gremium, zu dem auch ein Fields-Medaillengewinner gehört, bestätigt, dass ein KI-generierter Beweis in den Annals of Arithmetic aufgenommen worden wäre, hat das Modell eine bedeutungsvolle Grenze überschritten. Es erweitert die menschliche Forschung nicht mehr. Es führt es durch. Das macht menschliche Forscher nicht überflüssig. Aber Organisationen, die KI immer noch als eine Ebene der automatischen Vervollständigung und nicht als unabhängige Forschungsfunktion betrachten, gehen von einer Annahme aus, die nicht mehr aktuell ist.

Die Erdős-Vermutung warfare kein Branchenproblem. Die Fähigkeit, die es widerlegte, ist nicht auf die Mathematik beschränkt.

Die Grundlinie hat sich geändert

Dies ist der Teil, den die Mathematikwelt übernommen hat, die Geschäftswelt jedoch nicht.

Die Einschätzung von Gowers setzt den neuen Customary für jede zukünftige Behauptung über KI und wissenschaftliche Forschung. Das Erdős-Ergebnis ist die erste von Experten validierte Instanz von KI, die ein herausragendes offenes Downside in einem beliebigen Bereich autonom löst. Jeder künftige Anspruch der KI-Forschung wird daran gemessen.

Das Modell arbeitete an einem genau definierten Downside mit einem sauberen Verifizierungsmechanismus. Zukünftige Exams werden kompliziertere Fragen, offene Bereiche und Situationen beinhalten, in denen es schwieriger ist, richtige Antworten zu bestätigen. Für die Organisationen, die dieses Ergebnis eher als Kuriosität denn als Sign betrachten, wird es erheblich schwieriger sein, den nächsten Meilenstein einzuholen.

Verhaltensanalysen wurden zu einem Standardbestandteil der E-Commerce-Produktentwicklung, da Assessments mit Rekruten immer wieder zu irreführenden Ergebnissen führten. Tester, die wissen, dass sie beobachtet werden, verhalten sich anders als echte Kunden. Sie sind geduldiger, gründlicher und brechen den Circulation beim ersten Reibungspunkt seltener ab. Die Lücke zwischen dem, was strukturierte Assessments ergaben, und dem, was echte Benutzer tatsächlich taten, kostete Einzelhändler beträchtliche Einnahmen, und die Branche reagierte, indem sie eine Infrastruktur rund um in großem Maßstab gesammelte organische Verhaltensdaten aufbaute.

Dieser Ansatz ist inzwischen in den Bereichen E-Commerce, SaaS und Fintech zur Standardpraxis geworden. Produktteams in diesen Branchen betrachten Verhaltenssignale des echten Benutzers mittlerweile als Grundvoraussetzung und nicht als „nice-to-have“. Die Spieleentwicklungsbranche hat diese Denkweise langsamer übernommen, vor allem weil die Infrastruktur, die zum Sammeln dieser Daten in sinnvollem Umfang erforderlich ist, für die meisten Studios nicht zugänglich struggle.

Das Downside mit Pre-Launch-Assessments im Gaming

Spielestudios verlassen sich in der Regel auf interne Spieltests und rekrutierte Gremien vor dem Begin. Beide Methoden haben die gleiche Kernbeschränkung. Interne Groups haben das Spiel hunderte Male gespielt und können die Erfahrung eines Erstbenutzers nicht reproduzieren. Rekrutierte Tester sind sich bewusst, dass sie bewertet werden, und neigen dazu, Reibungspunkte zu überwinden, die ein echter Benutzer sofort aufgeben würde.

Die Verhaltensdaten, die genau widerspiegeln, wie ein Spiel bei einem echten Publikum abschneidet, einschließlich der Orte, an denen Spieler aussteigen, ob das Tutorial die Aufmerksamkeit auf sich zieht und an welchem ​​Punkt das frühe Engagement zusammenbricht, stehen erst nach der Veröffentlichung des Spiels zur Verfügung. Zu diesem Zeitpunkt ist es schwierig und teuer, grundlegende Designentscheidungen rückgängig zu machen, und das Startfenster ist oft bereits abgelaufen.

Wie die Plattformskala die Gleichung verändert

Das Verhaltenssignal wird erst ab einem bestimmten Lautstärkeschwellenwert statistisch zuverlässig. Die meisten einzelnen Studios werden diese Schwelle nie unabhängig voneinander erreichen, weshalb das Downside in der Spieleentwicklung schon so lange besteht. Im Jahr 2025 Internet-Gaming-Plattform Poki struggle das erste Unternehmen seiner Kategorie, das monatlich 100 Millionen aktive Spieler und 1 Milliarde Spielsitzungen professional Monat erreichte.

Die Plattform hat ein Spieltest-Instrument entwickelt, das diese Größenordnung nutzt. Entwickler reichen unveröffentlichte Builds ein, die echten Benutzern während normaler Sitzungen bereitgestellt werden, ohne dass diese Benutzer wissen, dass sie Teil eines Assessments sind. Es gibt keinen Rekrutierungsprozess, keine Anreizstruktur und keinen Beobachtereffekt. Benutzer begegnen dem Spiel auf die gleiche Weise wie jedem anderen Titel auf der Plattform. Was zurückkommt, sind Sitzungsaufzeichnungen, Drop-off-Daten und eine Stichprobe von 500 Spielern, die zweimal täglich kostenlos verfügbar sind.

Warum Kuration die Datenqualität beeinflusst

Nicht alle Verhaltensdaten sind gleichermaßen zuverlässig. Offene Plattformen mit inkonsistenter Verkehrsqualität können verrauschte Daten erzeugen, die schwer zu interpretieren oder darauf zu reagieren sind. Poki wählt jedes veröffentlichte Spiel von Hand aus und hostet derzeit 1.500 Titel von mehr als 600 Entwicklern. Die auf einer kuratierten Plattform generierten Verhaltenssignale spiegeln ein wirklich engagiertes Publikum wider, was es für Entwickler einfacher macht, zwischen einem Produktdesignproblem und einem Verkehrsqualitätsproblem zu unterscheiden.

Das umfassendere Muster

Die Infrastruktur, die Poki aufgebaut hat, folgt der gleichen Logik, die sie geprägt hat Verhaltensanalyse im E-Commerce. Einzelne Händler konnten nicht genug Visitors generieren, um alleine statistisch aussagekräftige Assessments durchzuführen. Die Aggregation auf Plattformebene löste dieses Downside, indem sie umfangreiche Verhaltensdaten für Unternehmen zugänglich machte, die diese nicht unabhängig produzieren konnten.

Das gleiche Prinzip gilt nun auch für die Spieleentwicklung. Ein Studio, das seinen ersten Titel veröffentlicht, verfügt nicht über die Nutzerzahl, um vor der Veröffentlichung zuverlässige Verhaltenssignale zu generieren. Eine Plattform, die monatlich eine Milliarde Sitzungen verarbeitet, tut dies. Die angewandten Methoden sind nicht neu. Was sich geändert hat, ist, dass eine Plattform mit ausreichender Größe sie den Spieleentwicklern in einem Stadium zur Verfügung gestellt hat, in dem die Daten noch wichtige Entscheidungen beeinflussen können.

sah solide aus. Die KL-Divergenz lag deutlich innerhalb akzeptabler Bereiche. Beim Prepare on Artificial, Take a look at on Actual (TSTR)-Take a look at erreichte das Modell eine Genauigkeit von 91 %, wenn es mit den synthetischen Daten trainiert und mit den realen Daten getestet wurde, was etwas niedriger conflict als die 93 %, die bei Verwendung der tatsächlichen Daten erreicht wurden – ein Unterschied, der deutlich innerhalb der Grenzen liegt, die das Crew für die Datentoleranzen festgelegt hatte. Darüber hinaus conflict das Risiko einer Mitgliedschaftsinferenz relativ gering. Der synthetische Datensatz wurde als sicher für die Verwendung im Modelltraining für maschinelles Lernen zertifiziert; die echten Daten wurden sicher gespeichert; und das Modell wurde trainiert.

Drei Monate später konnte das Betrugserkennungsmodell jedoch die zuvor erkannten Transaktionsklassen nicht mehr fehlerfrei erkennen, was nicht nur zu Leistungseinbußen führte, sondern sogar einen völligen Ausfall zur Folge hatte. Eine ganze Gruppe von Randverhaltensweisen wurde effektiv aus der Realität des Modells entfernt.

Bei der Untersuchung des Issues konnte das Crew keine technischen Fehler bei den synthetischen Daten feststellen. Alle vom Crew ermittelten Kennzahlen haben weiterhin bestanden.

Das Downside bestand jedoch darin, dass keine dieser Kennzahlen tatsächlich misst, was wirklich wichtig ist.

Das Drei-Metrik-System und warum es Praktiker in die Irre führt

Das Dreieck aus Treue, Nutzen und Privatsphäre ist zum Standardlexikon für die Bewertung der Qualität synthetischer Daten geworden, und das aus gutem Grund. Es erfasst die drei Qualitätsaspekte, die Sie wirklich erreichen möchten: Ähneln die synthetischen Daten den realen Daten (Wiedergabetreue); Trainieren die synthetischen Daten Modelle, die sich ähnlich verhalten wie Modelle, die auf realen Daten trainiert werden (Nützlichkeit); und schützen die synthetischen Daten die Identität der Personen, von denen die Daten stammen (Privatsphäre)?

Der Rahmen selbst ist solide. Bei der Umsetzung dieses Rahmenwerks treten jedoch Probleme auf.

Die meisten Praktiker bewerten die drei Qualitätsmetriken nacheinander und betrachten den erfolgreichen Abschluss jeder einzelnen als ausreichend für den Einsatz. Dieser Ansatz ist aus drei miteinander verbundenen Gründen fehlerhaft, die einer detaillierten Erläuterung bedürfen:

Downside Nr. 1: Genauigkeitsmetriken bewerten Randverteilungen, nicht Interaktionen zwischen Options

Die am häufigsten verwendeten Genauigkeitsmetriken KL-Divergenz, Kolmogorov-Smirnov-Take a look at, Gesamtvariationsdistanz und Wasserstein-Distanz messen alle den Grad, in dem die individuelle Merkmalsverteilung im synthetischen Datensatz mit dem Authentic verglichen wird.
Keines dieser Maße beurteilt, wie Merkmale miteinander korrelieren.

Dies ist eine subtile, aber entscheidende Unterscheidung. Stellen Sie sich beispielsweise einen Gesundheitsdatensatz vor, bei dem die synthetische Model die Randverteilungen des Patientenalters und der Schwere der Erkrankung genau wiedergibt und die Randverteilungen praktisch nicht unterscheidbar erscheinen. Es gibt jedoch eine geringfügige Diskrepanz in der Korrelation zwischen den beiden Merkmalen in den synthetischen Daten. Wenn ein Modell darauf trainiert wird, identifiziert das Modell daher die entsprechenden Signale separat, aber die falsche Interaktion zwischen den Signalen.

Im Jahr 2025 wurden in einer Peer-Assessment-Studie zu synthetischen Patientendaten fünf generative Modelle anhand von drei klinischen Datensätzen evaluiert. Die Ergebnisse zeigten, dass die Randverteilungen zwar quick immer sehr ähnlich waren, sich die Korrelationswerte jedoch um 20 Punkte oder mehr unterschieden. Die nachgelagerten Auswirkungen waren dramatisch: Bei einem Datensatz ergaben Modelle, die mit synthetischen Daten trainiert wurden, Werte für die Fläche unter der Kurve (AUC) von etwa 0,80, während bei Verwendung der realen Daten AUC-Werte von etwa 0,88 erzielt wurden. Die Variable, die darüber entschied, ob es sich um Ersteres oder Letzteres handelte, conflict eher die Erhaltung der Korrelation als die Genauigkeit der Randverteilung.

Um dies zu beheben: Führen Sie KS- und KL-Exams als Foundation durch, um die Ähnlichkeit der Randverteilungen zu bestätigen. Schließen Sie immer einen Vergleich der Korrelationsmatrizen ein. Berechnen Sie die Frobenius-Norm der Differenz, um einen einzelnen Wert zu erhalten, der den Umfang der verlorenen Korrelationsstruktur darstellt. Legen Sie einen Schwellenwert für den Verlust der Korrelationsstruktur fest, bevor Sie die Daten synthetisieren, nicht danach.

import numpy as np
import pandas as pd
def correlation_drift_score(real_df: pd.DataFrame, synthetic_df: pd.DataFrame) -> float:
“””
Computes the Frobenius norm of the distinction between
actual and artificial correlation matrices.
Decrease is healthier. A rating above 0.5 warrants investigation.
“””
real_corr = real_df.corr().fillna(0).values
synth_corr = synthetic_df.corr().fillna(0).values
return np.linalg.norm(real_corr — synth_corr, ‘fro’)
rating = correlation_drift_score(real_df, synthetic_df)
print(f”Correlation Drift Rating: {rating:.4f}”)

Eine Nummer. Führen Sie es jedes Mal aus. Wenn es über Ihrem Schwellenwert liegt, kehren Sie zum Generator zurück, bevor Sie etwas anderes tun.

Downside 2: TSTR-Utility-Scores verbergen das Tail-Verhalten, wenn sie nur die durchschnittliche Leistung darstellen

„Prepare on Artificial Information, Take a look at on Actual Information“ ist eine der „Goldstandards“-Nutzungsmetriken und verdient den Ruf, den sie erworben hat. Ein Modell anhand synthetischer Daten zu trainieren und sicherzustellen, dass es anhand realer Daten intestine funktioniert, ist sicherlich ein aussagekräftiger Beweis für die Nützlichkeit.

Allerdings basieren die TSTR-Werte auf Durchschnittswerten. Somit verbergen sie genau das, was in der Produktion kaputt gehen wird. Im Betrugserkennungsbeispiel am Anfang dieses Artikels betrug die Gesamt-TSTR-AUC 91 %, aber als die Leistung nach Dezil des Transaktionsvolumens aufgeschlüsselt wurde, sank das Dezil mit der niedrigsten Leistung (die seltensten Transaktionen mit dem höchsten Wert) auf 67 % (die synthetischen Daten generierten häufige Transaktionen sehr genau; die seltensten oder ungewöhnlichsten Szenarien stellten die synthetischen Daten jedoch nicht so genau dar). Daher lernte das Modell, das anhand synthetischer Daten trainiert wurde, die häufigsten Verhaltensweisen mit äußerster Genauigkeit und das am wenigsten häufige Verhalten mit geringer Genauigkeit.

Dies ist das Tail-Loss-Downside. Es wird in der Modellkollaps-Literatur formal behandelt (Alemohammad et al., 2024, ICLR) und kann auf jede Artwork von synthetischem Datengenerierungsprozess angewendet werden: Generative Modelle, die für die Generierung von Bereichen der Verteilung mit hoher Wahrscheinlichkeit optimiert sind, repräsentieren seltene Ereignisse zunehmend unterrepräsentiert. Der synthetische Datengenerator versucht nicht, seltene Ereignisse zu unterrepräsentieren – er stellt lediglich die Mathematik dar, wie diese Modelle lernen.

Repair: Melden Sie den TSTR nicht auf aggregierter Foundation. Geben Sie den TSTR separat für jedes Dezil an, in das Sie Ihre Zielvariable geschichtet haben. Die Dezile, in denen die synthetisch trainierte Leistung am stärksten von der actual trainierten Leistung abweicht, zeigen Ihnen genau an, welche Dezile Ihre synthetischen Daten nicht genau wiedergeben.

from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score
import pandas as pd
import numpy as np
def tstr_by_decile(
real_train: pd.DataFrame,
synthetic_train: pd.DataFrame,
real_test: pd.DataFrame,
target_col: str,
n_deciles: int = 10
) -> pd.DataFrame:
“””
Runs TSTR analysis stratified by deciles of the goal variable.
Returns a comparability dataframe for actual vs artificial coaching efficiency.
“””
outcomes = ()
real_test = real_test.copy()
real_test(‘decile’) = pd.qcut(
real_test(target_col), q=n_deciles, labels=False, duplicates=’drop’
)
feature_cols = (c for c in real_train.columns if c != target_col)
for label, train_df in ((“Actual”, real_train), (“Artificial”, synthetic_train)):
clf = RandomForestClassifier(n_estimators=100, random_state=42)
clf.match(train_df(feature_cols), train_df(target_col))
for decile_id, group in real_test.groupby(‘decile’):
if len(group(target_col).distinctive()) < 2:
proceed
rating = roc_auc_score(
group(target_col),
clf.predict_proba(group(feature_cols))(:, 1)
)
outcomes.append({
‘Prepare Supply’: label,
‘Decile’: decile_id,
‘AUC-ROC’: spherical(rating, 4)
})
return pd.DataFrame(outcomes).pivot(
index=’Decile’, columns=’Prepare Supply’, values=’AUC-ROC’
)
decile_results = tstr_by_decile(real_train, synthetic_train, real_test, ‘fraud_flag’)
print(decile_results)

Downside 3: Datenschutzmetriken sollten alle Funktionen gleich behandeln, obwohl dies nicht der Fall sein sollte.

Das Risiko einer Mitgliedschaftsinferenz ist die häufigste Datenschutzmetrik. Das Risiko einer Mitgliedschaftsinferenz stellt eine Frage: Kann ein Angreifer feststellen, ob ein bestimmter Datensatz im Trainingsdatensatz vorhanden ist? Niedrige Werte sind wirklich gute Nachrichten.

Dies wird jedoch auf Datensatzebene gemessen und misst daher das Risiko, einen Datensatz als Ganzes zu identifizieren. Die riskantere Angriffsart ist die Attributinferenz; Kann ein Angreifer anhand öffentlich verfügbarer Informationen über die Merkmale einer Particular person ein sensibles Attribut in den synthetischen Daten identifizieren? Dies ist das Angriffsmodell, mit dem sich die Aufsichtsbehörden im Rahmen des DSGVO-Requirements zur Neuidentifizierung befassen, und es funktioniert auf der Kombinationsebene (nicht auf der Datensatzebene).

Ein Consensus Privateness Metrics Framework (Pilgram et al., 2025) definiert drei verschiedene Arten von Risiken: Herausgreifen (Identifizieren einer einzelnen Particular person), Verknüpfbarkeit (Datensätze über Datensätze hinweg verknüpfen) und Rückschluss (Ableiten sensibler Attribute aus Kombinationen von Quasi-Identifikatoren). Praktiker messen quick ausschließlich den ersten Typ (Singling Out). Die dritte Artwork von Risiko (Inferenz) ist der Bereich, in dem tatsächlich vertrauliche Daten verloren gehen und der für die standardmäßige Mitglieder-Inferenzbewertung völlig unsichtbar ist.

Repair: Priorisieren Sie Ihre Funktionen vor der Synthese basierend auf der Empfindlichkeit. Kategorisieren Sie sie in öffentlich (Merkmale, die ohne Einschränkung in die synthetischen Daten einbezogen werden können), Quasi-Identifikatoren (Kombinationen öffentlicher Merkmale, die eine Verknüpfung ermöglichen können) und sensibel (die Attribute, die Sie schützen möchten). Messen Sie das Risiko der Mitgliedschaftsinferenz nur für die sensiblen Options und beziehen Sie nicht den gesamten Datensatz mit ein. Führen Sie als Nächstes einen Attributinferenztest durch: Trainieren Sie ein externes Modell, um jedes smart Merkmal basierend auf den Quasi-Identifikatoren mithilfe synthetischer Daten vorherzusagen. Vergleichen Sie die Genauigkeit des trainierten Modells mit einem Modell, das darauf trainiert wurde, jedes smart Merkmal auf der Grundlage derselben Quasi-Identifikatoren, aber unter Verwendung zurückgehaltener Daten vorherzusagen. Wenn der Genauigkeitsunterschied gering ist, sind Ihre synthetischen Daten verloren gegangen.

from sklearn.ensemble import GradientBoostingClassifier
def attribute_inference_risk(
synthetic_df: pd.DataFrame,
real_test_df: pd.DataFrame,
quasi_identifiers: record,
sensitive_feature: str
) -> dict:
“””
Estimates attribute inference threat by checking how nicely
a mannequin educated on artificial information predicts a delicate function
utilizing solely quasi-identifiers.
Excessive accuracy on actual take a look at information = artificial information is leaking
details about the delicate attribute.
“””
clf = GradientBoostingClassifier(random_state=42)
clf.match(synthetic_df(quasi_identifiers), synthetic_df(sensitive_feature))
real_accuracy = clf.rating(
real_test_df(quasi_identifiers),
real_test_df(sensitive_feature)
)
majority_class_accuracy = (
real_test_df(sensitive_feature).value_counts(normalize=True).max()
)
elevate = real_accuracy — majority_class_accuracy
return {
“inference_accuracy_on_real”: spherical(real_accuracy, 4),
“baseline_accuracy”: spherical(majority_class_accuracy, 4),
“inference_lift”: spherical(elevate, 4),
“risk_level”: “HIGH” if elevate > 0.10 else “MODERATE” if elevate > 0.05 else “LOW”
}
threat = attribute_inference_risk(
synthetic_df, real_test_df,
quasi_identifiers=(‘age_band’, ‘area’, ‘employment_status’),
sensitive_feature=’income_bracket’
)
print(threat)

Wenn Sie für die Steigerung einen „über 0,10“ (oder eine beliebige andere Zahl) sehen, bedeutet dies, dass Ihr synthetischer Datensatz die sensiblen Attribute Ihrer Benutzer besser identifizieren kann als der Zufall. Es spielt keine Rolle, ob Ihr Membership Inference Rating (MIS) unter 0,10 oder einem anderen Schwellenwert liegt; das ist irrelevant.

Das einheitliche Bewertungsrahmenwerk

Wie bereits erwähnt, handelt es sich bei diesen drei Herausforderungen im Wesentlichen um eine Herausforderung: Sie ergeben sich jeweils aus der Verwendung von Metriken zur Bewertung der Merkmale eines Datensatzes und der anschließenden Verwendung derselben Metriken als Grundlage für die Zertifizierung eines Datensatzes für den Produktionseinsatz. Das sind zwei sehr unterschiedliche Aufgaben.

Nachfolgend finden Sie eine vollständige Checkliste der Bewertungen, die die einzelnen Bewertungslücken schließen:

Dimension, Standardmetrik, was es vermisst und erweiterte Prüfung

Treue

• KL-Divergenz, KS-Take a look at
• Korrelationsstruktur zwischen Options
• Korrelationsdrift-Rating (Frobenius-Norm)

Dienstprogramm

• TSTR durchschnittliche AUC
• Tail-Efficiency bei seltenen Ereignissen
• TSTR stratifiziert nach Zieldezil

Privatsphäre

• Risiko einer Mitgliedschaftsinferenz
• Attributinferenz über Quasi-Identifikatoren
• Attribut-Inferenz-Carry-Take a look at

Der richtige Schwellenwert hängt von Ihrem Anwendungsfall ab

Der am meisten übersehene Aspekt des Runden Tisches zwischen FCA, ICO und Alan Turing Institute zur Validierung synthetischer Daten conflict dieser: „Null Risiko = Null Nutzen.“ Synthetische Daten können nicht vollständig privat und gleichzeitig ebenso nützlich sein. Die Frage lautet nicht mehr: „Gehen die Daten weiter?“ Die Frage lautet: „Erfüllen die Kompromisse die Anforderungen der Anwendungsfälle?“

Die synthetischen Daten, die für interne QS-Exams einer Anwendung verwendet werden, erfordern eine hohe Wiedergabetreue und strukturelle Genauigkeit. Da der Zugriff auf die Daten jedoch kontrolliert wird, wird der Datenschutz weniger groß geschrieben.

Andererseits müssen die Daten, die Sie an externe Benutzer, organisationsübergreifend, an Aufsichtsbehörden oder zu Forschungszwecken weitergeben, über höhere Datenschutzgarantien verfügen. In solchen Fällen können Sie eine geringere statistische Genauigkeit der synthetischen Daten akzeptieren.

Definieren Sie daher bei der Entwicklung Ihres Bewertungsrahmens den Anwendungsfall, bevor Sie Ihre synthetischen Daten auswerten. Beantworten Sie die folgenden Fragen, bevor Sie synthetische Daten generieren:

1) Wer hat unter welchen Bedingungen Zugriff auf diesen synthetischen Datensatz? Dies legt Ihren Schwellenwert für den Datenschutz fest.

2) Welche nachgelagerte Aufgabe werden diese Daten trainieren oder testen? Dies definiert die Nutzmetriken, die sich auf Tragfähigkeit und Lärm auswirken.

3) Sind für die nachgelagerte Aufgabe Funktionen erforderlich? Wenn ja, definiert dies, wo Sie die Treue wahren müssen und wo Sie Abweichungen tolerieren können.

Legen Sie diese Schwellenwerte basierend auf Ihren Antworten auf die oben genannten Fragen fest, bevor Sie die Synthese durchführen. Führen Sie Ihre Auswertungen anhand Ihrer festgelegten Schwellenwerte durch (nicht der vom Instrument standardmäßig gemeldeten Schwellenwerte).

Fazit: Die Qualitätslücke ist eine Messlücke

Das Betrugserkennungsmodell scheiterte nicht daran, dass die synthetischen Daten unzureichend waren. Das Modell scheiterte, weil das Crew die falschen Eigenschaften bewertete und aufgrund der korrekten Messungen falsche Schlussfolgerungen zog. Treue, Nützlichkeit und Privatsphäre sind die richtigen Dimensionen.

Die Standardmetriken innerhalb jeder Dimension sind gute Ausgangspunkte. Sie wurden jedoch zur Messung und Beschreibung von Daten entwickelt und nicht zur Zertifizierung von Daten für den Produktionsgebrauch. Um diese Messlücke zu schließen, sind drei zusätzliche Bewertungen erforderlich, die die Lücken in den Standardmetriken identifizieren; Korrelationsdrift, Endnutzen professional Dezil und Attributinferenzrisiko.

Für diese drei Beurteilungen sind keine speziellen Instruments erforderlich. Die drei in diesem Artikel beschriebenen Implementierungen laufen im Commonplace-Scikit-Be taught und NumPy. Die schwierige Arbeit besteht nicht darin, den Code zu schreiben, sondern darin, die richtigen Fragen zu stellen, bevor Sie Ihr Modell in Produktion bringen.

Bild vom Herausgeber

# Einführung

Massive Language Mannequin Operations (LLMOps) sehen im Jahr 2026 ganz anders aus als noch vor einigen Jahren. Es geht nicht mehr nur darum, ein Modell auszuwählen und ein paar Spuren darum herum hinzuzufügen. Heutzutage benötigen Groups Instruments für Orchestrierung, Routing, Beobachtbarkeit, Auswertungen (Evals), Leitplanken, Speicher, Suggestions, Paketierung und echte Toolausführung. Mit anderen Worten: LLMOps ist zu einem vollständigen Produktionsstack geworden. Aus diesem Grund ist diese Liste nicht nur eine Zusammenfassung der beliebtesten Namen; Vielmehr wird ein starkes Instrument für jede wichtige Aufgabe im Stapel identifiziert, mit Blick darauf, was sich jetzt nützlich anfühlt und was im Jahr 2026 wahrscheinlich noch wichtiger sein dürfte.

# Die 10 Instruments, die jedes Crew haben muss

// 1. PydanticAI

Wenn Ihr Crew möchte, dass sich große Sprachmodellsysteme eher wie Software program und weniger wie Immediate-Kleber verhalten, PydanticAI ist eine der besten Foundations, die derzeit erhältlich sind. Es konzentriert sich auf typsichere Ausgaben, unterstützt mehrere Modelle und verwaltet Dinge wie Auswertungen, Toolgenehmigungen und lang laufende Arbeitsabläufe, die nach Fehlern wiederhergestellt werden können. Das macht es besonders intestine für Groups, die strukturierte Ausgaben und weniger Überraschungen zur Laufzeit wünschen, sobald sich Instruments, Schemata und Workflows zu vervielfachen beginnen.

// 2. Bifrost

Bifrost ist eine gute Wahl für die Gateway-Schicht, insbesondere wenn Sie mit mehreren Modellen oder Anbietern zu tun haben. Es bietet Ihnen eine einzige Anwendungsprogrammierschnittstelle (API) für die Weiterleitung über mehr als 20 Anbieter und kümmert sich um Dinge wie Failover, Lastausgleich, Caching und grundlegende Kontrollen rund um Nutzung und Zugriff. Dadurch bleibt Ihr Anwendungscode sauber, anstatt ihn mit anbieterspezifischer Logik zu füllen. Es bietet außerdem Beobachtbarkeit und lässt sich in OpenTelemetry integrieren, was es einfacher macht, das Geschehen in der Produktion zu verfolgen. Der Benchmark von Bifrost gibt an, dass bei anhaltenden 5.000 Anfragen professional Sekunde (RPS) nur 11 Mikrosekunden Gateway-Overhead hinzukommen – was beeindruckend ist – aber Sie sollten dies anhand Ihrer eigenen Arbeitslasten überprüfen, bevor Sie es standardisieren.

// 3. Traceloop / OpenLLMetry

OpenLLMetry eignet sich intestine für Groups, die bereits OpenTelemetry verwenden und möchten, dass die LLM-Beobachtbarkeit in dasselbe System integriert wird, anstatt ein separates Dashboard für künstliche Intelligenz (KI) zu verwenden. Es erfasst Dinge wie Eingabeaufforderungen, Abschlüsse, Token-Nutzung und Ablaufverfolgungen in einem Format, das mit vorhandenen Protokollen und Metriken übereinstimmt. Dies erleichtert das Debuggen und Überwachen des Modellverhaltens zusammen mit dem Relaxation Ihrer Anwendung. Da es Open Supply ist und Standardkonventionen folgt, bietet es Groups außerdem mehr Flexibilität, ohne sie an ein einziges Observability-Instrument zu binden.

// 4. Promptfoo

Promptfoo ist eine gute Wahl, wenn Sie Exams in Ihren Workflow integrieren möchten. Es handelt sich um ein Open-Supply-Instrument zum Ausführen von Evaluierungen und zum Purple-Teaming Ihrer Anwendung mit wiederholbaren Testfällen. Sie können es in Steady Integration und Steady Deployment (CI/CD) einbinden, sodass Prüfungen automatisch erfolgen, bevor etwas in Betrieb geht, anstatt sich auf manuelle Exams zu verlassen. Dies trägt dazu bei, dass schnelle Änderungen messbar und einfacher zu überprüfen sind. Die Tatsache, dass es Open Supply bleibt und gleichzeitig mehr Aufmerksamkeit erhält, zeigt auch, wie wichtig Evaluierungen und Sicherheitsüberprüfungen in realen Produktionsumgebungen geworden sind.

// 5. Invariante Leitplanken

Invariante Leitplanken ist nützlich, da es Laufzeitregeln zwischen Ihrer App und dem Modell oder den Instruments hinzufügt. Dies ist von entscheidender Bedeutung, wenn Agenten beginnen, APIs aufzurufen, Dateien zu schreiben oder mit realen Systemen zu interagieren. Es hilft dabei, Regeln durchzusetzen, ohne Ihren Anwendungscode ständig zu ändern, und sorgt dafür, dass Setups auch bei wachsenden Projekten überschaubar bleiben.

// 6. Letta

Letta ist für Agenten konzipiert, die im Laufe der Zeit Speicher benötigen. Es verfolgt vergangene Interaktionen, Kontexte und Entscheidungen in einer Git-ähnlichen Struktur, sodass Änderungen nachverfolgt und versioniert werden, anstatt als loses Blob gespeichert zu werden. Dies erleichtert die Prüfung, Fehlerbehebung und das Rollback und eignet sich perfekt für Agenten mit langer Laufzeit, bei denen die zuverlässige Verfolgung des Zustands genauso wichtig ist wie das Modell selbst.

// 7. OpenPipe

OpenPipe hilft Groups, aus der realen Nutzung zu lernen und Modelle kontinuierlich zu verbessern. Sie können an einem Ort Anfragen protokollieren, Daten filtern und exportieren, Datensätze erstellen, Auswertungen durchführen und Modelle optimieren. Es unterstützt auch den Austausch zwischen API-Modellen und fein abgestimmten Versionen mit minimalen Änderungen und trägt so dazu bei, eine zuverlässige Feedbackschleife aus dem Produktionsverkehr zu schaffen.

// 8. Argilla

Argilla ist excellent für menschliches Suggestions und Datenkuratierung. Es hilft Groups, Suggestions auf strukturierte Weise zu sammeln, zu organisieren und zu überprüfen, anstatt sich auf verstreute Tabellenkalkulationen zu verlassen. Dies ist nützlich für Aufgaben wie Annotation, Präferenzerfassung und Fehleranalyse, insbesondere wenn Sie Modelle verfeinern oder Reinforcement Studying aus menschlichem Suggestions (RLHF) verwenden möchten. Obwohl es nicht so auffällig ist wie andere Teile des Stacks, macht ein sauberer Suggestions-Workflow oft einen großen Unterschied darin, wie schnell sich Ihr System im Laufe der Zeit verbessert.

// 9. KitOps

KitOps löst ein häufiges reales Downside. Modelle, Datensätze, Eingabeaufforderungen, Konfigurationen (Configs) und Code sind oft über verschiedene Orte verstreut, was es schwierig macht, nachzuverfolgen, welche Model tatsächlich verwendet wurde. KitOps bündelt all dies in einem einzigen versionierten Artefakt, sodass alles zusammen bleibt. Dies macht Bereitstellungen sauberer und hilft bei Dingen wie Rollback, Reproduzierbarkeit und der gemeinsamen Arbeit zwischen Groups ohne Verwirrung.

// 10. Komposition

Komposition ist eine gute Wahl, wenn Ihre Agenten mit echten externen Apps und nicht nur mit internen Instruments interagieren müssen. Es verwaltet Dinge wie Authentifizierung, Berechtigungen und Ausführung für Hunderte von Apps, sodass Sie diese Integrationen nicht von Grund auf neu erstellen müssen. Es bietet außerdem strukturierte Schemata und Protokolle, wodurch die Instrument-Nutzung einfacher zu verwalten und zu debuggen ist. Dies ist besonders nützlich, wenn Agenten in reale Arbeitsabläufe einsteigen, bei denen Zuverlässigkeit und Skalierung wichtiger werden als einfache Demos.

# Zusammenfassung

Zusammenfassend lässt sich sagen, dass es bei LLMOps nicht mehr nur um die Verwendung von Modellen geht; Es geht darum, komplette Systeme zu bauen, die tatsächlich in der Produktion funktionieren. Die oben genannten Instruments helfen bei verschiedenen Teilen dieser Reise, von Exams und Überwachung bis hin zu Speicher und realen Integrationen. Die eigentliche Frage ist nun nicht, welches Modell Sie verwenden sollen, sondern wie Sie alles drumherum verbinden, bewerten und verbessern können.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Technology Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Range in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.