Die zugrunde liegende Gesellschaft verändert sich.

Das conflict eine der Ideen aus Max Buckleys Vortrag bei KI-Ingenieur Singapurund es ist mir seitdem in Erinnerung geblieben.

Jahrzehntelang conflict die Softwareentwicklung auf Knappheit ausgerichtet. Das Schreiben von Code conflict teuer, es gab kaum Ingenieure und Funktionen brauchten Zeit. Diese Annahme prägte die Artwork und Weise, wie Groups arbeiteten. Wir haben sorgfältig Prioritäten gesetzt, da jede Funktion mit enormen Opportunitätskosten verbunden conflict.

Aber die KI hat diese Annahme gebrochen.

Da Codierungsagenten immer leistungsfähiger werden, sinken die Implementierungskosten drastisch. Was früher Wochen dauerte, kann heute in wenigen Tagen oder sogar Stunden als Prototyp erstellt werden. Max, der nach 12,5 Jahren bei Google Leiter der Wissensforschung bei Exa ist, bezeichnete dies als Wandel in der Spieltheorie: Es geht nicht nur darum, zu fragen, was Sie tun sollen, sondern auch darum, was Sie tun sollten, wenn sich alle anderen auch so verhalten und versuchen zu gewinnen.

Und Sie können diese Änderungen nicht deaktivieren. Ob wir dazu bereit sind oder nicht, die grundlegenden Arbeitsweisen verändern sich.

Eine günstigere Implementierung bedeutet jedoch nicht, dass die Software program besser ist.

Keine noch so große KI kann uns davor bewahren, das Falsche zu bauen. Tatsächlich könnte KI dieses Drawback noch verschlimmern. Wenn das Erstellen einfacher wird, wird es viel einfacher, Dinge zu erstellen, die technisch beeindruckend, aber strategisch irrelevant sind: Mehr Dashboards, mehr Arbeitsabläufe, mehr interne Instruments, mehr Apps, die funktionieren, aber keine Existenz verdienen.

Aus diesem Grund denke ich, dass technisches Urteilsvermögen immer wertvoller wird.

Eines von Max‘ Beispielen ist mir im Gedächtnis geblieben. In der alten Softwareökonomie müssen Groups 30 Ideen auf drei eingrenzen, bevor sie etwas entwickeln. Mit Codierungsagenten verändert sich heute der Entscheidungsprozess. Mit weniger emotionaler Bindung können Sie mehr aufbauen, mehr bewerten, mehr Benchmarks erstellen und verwerfen, was nicht funktioniert.

Die Kosten für das Ausprobieren sind geringer und das Experimentieren wird attraktiver.

Das klingt befreiend, schafft aber auch einen neuen Engpass.

Wenn jemand eine Idee prototypisieren kann, ist Aufmerksamkeit heute eine knappe Ressource. Das bedeutet auch, dass ich mich bei allen Lesern bedanken sollte. Ihre Aufmerksamkeit ist nicht umsonst, und ich hoffe, ich habe dafür gesorgt, dass dieser Artikel Ihre Zeit wert ist.

Kürzlich nahm ich an der ersten AI Engineer-Konferenz in Singapur teil, die vom 15. bis 17. Mai 2026 stattfand. Sie brachte Redner von Unternehmen wie Google DeepMind, Vercel, OpenAI, Exa, NanoClaw und anderen zusammen. In diesem Artikel werden drei Punkte von drei Rednern detailliert beschrieben, die mir besonders aufgefallen sind.

KI macht technische Disziplin nicht überflüssig. Dadurch wird diese Disziplin in einen anderen Teil des Programs verlagert.

Auch technisches Wissen verändert sich.
Modelle haben gezackte Intelligenz: Sie können bei manchen Aufgaben extrem intestine sein, bei Aufgaben in der Nähe, die für Menschen ebenso einfach erscheinen, überraschend schlecht.

Fashions kennen oft die Antworten auf komplizierte Dinge, bringen sie aber nicht an die Oberfläche es sei denn, Sie wissen, was Sie fragen sollen.

Die Frage ist additionally nicht mehr nur, ob wir etwas bauen können. Es geht darum, ob es existieren sollte.

Jimmy Lai, Direktor von Subsequent.js bei Vercel, äußerte eine ähnliche Meinung aus einem anderen Blickwinkel. Sein Punkt conflict, dass KI die Schöpfung billig, den Besitz jedoch teurer gemacht hat.

Je einfacher das Bauen wird, desto mehr Dinge können wir erschaffen. Aber jeder überlebende Prototyp wird zu etwas, das jemand warten, debuggen, dokumentieren, sichern und erklären muss. Die Kosten für das Schreiben der ersten Model können sinken, aber die Kosten für den Besitz des Programs verschwinden nicht.

Jimmy machte drei Vorhersagen, die mir auffielen.

Erstens sind wir jetzt Gebäude für Agenten. Agenten werden zu einer neuen Artwork von Softwarebenutzern. Eine veraltete README-Datei ist für einen Menschen nicht mehr nur lästig. Es ist eine Halluzination, die darauf wartet, geschehen zu können.

Zweitens sind wir es jetzt Bauen mit Maklern. Obwohl es jetzt einfacher wird, etwas aufzubauen, das man nicht ganz versteht, ist es ironischerweise so, dass sich die Grundlagen in Wahrheit nicht geändert haben und tatsächlich wichtiger geworden sind als je zuvor. Wenn Sie hervorragend darin sind, mit Agenten zusammenzuarbeiten, und gleichzeitig über die Grundlagen verfügen, sind Sie nicht mehr aufzuhalten.

Drittens müssen wir lernen Was nicht besitzen. Nur weil Sie etwas bauen können, heißt das nicht, dass Sie es auch tun sollten. Die einfache Erstellung ist zu einer Wartungslast geworden.

Das bedeutet nicht, dass wir weniger versenden sollten. Es bedeutet, dass wir mehr sein sollten absichtlich darüber, was wir überleben lassen. Der Vorteil liegt bei Groups, die wissen, was ihr Produkt auszeichnet, was ihre Aufmerksamkeit verdient und was sie bewusst nicht entwickeln sollten.

In einer Welt, in der Software program billig zu erstellen ist, Fokus wird zu einem technischen Vermögenswert.

Schließlich kam meine letzte wichtige Erkenntnis aus einem Designgespräch.

Phil Hedayatnia von Airfoil hielt einen Vortrag darüber, wie man Designagenten entwickelt, die in einem Meer aus ganz normalem KI-Schrott tatsächlich Geschmack haben. Da ich kein Designer bin, stelle ich mir bei Design normalerweise vor, was ein gutes Design enthalten sollte und was nicht. Sein Vortrag hat das für mich neu formuliert.

Beim Design geht es nicht darum, jemandem beizubringen, was er tun soll und nicht, was er tun soll. Das ist ergebnisorientiertes Coaching.

Bei gutem Design geht es darum, zu verstehen, wie Menschen denken, wie sie handeln und warum bestimmte Abläufe, Bilder und Erzählungen bei ihnen Anklang finden. Phil verwies darauf auf die menschliche Psychologie.

Es geht weniger darum, zu schauen, was die Leute machen, sondern mehr Zeit damit zu verbringen, es zu verstehen Warum Sie haben es so gemacht und den Denkprozess dahinter.

Mit anderen Worten, Geschmack ist keine Checkliste. Es ist ein Urteil, das auf den Kontext angewendet wird.

Phil nannte als Beispiel den Shinkansen-Hochgeschwindigkeitszug und den Eisvogel-Schnabel. Der Zug hatte ein Drawback: Beim Verlassen der Tunnel erzeugte er durch Druckluft einen lauten „Tunnelboom“. Ingenieure reduzierten den Lärm, indem sie die Nase des Zuges nach dem Vorbild eines Eisvogelschnabels modellierten. Ein Eisvogel kann ohne Spritzer aus der Luft ins Wasser springen, da sein langer, schmaler, sich verjüngender Schnabel plötzliche Druckänderungen abfedert. Die Ingenieure wandten das gleiche Prinzip auf den Zug an und verwendeten eine längere und konischere Nase, um die Luft allmählicher zu komprimieren.

An diesem Beispiel gefiel mir, dass es nicht nur darum ging, die Natur zu kopieren. Es ging darum zu verstehen, warum etwas funktionierte, und dieses Prinzip dann in einem anderen Kontext anzuwenden.

Und da KI die Erstellung von Ergebnissen erleichtert, besteht die wertvolle Fähigkeit nicht nur darin, zu wissen, wie eine gute Ausgabe aussieht. Es geht darum, das Warum dahinter zu verstehen.

Zum Abschluss

In vielen Vorträgen gab es viele wiederkehrende Themen, wie zum Beispiel den Aufbau persönlicher Assistenten, das Ausprobieren neuer Instruments und das Lernen, wie man effizienter mit Agenten zusammenarbeitet. Aber hinter all dem tauchte immer wieder die gleiche Idee auf: Code wird billiger, Urteilsvermögen und Geschmack jedoch nicht.

Um meine 3 wichtigsten Erkenntnisse zusammenzufassen:

1. Die Umsetzung ist nicht mehr der größte Engpass. Mit KI können Sie mehr Ideen ausprobieren und die Kosten senken, wenn Sie falsch liegen. Aber das macht die technische Beurteilung kritischer. Wir müssen entscheiden, was es verdient zu existieren.
2. Eine billige Erstellung verursacht einen Wartungsaufwand. Entscheiden Sie, was Sie nicht besitzen möchten.
3. Kreieren Sie in einer Welt voller Produktion Produkte mit besserem Geschmack. Verstehen Sie den Kontext, warum etwas funktioniert.

KI hat die Artwork und Weise, wie wir Software program erstellen, verändert, aber sie hat die Verantwortung und das Eigentum, die dahinter stehen, nicht beseitigt.

Das ist es von mir. Ich hoffe, das conflict Ihre Zeit wert. Die vollständigen Vorträge finden Sie hier AI Engineer Youtube hier. Alle Konferenzfotos wurden von den Organisatoren geteilt, 65labs. Wir sehen uns im nächsten Artikel!

Wenn man sich nur automatisierte Partituren ansieht, scheinen die meisten LLMs großartig zu sein – bis sie etwas subtil Falsches, Riskantes oder Falsches schreiben. Das ist die Lücke zwischen dem, was statische Benchmarks messen, und dem, was Ihre Benutzer tatsächlich benötigen. In diesem Leitfaden zeigen wir, wie Sie menschliches Urteilsvermögen (HITL) mit Automatisierung kombinieren können LLM-Benchmarking spiegelt Wahrhaftigkeit, Sicherheit und Domänenanpassung wider – nicht nur die Genauigkeit auf Token-Ebene.

Was LLM-Benchmarking wirklich misst

Automatisierte Metriken und Bestenlisten sind schnell und wiederholbar. Genauigkeit bei A number of-Alternative-Aufgaben, BLEU/ROUGE für Textähnlichkeit und Ratlosigkeit bei der Sprachmodellierung geben Richtungssignale. Aber sie vermissen oft Argumentationsketten, sachliche Grundlage und die Einhaltung von Richtlinien – insbesondere in Kontexten, in denen viel auf dem Spiel steht. Deshalb legen moderne Programme Wert auf multimetrische, transparente Berichterstattung und Szenariorealismus.

Automatisierte Metriken und statische Testsätze

Stellen Sie sich klassische Kennzahlen als eine vor Tachometer– ultimate, um Ihnen zu sagen, wie schnell Sie auf einer glatten Autobahn fahren. Sie sagen Ihnen aber nicht, ob die Bremsen bei Regen funktionieren. BLEU/ROUGE/perplexity helfen bei der Vergleichbarkeit, können aber durch Auswendiglernen oder oberflächliche Zuordnung ausgetrickst werden.

Wo sie zu kurz kommen

Echte Benutzer bringen Unklarheiten, Fachjargon, widersprüchliche Ziele und sich ändernde Vorschriften mit sich. Statische Testsätze erfassen dies selten. Daher überschätzen rein automatisierte Benchmarks die Modellbereitschaft für komplexe Unternehmensaufgaben. Gemeinschaftsinitiativen wie HELM/AIR-Bench gehen dieses Downside an, indem sie weitere Dimensionen abdecken (Robustheit, Sicherheit, Offenlegung) und transparente, sich weiterentwickelnde Suiten veröffentlichen.

Das Argument für die menschliche Bewertung in LLM-Benchmarks

Einige Eigenschaften bleiben hartnäckig menschlich: Ton, Hilfsbereitschaft, subtile Korrektheit, kulturelle Angemessenheit und Risikobereitschaft. Menschliche Gutachter – entsprechend ausgebildet und kalibriert – sind hierfür die besten Instrumente, die uns zur Verfügung stehen. Der Trick besteht darin, sie zu nutzen gezielt und systematischSo bleiben die Kosten überschaubar und die Qualität hoch.

Wann man Menschen einbeziehen sollte

• Mehrdeutigkeit: Anweisungen lassen mehrere believable Antworten zu.
• Hohes Risiko: Gesundheitswesen, Finanzen, rechtliche, sicherheitskritische Unterstützung.
• Area-Nuance: Fachjargon, Fachargumentation.
• Uneinigkeitssignale: Automatische Bewertungen stehen im Konflikt oder variieren stark.

Entwerfen von Rubriken und Kalibrierung (einfaches Beispiel)

Beginnen Sie mit einer Skala von 1–5 für Richtigkeit, BodenständigkeitUnd politische Ausrichtung. Geben Sie professional Partitur zwei bis drei kommentierte Beispiele an. Kurz laufen Kalibrierungsrunden: Bewerter bewerten eine gemeinsame Cost und vergleichen dann die Begründungen, um die Konsistenz zu verbessern. Verfolgen Sie die Vereinbarung zwischen den Gutachtern und fordern Sie bei Grenzfällen eine gerichtliche Entscheidung ein.

Methoden: Vom LLM-als-Richter zum echten HITL

LLM-as-a-Decide (Verwendung eines Modells zur Bewertung eines anderen Modells) ist nützlich für Triage: Es ist schnell, günstig und eignet sich intestine für unkomplizierte Kontrollen. Aber es kann dieselben blinden Flecken aufweisen – Halluzinationen, falsche Korrelationen oder „Gradinflation“. Benutze es, um priorisieren Fälle zur menschlichen Überprüfung, nicht um sie zu ersetzen.

Eine praktische Hybridpipeline

1. Automatisierte Vorprüfung: Führen Sie Aufgabenmetriken, grundlegende Leitplanken und LLM als Richter aus, um offensichtliche bestandene/nicht bestandene Aufgaben herauszufiltern.
2. Aktive Auswahl: Wählen Sie Proben mit widersprüchlichen Signalen oder hoher Unsicherheit für die menschliche Überprüfung aus.
3. Expertenkommentare von Menschen: geschulte Bewerter (oder Fachexperten) bewerten anhand klarer Rubriken; bei Meinungsverschiedenheiten entscheiden.
4. Qualitätssicherung: Überwachung der Zuverlässigkeit zwischen Bewertern; Pflegen Sie Prüfprotokolle und Begründungen. Mit praktischen Notebooks (z. B. HITL-Workflows) können Sie ganz einfach Prototypen dieser Schleife erstellen, bevor Sie sie skalieren.

Vergleichstabelle: Automatisiert vs. LLM-as-Decide vs. HITL

Sicherheits- und Risiko-Benchmarks sind unterschiedlich

Regulierungsbehörden und Normungsgremien erwarten Bewertungen, die Risiken dokumentieren und prüfen realistisch Szenarien und demonstrieren die Übersicht. Der NIST AI RMF (GenAI-Profil 2024) stellt ein gemeinsames Vokabular und gemeinsame Praktiken bereit; Die NIST GenAI-Bewertung Das Programm führt domänenspezifische Exams durch. Und HELM/AIR-Financial institution hebt multimetrische, transparente Ergebnisse hervor. Nutzen Sie diese, um Ihr Governance-Narrativ zu verankern.

Was Sie für Sicherheitsaudits sammeln sollten

• Auswertung Protokolle, RubrikenUnd Schulung zum Kommentator Materialien
• Datenherkunft und Kontaminationskontrollen
• Inter-Bewerter Statistiken und Entscheidungsnotizen
• Versioniert Benchmark-Ergebnisse und Regressionsverlauf

Mini-Story: Falschmeldungen im KYC-Banking reduzieren

Das KYC-Analystenteam einer Financial institution testete zwei Modelle zur Zusammenfassung von Compliance-Warnungen. Automatisierte Ergebnisse waren identisch. Während eines HITL-Exams haben die Bewerter darauf hingewiesen Modell A häufig fallen gelassen Negativ Qualifikationsmerkmale („keine vorherigen Sanktionen“), Bedeutungen umkehren. Nach dem Urteil entschied sich die Financial institution Modell B und aktualisierte Eingabeaufforderungen. Die Falschmeldungen gingen innerhalb einer Woche um 18 % zurück, sodass die Analysten mehr Zeit für echte Untersuchungen haben. (Die Lektion: Automatisierte Bewertungen haben einen subtilen, schwerwiegenden Fehler übersehen; HITL hat ihn erkannt.)

Wo Shaip hilft