Generative KI hat die Welt bereits verändert und steht gerade erst am Anfang. Es wurde schnell in zahlreichen Branchen eingeführt, vom Einzelhandel über das Gesundheitswesen bis hin zum Bankwesen, und bietet vielfältige Funktionen, die vom Informationsabruf über Expertenhilfe bis hin zur Erstellung neuer Inhalte reichen. Angesichts des wachsenden Interesses der meisten Vorstandsgremien an GenAI stellen sich CTOs/CIOs jetzt einer großen Frage: Sollten Sie Ihre GenAI-Anwendung selbst erstellen oder eine vorgefertigte Lösung kaufen?

Dieser Artikel bietet einen Rahmen, der Produktmanagern, Geschäftsführern und Technologieführern bei der Bewältigung dieser Entscheidung hilft. Bitte beachten Sie, dass viele dieser grundlegenden Argumente für alle Entscheidungen zwischen Bau und Kauf gelten. Wir bringen jedoch einige Nuancen hervor, die für die aktuelle GenAI-Landschaft einzigartig sind.

Die Entscheidung „Construct vs. Purchase“ (bzw. „Modify“, was ich unter dem Begriff „Purchase“ betrachte) hängt von mehreren Faktoren ab. Was die Entscheidung noch schwieriger macht, ist die Tatsache, dass sich die KI-Landschaft schnell weiterentwickelt und jede Woche neue Modelle und Produkte auf den Markt kommen. Was heute möglicherweise eine Lücke im Marktangebot darstellt, könnte in den nächsten Wochen zu einem neuen Produkt führen.

Die Schlüsselfaktoren, die diese Entscheidung beeinflussen, sind:

1. Marktverfügbarkeit (jetzt und in naher Zukunft) und die vom Unternehmen benötigte Markteinführungsgeschwindigkeit
2. Strategische Bedeutung der Anwendung für das Unternehmen
3. ROI für das Unternehmen
4. Risiko- und Compliance-Faktoren
5. Fähigkeit zur Aufrechterhaltung und Weiterentwicklung
6. Integrationskomplexität

Im Kern besteht mein persönlicher Rat darin, die Frage „Bauen vs. Kaufen“ neu zu formulieren als Warum musst du bauen? Es gibt Hunderte großartiger Organisationen, die Milliarden in die Entwicklung von GenAI-Anwendungen stecken. Wenn Sie additionally nicht zu ihnen gehören, sollten Sie wirklich versuchen zu verstehen, was es auf dem Markt gibt, das Ihren Anforderungen nicht entspricht.

1. Einzigartige Geschäftsanforderungen: Wenn Ihre Anforderungen so einzigartig sind, dass die auf dem Markt erhältlichen Standardanwendungen nicht Ihren Anforderungen entsprechen, und Sie glauben, dass in naher bis mittlerer Zukunft keine derartigen Anwendungen auf dem Markt sein werden. Angesichts der rasanten Entwicklung bei GenAI habe ich persönlich Fälle erlebt, in denen Unternehmen mit der Entwicklung einer Funktionalität begonnen haben, nur um festzustellen, dass diese innerhalb weniger Monate als Ware auf dem Markt verfügbar warfare. Ein Beispiel hierfür sind Bewertungen, bei denen im Jahr 2024 viele Markteinführungen von vielen wichtigen Akteuren zu verzeichnen waren, darunter AWS Und Azurblau.
2. Wettbewerbsvorteil: Wenn die Anwendung für Ihr Unternehmen von strategischer Bedeutung ist und für Sie von entscheidender Bedeutung ist, um Ihr geistiges Eigentum und Ihre Marktdifferenzierung aufrechtzuerhalten. Dies wären im Allgemeinen sehr einzigartige Umstände und dafür bedarf es einer starken Führungsausrichtung. Ein bekanntes Beispiel hierfür sind LLMs. Die meisten Organisationen müssen keine eigenen LLM-Modelle erstellen; Sie können entweder das, was auf dem Markt verfügbar ist, mit ausgereiften Eingabeaufforderungen nutzen oder diese an ihren eigenen Kontext anpassen. Bloomberg rief dazu auf, ihre zu bauen eigenes ModellDies warfare ein strategischer Schritt, um die Nutzung ihrer proprietären Daten mit einem finanzspezifischen Lexikon zu ermöglichen und gleichzeitig ihre Place als führender Anbieter von Finanzinnovationen zu festigen.
3. Langfristige Kosteneffizienz: Während die Vorabkosten für die Entwicklung höher sind, können interne Lösungen auf lange Sicht am kostengünstigsten sein, wenn Sie sie in großem Umfang nutzen. Eine häufige Gefahr hierbei besteht darin, den langfristigen Wartungsaufwand bei der Erstellung des Geschäftsszenarios nicht in die Kosten einzubeziehen. Man muss auch beachten, dass viele GenAI-Anwendungen zwar mittlerweile teuer sind, die Die Kosten sinken rapide Während wir hier sprechen, könnte sich das, was jetzt wie ein teurer Kauf aussieht, in ein paar Monaten als günstig erweisen.
4. Datenschutz und Sicherheit: Smart Branchen wie Gesundheitspflege und Finanzen müssen oft strenge Datenschutzbestimmungen und -bedenken einhalten. Interne Lösungen bieten zusätzliche Kontrolle über die Datenverarbeitung und Compliance.

Wenn Sie sich letztendlich für den Eigenbau entscheiden, ergeben sich einige entscheidende Herausforderungen:

• Sie benötigen ein kompetentes Staff von KI-Experten, viel Zeit und erhebliche Vorabinvestitionen.
• Wartung und Aktualisierungen, einschließlich der Einhaltung der sich ändernden Regulierungslandschaft, liegen in Ihrer Verantwortung.
• Selbst mit dem richtigen Expertenteam können Sie möglicherweise nicht mit der Innovationsgeschwindigkeit mithalten, die derzeit bei GenAI herrscht.

Vorgefertigte GenAI-Lösungen, verfügbar als APIs oder SaaS-Plattformen, bieten eine schnelle Bereitstellung und geringere Vorabkosten. Hier ist der Kauf möglicherweise die bessere Wahl:

1. Schnelle Markteinführung: Wenn Sie eine schnelle Bereitstellung anstreben, auch wenn eine vorhandene Lösung derzeit möglicherweise nicht zu 100 % Ihren Anforderungen entspricht. Bei neuen Entwicklungen und Veröffentlichungen werden neue Funktionen möglicherweise mehr Ihrer Anforderungen erfüllen.
2. Planbare Kosten: Abo-basierte Preismodelle sorgen für absolute Kostenklarheit und vermeiden Kostenüberschreitungen. Darüber hinaus haben wir bei GenAI häufige Preisrückgänge erlebt und gehen davon aus, dass dies in naher Zukunft geschehen wird. Ein aktuelles Beispiel warfare das von Amazon Bedrock senkt die Preise um 85 %.
3. Konzentrieren Sie sich auf die Kernprioritäten: Durch den Kauf kann sich Ihr Staff auf geschäftsspezifische Aufgaben konzentrieren und muss sich nicht mit der Komplexität der KI-Entwicklung befassen. Dies gilt insbesondere für Lösungen, die als Standardlösungen verfügbar sind und keinen Wettbewerbsvorteil bieten.

Wenn Sie sich am Ende für einen Kauf entscheiden, stehen Ihnen einige zentrale Herausforderungen bevor:

1. Möglicherweise sind Sie dadurch eingeschränkt, wie viel Sie anpassen können. Es kann sein, dass Sie bestimmte Funktionen benötigen, die jedoch länger im Backlog des Anbieters verbleiben, als Ihnen lieb ist.
2. Mögliche Bedenken hinsichtlich der Anbieterbindung und des Datenschutzes.

Bei der Entscheidung für „Construct vs. Purchase“ für jede GenAI-Anwendung muss die allgemeine GenAI-Unternehmensstrategie für „Construct vs. Purchase“ berücksichtigt werden. Die Entscheidung kann nicht isoliert getroffen werden, da Sie eine kritische Masse an Anwendungen benötigen, um ein Staff für deren Erstellung zu rechtfertigen. Die folgenden Fragen sollten jedoch gestellt werden, um die Antwort für einzelne Anwendungen zu erleichtern:

1. Wird diese Anwendung einen deutlichen Wettbewerbsvorteil ermöglichen?
2. Welche Lösungen gibt es bereits auf dem Markt?
3. Wie sieht Ihr Zeitplan für die Bereitstellung aus?
4. Welche Fähigkeiten sind zum Erstellen und Warten der GenAI-Anwendung erforderlich? Verfügen Sie über dieses Fachwissen, entweder intern oder bei Partnern?
5. Welche Datenschutz- und Compliance-Anforderungen haben Sie?
6. Wie unterscheidet sich der Enterprise Case zwischen Construct und Purchase?

Die Entscheidung zwischen Construct vs. Purchase für GenAI-Anwendungen ist keine allgemeingültige Entscheidung. Der Kern der Entscheidungsstrategie unterscheidet sich nicht allzu sehr von anderen Construct-gegen-Kauf-Entscheidungen, aber GenAI-Anwendungen weisen die zusätzliche Komplexität einer sich schnell verändernden Landschaft, eines hohen Innovationstempos und hoher, aber dennoch sinkender Kosten relativ auf neue Technologie.

Während der Bau Kontrolle und Anpassung zu allgemein höheren Kosten bietet, bietet der Kauf Schnelligkeit und Einfachheit. Manchmal ist möglicherweise nicht etwas verfügbar, das Ihren Anforderungen entspricht, aber das kann sich in ein paar Monaten ändern. Indem Sie die Bedürfnisse Ihrer Organisation, ihre Dringlichkeit, Ressourcen und Ziele sorgfältig bewerten, können Sie eine Entscheidung treffen, die den Erfolg und den langfristigen Wert steigert.

Seitdem ChatGPT von OpenAI im November 2022 die Welt im Sturm eroberte, haben Massive Language Fashions (LLMs) verschiedene Anwendungen branchenübergreifend revolutioniert, vom Verständnis natürlicher Sprache bis zur Textgenerierung. Ihre Leistung erfordert jedoch strenge und mehrdimensionale Bewertungsmaßstäbe, um sicherzustellen, dass sie die praktischen, realen Anforderungen an Genauigkeit, Effizienz, Skalierbarkeit und ethische Überlegungen erfüllen. Dieser Artikel beschreibt eine breite Palette von Metriken und Methoden zur Messung der Leistung von LLM-basierten Anwendungen und bietet Einblicke in Bewertungsrahmen, die technische Leistung mit Benutzererfahrung und Geschäftsanforderungen in Einklang bringen.

Dies soll kein umfassender Leitfaden zu allen Metriken zur Messung der Leistung von LLM-Anwendungen sein, aber es bietet einen Einblick in die wichtigsten zu betrachtenden Dimensionen und einige Beispiele für Metriken. Dies hilft Ihnen zu verstehen, wie Sie Ihr Bewertungskriterium erstellen. Die endgültige Wahl hängt von Ihrem tatsächlichen Anwendungsfall ab.

Obwohl sich dieser Artikel auf LLM-basierte Anwendungen konzentriert, lässt sich dies auch auf andere Modalitäten übertragen.

1.1. LLM-basierte Anwendungen: Definition und Umfang

An Massive Language Fashions (LLMs) mangelt es heute nicht mehr. LLMs wie GPT-4, LLaMA von Meta, Claude 3.5 Sonnet von Anthropic oder Titan Textual content Premier von Amazon sind in der Lage, menschenähnlichen Textual content zu verstehen und zu generieren, wodurch sie für mehrere nachgelagerte Anwendungen wie kundenorientierte Chatbots, kreative Inhaltsgenerierung und Sprachübersetzung geeignet sind , usw.

1.2. Bedeutung der Leistungsbewertung

LLMs sind im Gegensatz zu herkömmlichen ML-Modellen, die über ziemlich standardisierte Bewertungskriterien und Datensätze verfügen, nicht trivial zu evaluieren. Der Black-Field-Charakter von LLMs sowie die Vielzahl nachgelagerter Anwendungsfälle erfordern eine vielschichtige Leistungsmessung über mehrere Überlegungen hinweg. Eine unzureichende Evaluierung kann zu Kostenüberschreitungen, schlechter Benutzererfahrung oder Risiken für die Organisation führen, die sie einsetzt.

Es gibt drei wichtige Möglichkeiten, die Leistung von LLM-basierten Anwendungen zu betrachten: Genauigkeit, Kosten und Latenz. Darüber hinaus ist es wichtig, sicherzustellen, dass es eine Reihe von Kriterien für Accountable AI gibt, um sicherzustellen, dass die Anwendung nicht schädlich ist.

Genau wie der Kompromiss zwischen Bias und Varianz, den wir bei klassischen Anwendungen des maschinellen Lernens haben, müssen wir bei LLMs den Kompromiss zwischen Genauigkeit auf der einen Seite und Kosten + Latenz auf der anderen Seite berücksichtigen. Im Allgemeinen wird es ein Balanceakt sein, eine Anwendung zu erstellen, die „genau“ ist (wir werden gleich definieren, was das bedeutet) und gleichzeitig schnell genug und kostengünstig ist. Die Wahl des LLM sowie der unterstützenden Anwendungsarchitektur hängt stark von der Endbenutzererfahrung ab, die wir erreichen möchten.

2.1. Genauigkeit

Ich verwende den Begriff „Genauigkeit“ hier eher locker, da er eine sehr spezifische Bedeutung hat, aber den Punkt deutlich macht, wenn er als englisches Wort und nicht als mathematischer Begriff verwendet wird.

Die Genauigkeit der Anwendung hängt vom tatsächlichen Anwendungsfall ab – ob die Anwendung eine Klassifizierungsaufgabe ausführt, ob sie einen Textblob erstellt oder ob sie für spezielle Aufgaben wie Named Entity Recognition (NER) oder Retrieval Augmented Era (RAG) verwendet wird ).

2.1.1. Anwendungsfälle für die Klassifizierung

Für Klassifizierungsaufgaben wie Sentimentanalyse (positiv/negativ/impartial), Themenmodellierung und Named Entity Recognition sind klassische ML-Bewertungsmetriken geeignet. Sie messen die Genauigkeit anhand verschiedener Dimensionen in der Verwirrungsmatrix. Typische Maßnahmen sind Präzision, Rückruf, F1-Rating usw.

2.1.2. Anwendungsfälle für die Textgenerierung – einschließlich Zusammenfassung und kreativem Inhalt

BLEU, ROUGE Und METEOR Scores sind gängige Metriken zur Bewertung von Textgenerierungsaufgaben, insbesondere zur Übersetzung und Zusammenfassung. Der Einfachheit halber verwendet man auch F1-Scores, indem man BLEU- und ROUGE-Scores kombiniert. Es gibt zusätzliche Metriken wie Perplexity, die besonders nützlich für die Bewertung von LLMs selbst sind, aber weniger nützlich, um die Leistung vollständiger Anwendungen zu messen. Die größte Herausforderung bei allen oben genannten Metriken besteht darin, dass sie sich auf Textähnlichkeit und nicht auf semantische Ähnlichkeit konzentrieren. Je nach Anwendungsfall reicht die Textähnlichkeit möglicherweise nicht aus, und man sollte auch Maße für semantische Nähe verwenden, z SemScore.

2.1.3. RAG-Anwendungsfälle – einschließlich Zusammenfassung und kreativem Inhalt

In RAG-basierten Anwendungen erfordert die Auswertung erweiterte Metriken, um die Leistung über alle Abruf- und Generierungsschritte hinweg zu erfassen. Beim Abrufen kann man Rückruf und Präzision verwenden, um relevante und abgerufene Dokumente zu vergleichen. Zur Generierung können zusätzliche Metriken wie Ratlosigkeit, Halluzinationsrate, sachliche Genauigkeit oder semantische Kohärenz verwendet werden. Dieser Artikel beschreibt die wichtigsten Kennzahlen, die man möglicherweise in seine Bewertung einbeziehen möchte.

2.2. Latenz (und Durchsatz)

In vielen Situationen bestimmen Latenz und Durchsatz einer Anwendung deren Endnutzbarkeit oder Nutzungserfahrung. In der heutigen Era des blitzschnellen Internets möchten Benutzer nicht auf eine Antwort warten müssen, insbesondere wenn sie kritische Aufgaben ausführen.

Je geringer die Latenz, desto besser ist das Benutzererlebnis bei benutzerorientierten Anwendungen, die eine Reaktion in Echtzeit erfordern. Dies ist möglicherweise nicht so wichtig für Workloads, die in Stapeln ausgeführt werden, z. B. die Transkription von Kundendienstanrufen zur späteren Verwendung. Im Allgemeinen können sowohl die Latenz als auch der Durchsatz durch horizontale oder vertikale Skalierung verbessert werden, die Latenz hängt jedoch möglicherweise immer noch grundlegend von der Architektur der gesamten Anwendung ab, einschließlich der Wahl des LLM. Ein schöner Maßstab für die Nutzung der Geschwindigkeit verschiedener LLM-APIs ist Künstliche Analyse. Dies ergänzt andere Bestenlisten, die sich auf die Qualität von LLMs konzentrieren, wie LMSYS Chatbot Enviornment, die offenen LLM-Bestenlisten Hugging Face und Stanfords HELM, die sich mehr auf die Qualität der Ergebnisse konzentrieren.

Latenz ist ein Schlüsselfaktor, der uns weiterhin zu Small Language Fashions für Anwendungen drängen wird, die eine schnelle Reaktionszeit erfordern und bei denen die Bereitstellung auf Edge-Geräten eine Notwendigkeit sein könnte.

2.3. Kosten

Wir entwickeln LLM-Anwendungen, um Geschäftsprobleme zu lösen und die Effizienz zu steigern, in der Hoffnung, Kundenprobleme zu lösen und gleichzeitig constructive Auswirkungen auf das Endergebnis unserer Unternehmen zu haben. All dies ist mit Kosten verbunden, die sich bei generativen KI-Anwendungen schnell summieren könnten.

Wenn man an die Kosten von LLM-Anwendungen denkt, wird meiner Erfahrung nach viel über die Kosten der Inferenz (die auf #Tokens basiert), die Kosten für die Discover-Optimierung oder sogar die Kosten für das Vortraining eines LLM diskutiert . Es gibt jedoch nur begrenzte Diskussionen über die Gesamtbetriebskosten, einschließlich Infrastruktur- und Personalkosten.

Die Kosten können je nach Artwork der Bereitstellung (Cloud, On-Prem, Hybrid), dem Umfang der Nutzung und der Architektur variieren. Es variiert auch stark je nach Lebenszyklus der Anwendungsentwicklung.

• Infrastrukturkosten – umfasst Inferenz-, Optimierungskosten oder möglicherweise Vorschulungskosten sowie die Infrastruktur – Speicher-, Rechen-, Netzwerk- und Speicherkosten, die mit der Anwendung verbunden sind. Je nachdem, wo die Anwendung erstellt wird, müssen diese Kosten möglicherweise nicht separat verwaltet oder gebündelt werden, wenn verwaltete Dienste wie AWS Bedrock verwendet werden.
• Group- und Personalkosten– Manchmal brauchen wir eine Armee von Leuten, um diese Anwendungen zu erstellen, zu überwachen und zu verbessern. Dazu gehören die Ingenieure, die dies aufbauen (Datenwissenschaftler und ML-Ingenieure, DevOps- und MLOps-Ingenieure) sowie die funktionsübergreifenden Groups aus Produkt-/Projektmanagern, Private-, Rechts- und Risikopersonal, die an Design und Entwicklung beteiligt sind. Möglicherweise verfügen wir auch über Annotations- und Beschriftungsteams, die uns qualitativ hochwertige Daten liefern.
• Sonstige Kosten– Dazu können die Kosten für Datenerfassung und -verwaltung, Kundenbefragungen, Software program- und Lizenzkosten, Betriebskosten (MLOps/LLMOps), Sicherheit und Compliance gehören.

2.4. Ethische und verantwortungsvolle KI-Metriken

LLM-basierte Anwendungen sind immer noch neu, viele davon sind lediglich Proof of Ideas. Gleichzeitig werden sie zum Mainstream – ich sehe, dass KI in so vielen Anwendungen integriert ist, die ich täglich verwende, darunter Google, LinkedIn, die Amazon-Purchasing-App, WhatsApp, InstaCart usw. Je verschwimmender die Grenzen zwischen menschlicher und KI-Interaktion werden, desto unschärfer wird sie Umso wichtiger ist es, dass wir uns an verantwortungsvolle KI-Requirements halten. Das größere Downside besteht darin, dass diese Requirements heute nicht existieren. Weltweit werden diesbezügliche Vorschriften noch ausgearbeitet (einschließlich der Government Order des Weißen Hauses). Daher ist es von entscheidender Bedeutung, dass Anwendungsentwickler ihr bestes Urteilsvermögen anwenden. Im Folgenden sind einige der wichtigsten Dimensionen aufgeführt, die Sie im Auge behalten sollten:

• Equity und Voreingenommenheit: Misst, ob die Ergebnisse des Modells frei von Vorurteilen und Equity in Bezug auf Rasse, Geschlecht, ethnische Zugehörigkeit und andere Dimensionen sind.
• Toxizität: Misst den Grad, in dem das Modell schädliche, beleidigende oder abwertende Inhalte generiert oder verstärkt.
• Erklärbarkeit: Bewertet, wie erklärbar die Entscheidungen des Modells sind.
• Halluzinationen/Faktische Konsistenz: Stellt sicher, dass das Modell sachlich korrekte Antworten generiert, insbesondere in kritischen Branchen wie dem Gesundheitswesen und dem Finanzwesen.
• Privatsphäre: Misst die Fähigkeit des Modells, verantwortungsvoll mit PII/PHI/anderen sensiblen Daten umzugehen und Vorschriften wie die DSGVO einzuhalten.

Nun ja… nicht wirklich! Die vier von uns besprochenen Dimensionen und Metriken sind zwar wesentlich und ein guter Ausgangspunkt, sie reichen jedoch nicht immer aus, um den Kontext oder die individuellen Benutzerpräferenzen zu erfassen. Da Menschen in der Regel Endverbraucher der Ergebnisse sind, sind sie am besten in der Lage, die Leistung von LLM-basierten Anwendungen zu bewerten, insbesondere in komplexen oder unbekannten Szenarien. Es gibt zwei Möglichkeiten, menschliche Eingaben zu berücksichtigen:

• Direkt über Human-in-the-Loop: Menschliche Bewerter geben qualitatives Suggestions zu den Ergebnissen von LLMs und konzentrieren sich dabei auf Sprachkompetenz, Kohärenz und Übereinstimmung mit menschlichen Erwartungen. Dieses Suggestions ist entscheidend für die Verbesserung des menschenähnlichen Verhaltens von Modellen.
• Indirekt über sekundäre Metriken: A|B-Checks von Endbenutzern können sekundäre Kennzahlen wie Benutzerinteraktion und -zufriedenheit vergleichen. Beispielsweise können wir die Leistung von hyperpersonalisiertem Advertising and marketing mithilfe generativer KI vergleichen, indem wir Klickraten und Konversionsraten vergleichen.

Als Berater lautet die Antwort auf die meisten Fragen „Es kommt darauf an.“ Dies gilt auch für Bewertungskriterien für LLM-Bewerbungen. Je nach Anwendungsfall/Branche/Funktion muss das richtige Gleichgewicht der Metriken zwischen Genauigkeit, Latenz, Kosten und verantwortungsvoller KI gefunden werden. Dies sollte immer durch eine menschliche Bewertung ergänzt werden, um sicherzustellen, dass wir die Anwendung in einem realen Szenario testen. Beispielsweise legen medizinische und finanzielle Anwendungsfälle Wert auf Genauigkeit und Sicherheit sowie die Zuordnung zu glaubwürdigen Quellen, Unterhaltungsanwendungen legen Wert auf Kreativität und Benutzerengagement. Die Kosten bleiben ein entscheidender Faktor bei der Erstellung des Geschäftsszenarios für eine Anwendung, obwohl die schnell sinkenden Kosten für LLM-Inferenz die Eintrittsbarrieren bald verringern könnten. Latenz ist in der Regel ein limitierender Faktor und erfordert die richtige Modellauswahl sowie Infrastrukturoptimierung, um die Leistung aufrechtzuerhalten.

Alle Ansichten in diesem Artikel stammen vom Autor und stellen keine Empfehlung von Produkten oder Dienstleistungen dar.