Forschung und Experimente stehen im Mittelpunkt jeder Übung, bei der es um KI geht. Beim Erstellen von LLM-Anwendungen ist das nicht anders. Im Gegensatz zu herkömmlichen Net-Apps, die einem vorab festgelegten Design folgen, das kaum oder gar keine Variationen aufweist, basieren KI-basierte Designs stark auf Experimenten und können sich je nach ersten Ergebnissen ändern. Der Erfolgsfaktor besteht darin, in Iterationen mit klar definierten Erwartungen zu experimentieren und anschließend jede Iteration kontinuierlich zu bewerten. Bei der LLM-nativen Entwicklung ist das Erfolgskriterium in der Regel die Qualität des Outputs, das heißt, der Fokus liegt auf der Erzielung präziser und hochrelevanter Ergebnisse. Dies kann entweder eine Antwort eines Chatbots, eine Textzusammenfassung, eine Bildgenerierung oder sogar eine von LLM definierte Aktion (Agentischer Ansatz) sein. Die konsistente Generierung hochwertiger Ergebnisse erfordert ein tiefes Verständnis der zugrunde liegenden Sprachmodelle, eine ständige Feinabstimmung der Eingabeaufforderungen und eine strenge Bewertung, um sicherzustellen, dass die Anwendung den gewünschten Requirements entspricht.
Welche technischen Fähigkeiten benötigen Sie im Staff?
Sie gehen vielleicht davon aus, dass ein Staff mit nur einer Handvoll Datenwissenschaftlern ausreicht, um eine LLM-Anwendung zu erstellen. Aber in Wirklichkeit sind technische Fähigkeiten mindestens genauso wichtig, um das Zielprodukt tatsächlich zu „liefern“, da LLM-Anwendungen nicht dem klassischen ML-Ansatz folgen. Sowohl für Datenwissenschaftler als auch für Softwareentwickler ist ein Umdenken erforderlich, um sich mit dem Entwicklungsansatz vertraut zu machen. Ich habe gesehen, dass sich beide Rollen auf diesem Weg befinden, zum Beispiel Datenwissenschaftler, die sich mit der Cloud-Infrastruktur und Anwendungsbereitstellung vertraut machen, und andererseits Ingenieure, die sich mit den Feinheiten der Modellnutzung und der Bewertung von LLM-Ausgaben vertraut machen. Letztendlich brauchen Sie KI-Praktiker im Staff, die nicht nur zum „Programmieren“ da sind, sondern vielmehr für die Forschung, Zusammenarbeit und Verbesserung der KI-Anwendbarkeit.
Muss ich wirklich „experimentieren“, da wir vorab trainierte Sprachmodelle verwenden werden?
Beliebte LLMs wie GPT-4o sind bereits auf große Datenmengen trainiert und in der Lage, Texte, Bilder usw. zu erkennen und zu generieren, sodass Sie diese Modelltypen nicht „trainieren“ müssen. In sehr wenigen Szenarien ist möglicherweise eine Feinabstimmung des Modells erforderlich, dies ist jedoch auch ohne klassischen ML-Ansatz problemlos möglich. Verwechseln wir den Begriff „Experiment“ jedoch nicht mit der „Modelltraining“-Methode, die im prädiktiven ML verwendet wird. Wie ich oben erwähnt habe, ist die Qualität der Anwendungsausgabe wichtig. Das Einrichten von Iterationen von Experimenten kann uns dabei helfen, die angestrebte Ergebnisqualität zu erreichen. Wenn Sie beispielsweise einen Chatbot erstellen und steuern möchten, wie die Bot-Ausgabe für den Endbenutzer aussehen soll, hilft Ihnen ein iterativer und experimenteller Ansatz zur sofortigen Verbesserung und Feinabstimmung von Hyperparametern dabei, den richtigen Weg zu finden, um die meisten zu generieren genaue und konsistente Ausgabe.
Erstellen Sie zu Beginn Ihrer Reise einen Prototyp
Erstellen Sie so früh wie möglich, idealerweise innerhalb von 2–4 Wochen, einen Prototypen (auch MVP genannt – Minimal Viable Product), der nur die Kernfunktionen enthält. Wenn Sie eine Wissensdatenbank für den RAG-Ansatz verwenden, verwenden Sie eine Teilmenge der Daten, um eine umfangreiche Datenvorverarbeitung zu vermeiden.
- Das schnelle Suggestions einer Untergruppe von Zielbenutzern hilft Ihnen zu verstehen, ob die Lösung ihren Erwartungen entspricht.
- Überprüfen Sie die Ergebnisse mit den Beteiligten, um nicht nur die guten Ergebnisse zu zeigen, sondern auch um die Einschränkungen und Einschränkungen zu besprechen, die Ihr Staff während der Prototypenerstellung festgestellt hat. Dies ist von entscheidender Bedeutung, um Risiken frühzeitig zu mindern und eine fundierte Entscheidung hinsichtlich der Lieferung zu treffen.
- Das Staff kann den Tech-Stack, die Sicherheits- und Skalierbarkeitsanforderungen finalisieren, um den Prototyp in ein voll funktionsfähiges Produkt zu überführen und den Zeitplan für die Lieferung festzulegen.
Stellen Sie fest, ob Ihr Prototyp für den Einbau in das „Produkt“ bereit ist.
Durch die Verfügbarkeit mehrerer KI-fokussierter Muster ist es sehr einfach, einen Prototyp zu erstellen, und erste Assessments solcher Prototypen liefern in der Regel vielversprechende Ergebnisse. Bis der Prototyp fertig ist, verfügt das Staff möglicherweise über mehr Verständnis für Erfolgskriterien, Marktforschung, Zielbenutzerbasis, Plattformanforderungen usw. An diesem Punkt kann die Berücksichtigung der folgenden Fragen dabei helfen, die Richtung zu bestimmen, in die sich das Produkt entwickeln kann:
- Erfüllen die im Prototyp entwickelten Funktionalitäten den primären Bedarf der Endbenutzer oder des Geschäftsprozesses?
- Welchen Herausforderungen stand das Staff während der Prototypenentwicklung gegenüber und könnten auf dem Weg zur Produktion auftreten? Gibt es Methoden, um diese Risiken zu mindern?
- Stellt der Prototyp ein Risiko im Hinblick auf verantwortungsvolle KI-Prinzipien dar? Wenn ja, welche Leitplanken können dann umgesetzt werden, um diese Risiken zu vermeiden? (Auf diesen Punkt gehen wir in Teil 2 näher ein)
- Wenn die Lösung in ein bestehendes Produkt integriert werden soll, was könnte dafür ein Hingucker sein?
- Wenn die Lösung smart Daten verarbeitet, wurden wirksame Maßnahmen zum Schutz des Datenschutzes und der Datensicherheit ergriffen?
- Müssen Sie Leistungsanforderungen für das Produkt definieren? Sind die Ergebnisse des Prototyps in dieser Hinsicht vielversprechend oder können sie noch verbessert werden?
- Welche Sicherheitsanforderungen benötigt Ihr Produkt?
- Benötigt Ihr Produkt eine Benutzeroberfläche? (Ein häufiger LLM-basierter Anwendungsfall ist Chatbot, daher müssen UI-Anforderungen so früh wie möglich definiert werden)
- Haben Sie von Ihrem MVP einen Kostenvoranschlag für die LLM-Nutzung? Wie sieht es aus, wenn man den geschätzten Umfang der Nutzung in der Produktion und Ihr Finances berücksichtigt?
Wenn Sie nach der ersten Prüfung zufriedenstellende Antworten auf die meisten Fragen erhalten und gleichzeitig gute Ergebnisse mit Ihrem Prototyp erzielen, können Sie mit der Produktentwicklung fortfahren.
Seien Sie gespannt auf Teil 2, über den ich sprechen werde Wie sollten Sie bei der Produktentwicklung vorgehen, wie Sie verantwortungsvolle KI frühzeitig in die Produkt- und Kostenmanagementtechniken integrieren können?
Bitte folgen Sie mir, wenn Sie mehr solcher Inhalte über neue und aufregende Technologien lesen möchten. Wenn Sie Suggestions haben, hinterlassen Sie bitte einen Kommentar. Danke 🙂