Erfahren Sie, wie Sie Immediate Engineering automatisieren und erhebliche Leistungsverbesserungen in Ihrem LLM-Workload erzielen
Automated Immediate Engineering (APE) ist eine Technik zur Automatisierung des Prozesses der Generierung und Verfeinerung von Eingabeaufforderungen für ein Massive Language Mannequin (LLM), um die Leistung des Modells bei einer bestimmten Aufgabe zu verbessern. Es verwendet die Idee des Immediate Engineering, bei dem verschiedene Eingabeaufforderungen manuell erstellt und getestet werden, und automatisiert den gesamten Prozess. Wie wir sehen werden, ist es sehr ähnlich der automatisierten Hyperparameteroptimierung im herkömmlichen überwachten maschinellen Lernen.
In diesem Tutorial werden wir uns eingehend mit APE befassen: Wir werden uns zunächst ansehen, wie es im Prinzip funktioniert, einige der Strategien, die zum Generieren von Eingabeaufforderungen verwendet werden können, und andere verwandte Techniken wie die Exemplarauswahl. Dann gehen wir zum praktischen Teil über und schreiben ein APE-Programm von Grund auf neu, d. h. wir verwenden keine Bibliotheken wie DSPy, die das für uns erledigen. Auf diese Weise erhalten wir ein viel besseres Verständnis dafür, wie die Prinzipien von APE funktionieren, und sind viel besser gerüstet, um die Frameworks zu nutzen, die diese Funktionalität sofort einsatzbereit bieten.