LLMOps

Die Transformer-Architektur ist wohl eine der wirkungsvollsten Innovationen im modernen Deep Studying. Vorgeschlagen im berühmten Papier aus dem Jahr 2017 „Aufmerksamkeit ist alles, was Sie brauchen„Es ist zum bevorzugten Ansatz für die meisten sprachbezogenen Modelle geworden, einschließlich aller Massive Language Fashions (LLMs), wie z GPT-Familiesowie viele Pc-Imaginative and prescient-Aufgaben.

Mit zunehmender Komplexität und Größe dieser Modelle steigt auch die Notwendigkeit, ihre Inferenzgeschwindigkeit zu optimieren, insbesondere bei Chat-Anwendungen, bei denen die Benutzer sofortige Antworten erwarten. Das Schlüsselwert-Caching (KV) ist ein cleverer Trick, um genau das zu erreichen – sehen wir uns an, wie es funktioniert und wann man es verwendet.

Bevor wir uns mit dem KV-Caching befassen, müssen wir einen kurzen Abstecher zum Aufmerksamkeitsmechanismus machen, der in Transformatoren verwendet wird. Um zu erkennen und zu verstehen, wie KV-Caching die Transformatorinferenz optimiert, muss man verstehen, wie es funktioniert.

Wir werden uns auf autoregressive Modelle konzentrieren, die zur Textgenerierung verwendet werden. Zu diesen sogenannten Decoder-Modellen gehören die GPT-Familie, Zwillinge, Claudeoder GitHub-Copilot. Sie werden auf eine einfache Aufgabe trainiert: die Vorhersage des nächsten Tokens in der Reihenfolge. Bei der Inferenz wird dem Modell etwas Textual content zur Verfügung gestellt und seine Aufgabe besteht darin…

Eine Konfusionsmatrix ist eine praktische Möglichkeit, die Arten von Fehlern darzustellen, die ein maschinelles Lernverfahren macht. Es ist eine N von N Raster mit Zahlen, wobei der Wert in der Zelle (n, m) die Anzahl der Beispiele darstellt, die mit der n-ten Klasse annotiert sind, die als m-te Klasse erkannt wird. In diesem Tutorial werde ich mich auf das Erstellen einer Konfusionsmatrix und einer Heatmap konzentrieren. Die Farbpalette wird verwendet, um die Größen verschiedener Gruppen anzuzeigen, sodass Ähnlichkeiten oder signifikante Unterschiede in den Gruppengrößen leicht erkennbar sind. Diese Artwork der Visualisierung ist praktisch, wenn Sie mit zahlreichen Kategorien arbeiten.

Hier ist eine visuelle Erklärung der Elemente der Konfusionsmatrix.

Ich wollte schon immer lernen, wie man einen Zauberwürfel löst. Ich hatte eines, als ich etwa 10 bis 12 Jahre alt warfare. Mir ist es nie gelungen. Und wenn, dann nur, indem ich die Aufkleber zwischen den Blöcken „angepasst“ habe. Es zählte additionally nicht wirklich.

Was warfare das Downside? Ich dachte, das Lösen des Zauberwürfels sei eine intellektuelle, logische Übung. Da lag ich falsch. Dank einiger YouTube-Tutorials habe ich 30 Jahre später endlich gelernt, wie man ihn löst. Es stellte sich heraus, dass man es schaffen kann, indem man einer Reihe von Algorithmen folgt. Es ist keine Zauberei – man muss sich nur ein paar Regeln und Schritte merken (und zum Glück immer noch etwas geistige Anstrengung, zumindest bei mir).

Ich hatte früher ein ähnliches Downside mit datengesteuertem Storytelling. Lassen Sie uns das in Relation setzen, so als wäre ich 10 Jahre alt und würde versuchen, den Würfel zu lösen. Man könnte meinen, dass datengesteuertes Storytelling dazu dient, dem Publikum eine objektive Geschichte über Daten und Analysen zu erzählen – Schlussfolgerungen, Annahmen, Positives und Negatives. Das Publikum sollte alle Fakten kennen, um fundierte Entscheidungen treffen zu können. Dazu kann auch das Teilen von Analyseszenarien gehören, die sich als falsch erwiesen haben. Letztendlich soll das Publikum …