In diesem Begleitartikel zeige ich meine Implementierung für das Coaching eines GPT-ähnlichen Modells von Grund auf in Rust. Keine GPUs, nur CPUs, mit einer 30-mal besseren Leistung als der native C-Code.
In meinem letzten Artikelhabe ich das Downside der Matrixmultiplikation vorgestellt, wie der Aufmerksamkeitsalgorithmus die Matrixmultiplikation verwendet, um einen Mittelungsprozess durchzuführen, und wie man – oder zumindest für mich – eine Matrixmultiplikationsfunktion in Rust effizient implementiert Blas.
In diesem neuen Artikel möchte ich meinen ersten Baustein zur Umsetzung zeigen llm.c in Rust, nämlich das Trainieren eines GPT-ähnlichen Modells von Grund auf mit Rust. Auf diese Weise habe ich immer mehr über das Rust-Ökosystem gelernt und verstanden, wie vergleichbar es mit C ist. Insbesondere Ich möchte, dass mein Code ein GPT-ähnliches Modell trainieren kann, ausgehend von GPT-Gewichten und nur mit CPUs– additionally keine GPUs oder TPUs. Mein Ziel ist es zu verstehen, wie weit wir diese Modelle auf einfachen Laptops vorantreiben können und wie weit das Rust-Ökosystem dafür genutzt werden kann. Letztendlich kann dieser Code auch zur Feinabstimmung von GPT-Modellen mit einem bestimmten Eingabekorpus nützlich sein.
Alle relevanten Codeteile sind zu finden Hier.