Quantisierung und LLMs: Verdichtung von Modellen auf handhabbare Größen

Umfang und Komplexität von LLMs

Die unglaublichen Fähigkeiten von LLMs basieren auf ihren riesigen neuronalen Netzwerken, die aus Milliarden von Parametern bestehen. Diese Parameter sind das Ergebnis des Trainings anhand umfangreicher Textkorpora und werden fein abgestimmt, um die Modelle so genau und vielseitig wie möglich zu machen. Dieser Grad an Komplexität erfordert erhebliche Rechenleistung für die Verarbeitung und Speicherung.

Das beigefügte Balkendiagramm zeigt die Anzahl der Parameter in verschiedenen Skalen von Sprachmodellen. Wenn wir von kleineren zu größeren Modellen übergehen, beobachten wir einen deutlichen Anstieg der Parameteranzahl, wobei „kleine“ Sprachmodelle nur wenige Millionen Parameter und „große“ Modelle mehrere Milliarden Parameter aufweisen.

Es ist jedoch das GPT-4 LLM-Modell mit 175 Milliarden Parametern, das die Parametergröße anderer Modelle in den Schatten stellt. GPT-4 verwendet nicht nur die meisten Parameter der Graphen, sondern treibt auch das bekannteste generative KI-Modell an, ChatGPT. Diese überragende Präsenz im Diagramm ist repräsentativ für andere LLMs seiner Klasse und zeigt die Anforderungen, die für die KI-Chatbots der Zukunft erforderlich sind, sowie die Verarbeitungsleistung, die zur Unterstützung solcher fortschrittlicher KI-Systeme erforderlich ist.

Die Kosten für den Betrieb von LLMs und die Quantisierung

Die Bereitstellung und der Betrieb komplexer Modelle können kostspielig werden, da sie entweder Cloud-Computing auf spezieller {Hardware} erfordern, wie z. B. Excessive-Finish-GPUsKI-Beschleuniger und kontinuierlicher Energieverbrauch. Die Kostensenkung durch die Wahl einer Vor-Ort-Lösung kann viel Geld sparen und die Flexibilität bei der Hardwareauswahl sowie die Freiheit erhöhen, das System überall zu nutzen, wobei die Wartung und die Beschäftigung eines qualifizierten Fachmanns zu Lasten gehen. Hohe Kosten können es für kleine Unternehmen schwierig machen, eine fortschrittliche KI zu trainieren und zu betreiben. Hier kommt die Quantisierung ins Spiel.

Was ist Quantisierung?

Quantisierung ist eine Technik, die die numerische Genauigkeit jedes Parameters in einem Modell reduziert und dadurch den Speicherbedarf verringert. Dies ist vergleichbar mit der Komprimierung eines hochauflösenden Bildes auf eine niedrigere Auflösung, wobei das Wesentliche und die wichtigsten Aspekte erhalten bleiben, jedoch bei reduzierter Datengröße. Dieser Ansatz ermöglicht die Bereitstellung von LLMs auf weniger {Hardware} ohne wesentlichen Leistungsverlust.

ChatGPT wurde trainiert und wird mit Tausenden von NVIDIA DGX-Systemen, {Hardware} im Wert von mehreren Millionen Greenback und Zehntausenden Greenback für die Infrastruktur eingesetzt. Die Quantisierung kann einen guten Proof of Idea oder sogar vollwertige Bereitstellungen mit weniger spektakulärer (aber immer noch leistungsstarker) {Hardware} ermöglichen.

In den folgenden Abschnitten werden wir das Konzept der Quantisierung, ihre Methoden und ihre Bedeutung für die Überbrückung der Lücke zwischen der äußerst ressourcenintensiven Natur von LLMs und den praktischen Aspekten der alltäglichen Technologienutzung analysieren. Die transformative Kraft von LLMs kann zu einem festen Bestandteil kleinerer Anwendungen werden und einem breiteren Publikum enorme Vorteile bieten.

Grundlagen der Quantisierung

Unter Quantisierung eines großen Sprachmodells versteht man den Prozess der Reduzierung der Genauigkeit der im Modell verwendeten numerischen Werte. Im Kontext neuronaler Netzwerke und Deep-Studying-Modelle, einschließlich großer Sprachmodelle, werden numerische Werte typischerweise als Gleitkommazahlen mit hoher Genauigkeit dargestellt (z. B. 32-Bit- oder 16-Bit-Gleitkommaformat). Lesen Sie mehr über Gleitkommagenauigkeit hier.

Die Quantisierung behebt dieses Downside, indem diese hochpräzisen Gleitkommazahlen in weniger präzise Darstellungen wie 16- oder 8-Bit-Ganzzahlen umgewandelt werden, um das Modell speichereffizienter und schneller zu machen, sowohl beim Coaching als auch bei der Inferenz, wobei die Präzision geopfert wird. Dadurch benötigen das Coaching und die Inferenz des Modells weniger Speicherplatz, verbrauchen weniger Arbeitsspeicher und können schneller auf {Hardware} ausgeführt werden, die Berechnungen mit geringerer Genauigkeit unterstützt.

Arten der Quantisierung

Um das Thema vertiefen und komplexer zu gestalten, ist es wichtig zu verstehen, dass die Quantisierung in verschiedenen Phasen des Lebenszyklus der Entwicklung und Bereitstellung eines Modells angewendet werden kann. Jede Methode hat ihre eigenen Vorteile und Nachteile und wird basierend auf den spezifischen Anforderungen und Einschränkungen des Anwendungsfalls ausgewählt.

1. Statische Quantisierung

Statische Quantisierung ist eine Technik, die während der Trainingsphase eines KI-Modells angewendet wird. Dabei werden die Gewichte und Aktivierungen auf eine geringere Bitpräzision quantisiert und auf alle Schichten angewendet. Die Gewichte und Aktivierungen werden im Voraus quantisiert und bleiben durchgehend unverändert. Statische Quantisierung eignet sich hervorragend für bekannte Speicheranforderungen des Methods, auf dem das Modell bereitgestellt werden soll.

• Vorteile der statischen Quantisierung
  • Vereinfacht die Bereitstellungsplanung, da die Quantisierungsparameter festgelegt sind.
  • Reduziert die Modellgröße und macht es besser für Edge-Geräte und Echtzeitanwendungen geeignet.
• Nachteile der statischen Quantisierung
  • Leistungseinbußen sind vorhersehbar; daher können bestimmte quantisierte Teile bei einem weitgehend statischen Ansatz stärker beeinträchtigt werden.
  • Begrenzte Anpassungsfähigkeit der statischen Quantisierung für unterschiedliche Eingabemuster und weniger robuste Aktualisierung der Gewichte.

2. Dynamische Quantisierung

Bei der dynamischen Quantisierung werden Gewichte statisch quantisiert, Aktivierungen werden jedoch während der Modellinferenz im laufenden Betrieb quantisiert. Die Gewichte werden im Voraus quantisiert, während die Aktivierungen dynamisch quantisiert werden, während die Daten durch das Netzwerk laufen. Dies bedeutet, dass die Quantisierung bestimmter Teile des Modells mit unterschiedlicher Genauigkeit ausgeführt wird, anstatt standardmäßig eine feste Quantisierung zu verwenden.

• Vorteile der dynamischen Quantisierung
  • Gleicht Modellkomprimierung und Laufzeiteffizienz aus, ohne dass die Genauigkeit nennenswert abnimmt.
  • Nützlich für Modelle, bei denen die Aktivierungspräzision wichtiger ist als die Gewichtspräzision.
• Nachteile der dynamischen Quantisierung
  • Leistungsverbesserungen im Vergleich zu statischen Methoden sind nicht vorhersehbar (aber das ist nicht unbedingt eine schlechte Sache).
  • Die dynamische Berechnung bedeutet mehr Rechenaufwand und längere Trainings- und Inferenzzeiten als die anderen Methoden, ist aber dennoch leichter als ohne Quantisierung

3. Submit-Coaching-Quantisierung (PTQ)

Bei dieser Technik wird die Quantisierung in den Trainingsprozess selbst integriert. Dabei wird die Verteilung von Gewichten und Aktivierungen analysiert und diese Werte dann auf eine geringere Bittiefe abgebildet. PTQ wird auf ressourcenbeschränkten Geräten wie Edge-Geräten und Mobiltelefonen eingesetzt. PTQ kann entweder statisch oder dynamisch sein.

• Vorteile von PTQ
  • Kann direkt auf ein vortrainiertes Modell angewendet werden, ohne dass ein erneutes Coaching erforderlich ist.
  • Reduziert die Modellgröße und verringert den Speicherbedarf.
  • Verbesserte Inferenzgeschwindigkeiten ermöglichen schnellere Berechnungen während und nach der Bereitstellung.
• Nachteile von PTQ
  • Möglicher Verlust der Modellgenauigkeit aufgrund der Annäherung der Gewichte.
  • Erfordert eine sorgfältige Kalibrierung und Feinabstimmung, um Quantisierungsfehler zu verringern.
  • Möglicherweise nicht für alle Modelltypen optimum, insbesondere nicht für diejenigen, bei denen es auf Gewichtsgenauigkeit ankommt.

4. Quantisierungsbewusstes Coaching (QAT)

Während des Trainings erkennt das Modell die Quantisierungsoperationen, die während der Inferenz angewendet werden, und die Parameter werden entsprechend angepasst. Dadurch kann das Modell lernen, mit quantisierungsbedingten Fehlern umzugehen.

• Vorteile von QAT
  • Behält im Vergleich zu PTQ tendenziell die Modellgenauigkeit bei, da beim Modelltraining Quantisierungsfehler während des Trainings berücksichtigt werden.
  • Robuster für Modelle, bei denen Genauigkeit empfindlich ist, und bessere Inferenzfähigkeiten auch bei geringerer Genauigkeit.
• Nachteile von QAT
  • Erfordert ein erneutes Trainieren des Modells, was zu längeren Trainingszeiten führt.
  • Rechenintensiver, da eine Überprüfung auf Quantisierungsfehler erfolgt.

5. Binäre ternäre Quantisierung

Diese Methoden quantisieren die Gewichte entweder auf zwei Werte (binär) oder drei Werte (ternär), was die extremste Kind der Quantisierung darstellt. Die Gewichte sind während oder nach dem Coaching auf +1, -1 für binäre oder +1, 0, -1 für ternäre Quantisierung beschränkt. Dies würde die Anzahl der möglichen Quantisierungsgewichtswerte drastisch reduzieren und dennoch einigermaßen dynamisch bleiben.

• Vorteile der binären ternären Quantisierung
  • Maximiert die Modellkomprimierung und Inferenzgeschwindigkeit und hat minimale Speicheranforderungen.
  • Schnelle Inferenz- und Quantisierungsberechnungen ermöglichen die Nutzung auf {Hardware} mit geringer Leistung.
• Nachteile der binären ternären Quantisierung
  • Eine hohe Komprimierung und eine verringerte Präzision führen zu einem deutlichen Genauigkeitsverlust.
  • Nicht für alle Aufgabentypen oder Datensätze geeignet und hat bei komplexen Aufgaben Probleme.

Die Vorteile und Herausforderungen der Quantisierung

Die Quantisierung großer Sprachmodelle bringt mehrere betriebliche Vorteile mit sich. In erster Linie wird dadurch der Speicherbedarf dieser Modelle erheblich reduziert. Unser Ziel für Modelle nach der Quantisierung ist, dass der Speicherbedarf deutlich geringer ist. Eine höhere Effizienz ermöglicht die Bereitstellung dieser Modelle auf Plattformen mit bescheideneren Speicherkapazitäten, und die Verringerung der zum Ausführen der Modelle nach der Quantisierung erforderlichen Verarbeitungsleistung führt direkt zu höheren Inferenzgeschwindigkeiten und schnelleren Reaktionszeiten, die das Benutzererlebnis verbessern.

Andererseits kann die Quantisierung auch zu einem gewissen Verlust an Modellgenauigkeit führen, da es sich dabei um die Annäherung an reelle Zahlen handelt. Die Herausforderung besteht darin, das Modell zu quantisieren, ohne seine Leistung wesentlich zu beeinträchtigen. Dies kann erreicht werden, indem die Präzision und Fertigstellungszeit des Modells vor und nach der Quantisierung mit Ihren Modellen getestet werden, um Effektivität, Effizienz und Genauigkeit zu messen.

Durch die Optimierung des Gleichgewichts zwischen Leistung und Ressourcenverbrauch erweitert die Quantisierung nicht nur die Zugänglichkeit von LLMs, sondern trägt auch zu nachhaltigeren Computerpraktiken bei.

Unique. Mit Genehmigung erneut veröffentlicht.

Kevin Vu verwaltet Weblog von Exxact Corp und arbeitet mit vielen seiner talentierten Autoren zusammen, die über verschiedene Aspekte des Deep Studying schreiben.