Bei einigen der Probleme, mit denen wir bei der Implementierung von KI-Algorithmen konfrontiert sind, konzentrieren wir uns normalerweise auf die Fähigkeit der Prozessoren, damit umzugehen.
Aber jetzt treiben NVIDIAs GPUs die neuesten großen Sprachmodelle an und Unternehmen konkurrieren um die Entwicklung schnellerer KI-Beschleuniger. Diese neuen Chips versprechen mehr Rechenleistung, mehr Kerne und mehr Operationen professional Sekunde.
Man könnte additionally davon ausgehen, dass die Zukunft der KI von der Entwicklung immer leistungsfähigerer Prozessoren abhängt! Aber es gibt ein Downside. Bei vielen heutigen KI-Systemen gibt es keine Einschränkungen hinsichtlich der Geschwindigkeit, mit der sie Berechnungen durchführen können. Sie sind dadurch eingeschränkt, wie schnell sie auf Daten zugreifen können. Daten, die für die Durchführung ihrer Berechnungen unerlässlich sind.
Mit anderen Worten: Die Zukunft der KI hängt möglicherweise weniger von der Berechnung als vielmehr vom Speicher ab.
Ich weiß, das erscheint vielleicht nicht sehr intuitiv, aber lassen Sie uns einen Schritt zurücktreten und uns etwas vorstellen: Stellen Sie sich vor, Sie würden den effizientesten und schnellsten Koch der Welt engagieren.
Dieser Koch kann Mahlzeiten unglaublich schnell zubereiten. Allerdings wird jede Zutat in einem mehrere Kilometer entfernten Lagerhaus gelagert. Bevor der Koch kochen kann, muss jemand die Zutaten holen und in die Küche liefern.
Egal wie talentiert der Koch ist, es wird Zeiten geben, in denen er einfach herumsteht und darauf wartet, dass die Zutaten eintreffen, die er zum Kochen braucht.
Moderne KI-Systeme stehen vor einer ähnlichen Herausforderung. Die von ihnen verwendeten Prozessoren können Berechnungen durchführen, aber sie können nicht mit Daten arbeiten, die noch nicht angekommen sind. Wenn der Prozessor schneller rechnen kann, als der Speicher Informationen liefern kann, wird die Leistung eher durch die Datenbewegung als durch die Berechnung begrenzt.
Dies wird in der Informatik als Speicherengpass bezeichnet. Es ist eine der wichtigsten und am wenigsten diskutierten Herausforderungen der modernen KI.
Der Maßstab moderner Modelle
Um besser zu verstehen, warum Speicher zu einem so wichtigen Thema geworden ist, müssen wir die Größe der heutigen KI-Modelle berücksichtigen. Frühe Modelle des maschinellen Lernens enthielten möglicherweise Tausende oder Millionen von Parametern, während moderne Basismodelle Milliarden oder sogar Billionen enthalten.
Jeder dieser Parameter stellt einen numerischen Wert dar, der im Speicher gespeichert werden muss und auf den während des Trainings und der Inferenz wiederholt zugegriffen werden muss.
Okay, das klingt logisch, aber lassen Sie es uns mit ein paar Zahlen untermauern! Angenommen, wir haben ein Modell, das 70 Milliarden Parameter enthält. Bevor überhaupt eine einzelne Berechnung durchgeführt wird, benötigt das System einen Ort, an dem alle diese Parameter gespeichert werden können.
Nun möchte ich, dass Sie sich vorstellen, dass Tausende von Benutzern gleichzeitig mit dem Modell interagieren. Die {Hardware} muss ständig enorme Informationsmengen zwischen Speicher und Prozessoren übertragen.
Wie Sie vielleicht schlussfolgern, besteht die Herausforderung nicht mehr nur darin, Berechnungen durchzuführen; Vielmehr werden Daten schnell genug an die {Hardware} weitergeleitet.
Das Verschieben von Daten kann teurer sein als die Datenverarbeitung, was eine der kontraintuitivsten Realitäten im Computerbereich darstellt. Im Laufe der Jahrzehnte hat sich die Prozessorleistung dramatisch verbessert, da Ingenieure außerordentlich intestine darin geworden sind, Chips zu entwickeln, die Berechnungen immer schneller durchführen können. Andererseits gingen die Verbesserungen des Speichersystems jedoch langsamer voran.
Dies führte zu einem wachsenden Ungleichgewicht, das mit zunehmender Größe der KI-Systeme deutlicher wurde. Moderne Prozessoren können Billionen von Operationen professional Sekunde ausführen, verbringen jedoch oft viel Zeit damit, auf das Eintreffen von Daten zu warten.
Dieser Datenengpass tritt innerhalb von KI-Systemen auf unterschiedliche Weise auf. Wir können es beim Verschieben von Daten zwischen Speicher und Prozessoren, zwischen GPUs, zwischen Servern oder zwischen Rechenzentren sehen.
Diese Modelle werden immer weiter wachsen und dabei wird das Downside der Datenbewegung eine wichtige Rolle für die Gesamtleistung des Methods spielen!
KI-Speicher verstehen
Bisher glaube ich, dass ich das Wort „Speicher“ über 20 Mal geschrieben habe (ich habe nicht gezählt!). Sie haben sich vielleicht gefragt, von welcher Artwork von Erinnerung sie spricht? Die meisten Menschen kennen RAM, den in Laptops und Desktop-Computern installierten Speicher. KI-Systeme nutzen unterschiedliche Speichertypen für unterschiedliche Zwecke.
1- RAM: Der Direktzugriffsspeicher speichert die von der CPU verwendeten Daten. Er ist relativ groß, aber im Vergleich zu spezialisiertem KI-Speicher nicht besonders schnell.
2- VRAM: Grafikprozessoren enthalten einen dedizierten Speicher, der als Video Random Entry Reminiscence (VRAM) bekannt ist. Wird während des Trainings und der Inferenz verwendet, um Modellparameter, Trainingsbatches, Aktivierungen und Zwischenberechnungen zu speichern. Die Menge des verfügbaren VRAM bestimmt oft, ob ein Modell auf eine GPU passt.
3- Speicher mit hoher Bandbreite (HBM): Moderne KI-Beschleuniger verlassen sich zunehmend auf Excessive-Bandwidth Reminiscence (HBM). HBM wurde speziell für die extrem schnelle Übertragung großer Datenmengen entwickelt. Anstatt einfach nur die Speicherkapazität zu erhöhen, konzentriert sich HBM auf die Erhöhung der Speicherbandbreite, additionally der Geschwindigkeit, mit der Informationen übertragen werden können.
Obwohl die Größe des Speichers (seine Kapazität) wichtig ist, spielt seine Bandbreite eine größere Rolle. Eine Möglichkeit, über diese beiden Konzepte nachzudenken, ist eine Autobahn (bleiben Sie hier für eine Sekunde bei mir). Die Kapazität ist die Anzahl der Autos, die auf der Autobahn vorhanden sein können, während die Bandbreite die Anzahl der verfügbaren Fahrspuren ist.
Sie können einen riesigen Parkplatz haben, aber wenn alle Fahrzeuge über eine einzige Spur abfahren müssen, wird der Verkehr zum limitierenden Faktor.
Nun, wie bereits erwähnt, nutzen KI-Systeme unterschiedliche Arten von Speicher auf unterschiedliche Weise. Die Gedächtnisherausforderung erscheint während des Trainings und der Schlussfolgerung unterschiedlich.
Coaching: Beim Coaching müssen Modellparameter, Verläufe, Aktivierungen und Optimiererzustände gespeichert werden. Dadurch steigt der Speicherbedarf enorm. Dies würde eine Verteilung des Speichers auf viele GPUs erfordern.
Inferenz: Inferenz erfordert im Allgemeinen weniger Speicher als Coaching, bringt jedoch eine andere Herausforderung mit sich. Das Modell muss kontinuierlich Anfragen bedienen und dabei Parameter abrufen und schnell Ausgaben generieren. Bei interaktiven Systemen wie Chatbots ist die Latenz mittlerweile ein großes Thema!
Je schneller der Speicher Informationen liefern kann, desto schneller kann das Modell reagieren. Dies ist ein Grund, warum Gedächtnistechnologien auch nach Abschluss des Trainings unverzichtbar bleiben.
Einige abschließende Gedanken
Die meisten Diskussionen über KI-Leistungsoptimierungen konzentrieren sich auf größere Modelle und schnellere Prozessoren. Dennoch erkennen {Hardware}-Ingenieure zunehmend eine andere Realität.
Beim Aufbau intelligenterer KI-Systeme geht es nicht nur darum, mehr Rechenleistung hinzuzufügen. Es erfordert auch die Lösung des Datenbewegungsproblems. Glücklicherweise konzentrieren sich viele Forscher auf die Verbesserung des Datenbewegungsproblems. Dabei erkunden sie unterschiedliche Ansätze:
- Verbesserte Speicherarchitekturen.
- Schnellere Verbindungen.
- Speichereffiziente Algorithmen.
- Modellkomprimierungstechniken.
- Close to-Reminiscence-Computing.
- Optische und photonische Kommunikationstechnologien.
Jeder dieser Ansätze versucht, die gleiche Frage zu beantworten: Wie bewegen wir große Informationsmengen effizient?
Die Antwort könnte die zukünftige Entwicklung der KI bestimmen.
Moderne KI-Systeme sind sowohl auf Berechnung als auch auf Kommunikation angewiesen. Während Prozessoren Berechnungen durchführen, bestimmen Speichersysteme, wie schnell Daten sie erreichen können. Da Modelle immer größer und komplexer werden, werden Speicherkapazität und Bandbreite immer wichtigere Faktoren für die Gesamtleistung.
Der nächste große Durchbruch in der KI-{Hardware} kommt möglicherweise nicht von einem Prozessor mit mehr Kernen oder höheren Taktraten. Möglicherweise liegt es an einer besseren Möglichkeit, Daten zu verschieben.
Welcher dieser Ansätze (falls vorhanden) ist additionally die Antwort? Nun, im Second wissen wir es nicht, aber wir kommen langsam dorthin.
Einige Referenzen
- Brown, TB, et al. (2020). Sprachmodelle sind Few-Shot-Lernende.
- Chowdhery, A., et al. (2022). PaLM: Skalierung der Sprachmodellierung mit Pathways.
- Dao, T., Fu, DY, Ermon, S., Rudra, A. & Ré, C. (2022). FlashAttention: Schnelle und speichereffiziente exakte Aufmerksamkeit mit IO-Consciousness.
- Kwon, W., et al. (2023). Effiziente Speicherverwaltung für die Bereitstellung großer Sprachmodelle mit PagedAttention.
- Zhao, WX, et al. (2023). Eine Übersicht über große Sprachmodelle.