Aus Benutzersicht haben einige Videospiel-Enthusiasten ihre eigenen PCs gebaut, die mit Hochleistungs-GPUs wie der NVIDIA GeForce RTX 4090 ausgestattet sind. Interessanterweise ist diese GPU auch in der Lage, kleinere Deep-Studying-Aufgaben zu bewältigen. Die RTX 4090 benötigt eine Stromversorgung von 450 W, die empfohlene Gesamtstromversorgung beträgt 850 W (in den meisten Fällen braucht man das nicht und läuft nicht unter Volllast). Wenn Ihre Aufgabe eine Woche lang ununterbrochen läuft, entspricht das 0,85 kW × 24 Stunden × 7 Tage = 142,8 kWh professional Woche. In Kalifornien verlangt PG&E für Privatkunden bis zu 50 Cent professional kWh, was bedeutet, dass Sie etwa 70 US-Greenback professional Woche für Strom ausgeben würden. Darüber hinaus benötigen Sie eine CPU und andere Komponenten, die neben Ihrer GPU arbeiten, was den Stromverbrauch weiter erhöht. Dies bedeutet, dass die Gesamtstromkosten sogar noch höher sein können.
Jetzt wird Ihr KI-Geschäft Fahrt aufnehmen. Laut Hersteller verfügt eine H100 Tensor Core GPU je nach Ausführung über eine maximale Thermal Design Energy (TDP) von rund 700 Watt. Dies ist die Energie, die zum Kühlen der GPU unter Volllast erforderlich ist. Ein zuverlässiges Netzteil für dieses leistungsstarke Deep-Studying-Instrument hat typischerweise etwa 1600 W. Wenn Sie die NVIDIA DGX-Plattform für Ihre Deep-Studying-Aufgaben verwenden, verbraucht ein einzelnes DGX H100-System, ausgestattet mit 8 H100-GPUs, etwa 10,2 kW. Für noch mehr Leistung kann ein NVIDIA DGX SuperPOD zwischen 24 und 128 NVIDIA DGX-Knoten umfassen. Mit 64 Knoten könnte das System konservativ etwa 652,8 kW verbrauchen. Auch wenn Ihr Startup möglicherweise den Kauf dieser millionenschweren Ausrüstung anstrebt, wären die Kosten sowohl für den Cluster als auch für die erforderlichen Einrichtungen erheblich. In den meisten Fällen ist es sinnvoller, GPU-Cluster von Cloud-Computing-Anbietern zu mieten. Gewerbliche und industrielle Nutzer konzentrieren sich auf die Energiekosten und profitieren in der Regel von niedrigeren Stromtarifen. Wenn Ihre durchschnittlichen Kosten etwa 20 Cent professional kWh betragen, würde der Betrieb von 64 DGX-Knoten mit 652,8 kW für 24 Stunden am Tag, 7 Tage die Woche 109,7 MWh professional Woche ergeben. Dies könnte Sie etwa 21.934 US-Greenback professional Woche kosten.
Groben Schätzungen zufolge würde eine typische Familie in Kalifornien etwa 150 kWh professional Woche für Strom ausgeben. Interessanterweise sind dies ungefähr die gleichen Kosten, die Ihnen entstehen würden, wenn Sie eine Modelltrainingsaufgabe zu Hause mit einer Hochleistungs-GPU wie der RTX 4090 ausführen würden.
Anhand dieser Tabelle können wir erkennen, dass der Betrieb eines SuperPOD mit 64 Knoten in einer Woche genauso viel Energie verbrauchen könnte wie der Betrieb einer kleinen Neighborhood.
KI-Modelle trainieren
Lassen Sie uns nun auf einige Zahlen eingehen, die sich auf moderne KI-Modelle beziehen. OpenAI hat nie die genaue Anzahl der GPUs bekannt gegeben, die zum Trainieren von ChatGPT verwendet werden. Eine grobe Schätzung geht jedoch davon aus, dass Tausende von GPUs mehrere Wochen bis Monate lang ununterbrochen laufen könnten, abhängig vom Veröffentlichungsdatum jedes ChatGPT-Modells. Der Energieverbrauch für eine solche Aufgabe würde leicht im Megawatt-Bereich liegen, was zu Kosten im Tausender-MWh-Bereich führen würde.
Kürzlich, Meta hat LLaMA 3.1 veröffentlichtbeschrieben als ihr „bislang leistungsfähigstes Modell“. Laut Meta ist dies ihr bisher größtes Modell, das auf über 16.000 H100-GPUs trainiert wurde – das erste LLaMA-Modell, das in dieser Größenordnung trainiert wurde.
Lassen Sie uns die Zahlen aufschlüsseln: LLaMA 2 wurde im Juli 2023 veröffentlicht, daher kann man davon ausgehen, dass die Schulung von LLaMA 3 mindestens ein Jahr gedauert hat. Obwohl es unwahrscheinlich ist, dass alle GPUs rund um die Uhr liefen, können wir den Energieverbrauch bei einer Auslastung von 50 % schätzen:
1,6 kW × 16.000 GPUs × 24 Stunden/Tag × 365 Tage/Jahr × 50 % ≈ 112.128 MWh
Bei geschätzten Kosten von 0,20 US-Greenback professional kWh entspricht dies etwa 22,4 Millionen US-Greenback bei den Energiekosten. Diese Zahl berücksichtigt nur die GPUs, ohne zusätzlichen Energieverbrauch im Zusammenhang mit Datenspeicherung, Netzwerk und anderer Infrastruktur.
Das Coaching moderner Massive Language Fashions (LLMs) erfordert einen Stromverbrauch im Megawatt-Maßstab und stellt eine Investition in Millionenhöhe dar. Aus diesem Grund schließt die moderne KI-Entwicklung häufig kleinere Akteure aus.
Betrieb von KI-Modellen
Auch der Betrieb von KI-Modellen verursacht erhebliche Energiekosten, da jede Anfrage und Antwort Rechenleistung erfordert. Obwohl die Energiekosten professional Interaktion im Vergleich zum Coaching des Modells gering sind, können die kumulativen Auswirkungen erheblich sein, insbesondere wenn Ihr KI-Unternehmen große Erfolge erzielt und Milliarden von Benutzern täglich mit Ihrem fortschrittlichen LLM interagieren. Viele aufschlussreiche Artikel diskutieren dieses Drawback, darunter Vergleiche der Energiekosten zwischen Unternehmen, die ChatBots betreiben. Die Schlussfolgerung lautet: Da jede Abfrage zwischen 0,002 und 0,004 kWh kosten könnte, würden beliebte Unternehmen derzeit Hunderte bis Tausende von MWh professional Jahr ausgeben. Und diese Zahl steigt immer noch.
Stellen Sie sich für einen Second vor, dass eine Milliarde Menschen einen ChatBot häufig nutzen und durchschnittlich etwa 100 Anfragen professional Tag stellen. Die Energiekosten für diese Nutzung können wie folgt geschätzt werden:
0,002 kWh × 100 Abfragen/Tag × 1e9 Personen × 365 Tage/Jahr ≈ 7,3e7 MWh/Jahr
Dies würde eine Stromversorgung von 8000 MW erfordern und könnte zu Energiekosten von etwa 14,6 Milliarden US-Greenback professional Jahr führen, wenn man von einem Strompreis von 0,20 US-Greenback professional kWh ausgeht.
Das größte Kraftwerk in den USA ist das Grand-Coulee-Staudamm im Bundesstaat Washington mit einer Kapazität von 6.809 MW. Der größte Solarpark in den USA ist Sonnenstern in Kalifornien mit einer Kapazität von 579 MW. Vor diesem Hintergrund ist kein einzelnes Kraftwerk in der Lage, den gesamten Strombedarf für einen groß angelegten KI-Dienst zu liefern. Dies wird deutlich, wenn man die jährliche Stromerzeugungsstatistik von betrachtet EIA (Energieinformationsverwaltung),
Die oben berechneten 73 Milliarden kWh würden etwa 1,8 % des gesamten jährlich in den USA erzeugten Stroms ausmachen. Man kann jedoch davon ausgehen, dass diese Zahl noch viel höher sein könnte. Einigen Medienberichten zufolge könnten die Auswirkungen bei Berücksichtigung des gesamten Energieverbrauchs im Zusammenhang mit KI und Datenverarbeitung etwa 4 % der gesamten US-Stromerzeugung ausmachen.
Dies ist jedoch der aktuelle Energieverbrauch.
Heutzutage generieren Chatbots hauptsächlich textbasierte Antworten, sind aber zunehmend in der Lage, zweidimensionale Bilder, „dreidimensionale“ Movies und andere Medienformen zu produzieren. Die nächste Era der KI wird weit über einfache Chatbots hinausgehen, die möglicherweise hochauflösende Bilder für sphärische Bildschirme (z. B. für) bereitstellen Las Vegas-Kugel), 3D-Modellierung und interaktive Roboter, die in der Lage sind, komplexe Aufgaben auszuführen und tiefgreifende logistische Aufgaben auszuführen. Infolgedessen wird erwartet, dass der Energiebedarf sowohl für das Modelltraining als auch für den Modelleinsatz dramatisch ansteigt und weit über das derzeitige Niveau hinausgeht. Ob unsere bestehende Energieinfrastruktur solche Fortschritte unterstützen kann, bleibt eine offene Frage.
Im Hinblick auf die Nachhaltigkeit sind die Kohlenstoffemissionen von Industrien mit hohem Energiebedarf erheblich. Ein Ansatz zur Abmilderung dieser Auswirkungen besteht darin, erneuerbare Energiequellen zur Stromversorgung energieintensiver Einrichtungen wie Rechenzentren und Rechenzentren zu nutzen. Ein bemerkenswertes Beispiel ist die Zusammenarbeit zwischen Fervo Vitality und Googlewo Geothermie zur Energieversorgung eines Rechenzentrums genutzt wird. Der Umfang dieser Initiativen bleibt jedoch im Vergleich zum gesamten Energiebedarf, der im kommenden KI-Zeitalter erwartet wird, relativ gering. In diesem Zusammenhang gibt es noch viel zu tun, um die Herausforderungen der Nachhaltigkeit anzugehen.
Bitte korrigieren Sie alle Zahlen, wenn Sie diese für unangemessen halten.