Die Besorgnis über die Umweltauswirkungen von Giant Language Fashions (LLMs) nimmt zu. Obwohl es schwierig sein kann, detaillierte Informationen über die tatsächlichen Kosten von LLMs zu finden, versuchen wir, einige Fakten zu sammeln, um das Ausmaß zu verstehen.
Da umfassende Daten zu ChatGPT-4 nicht ohne weiteres verfügbar sind, können wir Llama 3.1 405B als Beispiel betrachten. Dieses Open-Supply-Modell von Meta ist wohl das bisher „transparenteste“ LLM. Basierend auf verschiedenen MaßstäbeLlama 3.1 405B ist mit ChatGPT-4 vergleichbar und bietet eine vernünftige Grundlage für das Verständnis von LLMs in diesem Bereich.
Die Hardwareanforderungen für die Ausführung der 32-Bit-Model dieses Modells liegen je nach Quelle zwischen 1.620 und 1.944 GB GPU-Speicher (Substrat, Umarmendes Gesicht). Für eine konservative Schätzung verwenden wir den niedrigeren Wert von 1.620 GB. Um dies ins rechte Licht zu rücken – unter Berücksichtigung der Tatsache, dass es sich hierbei um eine vereinfachte Analogie handelt – entsprechen 1.620 GB GPU-Speicher in etwa dem kombinierten Speicher von 100 Normal-MacBook Execs (jeweils 16 GB). Wenn Sie additionally einen dieser LLMs nach einem Tiramisu-Rezept im Shakespeare-Stil fragen, ist die Leistung von 100 MacBook Execs erforderlich, um Ihnen eine Antwort zu geben.
Ich versuche, diese Zahlen in etwas Greifbareres zu übersetzen … obwohl dies nicht einschließt Schulungskostendie schätzungsweise rund 16.000 GPUs umfassen und etwa 60 Millionen US-Greenback (ohne Hardwarekosten) kosten werden – eine erhebliche Investition von Meta – in einem Prozess, der etwa 80 Tage dauerte. Was den Stromverbrauch betrifft, Schulungsbedarf 11 GWh.
Der Jährlicher Stromverbrauch professional Particular person in einem Land wie Frankreich etwa 2.300 kWh. Somit entsprechen 11 GWh dem jährlichen Stromverbrauch von rund 4.782 Menschen. Durch diesen Verbrauch wurden etwa 5.000 Tonnen CO₂-äquivalente Treibhausgase freigesetzt (basierend auf dem europäischen Durchschnitt), obwohl sich diese Zahl je nach Land, in dem das Modell trainiert wurde, leicht verdoppeln kann.
Zum Vergleich: Bei der Verbrennung von 1 Liter Diesel entstehen 2,54 kg CO₂. Daher entspricht das Coaching von Llama 3.1 405B – in einem Land wie Frankreich – ungefähr den Emissionen, die bei der Verbrennung von rund 2 Millionen Litern Diesel entstehen. Das entspricht etwa 28 Millionen Kilometern Autofahrt. Ich denke, das bietet genug Perspektive … und ich habe noch nicht einmal das Wasser erwähnt, das zum Kühlen der GPUs benötigt wird!
Offensichtlich steckt die KI noch in den Kinderschuhen und wir können davon ausgehen, dass im Laufe der Zeit optimalere und nachhaltigere Lösungen entstehen werden. In diesem intensiven Wettlauf weist die Finanzlandschaft von OpenAI jedoch eine erhebliche Diskrepanz zwischen seinen Einnahmen und Betriebsausgaben auf, insbesondere in Bezug auf die Inferenzkosten. Im Jahr 2024 wird das Unternehmen voraussichtlich etwa 4 Milliarden US-Greenback für die von Microsoft bereitgestellte Rechenleistung für Inferenz-Workloads ausgeben, während sein Jahresumsatz auf 3,5 bis 4,5 Milliarden US-Greenback geschätzt wird. Dies bedeutet, dass allein die Inferenzkosten quick den Gesamteinnahmen von OpenAI entsprechen oder diese sogar übertreffen (deeplearning.ai).
All dies geschieht in einem Kontext, in dem Experten ein Leistungsplateau für KI-Modelle ankündigen (Skalierungsparadigma). Die zunehmende Modellgröße und GPUs führen im Vergleich zu früheren Sprüngen, wie etwa den Fortschritten, die GPT-4 gegenüber GPT-3 erzielte, zu deutlich geringeren Erträgen. „Das Streben nach AGI warfare schon immer unrealistisch, und der ‚Größer ist besser‘-Ansatz für KI musste irgendwann an seine Grenzen stoßen – und ich denke, das ist es, was wir hier sehen“, sagte er Sasha LuccioniForscher und KI-Leiter beim Startup Hugging Face.
Aber verstehen Sie mich nicht falsch – ich stelle KI nicht auf die Probe, weil ich sie liebe! Diese Forschungsphase ist eine absolut normale Part in der Entwicklung von KI. Allerdings glaube ich, dass wir beim Einsatz von KI gesunden Menschenverstand walten lassen müssen: Wir können nicht jedes Mal eine Panzerfaust einsetzen, um eine Mücke zu töten. KI muss nachhaltig gemacht werden – nicht nur, um unsere Umwelt zu schützen, sondern auch, um soziale Spaltungen zu beseitigen. Tatsächlich wäre das Risiko, dass der globale Süden im KI-Wettlauf aufgrund hoher Kosten und Ressourcenanforderungen zurückbleibt, ein erheblicher Misserfolg dieser neuen Geheimdienstrevolution.
Benötigen Sie additionally wirklich die volle Leistung von ChatGPT, um die einfachsten Aufgaben in Ihrer RAG-Pipeline zu bewältigen? Möchten Sie Ihre Betriebskosten kontrollieren? Möchten Sie eine vollständige Finish-to-Finish-Kontrolle über Ihre Pipeline? Befürchten Sie, dass Ihre privaten Daten im Web verbreitet werden? Oder sind Sie sich einfach nur der Auswirkungen von KI bewusst und setzen sich für deren bewussten Einsatz ein?
Kleine Sprachmodelle (SLMs) bieten eine hervorragende Various, die es wert ist, erkundet zu werden. Sie können auf Ihrer lokalen Infrastruktur laufen und in Kombination mit menschlicher Intelligenz einen erheblichen Mehrwert liefern. Obwohl es keine allgemein anerkannte Definition eines SLM gibt – im Jahr 2019 galt beispielsweise GPT-2 mit seinen 1,5 Milliarden Parametern als LLM, was nicht mehr der Fall ist – beziehe ich mich auf Modelle wie Mistral 7B, Llama-3.2 3B oder Phi3.5, um nur einige zu nennen. Diese Modelle können auf einem „guten“ Pc betrieben werden, was zu einem deutlich geringeren CO2-Fußabdruck führt und gleichzeitig die Vertraulichkeit Ihrer Daten gewährleistet, wenn sie vor Ort installiert werden. Obwohl sie weniger vielseitig sind, können sie bei sinnvollem Einsatz für bestimmte Aufgaben dennoch einen erheblichen Mehrwert bieten – und sind gleichzeitig umweltfreundlicher.