Laut einem technischen Papier von Google, begleitet von einem Weblog-Beitrag auf ihrer Web site, beträgt der geschätzte Energieverbrauch der „medianen Gemini Apps Textual content-Eingabeaufforderung“ 0,24 Wattstunden (WH). Der Wasserverbrauch beträgt 0,26 Milliliter, was laut Weblog -Put up etwa fünf Tropfen Wasser beträgt und der CO2 -Fußabdruck 0,03 GCO2E beträgt. Insbesondere enthält die Schätzung keine Bild- oder Videoaufforderungen.
Wie hoch ist die Größe von 0,24 WH? Wenn Sie das ganze Jahr über 30 mittlere Eingaben professional Tag geben, haben Sie 2,62 kWh Strom verwendet. Das ist das gleiche wie das Ausführen Ihres Geschirrspülers 3-5 Mal je nach seiner Energiebrikett.
Die Offenlegung der Umweltauswirkungen ihrer Gemini -Modelle durch Google hat zu einer neuen Debatte über die Umweltauswirkungen von KI und der Messung geführt.
An der Oberfläche klingen diese Zahlen beruhigend klein, aber je genauer Sie aussehen, desto komplizierter wird die Geschichte. Lassen Sie uns eintauchen.
Messumfang
Schauen wir uns an, was enthalten ist und was in Googles Schätzungen der medianen Gemini -Textaufforderung ausgelassen wird.
Einschlüsse
Der Umfang ihrer Bewertung lautet: „Materielle Energiequellen unter der operativen Kontrolle von Google – die Fähigkeit, Änderungen des Verhaltens umzusetzen. Insbesondere zersetzen sie LLM, der den Energieverbrauch bedient, als:
- AI Accelerators Vitality (TPUs – Anhänger von Google an die GPU), einschließlich der Vernetzung zwischen Beschleunigern im selben KI -Pc. Dies sind direkte Messungen während des Servierens.
- Aktive CPU- und DRAM -Energie – Obwohl die KI -Beschleuniger alias GPUs oder TPUs in der Literatur die größte Aufmerksamkeit erhalten, verwenden CPU und Gedächtnis auch spürbare Mengen an Energie.
- Energieverbrauch von Leerlaufmaschinen, die darauf warten, den Spike -Verkehr zu verarbeiten
- Overhead -Energie, dh die Infrastruktur, die Rechenzentren unterstützt – einschließlich Kühlsystemen, Stromumwandlung und anderer Overhead innerhalb des Rechenzentrums. Dies wird durch die PUE -Metrik berücksichtigt – ein Faktor, den Sie mit dem gemessenen Energieverbrauch multiplizieren – und sie nehmen einen PUE von 1,09 an.
- Google hat nicht nur den Energieverbrauch aus dem LLM gemessen, der die Reaktionsnutzer erzeugt, sondern auch Energie durch unterstützende Modelle wie Scoring, Rating, Klassifizierung usw.
Auslassungen
Hier ist, was nicht enthalten ist:
- Alle Networking vor einer Eingabeaufforderung trifft den KI -Pc, dh externe Netzwerke und interne Netzwerke, die Abfragen zum KI -Pc weiterleiten.
- Endbenutzergeräte, dh unsere Telefone, Laptops usw.
- Modelltraining und Datenspeicherung
Fortschritt oder Greenwashing?
Oben habe ich die objektiven Fakten des Papiers umrissen. Schauen wir uns nun verschiedene Perspektiven auf die Figuren an.
Fortschritt
Wir können die Veröffentlichung von Google begrüßen, weil:
- Googles Papier sticht aufgrund des Particulars dahinter auf. Dazu gehörten CPU und Dram, was leider ungewöhnlich ist. Meta misst beispielsweise nur die GPU -Energie.
- Google benutzte den mittleren Energieverbrauch eher als den Durchschnitt. Der Median wird nicht von Ausreißer wie sehr langen oder sehr kurzen Aufforderungen beeinflusst und sagt uns daher wohl, was eine „typische“ Eingabeaufforderung verbraucht.
- Etwas ist besser als nichts. Es ist ein großer Schritt nach vorne von der Rückseite der Umschlagmessungen (schuldig wie angeklagt) Und vielleicht ebnen sie den Weg für detailliertere Studien in der Zukunft.
- Die Kosten für die Herstellung von {Hardware} und Lebensende sind enthalten
Greenwashing
Wir können Googles Papier kritisieren, weil:
- Es fehlen akkumulative Zahlen – im Idealfall möchten wir die Gesamtwirkung ihrer LLM -Dienste und den Prozentsatz des Gesamtausdrucks von Google kennen, für die sie berücksichtigt werden.
- Die Autoren definieren nicht, wie die mittlere Eingabeaufforderung aussieht, z. B. wie lange dauert und wie lange die Reaktion dauert, die sie ausgelöst hat
- Sie benutzten den mittleren Energieverbrauch als den Durchschnitt. Ja, Sie haben richtig gelesen. Dies kann entweder als positiv oder negativ angesehen werden. Der Median „versteckt“ die Wirkung von Anwendungsfällen mit hoher Komplexität, z. B. sehr komplexe Argumentationsaufgaben oder Zusammenfassungen sehr langer Texte.
- Kohlenstoffemissionen werden anhand des marktbasierten Ansatzes (stützt sich auf Energiebeschaffungszertifikate) und nicht auf standortbasierte Netzdaten berichtet, die die tatsächlichen Kohlenstoffemissionen der von ihnen verwendeten Energie zeigen. Hätten sie den ortsbasierten Ansatz verwendet, hätte der CO2 -Fußabdruck 0,09 GCO2E professional mittlerer Eingabeaufforderung und nicht 0,03 GCO2E gewesen.
- LLM -Schulungskosten sind nicht enthalten. Die Debatte über die Rolle der Ausbildungskosten bei den Gesamtkosten dauert an. Spielt es einen kleinen oder großen Teil der Gesamtzahl? Wir haben (noch) nicht das vollständige Bild. Aber, Wir wissen Für einige Modelle dauert es Hunderte Millionen von Aufforderungen, um die Kostenparität zu erreichen, was darauf hindeutet, dass das Modelltraining ein wesentlicher Faktor für die Gesamtenergiekosten sein kann.
- Sie haben ihre Daten nicht offengelegt, daher können wir ihre Ergebnisse nicht überprüfen
- Die Methodik ist nicht ganz klar. Zum Beispiel ist unklar, wie sie am Umfang 1 und 3 Emissionen von 0,010 GCO2E professional mittlerer Aufforderung angekommen sind.
- Die Schätzung des Wasserverbrauchs von Google berücksichtigt nur den Wasserverbrauch vor Ort und nicht den gesamten Wasserverbrauch (dh ohne Wasserverbrauchsquellen wie die Stromerzeugung), nämlich Gegenteil zur Standardpraxis.
- Sie schließen Emissionen aus externen Netzwerken aus, a jedoch a Lebenszyklusbewertung Das große 2 -Modell von Mistral AI zeigt, dass der Netzwerkverkehr von Token einen winzigen Teil der gesamten Umweltkosten der LLM -Inferenz (<1 %) ausmacht. So auch Endbenutzerausrüstung (3 %)
Gemini gegen Openai Chatgpt gegen Mistral
Die Veröffentlichung von Google folgt den Angaben – obwohl in unterschiedlichem Detailgrad – von Mistral AI und OpenAI.
Sam Altman, CEO bei OpenAI, schrieb kürzlich in a Weblog -Beitrag Das: „Die durchschnittliche Abfrage verwendet etwa 0,34 Wattstunden, über das, was ein Ofen in etwas mehr als einer Sekunde verwenden würde, oder eine hocheffiziente Glühbirne würde in ein paar Minuten verwenden. Sie verbraucht auch etwa 0,00000085 Gallonen Wasser; ungefähr ein Fünfzehnte Teelöffel.“ Sie können meine eingehende Analyse dieser Behauptung lesen Hier.
Es ist verlockend, die 0,24 -WHO -Eingabeaufforderung von Gemini mit 0,34 WH von Chatgpt zu vergleichen, aber die Zahlen sind nicht direkt vergleichbar. Geminis Nummer ist die mittlerewährend Chatgpts das ist Durchschnitt (Arithmetisches Mittel, ich würde mich wagen). Selbst wenn sie sowohl Medianer als auch Mittel waren, konnten wir nicht unbedingt zu dem Schluss kommen, dass Google energieeffizienter als OpenAI ist, da wir nichts über die gemessene Eingabeaufforderung wissen. Es könnte sein, dass die Benutzer von OpenAI Fragen stellen, die mehr Argumentation erfordern oder einfach längere Fragen stellen oder längere Antworten hervorrufen.
Nach der Bewertung des Lebenszyklus von Mistral AI gibt eine 400-fache Antwort aus ihrem großen 2-Modell 1,14 GCO₂E aus und verwendet 45 ml Wasser.
Abschluss
Ist die Offenlegung von Greenwashing von Google oder den echten Fortschritt? Ich hoffe, ich habe Sie ausgerüstet, um sich über diese Frage zu entscheiden. Meiner Ansicht nach ist es Fortschritte, da es den Umfang dessen erweitert, was gemessen wird und uns Daten aus der realen Infrastruktur liefert. Es fällt aber auch zu kurz, weil die Auslassungen genauso wichtig sind wie die Einschlüsse. Eine andere Sache, die Sie beachten sollten, ist, dass diese Zahlen oft verdaulich klingen, aber sie erzählen uns nicht viel über systemische Auswirkungen. Persönlich bin ich jedoch optimistisch, dass wir derzeit eine Welle von KI -Influence -Offenlegungen gegenüber Huge Tech erleben, und ich wäre überrascht, wenn Anthropic nicht als nächstes abgelaufen ist.
Das conflict’s! Ich hoffe, Sie haben die Geschichte genossen. Lass mich wissen, was du denkst!
Folgen Sie mir für mehr über KI und Nachhaltigkeit und können Sie mir gerne folgen LinkedIn.
