Aufgrund des explosionsartigen Wachstums der künstlichen Intelligenz wird geschätzt, dass Rechenzentren verbrauchen werden bis 2028 bis zu 12 Prozent des gesamten US-Stromsnach Angaben des Lawrence Berkeley Nationwide Laboratory. Die Verbesserung der Energieeffizienz von Rechenzentren ist eine Möglichkeit, mit der Wissenschaftler die KI nachhaltiger gestalten möchten.
Um dieses Ziel zu erreichen, haben Forscher des MIT und des MIT-IBM Watson AI Lab ein schnelles Vorhersagetool entwickelt, das Rechenzentrumsbetreibern sagt, wie viel Strom durch die Ausführung einer bestimmten KI-Arbeitslast auf einem bestimmten Prozessor oder KI-Beschleunigerchip verbraucht wird.
Ihre Methode liefert in wenigen Sekunden zuverlässige Leistungsschätzungen, im Gegensatz zu herkömmlichen Modellierungstechniken, bei denen es Stunden oder sogar Tage dauern kann, bis Ergebnisse vorliegen. Darüber hinaus kann ihr Vorhersagetool auf eine Vielzahl von Hardwarekonfigurationen angewendet werden – sogar auf neue Designs, die noch nicht implementiert wurden.
Rechenzentrumsbetreiber könnten diese Schätzungen nutzen, um begrenzte Ressourcen effektiv auf mehrere KI-Modelle und Prozessoren zu verteilen und so die Energieeffizienz zu verbessern. Darüber hinaus könnte dieses Software es Algorithmenentwicklern und Modellanbietern ermöglichen, den potenziellen Energieverbrauch eines neuen Modells zu bewerten, bevor sie es einsetzen.
„Die Herausforderung der KI-Nachhaltigkeit ist eine dringende Frage, die wir beantworten müssen. Da unsere Schätzmethode schnell und praktisch ist und direktes Suggestions liefert, hoffen wir, dass sie Algorithmusentwickler und Rechenzentrumsbetreiber eher dazu bringt, über eine Reduzierung des Energieverbrauchs nachzudenken“, sagt Kyungmi Lee, Postdoc am MIT und Hauptautor von a Papier über diese Technik.
Sie wird bei der Arbeit von Zhiye Track unterstützt, einem Doktoranden der Elektrotechnik und Informatik (EECS); Eun Kyung Lee und Xin Zhang, Forschungsmanager bei IBM Analysis und dem MIT-IBM Watson AI Lab; Tamar Eilam, IBM Fellow, Chefwissenschaftlerin für nachhaltiges Computing bei IBM Analysis und Mitglied des MIT-IBM Watson AI Lab; und leitende Autorin Anantha P. Chandrakasan, MIT-Provostin, Vannevar Bush-Professorin für Elektrotechnik und Informatik und Mitglied des MIT-IBM Watson AI Lab. Die Forschung wird diese Woche auf dem IEEE Worldwide Symposium on Efficiency Evaluation of Methods and Software program vorgestellt.
Beschleunigung der Energieschätzung
In einem Rechenzentrum führen Tausende leistungsstarker Grafikprozessoren (GPUs) Vorgänge aus, um KI-Modelle zu trainieren und bereitzustellen. Der Stromverbrauch einer bestimmten GPU variiert je nach Konfiguration und Arbeitslast.
Bei vielen herkömmlichen Methoden zur Vorhersage des Energieverbrauchs wird die Arbeitslast in einzelne Schritte unterteilt und Schritt für Schritt nachgeahmt, wie jedes Modul innerhalb der GPU genutzt wird. Aber KI-Arbeitslasten wie Modelltraining und Datenvorverarbeitung sind extrem umfangreich und es kann Stunden oder sogar Tage dauern, sie auf diese Weise zu simulieren.
„Wenn ich als Betreiber verschiedene Algorithmen oder Konfigurationen vergleichen möchte, um die energieeffizienteste Vorgehensweise zu finden, wird das sehr unpraktisch, wenn eine einzelne Emulation Tage dauern wird“, sagt Lee.
Um den Vorhersageprozess zu beschleunigen, versuchten die MIT-Forscher, weniger detaillierte Informationen zu verwenden, die schneller geschätzt werden konnten. Sie fanden heraus, dass KI-Workloads oft viele wiederholbare Muster aufweisen. Sie könnten diese Muster nutzen, um die Informationen zu generieren, die für eine zuverlässige, aber schnelle Leistungsschätzung erforderlich sind.
In vielen Fällen schreiben Algorithmenentwickler Programme, die möglichst effizient auf einer GPU laufen. Sie verwenden beispielsweise intestine strukturierte Optimierungen, um die Arbeit auf parallele Verarbeitungskerne zu verteilen und Datenblöcke auf die effizienteste Weise zu verschieben.
„Diese Optimierungen, die Softwareentwickler verwenden, schaffen eine regelmäßige Struktur, und das ist es, was wir nutzen wollen“, erklärt Lee.
Die Forscher entwickelten ein leichtes Schätzmodell namens EnergAIzer, das das Stromverbrauchsmuster einer GPU aus diesen Optimierungen erfasst.
Eine genaue Einschätzung
Obwohl ihre Schätzung schnell conflict, stellten die Forscher fest, dass sie nicht alle Energiekosten berücksichtigte. Jedes Mal, wenn eine GPU beispielsweise ein Programm ausführt, fallen feste Energiekosten für die Einrichtung und Konfiguration dieses Programms an. Dann müssen jedes Mal, wenn die GPU einen Vorgang mit einem Datenblock ausführt, zusätzliche Energiekosten bezahlt werden.
Aufgrund von Schwankungen in der {Hardware} oder Konflikten beim Zugriff auf oder beim Verschieben von Daten ist eine GPU möglicherweise nicht in der Lage, die gesamte verfügbare Bandbreite zu nutzen, was den Betrieb verlangsamt und mit der Zeit mehr Energie verbraucht.
Um diese zusätzlichen Kosten und Abweichungen einzubeziehen, sammelten die Forscher reale Messungen von GPUs, um Korrekturterme zu generieren, die sie auf ihr Schätzmodell anwendeten.
„Auf diese Weise können wir eine schnelle Schätzung erhalten, die zudem sehr genau ist“, sagt sie.
Am Ende kann ein Benutzer seine Arbeitslastinformationen angeben, wie das KI-Modell, das er ausführen möchte, sowie die Anzahl und Länge der zu verarbeitenden Benutzereingaben, und EnergAIzer gibt innerhalb von Sekunden eine Schätzung des Energieverbrauchs aus.
Der Benutzer kann auch die GPU-Konfiguration ändern oder die Betriebsgeschwindigkeit anpassen, um zu sehen, wie sich solche Designentscheidungen auf den Gesamtstromverbrauch auswirken.
Als die Forscher EnergAIzer mit realen KI-Arbeitslastinformationen von tatsächlichen GPUs testeten, konnte der Stromverbrauch mit nur etwa 8 Prozent Fehler geschätzt werden, was mit herkömmlichen Methoden vergleichbar ist, bei denen es Stunden dauern kann, bis Ergebnisse vorliegen.
Ihre Methode könnte auch verwendet werden, um den Stromverbrauch zukünftiger GPUs und neuer Gerätekonfigurationen vorherzusagen, sofern sich die {Hardware} nicht in kurzer Zeit drastisch ändert.
In Zukunft wollen die Forscher EnergAIzer auf den neuesten GPU-Konfigurationen testen und das Modell so skalieren, dass es auf viele GPUs angewendet werden kann, die zusammenarbeiten, um eine Arbeitslast auszuführen.
„Um wirklich einen Einfluss auf die Nachhaltigkeit zu haben, brauchen wir ein Software, das {Hardware}-Designern, Rechenzentrumsbetreibern und Algorithmenentwicklern eine schnelle Energieschätzungslösung für den gesamten Stack bietet, damit sie alle den Stromverbrauch besser kennen. Mit diesem Software sind wir diesem Ziel einen Schritt näher gekommen“, sagt Lee.
Diese Forschung wurde teilweise vom MIT-IBM Watson AI Lab finanziert.