Google hat heute die allgemeine Verfügbarkeit von drei Produkten auf der Google Cloud Platform angekündigt, die auf benutzerdefiniertem Silizium basieren und für Inferenz- und Agenten-Workloads entwickelt wurden:
– Ironwood, Googles Tensor Processing Unit der siebten Technology, wird in den kommenden Wochen allgemein verfügbar sein. Das Unternehmen sagte, es sei für groß angelegtes Modelltraining und komplexes Verstärkungslernen sowie für großvolumige KI-Inferenz und Modellbereitstellung mit geringer Latenz konzipiert.
Es bietet eine zehnfache Spitzenleistungsverbesserung gegenüber TPU v5p und eine mehr als viermal bessere Leistung professional Chip für Trainings- und Inferenz-Workloads im Vergleich zu TPU v6e (Trillium), „was Ironwood zu unserem bisher leistungsstärksten und energieeffizientesten kundenspezifischen Silizium macht.“ das Unternehmen sagte in einem Ankündigungsblog.
– Neue Arm-basierte Axion-Instanzen. Die N4A, eine virtuelle Maschine der N-Serie, ist jetzt in der Vorschau. Laut Google bietet N4A ein bis zu zweimal besseres Preis-Leistungs-Verhältnis als vergleichbare x86-basierte VMs der aktuellen Technology. Das Unternehmen kündigte außerdem an, dass C4A Steel, seine erste Arm-basierte Naked-Steel-Instanz, bald in der Vorschau verfügbar sein wird.
Google sagte, Anthropic aircraft, auf bis zu 1 Million TPUs zuzugreifen, um seine Claude-Modelle zu trainieren.
„Unsere Kunden, von Fortune-500-Unternehmen bis hin zu Startups, verlassen sich bei ihrer wichtigsten Arbeit auf Claude“, sagt James Bradbury, Leiter Computing bei Anthropic. Da die Nachfrage weiterhin exponentiell wächst, erhöhen wir unsere Rechenressourcen, während wir die Grenzen der KI-Forschung und Produktentwicklung erweitern. Ironwoods Verbesserungen sowohl bei der Inferenzleistung als auch bei der Trainingsskalierbarkeit werden uns dabei helfen, effizient zu skalieren und gleichzeitig die Geschwindigkeit und Zuverlässigkeit beizubehalten, die unsere Kunden erwarten.“
Google sagte, seine TPUs seien eine Schlüsselkomponente von AI Hypercomputer, dem integrierten Supercomputing-System des Unternehmens für Rechenleistung, Netzwerk, Speicherung und Software program. Auf Makroebene erzielten AI-Hypercomputer-Kunden laut einem aktuellen IDC-Bericht im Durchschnitt einen Dreijahres-ROI von 353 Prozent, 28 Prozent niedrigere IT-Kosten und 55 Prozent effizientere IT-Groups, so das Unternehmen.
Bei TPUs verbindet das System jeden einzelnen Chip miteinander und bildet so einen Pod, sodass die miteinander verbundenen TPUs als eine Einheit funktionieren können.
„Mit Ironwood können wir bis zu 9.216 Chips in einem Superpod skalieren, der mit dem bahnbrechenden Inter-Chip Interconnect (ICI)-Netzwerk mit 9,6 Tbit/s verbunden ist“, sagte Google. „Diese enorme Konnektivität ermöglicht es Tausenden von Chips, schnell miteinander zu kommunizieren und auf unglaubliche 1,77 Petabyte gemeinsam genutzten Excessive Bandwidth Reminiscence (HBM) zuzugreifen, wodurch Datenengpässe selbst bei den anspruchsvollsten Modellen überwunden werden.“
Bei N4A (Vorschau) handelt es sich um Googles zweite Allzweck-Axion-VM, die für Mikrodienste, Containeranwendungen, Open-Supply-Datenbanken, Batch, Datenanalyse, Entwicklungsumgebungen, Experimente, Datenvorbereitung und Webserver-Aufgaben für KI-Anwendungen entwickelt wurde.