Das Zusammenbinden mehrerer Rechenzentren in ein integriertes Ganzes ist ein heißes Thema in den Kreisen von Rechenzentren. Ziel ist es, eine Leistung zu erzielen, die über das hinausgeht, was ein einzelnes Rechenzentrum oder eine KI -Fabrik liefern kann. Angesichts des Anstiegs der Stromversorgung ist die Integration von Rechenzentren an mehreren Standorten, an denen verfügbar ist, sinnvoll.

Die Kombination von Rechenzentren zu einer massiven Kombination und gleichzeitig die Networking-Einschränkungen von Off-the-Shelf-Ethernet-Probleme wie Jitter, hohe Latenz und unregelmäßige Leistung-ist die Herausforderung.

Vor der Scorching Chips 2025 in der nächsten Woche in Palo Alto kündigte NVIDIA heute Spectrum-XGS-Ethernet an, das das Unternehmen eine Skala-Throughout-Technologie für die Kombination mehrerer, verteilter Rechenzentren in „Unified, Giga-Scale AI Tremendous-Factories“ bezeichnet.

Laut NVIDIA bietet die Spectrum-X-Ethernet-Netzwerkplattform eine größere Bandbreitendichte von 1,6-fach als das Off-the-Shelf-Ethernet für Multi-Mieter-AI-Fabriken. Es umfasst NVIDIA-Spektrum-X-Switches und NVIDIA Connectx-8-Supernik, die zur Erbringung von Skalierbarkeit und geringen Latenz konzipiert sind.

„Die AI Industrial Revolution ist hier und Riesengrößen -AI -Fabriken sind die wesentliche Infrastruktur“, sagte Jensen Huang, Gründer und CEO von Nvidia. „Mit NVIDIA Spectrum-XGS-Ethernet fügen wir Skala-Throughout für Skalierungs- und Skalierungsfunktionen hinzu, um Rechenzentren in Städten, Nationen und Kontinenten in riesige AI-Superfaktorien im Giga-Maßstab zu verknüpfen.“

Das Unternehmen sagte, Spectrum-XGS Ethernet bietet automatisch angepasste Streckenkontrolle, Latenzmanagement und Finish-to-Finish-Telemetrie. Das Angebot verdoppelt laut NVIDIA quick die Leistung der NVIDIA Collective Communications Library, die Kommunikation mit mehreren GPU- und Multi-Knoten-Kommunikation beschleunigt, um eine vorhersehbare Leistung über geografisch verteilte KI-Cluster zu liefern. Infolgedessen können mehrere Rechenzentren als einzelne AI-Tremendous-Faktorie arbeiten und für Fernkonnektivität vollständig optimiert werden.

Das neue Angebot baut auch auf der Partnerschaft von NVIDIA mit AI Hyperscaler CoreWeave auf, die laut Nvidia zu den ersten gehören wird, die seine Rechenzentren mit Spectrum-XGS-Ethernet verbinden.

„CoreWeaves Mission ist es, Innovatoren überall die leistungsstärkste KI-Infrastruktur zu liefern“, sagte Peter Salanki, Mitbegründer und CTO von CoreWeave. „Mit NVIDIA Spectrum-XGs können wir unsere Rechenzentren zu einem einzigen, einheitlichen Supercomputer in Verbindung bringen, um unseren Kunden Zugang zu Giga-Maßstabs-KI zu gewähren, die die Durchbrüche in jeder Branche beschleunigen.“

Gesponserte Inhalte

Empfehlungssysteme stützen sich auf Daten, aber für Forscher ist der Zugriff auf wirklich repräsentative Daten seit langem eine Herausforderung. Die meisten akademischen Datensätze verblassen im Vergleich zu der Komplexität und dem Volumen der Benutzerinteraktionen in realen Umgebungen, in denen Daten aufgrund von Datenschutzbedenken und kommerziellem Wert in der Regel innerhalb von Unternehmen abgeschlossen sind.
Das fängt an zu ändern.

In den letzten Jahren wurden mehrere neue Datensätze veröffentlicht, die darauf abzielen, reale Nutzungsmuster, Musik, E-Commerce, Werbung und darüber hinaus besser widerzuspiegeln. Eine bemerkenswerte jüngste Veröffentlichung ist Yambda-5bein von Yandex basierender Datensatz von 5 Milliarden Occasions, der auf Daten aus seinem Musik-Streaming-Dienst basiert und jetzt über das Gesicht verfügbar ist. Yambda ist in 3 Größen (50 m, 500 m, 5b) erhältlich und umfasst Baselines, um die Zugänglichkeit und Benutzerfreundlichkeit zu unterstreichen. Es schließt sich einer wachsenden Liste von Ressourcen an, die dazu beitragen, die Forschung zu Produktion in Empfehlungssystemen zu schließen.

Im Folgenden finden Sie eine kurze Übersicht über wichtige Datensätze, die derzeit das Feld prägen.

Ein Blick auf öffentlich verfügbare Datensätze in der Empfehlungserforschung

Movielens

Eine der frühesten und am weitesten verbreiteten Datensätze. Es enthält von Benutzer bereitgestellte Filmbewertungen (1–5 Sterne), ist jedoch in Größenordnung und Vielfalt begrenzt-ideal für die anfängliche Prototyping, aber nicht repräsentativ für die heutigen dynamischen Inhaltsplattformen.

Netflix -Preis

Ein wegweisendes Datensatz in Empfehlung (~ 100 m Bewertungen), obwohl jetzt datiert. Sein statischer Schnappschuss und der Mangel an detaillierten Metadaten begrenzen die moderne Anwendbarkeit.

Yelp Open Dataset

Enthält 8,6m Bewertungen, die Berichterstattung ist jedoch spärlich und städtisch. Wertvoll für die lokale Geschäftsforschung, aber nicht optimum für groß angelegte verallgemeinerbare Modelle.

Spotify Million Playlist

Dieser Datensatz für Recsys 2018 veröffentlicht und hilft, das kurzfristige und sequentielle Hörverhalten zu analysieren. Es fehlt jedoch eine langfristige Geschichte und ein explizites Suggestions.

CRITEO 1TB

Ein massives Anzeigen-Klick-Datensatz, der Interaktionen im industriellen Maßstab zeigt. Obwohl es beeindruckend ist, bietet es minimale Metadaten und priorisiert die Klickrate (CTR) gegenüber der Empfehlungslogik.

Amazon Bewertungen

Reich an Inhalten und häufig für die Stimmungsanalyse und die Empfehlung von Langschwanz verwendet. Die Daten sind jedoch notorisch spärlich und für die meisten Benutzer und Produkte eine starke Interaktion.

Final.fm (LFM-1b)

Zuvor eine Anlaufstelle für Musikempfehlungen. Die Lizenzbeschränkungen haben seitdem den Zugriff auf neuere Versionen des Datensatzes eingeschränkt.

Umzug in Richtung der Forschung in der industriellen Maßstab

Während jedes dieser Datensätze das Feld gestaltet hat, präsentieren sie alle Einschränkungen – entweder in Maßstab, Datenfrische, Benutzervielfalt oder Vollständigkeit der Metadaten. Hier sind neue Einträge wie Yambda-5b besonders vielversprechend.

Dieser Datensatz bietet anonymisierte, groß angelegte Interaktionsdaten in großem Maßstab über Musik-Streaming-Sitzungen, einschließlich Metadaten wie Zeitstempel, Suggestions-Typ (explizit vs. implizit) und Empfehlungskontext (organisch vs. vorgeschlagen). Wichtig ist, dass es eine globale zeitliche Spaltung enthält, die eine realistischere Modellbewertung ermöglicht, die die On-line -Systembereitstellung widerspiegelt. Die Forscher werden auch einen Wert in der multimodalen Natur des Datensatzes finden, das vorberührte Audio-Einbettungen für über 7,7 Millionen Tracks enthält, die inhaltsbewusste Empfehlungsstrategien über die Field ermöglichen.

Die Privatsphäre wurde sorgfältig im Design des Datensatzes berücksichtigt. Im Gegensatz zu früheren Beispielen wie dem Netflix-Preisdatensatz, der aufgrund von Redentifizierungsrisiken schließlich zurückgezogen wurde. Der Benutzer und verfolgen Sie Daten im Yambda -Datensatz und verwenden numerische Kennungen, um Datenschutzstandards zu erfüllen.

Schließen der Schleife: von der Theorie zur Produktion

Da die Latest -Forschung in der Skalierung in die praktische Anwendung bewegt wird, ist der Zugriff auf robuste, abwechslungsreiche und ethisch bezogene Datensätze unerlässlich. Ressourcen wie Movielens und Netflix -Preis bleiben grundlegend für Benchmarking- und Testenideen. Aber neuere Datensätze-wie Amazon’s, Criteo und jetzt Yambda-bieten jedoch die Artwork von Skala und Nuance, um Modelle von der akademischen Neuheit bis zur realen Nützlichkeit zu überschreiten.

Lesen Sie den Originalartikel unter Turing Submitder E-newsletter für über 90 000 Fachleute, die es ernst meinen, KI und ML.

Von, Avi Chawla – sehr leidenschaftlich in der Annäherung an die Datenwissenschaftsprobleme mit Instinct. AVI arbeitet seit über 6 Jahren im Bereich Datenwissenschaft und maschinelles Lernen, sowohl in der akademischen als auch in der Industrie.