Singularity Compute, die Infrastrukturabteilung der KI-Schicht SingularityNET, hat die Einführung seines ersten NVIDIA-GPU-Clusters der Enterprise-Klasse angekündigt. Die in Schweden in Zusammenarbeit mit dem nachhaltigen Rechenzentrumsbetreiber Conapto errichtete Anlage verwirklicht das Ziel von Singularity, ein globales {Hardware}-Rückgrat für die Synthetic Superintelligence (ASI) Alliance zu schaffen.

Durch die Einführung wird die Infrastruktur hinter der dezentralen künstlichen Intelligenz gestärkt und gleichzeitig Unternehmen bedarfsgerechter Zugriff auf Rechenleistung für KI-Workloads ermöglicht. Diese Bereitstellung mit doppeltem Zweck bietet leistungsstarke Rechenleistung für kommerzielle Unternehmens-Workloads und unterstützt die ehrgeizigen Forschungsprojekte, die im ASI-Ökosystem stattfinden.

Eine Grundlage für dezentrale Intelligenz

Singularitätsberechnungen Einsatz erreicht einen kritischen Punkt in der KI-Branche, an dem die Nachfrage nach reiner Rechenleistung das Angebot übersteigt. Die neue Einrichtung bietet versatile Zugriffsmodelle, einschließlich Naked-Metallic-Vermietung, Vermietung auf Foundation virtueller Maschinen (VM) und dedizierter Inferenz-API-Endpunkte. Diese Flexibilität ermöglicht es Unternehmen, alles zu bewältigen, von der Schulung und Feinabstimmung schwerer Modelle bis hin zur Ausführung von Forschungs- und Entwicklungsarbeitslasten.

Über die Rohdatenverarbeitung hinaus wird der schwedische Cluster als Engine für ASI:Cloud dienen, einen KI-Modell-Inferenzdienst, der in Zusammenarbeit mit CUDOS, dem Web3-Zweig von CUDO, entwickelt wurde. Der Dienst zielt darauf ab, Entwicklern einen skalierbaren Weg zu bieten und OpenAI-kompatible APIs anzubieten, die es Projekten ermöglichen, reibungslos von serverloser Inferenz zu dedizierten Clustern zu wechseln.

Die Infrastruktur selbst wird von CUDO, einem langjährigen NVIDIA-Cloud-Companion, verwaltet und gewährleistet so die von Unternehmenskunden geforderte Zuverlässigkeit und Betriebszeit. Der Einsatz geht direkt auf die primären Herausforderungen ein, mit denen Unternehmen konfrontiert sind, die Zugriff auf GPU-Rechner benötigen, einschließlich der Abhängigkeit von einem Anbieter und der steigenden Kosten aufgrund der hohen Nachfrage.

Dieser „GPU-Squeeze“ bedeutet, dass der Zugang zu leistungsstarken NVIDIA-GPUs mit langen Wartelisten oder dem Abschluss mehrjähriger Verträge mit Anbietern verbunden sein kann. Das von Singularity Compute angebotene Setup kommt auch Groups zugute, die Projekte durchführen, die ultrahochleistungsfähiges Computing erfordern.

Der Großteil der Public-Cloud-GPU-Instanzen ist virtualisiert, was im Vergleich zur Ausführung direkt auf der {Hardware} mit einer leichten Leistungseinbuße einhergeht. Durch den Naked-Metallic-Zugriff eignet sich die Lösung von Singularity Compute ideally suited für das Coaching umfangreicher KI-Modelle, bei denen jedes 1 % gewonnene Effizienz zu Tausenden von Greenback an Strom und Zeiteinsparungen führen kann.

Förderung ethischer AGI

Dr. Ben Goertzel, CEO und Gründer von SingularityNET und der ASI Alliance, betrachtet die physische Infrastruktur als Voraussetzung für die Entwicklung der Künstlichen Allgemeinen Intelligenz (AGI) und erklärt: „Wir brauchen leistungsstarke Rechenleistung, die für die Zusammenarbeit mit dezentralen Netzwerken konfiguriert ist, auf denen eine Vielzahl von KI-Algorithmen ausgeführt werden … Der neue GPU-Einsatz in Schweden ist ein bedeutender Meilenstein auf dem Weg zu einer wirklich offenen, globalen künstlichen Superintelligenz.“

Joe Honan, CEO von Singularitätsberechnungbeschrieb den Begin als „einen wichtigen Schritt zum Aufbau des globalen Infrastruktur-Rückgrats für künstliche Superintelligenz“ und betonte, dass der Cluster Leistung auf Unternehmensniveau mit dem Engagement des Unternehmens für Offenheit und Datensouveränität verbindet.

Erste Unternehmenskunden werden bereits an Bord geholt, weitere Kapazitätserweiterungen und neue geografische Standorte sind als Reaktion auf die Nachfrage geplant. Der schwedische Rollout ist die erste Section einer umfassenderen globalen Strategie, die darauf abzielt, leistungsstarke, souveräne KI-Rechnungen sowohl für Unternehmen als auch für dezentrale KI-Projekte allgemein verfügbar zu machen. Damit kommt ein weiterer Infra-Participant zum globalen GPU-Wettlauf hinzu, in dem Unternehmen um die Rechenressourcen konkurrieren, die sie für ihren Erfolg benötigen.

Hervorgehobener Bildnachweis

Wie können KI-Groups Verstärkungslernen im Tinker-Stil für große Sprachmodelle unter Verwendung ihrer eigenen Infrastruktur und einer einzigen einheitlichen Engine durchführen? Anyscale und NovaSky (UC Berkeley) Crew Veröffentlichungen SkyRL tx v0.1.0 Dies gibt Entwicklern die Möglichkeit, eine mit Tinker kompatible Trainings- und Inferenz-Engine direkt auf ihrer eigenen {Hardware} auszuführen und dabei die gleiche minimale API beizubehalten, die Tinker im verwalteten Dienst bereitstellt.

Das Forschungsteam beschreibt SkyRL tx als einheitliche Trainings- und Inferenz-Engine, die die Tinker-API implementiert und es Benutzern ermöglicht, einen Tinker-ähnlichen Dienst auf ihrer eigenen Infrastruktur auszuführen. Diese Model v0.1.0 ist die erste ihrer Reihe, die das Reinforcement-Studying durchgängig unterstützt und außerdem die Probenentnahme erheblich beschleunigt.

Tinker API in Kürze

Tinker von Considering Machines ist eine Trainings-API, die auf vier Kernfunktionen basiert. forward_backward führt einen Vorwärtsdurchlauf und einen Rückwärtsdurchlauf durch und sammelt Steigungen. optim_step Aktualisiert die Modellgewichte basierend auf diesen Farbverläufen. pattern generiert Token für Interaktion, Auswertung oder RL-Aktionen. save_state schreibt Kontrollpunkte für die Wiederaufnahme des Trainings.

Anstelle einer vollständigen aufgabenspezifischen Feinabstimmungsabstraktion stellt Tinker diese Grundelemente auf niedriger Ebene bereit, sodass Benutzer ihre eigenen überwachten oder verstärkenden Lernschleifen in regulärem Python-Code implementieren können, während der Dienst die GPU-Planung und die verteilte Ausführung übernimmt.

SkyRL tx zielt genau auf diese API ab und implementiert ein offenes Backend, das Benutzer lokal bereitstellen können. Es behält das Tinker-Programmiermodell bei, macht es aber überflüssig, sich nur auf die gehostete Umgebung zu verlassen.

Wo SkyRL tx in SkyRL passt

SkyRL ist eine Full-Stack-Lernbibliothek zur Verstärkung für große Sprachmodelle, die Folgendes umfasst: skyrl-agent für Agenten mit langem Horizont, skyrl-train für die Ausbildung und skyrl-gym für Werkzeugumgebungen wie Mathematik, Codierung, Suche und SQL.

Innerhalb dieses Stapels skyrl-tx ist als experimentelle plattformübergreifende Bibliothek gekennzeichnet, die eine lokale Tinker-ähnliche REST-API für das Modell-Submit-Coaching bereitstellt. SkyRL tx wird daher zur Systemschicht, die RL-Logik, Umgebungen und Trainingscode über die Tinker-Schnittstelle mit konkreten GPU-Ressourcen verbindet.

Architektur, Inferenzmaschine, die auch trainiert

Die SkyRL-TX-Architektur wird als Inferenz-Engine beschrieben, die auch Rückwärtsdurchläufe unterstützt. Es besteht aus vier Hauptkomponenten:

1. REST-API Server das eingehende Anfragen von verschiedenen Benutzern verarbeitet.
2. Datenbank das Metadaten zu Modellen, Prüfpunkten, Anfragen und Futures verfolgt und auch als Jobwarteschlange fungiert. Die aktuelle Implementierung nutzt SQLite hinter einer Schnittstelle, die auch andere SQL-Datenbanken wie Postgres unterstützt.
3. Motor das benutzerübergreifende Anfragen plant und bündelt. Jede Engine-Instanz bedient ein einzelnes Basismodell und kann viele LoRA-Adapter anhängen.
4. Arbeitnehmer das Vorwärts- und Rückwärtsdurchläufe ausführt und Modelldefinitionen und Optimiererzustände enthält. Mehrere Employee würden in kommenden Versionen ein erweitertes Multi-Node-Sharding ermöglichen

Was fügt v0.1.0 hinzu?

Die Model v0.1.0 konzentriert sich auf die Unterstützung von Reinforcement Studying und Leistungsverbesserungen. Der offizielle Veröffentlichung hebt mehrere konkrete Änderungen hervor:

• Das Sampling ist jetzt viel schneller, da es in der Engine richtig gebündelt und geshardt wird.
• Es werden jetzt unterschiedliche Sampling-Parameter professional Anfrage, professional Anfrage-Seeds und Cease-Tokens unterstützt, was nützlich ist, wenn viele Experimente ein gemeinsames Basismodell haben.
• Nach mehreren Korrekturen läuft die RL-Schleife jetzt ordnungsgemäß durch die Engine.
• Unterstützung für Gradienten-Checkpointing und Mikro-Batching für die Probenahme sind implementiert.
• Postgres wird jetzt neben SQLite als Datenbank-Backend unterstützt.

Ausführen von RL Finish-to-Finish auf 8 H100-GPUs

Die offizielle Veröffentlichung enthält ein spezifisches Coderezept für die Finish-to-Finish-Ausführung von Reinforcement Studying auf einem Cluster mit 8 H100-GPUs.

Zuerst klonen Benutzer das SkyRL-Repository und im skyrl-tx Ordner starten Sie die Engine mit:

uv run --extra gpu --extra tinker -m tx.tinker.api 
  --base-model Qwen/Qwen3-4B 
  --max-lora-adapters 3 
  --max-lora-rank 1 
  --tensor-parallel-size 8 
  --train-micro-batch-size 8 > out.log

Dann klonen sie das Tinker Cookbook vom Considering Machines-Crew und im tinker_cookbook/recipes Ordner ausführen:

export TINKER_API_KEY=dummy
export WANDB_API_KEY=<your key>
uv run --with wandb --with tinker rl_loop.py 
  base_url=http://localhost:8000 
  model_name="Qwen/Qwen3-4B" 
  lora_rank=1 
  max_length=1024 
  save_every=100

Dadurch wird eine Belohnungskurve erstellt, die bestätigt, dass die RL-Schleife korrekt durch das lokale SkyRL-TX-Backend läuft.

Wichtige Erkenntnisse

• SkyRL tx v0.1.0 implementiert eine lokale, Tinker-kompatible Engine, die Coaching und Inferenz für das LLM-Submit-Coaching vereinheitlicht.
• Das System stellt die Tinker-Grundelemente „forward_backward“, „optim_step“, „pattern“ und „save_state“ über REST bereit, während es intern Batchverarbeitung, LoRA-Adapter und Geräteplatzierung übernimmt.
• Die Architektur ist in API-Server, SQL-Datenbank, Planungs-Engine und Employee unterteilt, die Vorwärts- und Rückwärtsdurchgänge für ein einzelnes Basismodell mit mehreren LoRA-Adaptern ausführen.
• v0.1.0 bietet Finish-to-Finish-Unterstützung für verstärktes Lernen, schnelleres Jitted- und Sharded-Sampling, Sampling-Parameter professional Anfrage, Gradient Checkpointing, Micro Batching und Postgres-Unterstützung.

SkyRL tx v0.1.0 ist ein praktischer Schritt für Entwicklerteams, die Verstärkungslernen im Tinker-Stil auf ihren eigenen Clustern mit einer konsistenten Tinker-API-Oberfläche wünschen. Das Design, das das System als Inferenzmaschine behandelt, die auch Rückwärtsdurchläufe ausführt, ist sauber und reduziert Stapeldivergenz. Die Unterstützung für LoRA, Gradient Checkpointing, Micro Batching und Postgres ist ein konkretes System-Improve. Insgesamt verwandelt diese Model die Tinker-Kompatibilität in ein umsetzbares lokales RL-Backend für LLM

Schauen Sie sich das an Repo Und Offizielle Veröffentlichung. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Michal Sutter ist ein Knowledge-Science-Experte mit einem Grasp of Science in Knowledge Science von der Universität Padua. Mit einer soliden Grundlage in statistischer Analyse, maschinellem Lernen und Datentechnik ist Michal hervorragend darin, komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

Folgen Sie MARKTECHPOST: Fügen Sie uns als bevorzugte Quelle bei Google hinzu.