Während die Tech-Leute von den neuesten Llama-Kontrollpunkten besessen sind, wird in den Kellern der Rechenzentren ein viel erbitterterer Kampf ausgetragen. Da KI-Modelle auf Billionen von Parametern skaliert werden, sind die für ihr Coaching erforderlichen Cluster zu einigen der komplexesten – und fragilsten – Maschinen auf dem Planeten geworden.

Das Meta AI Analysis-Staff wurde gerade veröffentlicht GCM (GPU-Cluster-Überwachung)ein spezielles Toolkit, das entwickelt wurde, um den „stillen Killer“ des KI-Fortschritts zu lösen: {Hardware}-Instabilität im großen Maßstab. GCM ist eine Blaupause für die Verwaltung des {Hardware}-zu-Software program-Handshakes im Excessive-Efficiency Computing (HPC).

Das Drawback: Wenn die „Commonplace“-Beobachtbarkeit nicht ausreicht

Wenn bei der herkömmlichen Webentwicklung ein Microservice hinterherhinkt, überprüfen Sie Ihr Dashboard und skalieren horizontal. Beim KI-Coaching gelten andere Regeln. Bei einer einzelnen GPU in einem 4.096-Karten-Cluster kann es zu einem „stillen Ausfall“ kommen, bei dem sie technisch gesehen „in Betrieb“ bleibt, aber ihre Leistung abnimmt, wodurch die Gradienten für den gesamten Trainingslauf effektiv vergiftet werden.

Commonplace-Überwachungstools sind oft zu anspruchsvoll, um diese Nuancen zu erfassen. Metas GCM fungiert als spezialisierte Brücke und verbindet die rohe {Hardware}-Telemetrie der NVIDIA-GPUs mit der Orchestrierungslogik des Clusters.

1. Überwachung nach dem „Slurm“-Prinzip

Für Entwickler: Slurm ist der allgegenwärtige (wenn auch gelegentlich frustrierende) Workload-Supervisor. GCM lässt sich direkt in Slurm integrieren, um eine kontextbezogene Überwachung zu ermöglichen.

• Zuordnung auf Jobebene: Anstatt einen generischen Anstieg des Stromverbrauchs zu beobachten, ermöglicht Ihnen GCM die Zuordnung von Kennzahlen zu bestimmten Messwerten Job-IDs.
• Statusverfolgung: Es ruft Daten ab sacct, sinfoUnd squeue um eine Echtzeitkarte des Clusterzustands zu erstellen. Wenn ein Knoten als markiert ist DRAINGCM hilft Ihnen zu verstehen Warum bevor es einem Forscher das Wochenende ruiniert.

2. Die „Prolog“- und „Epilog“-Strategie

Einer der technisch wichtigsten Teile des GCM-Frameworks ist seine Suite Gesundheitschecks. In einer HPC-Umgebung ist Timing alles. GCM nutzt zwei kritische Fenster:

• Prolog: Dabei handelt es sich um ausgeführte Skripte vor ein Job beginnt. GCM prüft, ob das InfiniBand-Netzwerk fehlerfrei ist und ob die GPUs tatsächlich erreichbar sind. Wenn ein Knoten eine Vorabprüfung nicht besteht, wird der Job umgeleitet, wodurch Stunden „toter“ Rechenzeit eingespart werden.
• Epilog: Diese laufen nach ein Job wird abgeschlossen. GCM verwendet dieses Fenster, um eine umfassende Diagnose durchzuführen NVIDIAs DCGM (Information Heart GPU Supervisor) um sicherzustellen, dass die {Hardware} beim schweren Heben nicht beschädigt wurde.

3. Telemetrie und die OTLP-Brücke

Für Entwickler und KI-Forscher, die ihre Rechenbudgets rechtfertigen müssen, GCMs Telemetrieprozessor ist der Star der Present. Es wandelt rohe Clusterdaten in um OpenTelemetry (OTLP) Formate.

Durch die Standardisierung der Telemetrie ermöglicht GCM Groups, hardwarespezifische Daten (wie GPU-Temperatur, NVLink-Fehler und XID-Ereignisse) in moderne Observability-Stacks zu übertragen. Dies bedeutet, dass Sie endlich einen Rückgang des Trainingsdurchsatzes mit einem bestimmten {Hardware}-Drosselungsereignis in Verbindung bringen können, indem Sie von „Das Modell ist langsam“ zu „GPU 3 auf Knoten 50 ist überhitzt“ übergehen.

Unter der Haube: Der Tech Stack

Die Implementierung von Meta ist eine Meisterklasse in pragmatischer Technik. Das Repository ist in erster Linie Python (94 %), wodurch es für KI-Entwickler hochgradig erweiterbar ist und leistungskritische Logik berücksichtigt Gehen.

• Sammler: Modulare Komponenten, die Telemetriedaten aus Quellen wie sammeln nvidia-smi und die Slurm-API.
• Waschbecken: Die „Ausgabe“-Ebene. GCM unterstützt mehrere Senken, einschließlich stdout für lokales Debugging und OTLP zur produktionsnahen Überwachung.
• DCGM und NVML: GCM nutzt die NVIDIA-Verwaltungsbibliothek (NVML) um direkt mit der {Hardware} zu kommunizieren und Abstraktionen auf hoher Ebene zu umgehen, die möglicherweise Fehler verbergen.

Wichtige Erkenntnisse

• Überbrückung der Lücke des „stillen Versagens“: GCM löst ein kritisches Drawback der KI-Infrastruktur: die Identifizierung von „Zombie“-GPUs, die on-line erscheinen, aber aufgrund von {Hardware}-Instabilität zum Absturz von Trainingsläufen oder zu fehlerhaften Farbverläufen führen.
• Deep Slurm-Integration: Im Gegensatz zur allgemeinen Cloud-Überwachung ist GCM speziell für Excessive-Efficiency Computing (HPC) entwickelt. Es verankert Hardwaremetriken spezifisch Slurm-Job-IDsDadurch können Ingenieure Leistungseinbrüche oder Leistungsspitzen bestimmten Modellen und Benutzern zuordnen.
• Automatisierte Gesundheit „Prolog“ und „Epilog“: Das Framework verwendet eine proaktive Diagnosestrategie und führt spezielle Gesundheitsprüfungen durch NVIDIA DCGM vor Beginn eines Jobs (Prolog) und nach dessen Ende (Epilog), um sicherzustellen, dass fehlerhafte Knoten entleert werden, bevor sie teure Rechenzeit verschwenden.
• Standardisierte Telemetrie über OTLP: GCM wandelt Low-Degree-Hardwaredaten (Temperatur, NVLink-Fehler, XID-Ereignisse) in die um OpenTelemetry (OTLP) Format. Dadurch können Groups komplexe Clusterdaten zur Echtzeitvisualisierung an moderne Observability-Stacks wie Prometheus oder Grafana weiterleiten.
• Modulares, sprachunabhängiges Design: Während die Kernlogik eingeschrieben ist Python Für die Barrierefreiheit verwendet GCM Gehen für leistungskritische Abschnitte. Seine „Collector-and-Sink“-Architektur ermöglicht es Entwicklern, problemlos neue Datenquellen einzubinden oder Metriken in benutzerdefinierte Backend-Systeme zu exportieren.

---

Schauen Sie sich das an Repo Und Projektseite. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

LOUISVILLE, KENTUCKY, USA, 09. Juli 2024: In einer Ära, in der künstliche Intelligenz ganze Branchen verändert, sind die Integrität und Qualität der Trainingsdaten für den Erfolg von KI-Modellen von größter Bedeutung. Shaip, ein führender Anbieter von KI-Datendiensten, gab heute die Einführung der Shaip Knowledge Platform bekannt, einer hochmodernen Lösung zur Beschaffung hochwertiger, vielfältiger und ethisch einwandfreier Daten für das Coaching und die Feinabstimmung von KI-Modellen. Die Shaip Knowledge Platform besteht aus drei Kernkomponenten: Shaip Handle, Shaip Work und Shaip Intelligence.

Shaip verwalten ermöglicht Projektmanagern, präzise Datenerfassungsparameter zu definieren, Diversitätsquoten festzulegen, Volumina zu verwalten und domänenspezifische Anforderungen festzulegen. Diese App optimiert die Abstimmung der Projektziele mit den richtigen Anbietern und Arbeitskräften und garantiert, dass die erfassten Daten den höchsten Requirements in Bezug auf Diversität, Ethik und Qualität entsprechen.

Shaip-Arbeit ermöglicht eine nahtlose Verbindung und Zusammenarbeit mit dem globalen Shaip-Netzwerk von über 30.000 qualifizierten Mitarbeitern. Mithilfe der Shaip-App sammeln Tasker vor Ort reale oder synthetische Daten und halten sich dabei an strenge Projektrichtlinien. Spezielle QA-Groups führen strenge mehrstufige Audits durch, um die Datenintegrität für das Coaching von KI-Modellen sicherzustellen.

Im Mittelpunkt der Plattform steht Shaip Intelligenzdas eine automatisierte Validierung von Daten und Metadaten verwendet, um sicherzustellen, dass nur Daten von höchster Qualität zur menschlichen Validierung weitergeleitet werden. Mit Unterstützung für verschiedene Datentypen, einschließlich Audio, Bilder und Movies.

„Shaip Knowledge Platform sticht in der Branche durch sein Engagement für ethische Datenintegrität, adaptive Datenskalierbarkeit und globale Fachkompetenz hervor“, sagte Vatsal Ghiya, CEO von Shaip. „Indem wir Daten auf ethische Weise und mit ausdrücklicher individueller Zustimmung beschaffen, erstellen wir qualitativ hochwertige, vielfältige und repräsentative Datensätze, die Voreingenommenheit abmildern und zu einer verantwortungsvollen KI-Entwicklung beitragen.“

Mit einem starken Fokus auf Datensicherheit, Datenschutz und Compliance (wie die kürzlich erfolgte SOC 2 Typ 2-Zertifizierung zeigt) sowie der Einhaltung von ISO 9001 für Qualitätsmanagement, ISO 27001 für Informationssicherheit und HIPAA zum Schutz sensibler Gesundheitsdaten ermöglicht Shaip Unternehmen, das volle Potenzial der KI auszuschöpfen und gleichzeitig die höchsten Requirements bei Datenintegrität und -schutz zu gewährleisten.

Die adaptive Skalierbarkeit der Plattform ermöglicht die Anpassung an verschiedene KI-Anwendungen, darunter Konversations-KI, Gesundheits-KI, generative KI und Laptop Imaginative and prescient. Das globale Netzwerk von Shaip-Experten erstreckt sich auf das Gesundheitswesen, den Finanzsektor, das Recht und andere wichtige Branchen und bietet Zugang zu qualifiziertem internem Private, qualifizierten Anbietern und Hybridteams, um spezifische Projektanforderungen zu erfüllen. Weitere Informationen finden Sie unter www.shaip.com.

Informationen Shaip

Shaip ist eine vollständig verwaltete Datenplattform für Unternehmen, die ihre anspruchsvollsten KI-Herausforderungen lösen und dabei intelligentere, schnellere und bessere Ergebnisse erzielen möchten. Shaip unterstützt alle Aspekte von KI-Trainingsdaten von der Datenerfassung über vormarkierte Standarddatensätze bis hin zur Annotation, Transkription und De-Identifizierung, indem wir unsere Mitarbeiter, unsere Plattform und unsere Prozesse nahtlos skalieren, um Unternehmen bei der Entwicklung ihrer KI- und ML-Modelle mit vielfältigen und repräsentativen Datensätzen zu unterstützen und gleichzeitig Datenschutz, Einhaltung gesetzlicher Vorschriften und Minimierung von Voreingenommenheit zu gewährleisten. Um zu erfahren, wie Sie Ihrem Knowledge-Science-Staff und Ihren Führungskräften das Leben erleichtern können, besuchen Sie uns unter www.shaip.com.

Medienkontakt:

Shaip

Anubhav Saraf, Marketingleiter

E-mail: information@shaip.com

12806 Townepark Means,

Louisville, KY 40243-2311

Es ist immer von Vorteil, zu verstehen, wie Dinge funktionieren. In diesem Artikel gebe ich einen sehr einfachen Überblick über die grundlegende mathematische Logik, die beim Trainieren von KI-Modellen verwendet wird. Ich verspreche, dass die folgenden Beispiele verständlich sind, wenn Sie über eine Grundausbildung verfügen, und dass Sie ein etwas besseres Verständnis für den Bereich der künstlichen Intelligenz erlangen werden.

Nehmen wir an, wir möchten ein neues KI-Modell erstellen, um den Umsatz unseres Unternehmens vorherzusagen. Wir verfügen über Daten zum Umsatz der letzten zwei Monate, zu Werbekosten und zu Produktpreisen.

Mit anderen Worten: Wir wollen ein Modell erstellen, das uns sagt, wie unser Verkaufserlös vom Preis unseres Produkts und den Werbeausgaben abhängt. Mithilfe eines solchen Instruments könnte ein Marketingspezialist beispielsweise den zu erwartenden Verkaufserlös berechnen, wenn er 50 € für Werbung ausgibt und den Produktpreis auf 6 € festlegt.

Im Kern ist KI nichts anderes als eine mathematische Formel (oder eine Reihe von Formeln). Unser Beispiel für die Umsatzprognose könnte man als mathematische Formel wie folgt darstellen:

Die Formel existiert, aber wir wissen nicht, welche Werte wir den Modellparametern m und n zuweisen sollen. Mit anderen Worten: Wir wissen nicht, wie stark sich eine Erhöhung der Werbekosten und eine Anpassung des Produktpreises auf unseren Umsatz auswirken.

Wenn wir mit dem Coaching der KI beginnen, können wir den Parametern des Modells zufällige Werte zuweisen. Beispielsweise setzen wir den Werbekostenparameter zunächst auf 2 und den Preisparameter auf -2.

Nun probieren wir es einfach mal aus. Wenn wir die Werbekosten und den Produktpreis mit ihren jeweiligen Parameterwerten multiplizieren, sehen wir, dass unser anfängliches Modell zu optimistisch ist. Im ersten Monat lag der tatsächliche Verkaufserlös bei 5 €, unser Modell prognostizierte jedoch 30 €. Im zweiten Monat lag der tatsächliche Verkaufserlös bei 18 €, unser Modell prognostizierte jedoch 52 €.

Wenn der Fehler 0 istdas Modell ist perfekt und es sind keine Anpassungen erforderlich.

Wenn der Fehler > 0 istlieferte das Modell ein zu optimistisches Ergebnis:

• Verringern Sie die Gewichte (Parameter), wenn das entsprechende Eingabemerkmal (z. B. Werbekosten oder Produktpreis) einen positiven Wert hat.
• Erhöhen Sie die Gewichte (Parameter), wenn das entsprechende Eingabemerkmal einen negativen Wert hat.

Wenn der Fehler < 0 istwarfare das Modell zu pessimistisch:

• Erhöhen Sie die Gewichte (Parameter), wenn das entsprechende Eingabemerkmal einen positiven Wert hat.
• Verringern Sie die Gewichte (Parameter), wenn das entsprechende Eingabemerkmal einen negativen Wert hat.

Nach der Lernregel müssen wir beide Parameter verringern, da sowohl die Werbekosten als auch der Produktpreis einen positiven Wert haben. Beispielsweise reduzieren wir das Werbekostengewicht von 2 auf 1 und den Preisparameter von -2 auf -3.

Wenn wir neu berechnen, sehen wir, dass unser Modell jetzt genaue Vorhersagen macht. Großartig, unser erstes manuell trainiertes KI-Modell ist fertig.

Wenn Sie denken, dass das obige Modell zu intestine ist, um wahr zu sein, haben Sie Recht. Unser Modell funktionierte mit den Trainingsdaten perfekt. Um die Genauigkeit des Modells zu beurteilen, muss es mit Daten getestet werden, die nicht im Trainingsprozess verwendet wurden.

Wir haben unser Modell mit Daten aus Januar und Februar trainiert. Nun prüfen wir, wie intestine das Modell den Umsatz für März und April vorhersagen kann.

Aus der obigen Tabelle können wir ersehen, dass das Modell den Umsatz für März mit 28 € (tatsächlich 24 €) und für April mit 21 € (tatsächlich 18 €) prognostiziert. Im Durchschnitt macht unser Modell bei neuen Daten einen Fehler von 3,5 €, was wir als Genauigkeit unseres Modells bezeichnen können.

Zusammenfassend lässt sich sagen, dass KI im Kern eine mathematische Formel ist. In unserem Beispiel hatte die Formel zwei Parameter; das GPT-4-Modell hat mehr als eine Billion (1 Billion = 1.000.000.000.000) Parameter. Beide werden nach dem gleichen Prinzip trainiert: die Parameter des Modells werden schrittweise angepasst, um den Fehler zu reduzieren.

Außerdem muss man bedenken, dass KI zwar anhand von Trainingsdaten lernt, ihre Genauigkeit jedoch nur anhand von Daten beurteilt werden kann, die beim Coaching nicht verwendet wurden (Testdaten).