Während die Tech-Leute von den neuesten Llama-Kontrollpunkten besessen sind, wird in den Kellern der Rechenzentren ein viel erbitterterer Kampf ausgetragen. Da KI-Modelle auf Billionen von Parametern skaliert werden, sind die für ihr Coaching erforderlichen Cluster zu einigen der komplexesten – und fragilsten – Maschinen auf dem Planeten geworden.

Das Meta AI Analysis-Staff wurde gerade veröffentlicht GCM (GPU-Cluster-Überwachung)ein spezielles Toolkit, das entwickelt wurde, um den „stillen Killer“ des KI-Fortschritts zu lösen: {Hardware}-Instabilität im großen Maßstab. GCM ist eine Blaupause für die Verwaltung des {Hardware}-zu-Software program-Handshakes im Excessive-Efficiency Computing (HPC).

Das Drawback: Wenn die „Commonplace“-Beobachtbarkeit nicht ausreicht

Wenn bei der herkömmlichen Webentwicklung ein Microservice hinterherhinkt, überprüfen Sie Ihr Dashboard und skalieren horizontal. Beim KI-Coaching gelten andere Regeln. Bei einer einzelnen GPU in einem 4.096-Karten-Cluster kann es zu einem „stillen Ausfall“ kommen, bei dem sie technisch gesehen „in Betrieb“ bleibt, aber ihre Leistung abnimmt, wodurch die Gradienten für den gesamten Trainingslauf effektiv vergiftet werden.

Commonplace-Überwachungstools sind oft zu anspruchsvoll, um diese Nuancen zu erfassen. Metas GCM fungiert als spezialisierte Brücke und verbindet die rohe {Hardware}-Telemetrie der NVIDIA-GPUs mit der Orchestrierungslogik des Clusters.

1. Überwachung nach dem „Slurm“-Prinzip

Für Entwickler: Slurm ist der allgegenwärtige (wenn auch gelegentlich frustrierende) Workload-Supervisor. GCM lässt sich direkt in Slurm integrieren, um eine kontextbezogene Überwachung zu ermöglichen.

• Zuordnung auf Jobebene: Anstatt einen generischen Anstieg des Stromverbrauchs zu beobachten, ermöglicht Ihnen GCM die Zuordnung von Kennzahlen zu bestimmten Messwerten Job-IDs.
• Statusverfolgung: Es ruft Daten ab sacct, sinfoUnd squeue um eine Echtzeitkarte des Clusterzustands zu erstellen. Wenn ein Knoten als markiert ist DRAINGCM hilft Ihnen zu verstehen Warum bevor es einem Forscher das Wochenende ruiniert.

2. Die „Prolog“- und „Epilog“-Strategie

Einer der technisch wichtigsten Teile des GCM-Frameworks ist seine Suite Gesundheitschecks. In einer HPC-Umgebung ist Timing alles. GCM nutzt zwei kritische Fenster:

• Prolog: Dabei handelt es sich um ausgeführte Skripte vor ein Job beginnt. GCM prüft, ob das InfiniBand-Netzwerk fehlerfrei ist und ob die GPUs tatsächlich erreichbar sind. Wenn ein Knoten eine Vorabprüfung nicht besteht, wird der Job umgeleitet, wodurch Stunden „toter“ Rechenzeit eingespart werden.
• Epilog: Diese laufen nach ein Job wird abgeschlossen. GCM verwendet dieses Fenster, um eine umfassende Diagnose durchzuführen NVIDIAs DCGM (Information Heart GPU Supervisor) um sicherzustellen, dass die {Hardware} beim schweren Heben nicht beschädigt wurde.

3. Telemetrie und die OTLP-Brücke

Für Entwickler und KI-Forscher, die ihre Rechenbudgets rechtfertigen müssen, GCMs Telemetrieprozessor ist der Star der Present. Es wandelt rohe Clusterdaten in um OpenTelemetry (OTLP) Formate.

Durch die Standardisierung der Telemetrie ermöglicht GCM Groups, hardwarespezifische Daten (wie GPU-Temperatur, NVLink-Fehler und XID-Ereignisse) in moderne Observability-Stacks zu übertragen. Dies bedeutet, dass Sie endlich einen Rückgang des Trainingsdurchsatzes mit einem bestimmten {Hardware}-Drosselungsereignis in Verbindung bringen können, indem Sie von „Das Modell ist langsam“ zu „GPU 3 auf Knoten 50 ist überhitzt“ übergehen.

Unter der Haube: Der Tech Stack

Die Implementierung von Meta ist eine Meisterklasse in pragmatischer Technik. Das Repository ist in erster Linie Python (94 %), wodurch es für KI-Entwickler hochgradig erweiterbar ist und leistungskritische Logik berücksichtigt Gehen.

• Sammler: Modulare Komponenten, die Telemetriedaten aus Quellen wie sammeln nvidia-smi und die Slurm-API.
• Waschbecken: Die „Ausgabe“-Ebene. GCM unterstützt mehrere Senken, einschließlich stdout für lokales Debugging und OTLP zur produktionsnahen Überwachung.
• DCGM und NVML: GCM nutzt die NVIDIA-Verwaltungsbibliothek (NVML) um direkt mit der {Hardware} zu kommunizieren und Abstraktionen auf hoher Ebene zu umgehen, die möglicherweise Fehler verbergen.

Wichtige Erkenntnisse

• Überbrückung der Lücke des „stillen Versagens“: GCM löst ein kritisches Drawback der KI-Infrastruktur: die Identifizierung von „Zombie“-GPUs, die on-line erscheinen, aber aufgrund von {Hardware}-Instabilität zum Absturz von Trainingsläufen oder zu fehlerhaften Farbverläufen führen.
• Deep Slurm-Integration: Im Gegensatz zur allgemeinen Cloud-Überwachung ist GCM speziell für Excessive-Efficiency Computing (HPC) entwickelt. Es verankert Hardwaremetriken spezifisch Slurm-Job-IDsDadurch können Ingenieure Leistungseinbrüche oder Leistungsspitzen bestimmten Modellen und Benutzern zuordnen.
• Automatisierte Gesundheit „Prolog“ und „Epilog“: Das Framework verwendet eine proaktive Diagnosestrategie und führt spezielle Gesundheitsprüfungen durch NVIDIA DCGM vor Beginn eines Jobs (Prolog) und nach dessen Ende (Epilog), um sicherzustellen, dass fehlerhafte Knoten entleert werden, bevor sie teure Rechenzeit verschwenden.
• Standardisierte Telemetrie über OTLP: GCM wandelt Low-Degree-Hardwaredaten (Temperatur, NVLink-Fehler, XID-Ereignisse) in die um OpenTelemetry (OTLP) Format. Dadurch können Groups komplexe Clusterdaten zur Echtzeitvisualisierung an moderne Observability-Stacks wie Prometheus oder Grafana weiterleiten.
• Modulares, sprachunabhängiges Design: Während die Kernlogik eingeschrieben ist Python Für die Barrierefreiheit verwendet GCM Gehen für leistungskritische Abschnitte. Seine „Collector-and-Sink“-Architektur ermöglicht es Entwicklern, problemlos neue Datenquellen einzubinden oder Metriken in benutzerdefinierte Backend-Systeme zu exportieren.

---

Schauen Sie sich das an Repo Und Projektseite. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

ist eine beliebte Funktion, die Sie in Apps wie ChatGPT und Google Gemini aktivieren können. Es ermöglicht Benutzern, wie gewohnt eine Abfrage zu fragen, und die Anwendung verbringt eine längere Zeit damit, die Frage ordnungsgemäß zu erforschen und eine bessere Antwort zu erhalten als normale LLM -Antworten.

Sie können dies auch auf Ihre eigene Sammlung von Dokumenten anwenden. Angenommen, Sie haben Tausende von Dokumenten interner Unternehmensinformationen. Möglicherweise möchten Sie ein tiefes Forschungssystem erstellen, das Benutzerfragen aufnimmt, alle verfügbaren (internen) Dokumente scannt und eine gute Antwort auf der Grundlage dieser Informationen enthält.

Inhaltsverzeichnis

Warum ein tiefes Forschungssystem aufbauen?

Die erste Frage, die Sie sich stellen könnten, ist:

Warum brauche ich ein tiefes Forschungssystem?

Dies ist eine faire Frage, da es andere Alternativen gibt, die in vielen Situationen lebensfähig sind:

• Füttern Sie alle Daten in ein LLM
• LAPPEN
• Key phrase -Suche

Wenn Sie mit diesen einfacheren Systemen davonkommen können, sollten Sie das quick immer tun. Der von der By am einfachste Ansatz ist einfach, alle Daten in ein LLM zu versetzen. Wenn Ihre Informationen in weniger als 1 Million Token enthalten sind, ist dies definitiv eine gute Possibility.

Wenn der herkömmliche Lappen intestine funktioniert oder relevante Informationen mit einer Key phrase -Suche finden, sollten Sie diese Optionen auch auswählen. Manchmal ist jedoch keine dieser Lösungen stark genug, um Ihr Drawback zu lösen. Vielleicht müssen Sie viele Quellen tief analysieren, und ein Chunk -Abruf von Ähnlichkeit (LAG) ist nicht intestine genug. Oder Sie können keine Key phrase -Suche verwenden, da Sie mit dem Datensatz nicht vertraut sind, um zu wissen, welche Schlüsselwörter verwendet werden sollen. In diesem Fall sollten Sie in Betracht ziehen, ein tiefes Forschungssystem zu verwenden.

So bauen Sie ein tiefes Forschungssystem auf

Sie können das tiefe Forschungssystem natürlich von Anbietern wie OpenAI nutzen, die a Deep Analysis API. Dies kann eine gute Various sein, wenn Sie die Dinge einfach halten möchten. In diesem Artikel werde ich jedoch ausführlicher diskutieren, wie ein tiefes Forschungssystem aufgebaut wird und warum es nützlich ist. Anthropic schrieb einen sehr guten Artikel über ihre Multi -Agent -Forschungssystem (Das ist tiefe Forschung), was ich empfehle, um weitere Particulars zum Thema zu verstehen.

Sammeln und Indizierungsinformationen

Der erste Schritt für alle Informationsfindungssysteme besteht darin, alle Ihre Informationen an einem Ort zu sammeln. Vielleicht haben Sie Informationen in Apps wie:

• Google Drive
• Vorstellung
• Salesforce

Sie müssen diese Informationen dann entweder an einem Ort sammeln (zum Beispiel in PDFs in PDFs konvertieren und im selben Ordner speichern), oder Sie können sich mit diesen Apps verbinden, wie es Chatgpt in seiner Anwendung getan hat.

Nachdem wir die Informationen gesammelt haben, müssen wir sie nun indexieren, um sie leicht verfügbar zu machen. Die beiden Hauptindizes, die Sie erstellen sollten, sind:

• Key phrase -Suchindex. Zum Beispiel BM25
• Vektor -Ähnlichkeitsindex: Teilen Sie Ihren Textual content an, setzen Sie ihn ein und speichern Sie ihn in einem VectordB -ähnlichen Pinecone

Dies macht die Informationen leicht zugänglich aus den Instruments, die ich in der nächsten Sitzung beschreiben werde.

Werkzeuge

Die Agenten werden später Instruments benötigen, um relevante Informationen abzurufen. Sie sollten daher eine Reihe von Funktionen erstellen, die es dem LLM erleichtern, die relevanten Informationen zu holen. Wenn der Benutzer beispielsweise nach einem Verkaufsbericht abfragt, möchte der LLM möglicherweise eine Key phrase -Suche danach durchführen und die abgerufenen Dokumente analysieren. Diese Instruments können so aussehen:

@device 
def keyword_search(question: str) -> str:
    """
    Seek for key phrases within the doc.
    """
    outcomes = keyword_search(question)

    # format responses to make it straightforward for the LLM to learn
    formatted_results = "n".be part of((f"{consequence('file_name')}: {consequence('content material')}" for lead to outcomes))

    return formatted_results


@device
def vector_search(question: str) -> str:
    """
    Embed the question and seek for comparable vectors within the doc.
    """
    vector = embed(question)
    outcomes = vector_search(vector)

    # format responses to make it straightforward for the LLM to learn
    formatted_results = "n".be part of((f"{consequence('file_name')}: {consequence('content material')}" for lead to outcomes))

    return formatted_results

Sie können dem Agenten auch zulassen, dass der Agent zu anderen Funktionen zugänglich ist, z. B.:

• Web -Suche
• Dateiname nur Suche

Und andere potenziell relevante Funktionen

Alles zusammenstellen

Ein tiefes Forschungssystem besteht in der Regel aus einem Orchestrator -Agenten und vielen Subagenten. Der Ansatz ist normalerweise wie folgt:

• Ein Orchestrator -Agent empfängt die Nutzerabfrage und Pläne für die Ansätze
• Viele Subagenten werden gesendet, um relevante Informationen abzurufen und die zusammengefassten Informationen an den Orchestrator zurückzuführen
• Der Orchestrator stellt fest, ob er genügend Informationen enthält, um die Benutzerabfrage zu beantworten. Wenn nein, kehren wir zum letzten Kugelpunkt zurück; Wenn ja, können wir den endgültigen Aufzählungszeichen sorgen
• Der Orchestrator stellt alle Informationen zusammen und gibt dem Benutzer eine Antwort

Darüber hinaus haben Sie möglicherweise eine klärende Frage, wenn die Frage des Benutzers vage ist oder nur um den Umfang der Abfrage des Benutzers einzugrenzen. Sie haben dies wahrscheinlich erlebt, wenn Sie ein tiefes Forschungssystem aus einem Frontier -Labor verwendet haben, in dem das tiefe Forschungssystem immer mit einer klärenden Frage stellt.

Normalerweise ist der Orchestrator ein größeres/besseres Modell, beispielsweise Claude Opus oder GPT-5 mit hoher Argumentation. Die Subagenten sind typischerweise kleiner, wie GPT-4.1 und Claude-Sonett.

Der Hauptvorteil dieses Ansatzes (insbesondere im traditionellen Lappen) besteht darin, dass Sie das System ermöglichen, weitere Informationen zu scannen und zu analysieren und die Wahrscheinlichkeit von fehlenden Informationen zu senken, die für die Reaktion auf die Benutzerabfrage related sind. Die Tatsache, dass Sie mehr Dokumente scannen müssen, macht das System typischerweise auch langsamer. Dies ist natürlich ein Kompromiss zwischen Zeit und Qualität der Antworten.

Abschluss

In diesem Artikel habe ich diskutiert, wie man ein tiefes Forschungssystem aufbaut. Ich habe zunächst die Motivation für den Aufbau eines solchen Programs behandelt und in welchen Szenarien Sie sich stattdessen darauf konzentrieren, einfachere Systeme wie Lappen oder Keywordsuche zu erstellen. Als ich fortsetzte, diskutierte ich die Grundlage für das, was ein tiefes Forschungssystem ist, das im Wesentlichen eine Benutzerabfrage aufnimmt, Pläne für die Beantwortung von Subagenten sendet, um relevante Informationen abzurufen, diese Informationen zu aggregieren und auf den Benutzer zu reagieren.

Finden Sie mich in Socials:

Sich in Verbindung setzen

LinkedIn

X / Twitter

Medium

Sie können auch einige meiner anderen Artikel lesen:

In der heutigen Welt ist es unmöglich, organisiert zu sein. Zwischen Arbeit, persönlicher Verantwortung und dem ständigen Informationsfluss ist die Bewältigung all dessen überwältigend. Aber es gibt eine Lösung: Yatter AI, ein Chatbot-Device von Infoschlüssel Das bringt leistungsstarke Organisationstools für WhatsApp und Telegram. Im Jahr 2025 ist Yatter AI das ultimative Werkzeug, um alles in Ordnung zu halten.

Einführung: Lernen Sie Yatter AI kennen

Yatter AI ist ein bahnbrechendes Device, das Ihnen hilft, in dieser schnelllebigen Welt organisiert zu bleiben. Diese KI Chatbot kann Ihnen dabei helfen, Ihre Aufgaben zu verwalten, Erinnerungen einzurichten, das Wetter zu überprüfen und vieles mehr über die Apps, die Sie bereits verwenden, wie WhatsApp und Telegram. Mit der Fähigkeit, Textual content, Bilder, Audio und Dateien zu verstehen, macht es Yatter einfach, alles unter Kontrolle zu halten, ohne zwischen mehreren Apps wechseln zu müssen.

Multi-Modell-Funktionen: Organisieren jeder Artwork von Informationen

Eines der besten Dinge an Yatter ist, dass es multimodal ist. Im Gegensatz zu anderen Chatbots Gejammer kann Texte, Bilder, Audio und Dateien verarbeiten. Sie können additionally einfach ein Foto eines Dokuments senden, eine Sprachnotiz hinterlassen oder eine Datei teilen und Yatter wird die Informationen für Sie verstehen und organisieren.

24/7-Verfügbarkeit: Ihr persönlicher Assistent, jederzeit

Yatter AI ist immer für Sie da, egal zu welcher Tages- und Nachtzeit. Stellen Sie sich vor, Sie hätten eine KI-Chatbot das niemals schläft und immer bereit ist, Ihnen zu helfen, wann immer Sie es brauchen. Diese 24/7-Verfügbarkeit ist ein echter Wendepunkt für alle, die organisiert bleiben und ihre Aufgaben im Griff haben möchten. Mit KI auf WhatsApp wird das Einrichten von Erinnerungen, das Verwalten Ihres Kalenders und das Verfolgen von Aufgaben zum Kinderspiel. Sie müssen nicht auf die Geschäftszeiten warten oder Apps durchsuchen. Senden Sie einfach eine Nachricht an Yatter, und schon ist es erledigt.

Mit einer KI auf WhatsApp stellen Sie sicher, dass die Verwaltung Ihrer Zeit und Aufgaben so einfach ist wie das Versenden einer SMS. Egal, ob Sie Arbeitsfristen, persönliche Aufgaben oder Termine verwalten, Yatter sorgt dafür, dass alles problemlos im Blick bleibt. Mit dieser KI-Chat-Funktion haben Sie einen persönlichen Assistenten in Ihrer Tasche, der Ihnen zu jeder Tageszeit helfen kann.

KI-gestützte Wetteraktualisierungen: Planen Sie intelligenter mit genauen Vorhersagen

Yatter bietet uns auch eine organisierte Möglichkeit, das Wetter durch genaue Wettervorhersagen und -vorhersagen im Auge zu behalten. Mit der auf WhatsApp verfügbaren KI können Sie in Echtzeit über das Wetter informiert werden, sodass Sie Ihren Tag entsprechend planen können. Sie müssen wissen, ob es regnen wird, bevor Sie aus der Tür gehen, oder welche Auswirkungen die Wetterbedingungen auf Ihre Reisepläne haben werden? Yatter stellt aktuelle Wetterinformationen bereit, damit Sie bessere Entscheidungen treffen können.

Dies ist besonders hilfreich, wenn Sie Outside-Aktivitäten planen oder aufgrund des Wetters Änderungen an Ihrem Zeitplan vornehmen müssen. Mit der KI-Bot von Yatter muss man keine Angst mehr haben, von plötzlichen Wetterumschwüngen überrascht zu werden. Stattdessen sind Sie immer vorbereitet und können Ihre Zeit effektiv einteilen.

Nahtlose Integration mit WhatsApp und Telegram

Yatter AI wird direkt in WhatsApp und Telegram ausgeführt, zwei der beliebtesten Messaging-Dienste. Mit der Integration in diese Apps garantiert Yatter, dass Sie keine neue Benutzeroberfläche beherrschen und nicht zwischen Apps navigieren müssen, um organisiert zu sein. Unabhängig davon, ob Sie KI auf WhatsApp oder KI auf Telegram verwenden, bietet dieses Chatbot-Device ein vertrautes und intuitives Erlebnis und macht die Organisation einfach und unkompliziert.

Kostengünstig und erschwinglich: Premium-Funktionen zu einem erschwinglichen Preis

Obwohl viele Künstliche Intelligenz (KI) Chatbots teuer sind, bietet Yatter AI die leistungsstärksten Funktionen zu einem Bruchteil der Kosten. Im Gegensatz zu herkömmlichen persönlichen Assistenten, die mit einem hohen Preis verbunden sein können, bietet Yatter erschwingliche und zugängliche Chatbot-Instruments.

Für Einzelpersonen und Unternehmen, die organisiert bleiben möchten, ohne ihr Finances zu sprengen, bietet dieses Chatbot-Device eine budgetfreundliche Lösung. Mithilfe der KI-Chat-Funktionen können Sie Ihr Leben mit einem KI-Bot verwalten, der ein hervorragendes Preis-Leistungs-Verhältnis bietet.

Maßgeschneiderte Erinnerungen und Benachrichtigungen: Bleiben Sie ganz einfach auf dem Laufenden

Eine weitere großartige Funktion von Yatter AI ist das Angebot individueller Erinnerungen für Ihre Aufgaben, Ereignisse und Ihren Zeitplan. Es können Erinnerungen für nahezu jedes Aspect eingerichtet werden, von der täglichen Aufgabenliste über ein großes Assembly bis hin zu wiederkehrenden Aufgaben wie der Begleichung einer Rechnung. Dieses Chatbot-Device garantiert, dass Sie mit minimalem Aufwand nichts verpassen.

Senden Sie einfach eine SMS an Yatter, um eine Erinnerung zu erstellen, und es sendet Benachrichtigungen, um Sie auf dem Laufenden zu halten. Sie können über die Plattformen (WhatsApp oder Telegram) Benachrichtigungen für bevorstehende Ereignisse, Fristen oder Folgeaktionen einrichten. Dadurch ist die Organisation einfach und automatisiert, sodass Sie nie wieder etwas Wichtiges verpassen.

Optimierte Tagesplanung: Steigern Sie Ihre Produktivität

Yatter AI soll die tägliche Planung einfacher und effizienter machen. Indem Sie das KI-Chatbot-Device verwenden, um Ihre Aufgaben zu verwalten, Termine zu planen und Wetteraktualisierungen zu erhalten, können Sie Ihren Tag schnell organisieren und Ihre Produktivität steigern. Yatter hilft Ihnen, Aufgaben zu priorisieren, bessere Entscheidungen zu treffen und sich auf das Wesentliche zu konzentrieren.

Egal, ob Sie Arbeitstermine einhalten, Familienaktivitäten planen oder einfach Ihre Zeit verwalten, dieses Chatbot-Device hilft Ihnen, mit minimalem Aufwand organisiert zu bleiben. Mit Funktionen wie benutzerdefinierten Erinnerungen und Wettervorhersagen können Sie Ihren Tag im Handumdrehen anpassen und behalten den Überblick.

Fazit: Warum Yatter AI unerlässlich ist, um im Jahr 2025 organisiert zu bleiben

Mit Blick auf das Jahr 2025 ist es wichtiger denn je, organisiert zu bleiben. Bei so vielen Verantwortlichkeiten und Aufgaben, die es zu bewältigen gilt, kann die Verwendung der richtigen Instruments den entscheidenden Unterschied machen. Dieses Chatbot-Device ist die perfekte Lösung für alle, die den Überblick über ihre Aufgaben behalten und ihren Tagesablauf optimieren möchten. Egal, ob Sie Hilfe bei der Verwaltung Ihres Kalenders, beim Einrichten von Erinnerungen oder beim Bleiben über das Wetter benötigen, das KI-Chatbot-Device von Yatter erledigt alles.

Durch die Integration mit WhatsApp und Telegram, die Bereitstellung multimodaler Unterstützung und die Bereitstellung von Unterstützung rund um die Uhr stellt Yatter AI sicher, dass Sie stets die Kontrolle über Ihre Zeit und Verantwortlichkeiten haben. Mit seinen erschwinglichen Preisen und leistungsstarken Funktionen ist Yatter das ultimative Chatbot-Device, um im Jahr 2025 organisiert zu bleiben.

Wenn Sie bereit sind, Ihr Organisationsspiel auf die nächste Stufe zu heben, probieren Sie Yatter AI noch heute aus. Es ist der persönliche Assistent, den Sie brauchen, alles in Ihren bevorzugten Messaging-Apps, der es einfacher als je zuvor macht, organisiert zu bleiben.