Team – chatgpz.de – KI-Tools & Praxiswissen https://chatgpz.de Unabhängige Tests, Anleitungen und Hintergründe zu KI-Tools. Sat, 04 Apr 2026 10:29:38 +0000 de-DE hourly 1 https://wordpress.org/?v=6.4.2 234900186 LLMOps im Jahr 2026: Die 10 Instruments, die jedes Crew haben muss https://chatgpz.de/data-analytics/llmops-im-jahr-2026-die-10-instruments-die-jedes-crew-haben-muss/ https://chatgpz.de/data-analytics/llmops-im-jahr-2026-die-10-instruments-die-jedes-crew-haben-muss/#respond Sat, 04 Apr 2026 10:29:38 +0000 https://chatgpz.de/data-analytics/llmops-im-jahr-2026-die-10-tools-die-jedes-team-haben-muss/ [ad_1]

LLMOps im Jahr 2026: Die 10 Tools, die jedes Team haben muss
Bild vom Herausgeber

# Einführung

Massive Language Mannequin Operations (LLMOps) sehen im Jahr 2026 ganz anders aus als noch vor einigen Jahren. Es geht nicht mehr nur darum, ein Modell auszuwählen und ein paar Spuren darum herum hinzuzufügen. Heutzutage benötigen Groups Instruments für Orchestrierung, Routing, Beobachtbarkeit, Auswertungen (Evals), Leitplanken, Speicher, Suggestions, Paketierung und echte Toolausführung. Mit anderen Worten: LLMOps ist zu einem vollständigen Produktionsstack geworden. Aus diesem Grund ist diese Liste nicht nur eine Zusammenfassung der beliebtesten Namen; Vielmehr wird ein starkes Instrument für jede wichtige Aufgabe im Stapel identifiziert, mit Blick darauf, was sich jetzt nützlich anfühlt und was im Jahr 2026 wahrscheinlich noch wichtiger sein dürfte.

# Die 10 Instruments, die jedes Crew haben muss

// 1. PydanticAI

Wenn Ihr Crew möchte, dass sich große Sprachmodellsysteme eher wie Software program und weniger wie Immediate-Kleber verhalten, PydanticAI ist eine der besten Foundations, die derzeit erhältlich sind. Es konzentriert sich auf typsichere Ausgaben, unterstützt mehrere Modelle und verwaltet Dinge wie Auswertungen, Toolgenehmigungen und lang laufende Arbeitsabläufe, die nach Fehlern wiederhergestellt werden können. Das macht es besonders intestine für Groups, die strukturierte Ausgaben und weniger Überraschungen zur Laufzeit wünschen, sobald sich Instruments, Schemata und Workflows zu vervielfachen beginnen.

// 2. Bifrost

Bifrost ist eine gute Wahl für die Gateway-Schicht, insbesondere wenn Sie mit mehreren Modellen oder Anbietern zu tun haben. Es bietet Ihnen eine einzige Anwendungsprogrammierschnittstelle (API) für die Weiterleitung über mehr als 20 Anbieter und kümmert sich um Dinge wie Failover, Lastausgleich, Caching und grundlegende Kontrollen rund um Nutzung und Zugriff. Dadurch bleibt Ihr Anwendungscode sauber, anstatt ihn mit anbieterspezifischer Logik zu füllen. Es bietet außerdem Beobachtbarkeit und lässt sich in OpenTelemetry integrieren, was es einfacher macht, das Geschehen in der Produktion zu verfolgen. Der Benchmark von Bifrost gibt an, dass bei anhaltenden 5.000 Anfragen professional Sekunde (RPS) nur 11 Mikrosekunden Gateway-Overhead hinzukommen – was beeindruckend ist – aber Sie sollten dies anhand Ihrer eigenen Arbeitslasten überprüfen, bevor Sie es standardisieren.

// 3. Traceloop / OpenLLMetry

OpenLLMetry eignet sich intestine für Groups, die bereits OpenTelemetry verwenden und möchten, dass die LLM-Beobachtbarkeit in dasselbe System integriert wird, anstatt ein separates Dashboard für künstliche Intelligenz (KI) zu verwenden. Es erfasst Dinge wie Eingabeaufforderungen, Abschlüsse, Token-Nutzung und Ablaufverfolgungen in einem Format, das mit vorhandenen Protokollen und Metriken übereinstimmt. Dies erleichtert das Debuggen und Überwachen des Modellverhaltens zusammen mit dem Relaxation Ihrer Anwendung. Da es Open Supply ist und Standardkonventionen folgt, bietet es Groups außerdem mehr Flexibilität, ohne sie an ein einziges Observability-Instrument zu binden.

// 4. Promptfoo

Promptfoo ist eine gute Wahl, wenn Sie Exams in Ihren Workflow integrieren möchten. Es handelt sich um ein Open-Supply-Instrument zum Ausführen von Evaluierungen und zum Purple-Teaming Ihrer Anwendung mit wiederholbaren Testfällen. Sie können es in Steady Integration und Steady Deployment (CI/CD) einbinden, sodass Prüfungen automatisch erfolgen, bevor etwas in Betrieb geht, anstatt sich auf manuelle Exams zu verlassen. Dies trägt dazu bei, dass schnelle Änderungen messbar und einfacher zu überprüfen sind. Die Tatsache, dass es Open Supply bleibt und gleichzeitig mehr Aufmerksamkeit erhält, zeigt auch, wie wichtig Evaluierungen und Sicherheitsüberprüfungen in realen Produktionsumgebungen geworden sind.

// 5. Invariante Leitplanken

Invariante Leitplanken ist nützlich, da es Laufzeitregeln zwischen Ihrer App und dem Modell oder den Instruments hinzufügt. Dies ist von entscheidender Bedeutung, wenn Agenten beginnen, APIs aufzurufen, Dateien zu schreiben oder mit realen Systemen zu interagieren. Es hilft dabei, Regeln durchzusetzen, ohne Ihren Anwendungscode ständig zu ändern, und sorgt dafür, dass Setups auch bei wachsenden Projekten überschaubar bleiben.

// 6. Letta

Letta ist für Agenten konzipiert, die im Laufe der Zeit Speicher benötigen. Es verfolgt vergangene Interaktionen, Kontexte und Entscheidungen in einer Git-ähnlichen Struktur, sodass Änderungen nachverfolgt und versioniert werden, anstatt als loses Blob gespeichert zu werden. Dies erleichtert die Prüfung, Fehlerbehebung und das Rollback und eignet sich perfekt für Agenten mit langer Laufzeit, bei denen die zuverlässige Verfolgung des Zustands genauso wichtig ist wie das Modell selbst.

// 7. OpenPipe

OpenPipe hilft Groups, aus der realen Nutzung zu lernen und Modelle kontinuierlich zu verbessern. Sie können an einem Ort Anfragen protokollieren, Daten filtern und exportieren, Datensätze erstellen, Auswertungen durchführen und Modelle optimieren. Es unterstützt auch den Austausch zwischen API-Modellen und fein abgestimmten Versionen mit minimalen Änderungen und trägt so dazu bei, eine zuverlässige Feedbackschleife aus dem Produktionsverkehr zu schaffen.

// 8. Argilla

Argilla ist excellent für menschliches Suggestions und Datenkuratierung. Es hilft Groups, Suggestions auf strukturierte Weise zu sammeln, zu organisieren und zu überprüfen, anstatt sich auf verstreute Tabellenkalkulationen zu verlassen. Dies ist nützlich für Aufgaben wie Annotation, Präferenzerfassung und Fehleranalyse, insbesondere wenn Sie Modelle verfeinern oder Reinforcement Studying aus menschlichem Suggestions (RLHF) verwenden möchten. Obwohl es nicht so auffällig ist wie andere Teile des Stacks, macht ein sauberer Suggestions-Workflow oft einen großen Unterschied darin, wie schnell sich Ihr System im Laufe der Zeit verbessert.

// 9. KitOps

KitOps löst ein häufiges reales Downside. Modelle, Datensätze, Eingabeaufforderungen, Konfigurationen (Configs) und Code sind oft über verschiedene Orte verstreut, was es schwierig macht, nachzuverfolgen, welche Model tatsächlich verwendet wurde. KitOps bündelt all dies in einem einzigen versionierten Artefakt, sodass alles zusammen bleibt. Dies macht Bereitstellungen sauberer und hilft bei Dingen wie Rollback, Reproduzierbarkeit und der gemeinsamen Arbeit zwischen Groups ohne Verwirrung.

// 10. Komposition

Komposition ist eine gute Wahl, wenn Ihre Agenten mit echten externen Apps und nicht nur mit internen Instruments interagieren müssen. Es verwaltet Dinge wie Authentifizierung, Berechtigungen und Ausführung für Hunderte von Apps, sodass Sie diese Integrationen nicht von Grund auf neu erstellen müssen. Es bietet außerdem strukturierte Schemata und Protokolle, wodurch die Instrument-Nutzung einfacher zu verwalten und zu debuggen ist. Dies ist besonders nützlich, wenn Agenten in reale Arbeitsabläufe einsteigen, bei denen Zuverlässigkeit und Skalierung wichtiger werden als einfache Demos.

# Zusammenfassung

Zusammenfassend lässt sich sagen, dass es bei LLMOps nicht mehr nur um die Verwendung von Modellen geht; Es geht darum, komplette Systeme zu bauen, die tatsächlich in der Produktion funktionieren. Die oben genannten Instruments helfen bei verschiedenen Teilen dieser Reise, von Exams und Überwachung bis hin zu Speicher und realen Integrationen. Die eigentliche Frage ist nun nicht, welches Modell Sie verwenden sollen, sondern wie Sie alles drumherum verbinden, bewerten und verbessern können.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Technology Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Range in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

[ad_2]

]]>
https://chatgpz.de/data-analytics/llmops-im-jahr-2026-die-10-instruments-die-jedes-crew-haben-muss/feed/ 0 17586
Das Group von Andrew Ng veröffentlicht Context Hub: ein Open-Supply-Device, das Ihrem Coding-Agent die aktuelle API-Dokumentation liefert, die er benötigt https://chatgpz.de/artificial-intelligence/das-group-von-andrew-ng-veroeffentlicht-context-hub-ein-open-supply-device-das-ihrem-coding-agent-die-aktuelle-api-dokumentation-liefert-die-er-benoetigt/ https://chatgpz.de/artificial-intelligence/das-group-von-andrew-ng-veroeffentlicht-context-hub-ein-open-supply-device-das-ihrem-coding-agent-die-aktuelle-api-dokumentation-liefert-die-er-benoetigt/#respond Tue, 10 Mar 2026 00:19:37 +0000 https://chatgpz.de/artificial-intelligence/das-team-von-andrew-ng-veroeffentlicht-context-hub-ein-open-source-tool-das-ihrem-coding-agent-die-aktuelle-api-dokumentation-liefert-die-er-benoetigt/ [ad_1]

In der schnelllebigen Welt der Agenten-Workflows ist das leistungsstärkste KI-Modell immer noch nur so intestine wie seine Dokumentation. Heute haben Andrew Ng und sein Group von DeepLearning.AI offiziell gestartet Kontext-Hubein Open-Supply-Device, das die Lücke zwischen den statischen Trainingsdaten eines Agenten und der sich schnell entwickelnden Realität moderner APIs schließen soll.

Sie bitten einen Agenten wie Claude Code, eine Funktion zu erstellen, aber er halluziniert einen Parameter, der vor sechs Monaten veraltet warfare, oder nutzt keinen effizienteren, neueren Endpunkt. Context Hub bietet eine einfache CLI-basierte Lösung, um sicherzustellen, dass Ihr Codierungsagent immer über die „Floor Reality“ verfügt, die er für seine Leistung benötigt.

Das Downside: Wenn LLMs in der Vergangenheit leben

Giant Language Fashions (LLMs) werden in dem Second, in dem ihr Coaching endet, zeitlich eingefroren. Während Retrieval-Augmented Era (RAG) dazu beigetragen hat, Modelle in privaten Daten zu verankern, ist die „öffentliche“ Dokumentation, auf die sie sich verlassen, oft ein Durcheinander aus veralteten Weblog-Beiträgen, alten SDK-Beispielen und veralteten StackOverflow-Threads.

Das Ergebnis nennen die Entwickler „Agent Drift“. Stellen Sie sich ein hypothetisches, aber höchst plausibles Szenario vor: Ein Entwickler bittet einen Agenten, OpenAIs aufzurufen GPT-5.2. Auch wenn die neuere Antworten-API Da dies seit einem Jahr der Industriestandard ist, könnte der Agent – ​​gestützt auf seine Kernausbildung – hartnäckig bei den Älteren bleiben Chat-Abschlüsse-API. Dies führt zu fehlerhaftem Code, verschwendeten Token und stundenlangem manuellen Debuggen.

Codierungsagenten verwenden häufig veraltete APIs und halluzinieren Parameter. Context Hub ist so konzipiert, dass es genau in dem Second eingreift, in dem ein Agent zu raten beginnt.

chub: Die CLI für den Agentenkontext

Im Kern basiert Context Hub auf einem einfachen CLI-Device namens chub. Es fungiert als kuratiertes Register aktueller, versionierter Dokumentation, bereitgestellt in einem für die LLM-Nutzung optimierten Format.

Anstatt dass ein Agent das Internet durchsucht und sich in verrauschtem HTML verliert, verwendet es chub um präzise Markdown-Dokumente abzurufen. Der Arbeitsablauf ist unkompliziert: Sie installieren das Device und fordern dann Ihren Agenten auf, es zu verwenden.

Der Commonplace chub Das Toolset umfasst:

  • chub search: Ermöglicht dem Agenten, die spezifische API oder Fähigkeit zu finden, die er benötigt.
  • chub get: Ruft die kuratierte Dokumentation ab, die häufig bestimmte Sprachvarianten unterstützt (z. B. --lang py oder --lang js), um Token-Verschwendung zu minimieren.
  • chub annotate: Hier beginnt sich das Device von einer Standardsuchmaschine zu unterscheiden.

Der sich selbst verbessernde Agent: Anmerkungen und Problemumgehungen

Eine der überzeugendsten Funktionen ist die Fähigkeit der Agenten, sich an technische Hürden zu erinnern. Wenn ein Agent in der Vergangenheit eine bestimmte Problemumgehung für einen Fehler in einer Beta-Bibliothek entdeckte, verschwand dieses Wissen in dem Second, in dem die Sitzung endete.

Mit Context Hub kann ein Agent das verwenden chub annotate Befehl zum Speichern einer Notiz in der lokalen Dokumentationsregistrierung. Wenn ein Agent beispielsweise erkennt, dass für eine bestimmte Webhook-Überprüfung ein Rohtext statt eines geparsten JSON-Objekts erforderlich ist, kann er Folgendes ausführen:

chub annotate stripe/api "Wants uncooked physique for webhook verification"

In der nächsten Sitzung, wenn der Agent (oder ein beliebiger Agent auf diesem Pc) ausgeführt wird chub get stripe/apiwird dieser Hinweis automatisch an die Dokumentation angehängt. Dies gibt Programmieragenten effektiv ein „Langzeitgedächtnis“ für technische Nuancen und verhindert, dass sie jeden Morgen dasselbe Rad wiederentdecken.

Crowdsourcing der „Floor Reality“.‚

Während Anmerkungen lokal auf dem Pc des Entwicklers bleiben, führt Context Hub auch eine Feedbackschleife ein, die der gesamten Neighborhood zugute kommen soll. Durch die chub suggestions Befehl, mit dem Agenten Dokumentation bewerten können up oder down Stimmen und wenden Sie bestimmte Labels wie an correct, outdatedoder wrong-examples.

Dieses Suggestions fließt zurück an die Betreuer der Context Hub-Registrierung. Mit der Zeit taucht die zuverlässigste Dokumentation an die Spitze auf, während veraltete Einträge von der Neighborhood gekennzeichnet und aktualisiert werden. Es handelt sich um einen dezentralen Ansatz zur Pflege der Dokumentation, der sich genauso schnell weiterentwickelt wie der Code, den er beschreibt.

Wichtige Erkenntnisse

  • Behebt „Agentendrift“: Context Hub befasst sich mit dem kritischen Downside, dass KI-Agenten auf ihre statischen Trainingsdaten angewiesen sind, was dazu führt, dass sie veraltete APIs verwenden oder nicht mehr vorhandene Parameter halluzinieren.
  • CLI-gesteuerte Floor Reality: Durch die chub CLI können Agenten sofort kuratierte, LLM-optimierte Markdown-Dokumentation für bestimmte APIs abrufen und so sicherstellen, dass sie mit den modernsten Requirements erstellen (z. B. unter Verwendung des neueren OpenAI). Antwort-API anstelle von Chat-Abschlüssen).
  • Persistenter Agentenspeicher: Der chub annotate Mit dieser Funktion können Agenten bestimmte technische Problemumgehungen oder Notizen in einer lokalen Registrierung speichern. Dies verhindert, dass der Agent in zukünftigen Sitzungen dieselbe Lösung „neu entdecken“ muss.
  • Kollaborative Intelligenz: Durch die Verwendung chub suggestionskönnen Agenten über die Richtigkeit der Dokumentation abstimmen. Dadurch entsteht eine Crowdsourcing-basierte „Floor Reality“, in der die zuverlässigsten und aktuellsten Ressourcen für die gesamte Entwickler-Neighborhood verfügbar sind.
  • Sprachspezifische Präzision: Das Device minimiert die „Token-Verschwendung“, indem es Agenten ermöglicht, Dokumentation anzufordern, die speziell auf ihren aktuellen Stack zugeschnitten ist (mithilfe von Flags wie --lang py oder --lang js), wodurch der Kontext sowohl dicht als auch äußerst related wird.

Kasse GitHub-Repo. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.


[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/das-group-von-andrew-ng-veroeffentlicht-context-hub-ein-open-supply-device-das-ihrem-coding-agent-die-aktuelle-api-dokumentation-liefert-die-er-benoetigt/feed/ 0 16936
Anyscale und NovaSky Crew veröffentlichen SkyRL tx v0.1.0: Bringen Sie Tinker-kompatible Reinforcement Studying RL Engine in lokale GPU-Cluster https://chatgpz.de/artificial-intelligence/anyscale-und-novasky-crew-veroeffentlichen-skyrl-tx-v0-1-0-bringen-sie-tinker-kompatible-reinforcement-studying-rl-engine-in-lokale-gpu-cluster/ https://chatgpz.de/artificial-intelligence/anyscale-und-novasky-crew-veroeffentlichen-skyrl-tx-v0-1-0-bringen-sie-tinker-kompatible-reinforcement-studying-rl-engine-in-lokale-gpu-cluster/#respond Mon, 03 Nov 2025 23:58:06 +0000 http://chatgpz.de/artificial-intelligence/anyscale-und-novasky-team-veroeffentlichen-skyrl-tx-v0-1-0-bringen-sie-tinker-kompatible-reinforcement-learning-rl-engine-in-lokale-gpu-cluster/ [ad_1]

Wie können KI-Groups Verstärkungslernen im Tinker-Stil für große Sprachmodelle unter Verwendung ihrer eigenen Infrastruktur und einer einzigen einheitlichen Engine durchführen? Anyscale und NovaSky (UC Berkeley) Crew Veröffentlichungen SkyRL tx v0.1.0 Dies gibt Entwicklern die Möglichkeit, eine mit Tinker kompatible Trainings- und Inferenz-Engine direkt auf ihrer eigenen {Hardware} auszuführen und dabei die gleiche minimale API beizubehalten, die Tinker im verwalteten Dienst bereitstellt.

Das Forschungsteam beschreibt SkyRL tx als einheitliche Trainings- und Inferenz-Engine, die die Tinker-API implementiert und es Benutzern ermöglicht, einen Tinker-ähnlichen Dienst auf ihrer eigenen Infrastruktur auszuführen. Diese Model v0.1.0 ist die erste ihrer Reihe, die das Reinforcement-Studying durchgängig unterstützt und außerdem die Probenentnahme erheblich beschleunigt.

Tinker API in Kürze

Tinker von Considering Machines ist eine Trainings-API, die auf vier Kernfunktionen basiert. forward_backward führt einen Vorwärtsdurchlauf und einen Rückwärtsdurchlauf durch und sammelt Steigungen. optim_step Aktualisiert die Modellgewichte basierend auf diesen Farbverläufen. pattern generiert Token für Interaktion, Auswertung oder RL-Aktionen. save_state schreibt Kontrollpunkte für die Wiederaufnahme des Trainings.

Anstelle einer vollständigen aufgabenspezifischen Feinabstimmungsabstraktion stellt Tinker diese Grundelemente auf niedriger Ebene bereit, sodass Benutzer ihre eigenen überwachten oder verstärkenden Lernschleifen in regulärem Python-Code implementieren können, während der Dienst die GPU-Planung und die verteilte Ausführung übernimmt.

SkyRL tx zielt genau auf diese API ab und implementiert ein offenes Backend, das Benutzer lokal bereitstellen können. Es behält das Tinker-Programmiermodell bei, macht es aber überflüssig, sich nur auf die gehostete Umgebung zu verlassen.

Wo SkyRL tx in SkyRL passt

SkyRL ist eine Full-Stack-Lernbibliothek zur Verstärkung für große Sprachmodelle, die Folgendes umfasst: skyrl-agent für Agenten mit langem Horizont, skyrl-train für die Ausbildung und skyrl-gym für Werkzeugumgebungen wie Mathematik, Codierung, Suche und SQL.

Innerhalb dieses Stapels skyrl-tx ist als experimentelle plattformübergreifende Bibliothek gekennzeichnet, die eine lokale Tinker-ähnliche REST-API für das Modell-Submit-Coaching bereitstellt. SkyRL tx wird daher zur Systemschicht, die RL-Logik, Umgebungen und Trainingscode über die Tinker-Schnittstelle mit konkreten GPU-Ressourcen verbindet.

Architektur, Inferenzmaschine, die auch trainiert

Die SkyRL-TX-Architektur wird als Inferenz-Engine beschrieben, die auch Rückwärtsdurchläufe unterstützt. Es besteht aus vier Hauptkomponenten:

  1. REST-API Server das eingehende Anfragen von verschiedenen Benutzern verarbeitet.
  2. Datenbank das Metadaten zu Modellen, Prüfpunkten, Anfragen und Futures verfolgt und auch als Jobwarteschlange fungiert. Die aktuelle Implementierung nutzt SQLite hinter einer Schnittstelle, die auch andere SQL-Datenbanken wie Postgres unterstützt.
  3. Motor das benutzerübergreifende Anfragen plant und bündelt. Jede Engine-Instanz bedient ein einzelnes Basismodell und kann viele LoRA-Adapter anhängen.
  4. Arbeitnehmer das Vorwärts- und Rückwärtsdurchläufe ausführt und Modelldefinitionen und Optimiererzustände enthält. Mehrere Employee würden in kommenden Versionen ein erweitertes Multi-Node-Sharding ermöglichen

Was fügt v0.1.0 hinzu?

Die Model v0.1.0 konzentriert sich auf die Unterstützung von Reinforcement Studying und Leistungsverbesserungen. Der offizielle Veröffentlichung hebt mehrere konkrete Änderungen hervor:

  • Das Sampling ist jetzt viel schneller, da es in der Engine richtig gebündelt und geshardt wird.
  • Es werden jetzt unterschiedliche Sampling-Parameter professional Anfrage, professional Anfrage-Seeds und Cease-Tokens unterstützt, was nützlich ist, wenn viele Experimente ein gemeinsames Basismodell haben.
  • Nach mehreren Korrekturen läuft die RL-Schleife jetzt ordnungsgemäß durch die Engine.
  • Unterstützung für Gradienten-Checkpointing und Mikro-Batching für die Probenahme sind implementiert.
  • Postgres wird jetzt neben SQLite als Datenbank-Backend unterstützt.

Ausführen von RL Finish-to-Finish auf 8 H100-GPUs

Die offizielle Veröffentlichung enthält ein spezifisches Coderezept für die Finish-to-Finish-Ausführung von Reinforcement Studying auf einem Cluster mit 8 H100-GPUs.

Zuerst klonen Benutzer das SkyRL-Repository und im skyrl-tx Ordner starten Sie die Engine mit:

uv run --extra gpu --extra tinker -m tx.tinker.api 
  --base-model Qwen/Qwen3-4B 
  --max-lora-adapters 3 
  --max-lora-rank 1 
  --tensor-parallel-size 8 
  --train-micro-batch-size 8 > out.log

Dann klonen sie das Tinker Cookbook vom Considering Machines-Crew und im tinker_cookbook/recipes Ordner ausführen:

export TINKER_API_KEY=dummy
export WANDB_API_KEY=<your key>
uv run --with wandb --with tinker rl_loop.py 
  base_url=http://localhost:8000 
  model_name="Qwen/Qwen3-4B" 
  lora_rank=1 
  max_length=1024 
  save_every=100

Dadurch wird eine Belohnungskurve erstellt, die bestätigt, dass die RL-Schleife korrekt durch das lokale SkyRL-TX-Backend läuft.

Wichtige Erkenntnisse

  • SkyRL tx v0.1.0 implementiert eine lokale, Tinker-kompatible Engine, die Coaching und Inferenz für das LLM-Submit-Coaching vereinheitlicht.
  • Das System stellt die Tinker-Grundelemente „forward_backward“, „optim_step“, „pattern“ und „save_state“ über REST bereit, während es intern Batchverarbeitung, LoRA-Adapter und Geräteplatzierung übernimmt.
  • Die Architektur ist in API-Server, SQL-Datenbank, Planungs-Engine und Employee unterteilt, die Vorwärts- und Rückwärtsdurchgänge für ein einzelnes Basismodell mit mehreren LoRA-Adaptern ausführen.
  • v0.1.0 bietet Finish-to-Finish-Unterstützung für verstärktes Lernen, schnelleres Jitted- und Sharded-Sampling, Sampling-Parameter professional Anfrage, Gradient Checkpointing, Micro Batching und Postgres-Unterstützung.

SkyRL tx v0.1.0 ist ein praktischer Schritt für Entwicklerteams, die Verstärkungslernen im Tinker-Stil auf ihren eigenen Clustern mit einer konsistenten Tinker-API-Oberfläche wünschen. Das Design, das das System als Inferenzmaschine behandelt, die auch Rückwärtsdurchläufe ausführt, ist sauber und reduziert Stapeldivergenz. Die Unterstützung für LoRA, Gradient Checkpointing, Micro Batching und Postgres ist ein konkretes System-Improve. Insgesamt verwandelt diese Model die Tinker-Kompatibilität in ein umsetzbares lokales RL-Backend für LLM


Schauen Sie sich das an Repo Und Offizielle Veröffentlichung. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.


Michal Sutter ist ein Knowledge-Science-Experte mit einem Grasp of Science in Knowledge Science von der Universität Padua. Mit einer soliden Grundlage in statistischer Analyse, maschinellem Lernen und Datentechnik ist Michal hervorragend darin, komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/anyscale-und-novasky-crew-veroeffentlichen-skyrl-tx-v0-1-0-bringen-sie-tinker-kompatible-reinforcement-studying-rl-engine-in-lokale-gpu-cluster/feed/ 0 13686
Alibaba Qwen Workforce hat gerade FP8-Builds von Qwen3-Subsequent-80B-A3B (unterrichtet & Considering) veröffentlicht und 80B/3B-Energetic Hybrid-Moe in die Commodity GPUs bringen https://chatgpz.de/artificial-intelligence/alibaba-qwen-workforce-hat-gerade-fp8-builds-von-qwen3-subsequent-80b-a3b-unterrichtet-considering-veroeffentlicht-und-80b-3b-energetic-hybrid-moe-in-die-commodity-gpus-bringen/ https://chatgpz.de/artificial-intelligence/alibaba-qwen-workforce-hat-gerade-fp8-builds-von-qwen3-subsequent-80b-a3b-unterrichtet-considering-veroeffentlicht-und-80b-3b-energetic-hybrid-moe-in-die-commodity-gpus-bringen/#respond Mon, 22 Sep 2025 21:28:00 +0000 https://chatgpz.de/artificial-intelligence/alibaba-qwen-team-hat-gerade-fp8-builds-von-qwen3-next-80b-a3b-unterrichtet-thinking-veroeffentlicht-und-80b-3b-active-hybrid-moe-in-die-commodity-gpus-bringen/ [ad_1]

Das QWEN-Workforce von Alibaba hat gerade FP8-quantisierte Kontrollpunkte für seine neuen QWEN3-NEXT-80B-A3B-Modelle in zwei Nachtraining-Varianten veröffentlicht.Anweisen Und Denken-Ausgelassene Inferenz mit hohem Durchsatz mit extrem langer Kontext und MOE-Effizienz. Der FP8-Repos spiegelt die BF16-Veröffentlichungen wider, packt jedoch „feinkörnige FP8“ -Regewichte (Blockgröße 128) und Bereitstellungshinweise für Sglang- und VllM-Builds. Benchmarks in den Karten bleiben die der ursprünglichen BF16 -Modelle; FP8 wird „aus Bequemlichkeit und Leistung“ nicht als separate Bewertungslauf zur Verfügung gestellt.

Was ist im A3B -Stack?

QWEN3-NEXT-80B-A3B ist eine hybride Architektur, die Gated Deltanet (ein lineares/konv-style-Aufmerksamkeits-Ersatz) mit geschlossener Aufmerksamkeit kombiniert und mit einer ultrasparigen Mischung aus Experten (MOE) verschachtelt ist. Das 80B -Gesamtparameterbudget aktiviert ~ 3B -Parameter professional Token über 512 Experten (10 Routed + 1 Shared). Das Format ist als 48 Schichten angegeben, die in 12 Blöcke angeordnet sind: 3×(Gated DeltaNet → MoE) gefolgt von 1×(Gated Consideration → MoE). Der native Kontext beträgt 262.144 Token, validiert bis zu ~ 1.010.000 Token unter Verwendung von Seilskalierung (Garn). Die versteckte Größe beträgt 2048; Die Aufmerksamkeit verwendet 16 Q -Köpfe und 2 kV -Köpfe bei Head Dim 256; Deltanet verwendet 32 ​​V- und 16 QK -lineare Köpfe bei Head Dim 128.

Das QWEN-Workforce meldet, dass das 80B-A3B-Basismodell QWEN3-32B bei nachgeschalteten Aufgaben zu ~ 10% seiner Trainingskosten übertrifft und ~ 10 × Inferenzdurchsatz über einen 32-km-Kontext hinausgeht-durch eine geringe Aktivierung bei der MOE und bei der Multi-Token-Vorhersage (MTP). Die Unterrichtsvariante ist nicht umsetzt (nein <suppose> Tags), während die Denkvariante standardmäßig Argumentationsspuren erzwingt und für komplexe Probleme optimiert wird.

FP8 veröffentlicht: Was hat sich tatsächlich geändert

Die FP8-Modellkarten geben an, dass die Quantisierung „feinkörnig FP8“ mit Blockgröße 128 ist. Die Bereitstellung unterscheidet sich geringfügig von BF16: Sowohl Sglang als auch VLLM erfordern aktuelle Haupt-/Nachtbaute, wobei Beispielbefehle für 256K-Kontext und optionales MTP angegeben sind. Die Considering FP8 -Karte empfiehlt auch ein Argumentationsparser -Flag (z. B., z. --reasoning-parser deepseek-r1 in Sglang, deepseek_r1 in vllm). Diese Releases behalten die Lizenzierung von Apache-2.0.

Benchmarks (berichtet über BF16 -Gewichte)

Die Anweisung FP8-Karten reproduziert Qwens BF16-Vergleichstabelle und stellt QWEN3-NEXT-80B-A3B-Struktur mit QWEN3-235B-A22B-Instruct-257 auf mehrere Wissens-/Argumentations-/Codierungs-Benchmarks und bis zu 256K). Die Denkweise fp8 karten listet Aime’25, HMMT’25, MMLU-pro/Redux und LiveCodeBench V6 auf, wobei Qwen3-Subsequent-80B-A3B-Dinking frühere qwen3 Considering-Veröffentlichungen (30b a3b-2507, 32b) übertrifft, und Anspruchsgedanken über die Überschläge über Gemini-2,5-Lash-Considering.

Trainings- und Nach-Coaching-Signale

Die Serie ist vor dem Coaching auf ~ 15T-Token ausgebildet. QWEN hebt die Stabilitätsergänzungen (null-zentrierte, gewichtsbekannte Schichtnorm usw.) hervor und verwendet GSPO in RL nach dem Coaching für das Denkmodell, um die hybride Aufmerksamkeit + MOE-Kombination mit hoher Paralität zu bewältigen. MTP wird verwendet, um die Inferenz zu beschleunigen und das Sign vor dem Vorabstieg zu verbessern.

Warum ist FP8 wichtig?

Bei modernen Beschleunigern reduzieren FP8 -Aktivierungen/-gewichte die Speicherbandbreitendruck und den ansässigen Fußabdruck gegenüber BF16, wodurch größere Stapelgrößen oder längere Sequenzen in ähnlicher Latenz ermöglicht werden. Da A3B nur ~ 3B-Parameter professional Token Routen leitete, verbindet die Kombination von FP8 + Moe-Sparsity-Verbindungen Durchsatzgewinne in langkontexten Routine, insbesondere wenn sie mit spekulativem Decodieren über MTP wie in den Servierflags exponierten MTP exponiert sind. Die Quantisierung interagiert jedoch mit Routing- und Aufmerksamkeitsvarianten; Die realen Akzeptanzraten für spekulative Dekodierung und Endaufgabegenauigkeit können mit den Implementierungen von Engine und Kernel variieren-daher die Anleitung von Qwen, um aktuelle Sglang/VllM zu verwenden und spekulative Einstellungen zu stimmen.

Zusammenfassung

Die FP8-Veröffentlichungen von Qwen machen den 80B/3B-aktiven A3B-Stack praktisch, um im 256-Ok-Kontext auf Mainstream-Motoren zu dienen, wodurch das Hybrid-Moe-Design und den MTP-Pfad für hohen Durchsatz erhalten bleiben. Die Modellkarten behalten Benchmarks von BF16 von BF16, sodass die Groups die Genauigkeit und Latenz von FP8 auf ihren eigenen Stapeln validieren sollten, insbesondere mit Parsers und spekulativen Einstellungen. Nettoergebnis: Niedrigere Speicherbandbreite und verbesserte Parallelität ohne architektonische Regressionen, positioniert für Lengthy Context Manufacturing Workloads.


Schauen Sie sich das an QWEN3-NEXT-80B-A3B-Modelle in zwei Nachtraining-Varianten-Anweisen Und Denken. Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser E-newsletter.


Asif Razzaq ist der CEO von Marktechpost Media Inc. Sein jüngstes Bestreben ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch die ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die von einem breiten Publikum technisch intestine und leicht verständlich sind. Die Plattform verfügt über über 2 Millionen monatliche Ansichten und veranschaulicht ihre Beliebtheit des Publikums.

[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/alibaba-qwen-workforce-hat-gerade-fp8-builds-von-qwen3-subsequent-80b-a3b-unterrichtet-considering-veroeffentlicht-und-80b-3b-energetic-hybrid-moe-in-die-commodity-gpus-bringen/feed/ 0 12595
Nvidia AI Staff stellt Jetson Thor vor: die ultimative Plattform für physische KI und Robotik der nächsten Era https://chatgpz.de/artificial-intelligence/nvidia-ai-staff-stellt-jetson-thor-vor-die-ultimative-plattform-fuer-physische-ki-und-robotik-der-naechsten-era/ https://chatgpz.de/artificial-intelligence/nvidia-ai-staff-stellt-jetson-thor-vor-die-ultimative-plattform-fuer-physische-ki-und-robotik-der-naechsten-era/#respond Sun, 31 Aug 2025 23:09:43 +0000 https://chatgpz.de/artificial-intelligence/nvidia-ai-team-stellt-jetson-thor-vor-die-ultimative-plattform-fuer-physische-ki-und-robotik-der-naechsten-generation/ [ad_1]

Letzte Woche hat das Nvidia Robotics -Staff Jetson Thor veröffentlicht, das gehört Jetson Agx Thor Developer Equipment und die Jetson T5000 Moduleinen bedeutenden Meilenstein für die Entwicklung von AI -Robotikentwicklung in der realen Welt markieren. Entwickelt wie a Supercomputer für physische KIJetson Thor bringt generative Argumentation und multimodale Sensorverarbeitung in die Stromversorgung und Entscheidungsfindung am Rande.

Architektonische Höhepunkte

Leistung berechnen

Jetson Thor liefert bis zu 2.070 FP4 Teraflops (TFlops) von KI berechnen über seine in Blackwell ansässige GPU – ein Sprung von von 7,5 × über der vorherigen Jetson Orin -Plattform. Diese Leistung kommt in einem an 130 -Watt Leistungsumschlag mit konfigurierbarem Betrieb bis hin zu 40 weinen hohen Durchsatz mit Energieeffizienz ausbalancieren – angemessen 3,5 × besser als Orin.

Berechnen Sie Architektur

Im Kern integriert Jetson Thor a 2560 -Core Blackwell GPU ausgestattet mit 96 Tensor Cores der fünften Era und unterstützt Multi -Occasion -GPU (MIG)Ermöglichen Sie eine versatile Partitionierung von GPU -Ressourcen für parallele Workloads. Das ergänzen dies ein 14 -Core Arm® Neoverse -V3AE CPUmit 1 MB L2 professional Kern und 16 MB Shared L3 Cache.

Speicher und ich/o

Die Plattform umfasst 128 GB LPDDR5X -Speicher In einem 256 -Bit -Bus bei 273 GB/s Bandbreite. Speicherfunktionen umfassen a 1 TB NVME M.2 SlotZusammen mit HDMI, DisplayPort, mehreren USB, Gigabit-Ethernet, Dose Header und QSFP28 für bis zu vier 25 GBE-Fahrspuren-entschlossen für die Echtzeit-Sensorfusion.

https://developer.nvidia.com/weblog/introducing-nvidia-jetson-thor-the-ultimate-platform-for-physical-ai/

Software program -Ökosystem für physische KI

Jetson Thor unterstützt einen umfassenden NVIDIA -Software program -Stack, der auf Robotik und physische KI zugeschnitten ist:

  • Isaac (GR00T) für generatives Denken und humanoide Kontrolle.
  • Metropole für Imaginative and prescient ai.
  • Holoscan Für Echtzeit, Sensorverarbeitung mit geringer Latenz und Sensor-Over-Ethernet (Holoscan Sensor Bridge).

Diese Komponenten ermöglichen es einem System-auf-Modul, multimodale KI-Workflows-Imaginative and prescient, Sprache, Betätigung-ohne Auslagerung oder Kombination mehrerer Chips auszuführen.

https://developer.nvidia.com/weblog/introducing-nvidia-jetson-thor-the-ultimate-platform-for-physical-ai/

Definition von „physischer KI“ und ihrer Bedeutung

Generative Argumentation und multimodale Verarbeitung

Physische KI kombiniert Wahrnehmung, Argumentation und Aktionsplanung. Mit Jetson Thor können Roboter „mögliche Sequenzen simulieren, Konsequenzen vorhersehen und sowohl hochrangige Pläne als auch Bewegungsrichtlinien auf niedriger Ebene erzeugen, was der Anpassungsfähigkeit mit menschlichem Denken entspricht. Durch die Unterstützung von Echtzeit-Inferenz über Sprach- und visuelle Eingaben verwandelt sie Roboter aus einfachen Automata in Generalist-Agenten.

Anwendungen

Roboter können besser navigieren, unvorhersehbare Umgebungen, Objekte manipulieren oder komplexe Anweisungen befolgen, ohne zu wiedererlangen. Anwendungsfälle umfassen Fertigung, Logistik, Gesundheitswesen, Landwirtschaft und mehr.

Entwicklerzugriff und Preisgestaltung

  • Jetson Agx Thor Developer Equipment: Preis bei $ 3.499jetzt allgemein verfügbar.
  • Jetson T5000 Produktionsmodule: Erhältlich über die Companion von Nvidia mit den Preisen der Einheiten $ 2.999 für Bestellungen von 1.000.
  • Vorbestellungen deuten in Kürze eine größere Verfügbarkeit hin, die sowohl für Forschungs- als auch für kommerzielle Robotik-Ökosysteme gerecht werden.

Abschluss

Nvidia Jetson Thor repräsentiert eine zentrale Verschiebung des Robotik-Computer systems-auf Serverqualität, multimodaler Inferenz und Argumentationsfunktionen innerhalb eines einzelnen, kraftvollen Moduls. Seine Kombination von 2.070 fp4 tflopsHocheffizientes Design, expansive E/O und robuste Software program-Stapel positionieren es als grundlegende Plattform für die nächste Era von physischen KI-Systemen. Mit einer frühzeitigen Einführung unter prominenten Robotikentwicklern und der Verfügbarkeit der Bereitschaft bringt Jetson Thor die Imaginative and prescient anpassungsfähiger, realer KI-Agenten näher an die Realität.


Schauen Sie sich das an Vollständige technische Particulars. Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser Publication.


Asif Razzaq ist der CEO von Marktechpost Media Inc. Sein jüngstes Bestreben ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch die ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die von einem breiten Publikum technisch intestine und leicht verständlich sind. Die Plattform verfügt über über 2 Millionen monatliche Ansichten und veranschaulicht ihre Beliebtheit des Publikums.

[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/nvidia-ai-staff-stellt-jetson-thor-vor-die-ultimative-plattform-fuer-physische-ki-und-robotik-der-naechsten-era/feed/ 0 12039
Falcon LLM Workforce veröffentlicht den technischen Bericht des Falcon-H1 https://chatgpz.de/artificial-intelligence/falcon-llm-workforce-veroeffentlicht-den-technischen-bericht-des-falcon-h1/ https://chatgpz.de/artificial-intelligence/falcon-llm-workforce-veroeffentlicht-den-technischen-bericht-des-falcon-h1/#respond Fri, 01 Aug 2025 20:18:29 +0000 http://chatgpz.de/artificial-intelligence/falcon-llm-team-veroeffentlicht-den-technischen-bericht-des-falcon-h1/ [ad_1]

Einführung

Die von The Know-how Innovation Institute (TII) entwickelte Falcon-H1-Serie markiert einen erheblichen Fortschritt in der Entwicklung von Großsprachenmodellen (LLMs). Durch die Integration transformatorischer Aufmerksamkeit in Mamba-basierte Zustandsraummodelle (SSMs) in einer hybriden parallelen Konfiguration erzielt Falcon-H1 außergewöhnliche Leistung, Gedächtniseffizienz und Skalierbarkeit. Falcon-H1-Modelle werden in mehreren Größen (0,5B bis 34B Parametern) und -versionen (Foundation, überwiesen und quantisiert) freigegeben.

Wichtige architektonische Innovationen

Der Technischer Bericht erklärt, wie Falcon-H1 einen Roman annimmt Parallele Hybridarchitektur Wo sowohl die Aufmerksamkeit als auch die SSM -Module gleichzeitig funktionieren und ihre Ausgaben vor der Projektion verkettet werden. Dieses Design weicht von der herkömmlichen sequentiellen Integration ab und bietet die Flexibilität, die Anzahl der Aufmerksamkeit und SSM -Kanäle unabhängig abzustimmen. Die Standardkonfiguration verwendet ein Verhältnis von 2: 1: 5 für SSM-, Aufmerksamkeits- und MLP -Kanäle, wobei sowohl die Effizienz als auch die Lerndynamik optimiert werden.

Um das Modell weiter zu verfeinern, untersucht Falcon-H1::

  • Kanalzuweisung: Ablationen zeigen, dass die zunehmende Aufmerksamkeitskanäle die Leistung verschlechtern, während das Ausgleich von SSM und MLP robuste Gewinne erzielt.
  • Blockkonfiguration: Die SA_M-Konfiguration (halbparallel mit Aufmerksamkeit und SSM Collectively-Läufe, gefolgt von MLP) führt am besten im Trainingsverlust und zur Recheneffizienz durch.
  • Seilbasisfrequenz: Eine ungewöhnlich hohe Basisfrequenz von 10^11 in Rotationspositionseinbettungen (Seil) erwies sich als optimum und verbesserte die Generalisierung während des lang Kontext-Trainings.
  • Kompromiss zwischen Breite: Experimente zeigen, dass tiefere Modelle unter festen Parameterbudgets breiter übertreffen. Falcon-H1-1.5b-tiefe (66 Ebenen) übertrifft viele 3B- und 7B-Modelle.

Tokenizer -Strategie

Falcon-H1 verwendet eine maßgeschneiderte Bytepaar-Kodierung (BPE) Tokenizer Suite mit Vokabulargrößen von 32K bis 261K. Zu den wichtigsten Designentscheidungen gehören:

  • Ziffern- und Zeichensetzungspaltung: Empirisch verbessert die Leistung in Code und mehrsprachigen Einstellungen.
  • Latex -Token -Injektion: Verbessert die Modellgenauigkeit bei mathematischen Benchmarks.
  • Mehrsprachige Unterstützung: Deckt 18 Sprachen und Skalen auf 100+ ab, wobei optimierte Fruchtbarkeit und Bytes/Token -Metriken verwendet werden.

Vorab -Korpus- und Datenstrategie

Falcon-H1-Modelle werden auf bis zu 18-t-Token aus einem sorgfältig kuratierten 20T-Token-Korpus ausgebildet, der umfasst:

  • Hochwertige Webdaten (gefilterte Fineweb)
  • Mehrsprachige Datensätze: Widespread Crawl, Wikipedia, Arxiv, OpenSubtitel und kuratierte Ressourcen für 17 Sprachen
  • Codekorpus: 67 Sprachen, verarbeitet über Minhash -Deduplizierung, Codebert -Qualitätsfilter und PII -Scrubbing
  • Mathematikdatensätze: Math, GSM8K und hauseigene latexverstärkte Krabbel
  • Synthetische Daten: Umgeschrieben von rohen Korpora mit verschiedenen LLMs sowie der QS im Lehrbuchstil aus 30.000 Wikipedia-basierten Themen
  • Langkontextsequenzen: Verbessert durch Einfüll-, Neuordnung und synthetische Argumentationsaufgaben bis zu 256.000 Token

Trainingsinfrastruktur und Methodik

Das Coaching verwendete die maßgeschneiderte maximale Aktualisierungsparametrisierung (µP), wobei die sanfte Skalierung über die Modellgrößen hinweg unterstützt wird. Die Modelle verwenden fortgeschrittene Parallelitätsstrategien:

  • Mixer Parallelism (MP) Und Kontextparallelität (CP): Verbessern Sie den Durchsatz für die lang Kontextverarbeitung
  • Quantisierung: Veröffentlicht in Bfloat16- und 4-Bit-Varianten, um die Kantenbereitstellungen zu erleichtern

Bewertung und Leistung

Falcon-H1 erzielt eine beispiellose Leistung professional Parameter:

  • Falcon-H1-34b-Instruktur überschreitet oder passt 70B-Modelle wie Qwen2.5-72B und LAMA3.3-70B über Argumentation, Mathematik, Anweisungen und mehrsprachige Aufgaben über.
  • Falcon-H1-1.5b-Deep Rivalen 7b – 10b Modelle
  • Falcon-H1-0.5b liefert die 7B-Leistung der 2024-Ära-Leistung

Benchmarks überspannen MMLU-, GSM8K-, Humaneal- und Lengthy Context-Aufgaben. Die Modelle zeigen eine starke Ausrichtung über SFT und direkte Präferenzoptimierung (DPO).

Abschluss

Falcon-H1 legt einen neuen Customary für Open-Gewicht-LLMs fest, indem parallele Hybridarchitekturen, versatile Tokenisierung, effiziente Trainingsdynamik und robuste mehrsprachige Fähigkeiten integriert werden. Die strategische Kombination von SSM und Aufmerksamkeit ermöglicht eine unübertroffene Leistung innerhalb der praktischen Rechen- und Gedächtnisbudgets, was es sowohl für die Forschung als auch für den Einsatz in verschiedenen Umgebungen superb macht.


Schauen Sie sich das an Papier Und Fashions auf dem Umarmung des Gesichts. Fühlen Sie sich frei zu Weitere Anwendungen finden Sie in unserer Tutorials auf AI Agent und Agentic AI. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser E-newsletter.


Michal Sutter ist ein Datenwissenschaftler bei einem Grasp of Science in Information Science von der College of Padova. Mit einer soliden Grundlage für statistische Analyse, maschinelles Lernen und Datentechnik setzt Michal aus, um komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/falcon-llm-workforce-veroeffentlicht-den-technischen-bericht-des-falcon-h1/feed/ 0 11256
Das AI -Group von Apple verliert ein weiteres wichtiges Private gegen Meta https://chatgpz.de/data-science/das-ai-group-von-apple-verliert-ein-weiteres-wichtiges-private-gegen-meta/ https://chatgpz.de/data-science/das-ai-group-von-apple-verliert-ein-weiteres-wichtiges-private-gegen-meta/#respond Wed, 30 Jul 2025 11:25:23 +0000 http://chatgpz.de/data-science/das-ai-team-von-apple-verliert-ein-weiteres-wichtiges-personal-gegen-meta/ [ad_1]

Das AFM -Group von Apple Basis Fashions (AFM) hat in letzter Zeit einen Verlust der Mitarbeiter erlebt, da sich die Strategie für künstliche Intelligenz erheblich verändert hat. Die Scenario umfasst die Abweichung von Schlüsselpersonal zu Meta sowie die Bewertung der Integration von großartigen Großsprachenmodellen (LLMs) von Apple in seine bevorstehenden SIRI-Updates.

Meta hat gemietet Away Vier Apple AI -Mitarbeiter im vergangenen Monat. Diese Reihe von Abflugs begann mit Metas Wilderei von Apple’s Head of Basis -Modellen. Zu diesem ersten Verlust folgten auch zwei bedeutende Kollegen des ehemaligen Leiters der Stiftungsmodelle, wobei ebenfalls Meta beigetreten struggle. Der Pattern setzte sich fort, da ein viertes Mitglied des Basis Fashions -Groups Berichten zufolge zu Metas neuem „Superintelligence“ -Group wechselte.

Bowen Zhang, ein bemerkenswerter multimodaler KI -Forscher bei Apple, verließ das Unternehmen am Freitag. Mark Gurman von Bloomberg berichtete über diese Entwicklung und stellte fest, dass Zhang voraussichtlich für das neu etablierte Superintelligence -Group von Meta beitreten soll. Gurman erklärte: „Bowen Zhang, ein wichtiger multimodaler KI -Forscher bei Apple, hat das Unternehmen am Freitag verlassen und soll laut Personen, die mit der Angelegenheit vertraut waren, mit der Angelegenheit von META beitreten. Zhang struggle Teil der Apple Basis Fashions Group (AFM), die die Kerntechnologie hinter der AI -Plattform des Unternehmens aufgebaut hat.“ Zhangs Experience konzentrierte sich in der AFM -Gruppe von Apple, die eine entscheidende Rolle bei der Entwicklung der grundlegenden Technologie zur Unterstützung der AI -Plattform von Apple spielt.


Apples KI -Kopfsprungschiff nach Meta


Während Apple Anpassungen vorgenommen hat, um seine AFM -Mitarbeiter zu kompensieren, waren diese Bemühungen nicht ganz erfolgreich. Gurman bemerkte, dass Apple „die Bezahlung seiner AFM -Mitarbeiter geringfügig erhöht hat“, aber die aktualisierte Vergütung „blass im Vergleich zu den von Rivalen“. Dieser Unterschied in der Lohnskalen kann dazu beitragen, Talente innerhalb des AFM -Groups zu behalten.

Apple untersucht derzeit die Möglichkeit, LLMs von Drittanbietern zu nutzen, um seine bevorstehenden SIRI-Updates und andere potenzielle Apple Intelligence-Funktionen zu verbessern. Das Unternehmen hat begonnen, Alternativen zu AFM -Modellen für die nächste Iteration seines Siri -Sprachassistenten zu erwägen. Diese Erkundung umfasst die potenzielle Integration von OpenAIs Chatgpt oder der Claude -Modelle von anthropischer PBC in die Funktionalität von Siri. Gleichzeitig entwickelt Apple eine konkurrierende Model von Siri, die sich auf seine eigenen neuen AFM -Modelle stützt. Das Unternehmen hat noch keine endgültige Entscheidung darüber getroffen, welchen Ansatz zur Umsetzung. Diese Unsicherheit in Bezug auf die zukünftige Richtung von Siris Entwicklung hat Berichten zufolge innerhalb des AFM -Groups Unbehagen geschaffen.


Ausgewähltes Bildnachweis

[ad_2]

]]>
https://chatgpz.de/data-science/das-ai-group-von-apple-verliert-ein-weiteres-wichtiges-private-gegen-meta/feed/ 0 11187
Auf dem AI {Hardware} & Edge AI Summit 2024: Gayathri Radhakrishnan, Companion – Funding Crew, Hitachi Ventures https://chatgpz.de/data-science/auf-dem-ai-hardware-edge-ai-summit-2024-gayathri-radhakrishnan-companion-funding-crew-hitachi-ventures/ https://chatgpz.de/data-science/auf-dem-ai-hardware-edge-ai-summit-2024-gayathri-radhakrishnan-companion-funding-crew-hitachi-ventures/#respond Wed, 06 Nov 2024 08:48:38 +0000 http://chatgpz.de/data-science/auf-dem-ai-hardware-edge-ai-summit-2024-gayathri-radhakrishnan-partner-investment-team-hitachi-ventures/ [ad_1]

Zuletzt 2024 AI {Hardware} & Edge AI Summit In San Jose, Kalifornien, traf ich Gayathri Radhakrishnan, Companion – Funding Crew bei Hitachi Venturesein Enterprise-Unternehmen, das nach den besten Lösungen für die Bewältigung der technischen, sozialen und ökologischen Herausforderungen der Welt sucht

Die Diskussion beginnt mit einem kurzen Rundgang durch die Mission und Marktstrategie des Unternehmens. Als nächstes werfen wir einen Blick auf Datenpipelines. Wir beobachten einen Anstieg der Zahl der Unternehmen, die damit rechnen, im nächsten Jahr GenAI und LLMs in der Produktion einzusetzen. Infolgedessen werden Datenverwaltungssysteme immer skalierbarer und beobachtbarer. Gayathri Radhakrishnan bietet ihre Perspektiven zu diesem Pattern. Anschließend wenden wir uns einer Diskussion über einen weiteren wichtigen Pattern zu, der sich abzeichnet: „Agentische KI-Infrastruktur und -Anwendungen“. Es scheint, dass der Grundstein über Jahrzehnte gelegt wurde, angefangen bei RPA bis hin zu Verbesserungen im gesamten Stack von der Infrastruktur und KI/ML bis hin zu Basis Fashions, wodurch die Voraussetzungen für KI-gestützte Agenten geschaffen wurden. Gayathri Radhakrishnan hebt hervor, wie sich der Pattern zu Agentic AI auf die Anlagestrategien ihres Unternehmens auswirkt. Und schließlich holen wir unsere Kristallkugel heraus und blicken in den nächsten 12 bis 18 Monaten, um zu sehen, was dem Unternehmen im Bereich KI bevorsteht.

Melden Sie sich für die kostenlosen insideAI-Information an Publication.

Begleiten Sie uns auf Twitter: https://twitter.com/InsideBigData1

Treten Sie uns auf LinkedIn bei: https://www.linkedin.com/firm/insideainews/

Begleiten Sie uns auf Fb: https://www.fb.com/insideAINEWSNOW

Schauen Sie bei uns vorbei YouTube!



[ad_2]

]]>
https://chatgpz.de/data-science/auf-dem-ai-hardware-edge-ai-summit-2024-gayathri-radhakrishnan-companion-funding-crew-hitachi-ventures/feed/ 0 4996