Das Considering Machines Lab ist umgezogen Tinker-Trainings-API in die allgemeine Verfügbarkeit gebracht und drei Hauptfunktionen hinzugefügt: Unterstützung für das Kimi K2 Considering-Argumentationsmodell, OpenAI-kompatibles Sampling und Bildeingabe über Qwen3-VL-Imaginative and prescient-Sprachmodelle. Für KI-Ingenieure wird Tinker dadurch zu einer praktischen Möglichkeit, Grenzmodelle zu verfeinern, ohne eine verteilte Trainingsinfrastruktur aufzubauen.

Was macht Tinker eigentlich?

Tinker ist eine Trainings-API, die sich auf die Feinabstimmung großer Sprachmodelle konzentriert und den Aufwand des verteilten Trainings verbirgt. Sie schreiben eine einfache Python-Schleife, die auf einer reinen CPU-Maschine ausgeführt wird. Sie definieren die Daten- oder RL-Umgebung, den Verlust und die Trainingslogik. Der Tinker-Dienst ordnet diese Schleife einem Cluster von GPUs zu und führt genau die von Ihnen angegebene Berechnung aus.

Die API stellt einen kleinen Satz von Grundelementen bereit, z forward_backward um Steigungen zu berechnen, optim_step um Gewichte zu aktualisieren, pattern zum Generieren von Ausgaben und Funktionen zum Speichern und Laden des Standing. Dadurch bleibt die Trainingslogik explizit für Personen, die überwachtes Lernen, verstärkendes Lernen oder Präferenzoptimierung implementieren möchten, aber keine GPU-Ausfälle und Zeitplanung verwalten möchten.

Tinker verwendet für alle unterstützten Modelle eine Low-Rank-Adaption (LoRA) anstelle einer vollständigen Feinabstimmung. LoRA trainiert kleine Adaptermatrizen auf eingefrorenen Basisgewichten, was den Speicher reduziert und es praktisch macht, wiederholte Experimente mit einer großen Mischung von Expertenmodellen im selben Cluster durchzuführen.

Allgemeine Verfügbarkeit und Kimi K2 Considering

Die wichtigste Änderung im Replace vom Dezember 2025 besteht darin, dass Tinker keine Warteliste mehr hat. Jeder kann sich anmelden, die aktuelle Modellpalette und Preise einsehen und Kochbuchbeispiele direkt ausprobieren.

Auf der Modellseite können Benutzer nun Feinabstimmungen vornehmen moonshotai/Kimi-K2-Considering auf Tinker. Kimi K2 Considering ist ein Argumentationsmodell mit etwa 1 Billion Gesamtparametern in einer Mischung aus Expertenarchitektur. Es ist für lange Gedankengänge und starken Werkzeugeinsatz konzipiert und derzeit das größte Modell im Tinker-Katalog.

In der Tinker-Modellreihe erscheint Kimi K2 Considering als Reasoning MoE-Modell, neben Qwen3 Dense und Combine-of-Professional-Varianten, Modellen der Llama-3-Technology und DeepSeek-V3.1. Reasoning-Modelle produzieren immer interne Gedankenketten vor der sichtbaren Antwort, während Instruktionsmodelle sich auf Latenz und direkte Antworten konzentrieren.

OpenAI-kompatibles Sampling während des Trainings

Tinker verfügte bereits über eine native Sampling-Schnittstelle SamplingClient. Das typische Inferenzmuster bildet a ModelInput von Token-IDs, Pässen SamplingParamsund Anrufe pattern um eine Zukunft zu bekommen, die sich in Ausgaben auflöst

Die neue Model fügt einen zweiten Pfad hinzu, der die OpenAI-Abschlussschnittstelle widerspiegelt. Auf einen Modellprüfpunkt auf Tinker kann über einen URI wie folgt verwiesen werden:

response = openai_client.completions.create(
    mannequin="tinker://0034d8c9-0a88-52a9-b2b7-bce7cb1e6fef:practice:0/sampler_weights/000080",
    immediate="The capital of France is",
    max_tokens=20,
    temperature=0.0,
    cease=("n"),
)

Imaginative and prescient-Eingabe mit Qwen3-VL auf Tinker

Die zweite Hauptfunktion ist die Bildeingabe. Tinker stellt jetzt zwei Qwen3-VL-Imaginative and prescient-Sprachmodelle vor: Qwen/Qwen3-VL-30B-A3B-Instruct Und Qwen/Qwen3-VL-235B-A22B-Instruct. Sie sind in der Tinker-Modellreihe als Imaginative and prescient MoE-Modelle aufgeführt und stehen für Schulung und Probenahme über dieselbe API-Oberfläche zur Verfügung.

Um ein Bild in ein Modell zu senden, erstellen Sie ein ModelInput das verschachtelt ein ImageChunk mit Textblöcken. Der Forschungsblog verwendet das folgende Minimalbeispiel:

model_input = tinker.ModelInput(chunks=(
    tinker.varieties.ImageChunk(information=image_data, format="png"),
    tinker.varieties.EncodedTextChunk(tokens=tokenizer.encode("What is that this?")),
))

Hier image_data ist Rohbytes und format identifiziert beispielsweise die Kodierung png oder jpeg. Sie können dieselbe Darstellung für überwachtes Lernen und für die RL-Feinabstimmung verwenden, wodurch multimodale Pipelines auf API-Ebene konsistent bleiben. Imaginative and prescient-Eingaben werden im LoRA-Trainingssetup von Tinker vollständig unterstützt.

Qwen3-VL versus DINOv2 zur Bildklassifizierung

Um zu zeigen, was der neue Imaginative and prescient-Pfad bewirken kann, hat das Tinker-Staff eine Feinabstimmung vorgenommen Qwen3-VL-235B-A22B-Instruct als Bildklassifikator. Sie verwendeten 4 Standarddatensätze:

• Caltech 101
• Stanford-Autos
• Oxford-Blumen
• Oxford Haustiere

Da es sich bei Qwen3-VL um ein Sprachmodell mit visueller Eingabe handelt, wird die Klassifizierung als Textgenerierung bezeichnet. Das Modell empfängt ein Bild und generiert den Klassennamen als Textsequenz.

Als Foundation haben sie ein DINOv2-Basismodell verfeinert. DINOv2 ist ein selbstüberwachter Imaginative and prescient-Transformer, der Bilder in Einbettungen kodiert und häufig als Rückgrat für Imaginative and prescient-Aufgaben verwendet wird. Für dieses Experiment wird ein Klassifizierungskopf über DINOv2 angebracht, um eine Verteilung über die N Labels in jedem Datensatz vorherzusagen.

Sowohl Qwen3-VL-235B-A22B-Instruct als auch DINOv2 Base werden mit LoRA-Adaptern in Tinker trainiert. Der Fokus liegt auf der Dateneffizienz. Das Experiment durchsucht die Anzahl der markierten Beispiele professional Klasse, beginnend mit nur 1 Probe professional Klasse und zunehmend. Für jede Einstellung misst das Staff die Klassifizierungsgenauigkeit.

Wichtige Erkenntnisse

1. Tinker ist jetzt allgemein verfügbar, sodass sich jeder anmelden und Open-Weight-LLMs über eine Python-Trainingsschleife optimieren kann, während Tinker das verteilte Trainings-Backend verwaltet.
2. Die Plattform unterstützt Kimi K2 Considering, ein 1 Billion Parameter umfassendes Experten-Argumentationsmodell von Moonshot AI, und stellt es als fein abstimmbares Argumentationsmodell in der Tinker-Reihe zur Verfügung.
3. Tinker fügt eine OpenAI-kompatible Inferenzschnittstelle hinzu, mit der Sie mithilfe von a Stichproben aus Trainingskontrollpunkten erstellen können tinker://… Modell-URI über standardmäßige OpenAI-Purchasers und -Instruments.
4. Die visuelle Eingabe wird durch die Qwen3-VL-Modelle Qwen3-VL 30B und Qwen3-VL 235B ermöglicht, sodass Entwickler multimodale Trainingspipelines erstellen können, die kombiniert werden ImageChunk Eingaben mit Textual content über dieselbe LoRA-basierte API.
5. Considering Machines zeigt, dass Qwen3-VL 235B, fein abgestimmt auf Tinker, bei Datensätzen wie Caltech 101, Stanford Vehicles, Oxford Flowers und Oxford Pets eine stärkere Bildklassifizierungsleistung bei wenigen Aufnahmen erzielt als eine DINOv2-Basislinie, was die Dateneffizienz großer Imaginative and prescient-Sprachmodelle hervorhebt.

Asif Razzaq ist CEO von Marktechpost Media Inc.. Als visionärer Unternehmer und Ingenieur setzt sich Asif dafür ein, das Potenzial der künstlichen Intelligenz für das soziale Wohl zu nutzen. Sein jüngstes Unterfangen ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch eine ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die sowohl technisch fundiert als auch für ein breites Publikum leicht verständlich ist. Die Plattform verfügt über mehr als 2 Millionen monatliche Aufrufe, was ihre Beliebtheit beim Publikum verdeutlicht.

Kimi K2 Pondering ist Moonshot AI:s neuestes AI-Modell, das kurz vor der Fertigstellung steht. Das kinetische Begin-up, das von Alibaba stammt, wurde von Modellen als „Tankand-Agent“ übernommen. Modelle von Combination-of-Specialists (MoE) arkitektur med Insgesamt 1 Milliarde Parameterim Wert von 32 Millionen Aktivisten professional Monat.

Das kann bis zu 300 Prozent kosten und bleibt autonom, ohne sich zu konzentrieren oder Halluzinationen auszulösen. Nach 30-50 Schritten ist es nicht mehr so, dass der Modellierer ordentlich arbeitet.

Technische Übersicht

Kimi K2 ist ein Blended-of-Specialists (MoE)-Språkmodell, das mit den folgenden Spezifikationen verbunden ist

• Optimiert mit Myon-Optimierern
• Insgesamt 1 Milliarde Parameter
• 32 Millionen aktive Parameter
• Wird mit einem 15,5-Terabyte-Token geliefert

Teste Kimi 2

Öppna kimi.com Wenn Sie K2 im Chat-Bereich haben, beachten Sie bitte, dass der Chat-Bereich für den Zugriff auf den Chat aktiviert werden kann, indem Sie den vollständigen Agenten separat auswählen.

Moonshot bietet K2 Pondering Dwell-Chats und einen vollständigen Agentendienst auf unserer Web site an.

Sie können Kimi K2 Pondering direkt auf kimi.com testen, die API über platform.moonshot.ai nutzen oder ein neues Modell von Hugging Face herunterladen. Das Ergebnis ist, dass Hugging Face-space direkt auf der Web site angezeigt werden kann.

Weitere Informationen:

Kim 2 Tech-Weblog

Kimi K2 Pondering Hugginface – Modelldokumentation

Offizielle Dokumentation zu Moonshot AI

Von allen heute erhältlichen chinesischen KI-Modellen ist Kimi von Moonshot mein persönlicher Favorit! Ob es ist Folien erstellen Von einer einzigen Eingabeaufforderung bis hin zum Ausführen eines Agenten-Webbrowsings erledigt Kimi wirklich alles. Gerade als wir dachten Kimi K2 ihr bestes Modell conflict, brachte Moonshot ein noch leistungsstärkeres Improve auf den Markt: Kimi K2 Pondering. Es handelt sich um ein Open-Supply-Denkagentenmodell, das darauf ausgelegt ist, autonom zu denken, zu planen und zu handeln. Basierend auf der Skalierung der Testzeit erweitert K2 Pondering seine Argumentationsschritte und Werkzeuginteraktionen dynamisch nach Bedarf, löst komplexe mathematische, physikalische und logische Probleme Schritt für Schritt, führt umfassende, mehrstufige Websuchen mit Präzision durch und generiert Code und Inhalte mit verbesserter Struktur, Kreativität und Genauigkeit. Und das alles, während Sie neue Maßstäbe in der Agentenleistung setzen!

Kimi K2 Denkleistung

Basierend auf den neuesten Benchmark-Ergebnissen weist Kimi K2 Pondering ein überzeugendes Leistungsprofil auf, das bei wichtigen Agentenfunktionen häufig Spitzenmodelle wie GPT-5 und Claude anführt oder mit ihnen konkurriert.

• Beim Agentendenken setzt K2 mit 44,9 % bei Humanity’s Final Examination (mit Instruments) eine neue hohe Messlatte und übertrifft damit sowohl GPT-5 (41,7 %) als auch Claude (32,0 %).
• Auch bei der Agentensuche dominiert es mit 60,2 % bei BrowseComp und 56,3 % bei Seal-0 und liegt damit deutlich vor seinen Konkurrenten.
• Bei Codierungsaufgaben zeigt K2 eine starke Vielseitigkeit: Es führt bei SWE-Bench Verified (71,3 %) und LiveCodeBench V6 (83,1 %), während es bei SWE-Multilingual leicht hinter GPT-5 zurückbleibt (61,1 % gegenüber 68,0 %).

Wie greife ich auf Kimi K2 Pondering zu?

• Sie können über das Modell auf das Modell zugreifen Chatbot.
• Gewichte und Code finden Sie unter Umarmendes Gesicht.
• Über die API können Sie es einfach durch Umschalten nutzen mannequin Parameter:

$ curl https://api.moonshot.cn/v1/chat/completions 
    -H "Content material-Kind: utility/json" 
    -H "Authorization: Bearer $MOONSHOT_API_KEY" 
    -d '{
        "mannequin": "kimi-k2-thinking",
        "messages": (
            {"position": "consumer", "content material": "hi there"}
        ),
        "temperature": 1.0
   }'

Weitere Informationen zur API-Nutzung finden Sie hier Führung.

Lesen Sie auch: Kimi OK Laptop: Eine praktische Anleitung zum kostenlosen KI-Agenten

Probieren Sie Kimi K2 aus und denken Sie an verschiedene Aufforderungen

Aufgabe 1: Kritisches Denken

Immediate: „Simulieren Sie heute eine strukturierte Debatte zwischen Nikola Tesla und Thomas Edison über die Ethik der KI. Begründen Sie ihre Argumente in ihren tatsächlichen Schriften und erweitern Sie dann ihre Weltanschauungen, um Kommentare zu Themen wie Deepfakes, Automatisierung und Open-Supply-Modellen abzugeben.„

Ausgabe:

Die vollständige Ausgabe finden Sie hier!

Meine Meinung:

Kimi K2 Pondering lieferte eine herausragende Leistung bei der Aufgabe, eine historisch fundierte Debatte zwischen Nikola Tesla und Thomas Edison über die Ethik moderner KI zu simulieren. Es spiegelte die dokumentierten Philosophien jedes Erfinders genau wider. Teslas Idealismus, die Betonung von offenem Wissen und die Imaginative and prescient einer Technologie, die der Menschheit dient, im Gegensatz zu Edisons Pragmatismus, kommerziellem Protektionismus und dem Glauben an kontrollierte Innovation. Diese Weltanschauungen wurden kohärent auf aktuelle Themen wie Deepfakes, arbeitsplatzverdrängende Automatisierung und die Debatte zwischen Open-Supply und proprietärer KI ausgeweitet.

Die Antwort conflict als formeller, mehrstufiger Dialog mit Eröffnungsreden, themenspezifischen Widerlegungen und Schlussargumenten strukturiert, die alle in einem Ton wiedergegeben wurden, der ihren historischen Persönlichkeiten treu blieb. Anstatt generische Ansichten anzubieten, verwob das Modell echte historische Referenzen (z. B. Teslas ferngesteuertes Boot von 1898, Edisons AC/DC-Hetzkampagnen) und nutzte sie als Metaphern für moderne KI-Dilemmata, wobei es tiefes Denken, kreative Synthese und rhetorische Raffinesse demonstrierte.

Aufgabe 2: Recherche und Analyse

Immediate: „Analysieren Sie, wie sich das Inflation Discount Act von 2022 in den letzten zwei Jahren auf die Einführung von Solarenergie in Wohngebäuden in Texas ausgewirkt hat. Nutzen Sie reale Regierungsdaten, Versorgungsberichte und lokale Nachrichten, um die Veränderung der Installationsraten abzuschätzen und die drei Landkreise zu identifizieren, die das Wachstum am stärksten vorantreiben.„

Ausgabe:

Die vollständige Antwort finden Sie hier!

Meine Meinung:

Kimi K2 Pondering hat die Figur Rudy Cox erfolgreich anhand eines komplexen, mehrteiligen Puzzles identifiziert, das die Ausbildung eines Schauspielers, seine Sportkarriere, Filmrollen und Fernsehauftritte umfasst. Es suchte methodisch nach Hinweisen, verglich Daten aus verschiedenen Quellen und eliminierte falsche Kandidaten, um zur richtigen Antwort zu gelangen.

Das Modell behandelte Unklarheiten, verknüpfte unabhängige Fakten wie das Gründungsdatum einer Universität und einen kleinen Science-Fiction-Movie und verifizierte jedes Element anhand öffentlicher Aufzeichnungen. Es zeigte starkes, schrittweises Denken unter realen Informationsbeschränkungen und erreichte seine Leistung bei Benchmarks für die Agentensuche.

Aufgabe 3: Codierung

Immediate: „Erstellen Sie ein CLI-Device in Python, das aus meinen Git-Commits, Jira-Tickets und einer kurzen Sprachnotiz, die ich jeden Abend hochlade, automatisch ein tägliches Entwicklungsprotokoll generiert. Es sollte den Fortschritt zusammenfassen, Blocker kennzeichnen und einen Markdown-Bericht ausgeben„

Ausgabe:

Die vollständige Ausgabe finden Sie hier!

Meine Ansicht:

Kimi K2 Pondering gab eine praktische Antwort auf die Anfrage zum CLI-Device. Zunächst wurde die Aufgabe analysiert. Anschließend wurden wichtige Teile identifiziert: Konfiguration, Git, Jira, Sprachtranskription und Berichtserstellung.

Es stellte ein vollständiges Python-Skript mit Click on bereit. Das Skript enthielt Einrichtungsschritte und erforderliche Abhängigkeiten. Es unterstützte Kernfunktionen wie die Erkennung von Blockern anhand von Sprachnotizen und die Erstellung von KI-Zusammenfassungen.

Für den Prototyp wurde eine vereinfachte Single-File-Model angeboten. Diese Model konzentrierte sich auf Git-Commits. Es enthielt klare Anweisungen zum späteren Hinzufügen von Jira und Sprachunterstützung.

Das Device zeigte starke Fähigkeiten im Agenten-Codieren. Es verarbeitete mehrere Datenquellen, verwaltete API-Aufrufe und erzeugte wie gewünscht eine strukturierte Markdown-Ausgabe.

Lesen Sie auch: Ich habe Kimi K2 für API-basierten Workflow getestet

Abschluss

Die Leistung von Kimi K2 Pondering beweist, dass chinesische KI-Modelle nicht nur aufholen, sondern auch neue Maßstäbe in den Bereichen Argumentation, Agentensuche und Codierung setzen. In Benchmarks wie HLE, BrowseComp und SWE-Bench Verified konkurriert es mit führenden westlichen Modellen oder übertrifft diese, oft mit Open-Supply-Zugriff und ohne Paywall.

Das brauchst du nicht GPT-5 oder Claudes Premium-Stufen, um tiefgreifende, werkzeuggestützte Ergebnisse zu erzielen. Sie müssen nur wissen, wie man fragt. Ganz gleich, ob es darum geht, komplexe Forschungsprobleme zu lösen, Instruments von Grund auf zu entwickeln oder sich mit Informationen aus der realen Welt präzise zurechtzufinden, K2 Pondering liefert alles. Die Zukunft der KI hängt nicht von Abonnements ab; es ist offen, fähig und schon da!

Hallo, ich bin Nitika, eine technisch versierte Content material-Erstellerin und Vermarkterin. Kreativität und das Lernen neuer Dinge sind für mich selbstverständlich. Ich habe Erfahrung in der Erstellung ergebnisorientierter Content material-Strategien. Ich kenne mich intestine mit Search engine optimization-Administration, Key phrase-Operationen, Net-Content material-Schreiben, Kommunikation, Content material-Strategie, Redaktion und Schreiben aus.

Das QWEN-Workforce von Alibaba hat gerade FP8-quantisierte Kontrollpunkte für seine neuen QWEN3-NEXT-80B-A3B-Modelle in zwei Nachtraining-Varianten veröffentlicht.Anweisen Und Denken-Ausgelassene Inferenz mit hohem Durchsatz mit extrem langer Kontext und MOE-Effizienz. Der FP8-Repos spiegelt die BF16-Veröffentlichungen wider, packt jedoch „feinkörnige FP8“ -Regewichte (Blockgröße 128) und Bereitstellungshinweise für Sglang- und VllM-Builds. Benchmarks in den Karten bleiben die der ursprünglichen BF16 -Modelle; FP8 wird „aus Bequemlichkeit und Leistung“ nicht als separate Bewertungslauf zur Verfügung gestellt.

Was ist im A3B -Stack?

QWEN3-NEXT-80B-A3B ist eine hybride Architektur, die Gated Deltanet (ein lineares/konv-style-Aufmerksamkeits-Ersatz) mit geschlossener Aufmerksamkeit kombiniert und mit einer ultrasparigen Mischung aus Experten (MOE) verschachtelt ist. Das 80B -Gesamtparameterbudget aktiviert ~ 3B -Parameter professional Token über 512 Experten (10 Routed + 1 Shared). Das Format ist als 48 Schichten angegeben, die in 12 Blöcke angeordnet sind: 3×(Gated DeltaNet → MoE) gefolgt von 1×(Gated Consideration → MoE). Der native Kontext beträgt 262.144 Token, validiert bis zu ~ 1.010.000 Token unter Verwendung von Seilskalierung (Garn). Die versteckte Größe beträgt 2048; Die Aufmerksamkeit verwendet 16 Q -Köpfe und 2 kV -Köpfe bei Head Dim 256; Deltanet verwendet 32 ​​V- und 16 QK -lineare Köpfe bei Head Dim 128.

Das QWEN-Workforce meldet, dass das 80B-A3B-Basismodell QWEN3-32B bei nachgeschalteten Aufgaben zu ~ 10% seiner Trainingskosten übertrifft und ~ 10 × Inferenzdurchsatz über einen 32-km-Kontext hinausgeht-durch eine geringe Aktivierung bei der MOE und bei der Multi-Token-Vorhersage (MTP). Die Unterrichtsvariante ist nicht umsetzt (nein <suppose> Tags), während die Denkvariante standardmäßig Argumentationsspuren erzwingt und für komplexe Probleme optimiert wird.

FP8 veröffentlicht: Was hat sich tatsächlich geändert

Die FP8-Modellkarten geben an, dass die Quantisierung „feinkörnig FP8“ mit Blockgröße 128 ist. Die Bereitstellung unterscheidet sich geringfügig von BF16: Sowohl Sglang als auch VLLM erfordern aktuelle Haupt-/Nachtbaute, wobei Beispielbefehle für 256K-Kontext und optionales MTP angegeben sind. Die Considering FP8 -Karte empfiehlt auch ein Argumentationsparser -Flag (z. B., z. --reasoning-parser deepseek-r1 in Sglang, deepseek_r1 in vllm). Diese Releases behalten die Lizenzierung von Apache-2.0.

Benchmarks (berichtet über BF16 -Gewichte)

Die Anweisung FP8-Karten reproduziert Qwens BF16-Vergleichstabelle und stellt QWEN3-NEXT-80B-A3B-Struktur mit QWEN3-235B-A22B-Instruct-257 auf mehrere Wissens-/Argumentations-/Codierungs-Benchmarks und bis zu 256K). Die Denkweise fp8 karten listet Aime’25, HMMT’25, MMLU-pro/Redux und LiveCodeBench V6 auf, wobei Qwen3-Subsequent-80B-A3B-Dinking frühere qwen3 Considering-Veröffentlichungen (30b a3b-2507, 32b) übertrifft, und Anspruchsgedanken über die Überschläge über Gemini-2,5-Lash-Considering.

Trainings- und Nach-Coaching-Signale

Die Serie ist vor dem Coaching auf ~ 15T-Token ausgebildet. QWEN hebt die Stabilitätsergänzungen (null-zentrierte, gewichtsbekannte Schichtnorm usw.) hervor und verwendet GSPO in RL nach dem Coaching für das Denkmodell, um die hybride Aufmerksamkeit + MOE-Kombination mit hoher Paralität zu bewältigen. MTP wird verwendet, um die Inferenz zu beschleunigen und das Sign vor dem Vorabstieg zu verbessern.

Warum ist FP8 wichtig?

Bei modernen Beschleunigern reduzieren FP8 -Aktivierungen/-gewichte die Speicherbandbreitendruck und den ansässigen Fußabdruck gegenüber BF16, wodurch größere Stapelgrößen oder längere Sequenzen in ähnlicher Latenz ermöglicht werden. Da A3B nur ~ 3B-Parameter professional Token Routen leitete, verbindet die Kombination von FP8 + Moe-Sparsity-Verbindungen Durchsatzgewinne in langkontexten Routine, insbesondere wenn sie mit spekulativem Decodieren über MTP wie in den Servierflags exponierten MTP exponiert sind. Die Quantisierung interagiert jedoch mit Routing- und Aufmerksamkeitsvarianten; Die realen Akzeptanzraten für spekulative Dekodierung und Endaufgabegenauigkeit können mit den Implementierungen von Engine und Kernel variieren-daher die Anleitung von Qwen, um aktuelle Sglang/VllM zu verwenden und spekulative Einstellungen zu stimmen.

Zusammenfassung

Die FP8-Veröffentlichungen von Qwen machen den 80B/3B-aktiven A3B-Stack praktisch, um im 256-Ok-Kontext auf Mainstream-Motoren zu dienen, wodurch das Hybrid-Moe-Design und den MTP-Pfad für hohen Durchsatz erhalten bleiben. Die Modellkarten behalten Benchmarks von BF16 von BF16, sodass die Groups die Genauigkeit und Latenz von FP8 auf ihren eigenen Stapeln validieren sollten, insbesondere mit Parsers und spekulativen Einstellungen. Nettoergebnis: Niedrigere Speicherbandbreite und verbesserte Parallelität ohne architektonische Regressionen, positioniert für Lengthy Context Manufacturing Workloads.

Schauen Sie sich das an QWEN3-NEXT-80B-A3B-Modelle in zwei Nachtraining-Varianten-Anweisen Und Denken. Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser E-newsletter.

Asif Razzaq ist der CEO von Marktechpost Media Inc. Sein jüngstes Bestreben ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch die ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die von einem breiten Publikum technisch intestine und leicht verständlich sind. Die Plattform verfügt über über 2 Millionen monatliche Ansichten und veranschaulicht ihre Beliebtheit des Publikums.

(empfohlene Lesen) Nvidia AI Open-Sources Vipe (Video Pose Engine): Ein leistungsstarkes und vielseitiges 3D-Videoannotationsinstrument für die räumliche KI

Wir schreiben das Jahr 2024 und die akademische Welt hat sich dramatisch verändert.

Automatisierte Instruments sind zu einem zentralen Bestandteil des Schulunterrichts geworden und lassen viele an der Glaubwürdigkeit der heute gebildeten Menschen zweifeln. Die State of affairs hat sich noch weiter verschärft und eine Dichotomie geschaffen. Auf der einen Seite gibt es die Anhänger von KI-Instruments und dem Fortschritt, den sie in der Welt des Lernens bringen.

Andererseits glauben manche Skeptiker, dass diese Neuerungen die Schüler faul machen und sie zum Schummeln verleiten, wodurch eine Welt voller unwissender Schüler entsteht.

Es ist wichtig, ein Gleichgewicht zu finden. Während das Potenzial von KI-Instruments in der Bildung lässt sich nicht leugnen, aber es ist ebenso wichtig, Grenzen zu setzen und sicherzustellen, dass sie im besten Interesse der Schüler bleiben.

Unabhängig von der Debatte ist eines klar: Die Bildung wird sich weiterentwickeln. Unser Fokus sollte darauf liegen, diese Innovationen zu nutzen, um das Lernen zu verbessern.

Wenn das Wachstum und die Entwicklung von KI-Instruments an Schulen gestoppt werden, wird die Kreativität der Schüler gehemmt und die gesellschaftliche Entwicklung behindert.

Ein hervorragendes Beispiel für den Einsatz von KI in der Bildung sind Probeprüfungen.

Wir setzten uns mit Zachary Cotéder Exekutivdirektor von Denkende Nationeine gemeinnützige Organisation, die Alternativen für Kinder, Lehrer und Schulen bietet.

Ihre Lösung für simulierte Prüfungen ist in einer Zeit hilfreich, in der uns das Aufkommen von KI-Lösungen im Bildungsbereich zugleich begeistert und verängstigt macht.

Hier ist, was er zu sagen hatte.

HappyFutureAI:

Was ist das Hauptziel der KI-gestützten AP-Probeprüfungen von Pondering Nation?

„Sofortiges und genaues Suggestions für Schüler, die sich auf AP-Prüfungen vorbereiten. Die Schüler erhalten Berichte, in denen angegeben ist, welche Epochen sie vor dem großen Tag noch einmal durchgehen müssen. Anstatt zwei Wochen auf diesen Bericht zu warten, warten die Schüler nur Sekunden.“

HappyFutureAI:

Wie unterscheidet sich die Lösung von Pondering Nation von herkömmlichen Probeprüfungen?

„Die Mock-AP-Prüfung von Pondering Nation ist auf die AP-Requirements abgestimmt und das Suggestions der Schüler wird über GenAI generiert. Dieser mühsame Prozess dauerte Monate Abstimmung zwischen unseren Entwicklern und vom School Board zertifizierte AP-Prüfer. Wenn die Schüler diese anspruchsvolle Prüfung abschließen, liegen ihre Ergebnisse sofort vor. Dies gibt den Schülern zusätzliche Zeit, ihre Lernstrategien anzupassen, anstatt auf ihre Ergebnisse zu warten.“

HappyFutureAI:

Welchen (potenziellen) Einfluss können diese KI-gestützten Probeprüfungen auf den Studienerfolg haben?

„IMMENS. Studenten brauchen in der heißen Part des Studiums präzise Berichte. Die Genauigkeit und Geschwindigkeit unserer Mock APs findet man nirgendwo sonst. Dieses sofortige und detaillierte Studentenfeedback ist die „Geheimzutat“, die Studenten brauchen, um bei diesen wichtigen Prüfungen einen Vorteil zu haben.“

HappyFutureAI:

Welche Fächer oder Themen werden in diesen Probeprüfungen abgedeckt?

„APUSH, Welt, Euro, Regierung.“

HappyFutureAI:

Welche Vorteile ziehen Pädagogen, Schulen und andere Institutionen aus der Implementierung dieses Programs?

„Dadurch haben alle Beteiligten die Möglichkeit, bei der eigentlichen Prüfung optimale Leistungen zu erbringen. Lehrer können die Pädagogik an die Bedürfnisse ihrer Schüler anpassen und die Schüler erhalten detailliertes Suggestions zu den Themenbereichen, mit denen sie Schwierigkeiten haben.“

HappyFutureAI:

Wie können Studierende auf diese Probeprüfungen zugreifen?

„In diesem Jahr bieten wir Probeprüfungen über Partnerschulen und -bezirke an. Wir planen, diese im nächsten Jahr der Öffentlichkeit zugänglich zu machen. Der Zugang erfolgt über die Web site von Pondering Nation.“

HappyFutureAI:

Welche Datenanalysen oder Erkenntnisse werden Pädagogen zur Verfügung gestellt?

„Lehrkräfte erhalten eine Reihe von Berichten, die nach den einzelnen Komponenten der Gesamtprüfung geordnet sind. Die Berichte identifizieren Tendencies zu wichtigen Aspekten der Prüfung, um klare Daten zu liefern, die Aufschluss darüber geben, worauf in den letzten Wochen vor der Prüfung geachtet werden muss.“

HappyFutureAI:

Welche Rolle spielt künstliche Intelligenz bei der Benotung und beim Suggestions?

„GenAI ist das Fundament unserer Probeprüfungen. Dank dieser Technologie kann Pondering Nation einen normierten und sofortigen Datenbericht bereitstellen, der den AP-Requirements entspricht. Das ist einzigartig.“

HappyFutureAI:

Können Studierende diese Probeprüfungen aus der Ferne absolvieren?

„Ja“.

HappyFutureAI:

Welche Partnerschaften oder Kooperationen hat Pondering Nation im Bildungssektor aufgebaut?

„Als Vordenker wollen wir uns mit Bildungs- und zivilgesellschaftlich engagierten Verbänden zusammenschließen. Derzeit arbeiten wir mit AASA, dem Reagan Institute, Educating for American Democracy (EAD) und CiviX Now zusammen, um nur einige zu nennen. Als gemeinnütziger Lehrplananbieter arbeiten wir mit Schulen und Bezirken im ganzen Land zusammen.“

HappyFutureAI:

Wie passt diese Initiative zu umfassenderen Tendencies in der Bildungstechnologie?

„Ähnlich wie andere Edtech-Tendencies nutzt Pondering Nation Technologie, um Lehrer zu unterstützen und Schüler zu befähigen. Durch GenAI entlasten wir Lehrer zeitlich und ressourcenmäßig und geben ihnen wertvolle Zeit, um den täglichen Unterricht zu planen. GenAI bietet Schülern häufigere und optimalere Möglichkeiten, mit dem kompetenzbildenden Lehrplan zu interagieren, der kritische Denker/engagierte Bürger hervorbringt.“

HappyFutureAI:

Gibt es Zugänglichkeits- und Inklusionsoptionen für Studierende mit Behinderungen?

„Die Plattform verfügt über eingebettete Funktionen zur Unterstützung von Studierenden mit Behinderungen.“

HappyFutureAI:

Welche Strategien gibt es, um Betrug bei diesen Prüfungen zu verhindern?

„Wir arbeiten intern an einem proprietären Plagiatsdetektor für unseren allgemeinen Lehrplan. In Bezug auf die Probeprüfungen von Pondering Nation möchte ich die Frage stellen, welchen Nutzen es einem Schüler bringt, bei der Prüfungsvorbereitung zu schummeln? Der Zweck dieser Prüfungen besteht darin, den Schülern zu zeigen, wo sie sich verbessern müssen. Wenn sie sich zum Schummeln entschließen, macht dies den Zweck dieser Prüfung völlig zunichte.“

HappyFutureAI:

Wie arbeitet Pondering Nation mit Bildungseinrichtungen zusammen, um Suggestions zu sammeln?

„Wir arbeiten eng mit unseren derzeitigen Partnern zusammen, um unseren Lehrplan zu verbessern und gleichzeitig unseren Grundprinzipien treu zu bleiben. Suggestions erhalten wir durch die unzähligen Stunden an Weiterbildung, die wir anbieten, und durch die Durchführung regelmäßiger Stakeholder-Umfragen.“

HappyFutureAI:

Wie stellen Sie sicher, dass Ihre Prüfungen den offiziellen AP-Requirements entsprechen?

„Unsere AP-Prüfungen werden von aktuellen AP-Lektoren geschrieben, die über langjährige Erfahrung in der Bewertung von Prüfungen verfügen. Wir haben sichergestellt, dass alle neuen Requirements, die im Sommer 2023 veröffentlicht werden, eingehalten werden, um eine Prüfungserfahrung zu bieten, die den AP-Erwartungen entspricht. Unser Crew analysiert sorgfältig frühere Prüfungsfragen, Bewertungsrichtlinien und Lehrplanrahmen, um Fragen zu erstellen, die die Herausforderungen, Gewichtungen und Erwartungen der offiziellen AP-Prüfungen authentisch wiedergeben.“

HappyFutureAI:

Gibt es ein Unterstützungssystem für Studierende, die mit den Probeprüfungen Schwierigkeiten haben? Wie können sie darauf zugreifen? Wie funktioniert es? Was sind die Vorteile?
„Wir haben die Prüfung und die Plattform mit verschiedenen Möglichkeiten für Studierende entwickelt, um alle Lernenden bei der Prüfung zu unterstützen.“