Lernen Sie „North Mini Code“ kennen: Coheres 30B Open-Weight Combination-of-Specialists-Modell mit 3B aktiven Parametern für die Agentenkodierung

Diese Woche hat das Cohere AI-Crew sein erstes entwicklerorientiertes Codierungsmodell mit dem Namen „Nord-Minicode‚. „North Mini Code“ ist offen gestaltet und richtet sich an Softwareentwickler. Es handelt sich um ein Expertenmischungsmodell (MoE) mit insgesamt 30 Milliarden Parametern. Professional Token werden nur 3B dieser Parameter aktiviert.

Die Veröffentlichung konzentriert sich auf „souveräne“ KI. Die Idee ist einfach: Führen Sie leistungsfähige Modelle nach Ihren eigenen Vorstellungen aus. Mit kleinen, effizienten Codierungsmodellen können Groups ohne große GPU-Cluster selbst hosten. North Mini Code zielt direkt auf diese Lücke ab.

Nord-Minicode

North Mini Code ist ein 30B-A3B-Parametermodell. Der A3B steht für drei Milliarden aktive Parameter professional Vorwärtsdurchlauf. Cohere hat es optimiert für drei Jobs: Codegenerierung, Agenten-Software program-Engineering und Terminalaufgaben. Das Modell ist Textual content-in, Textual content-out. Es gibt keinen Bild- oder Videoeingang.

Das Kontextfenster umfasst 256.000 Token. Die maximale Ausgabelänge beträgt 64 KB. Cohere listet bei FP8 eine Mindesthardware von einem H100 auf. Gewichte werden unter Apache 2.0 auf Hugging Face ausgeliefert. Sie können darauf auch über die Cohere API, Mannequin Vault und OpenRouter zugreifen.

Die Architektur

North Mini Code ist ein reiner Decoder-Transformer mit spärlichen MoE-Schichten. Seine Aufmerksamkeit verschachtelt zwei Typen im Verhältnis 3:1. Sliding-Window-Aufmerksamkeit nutzt RoPE für Positionen. Globale Aufmerksamkeit verwendet überhaupt keine Positionseinbettungen. Der Feed-Ahead-Block umfasst 128 Experten. Professional Token werden acht Experten aktiviert. Jeder Experte ist ein FFN mit SwiGLU-Aktivierung.

Der Router wendet vor der High-Okay-Auswahl ein Sigmoid an. Vor den spärlichen Schichten liegt eine einzelne dichte Schicht. Diese Mischung hält die aktive Rechenleistung klein und erhöht gleichzeitig die Gesamtkapazität. Cohere hat die Gewichte in BF16 veröffentlicht.

Das Nachtraining verlief in zwei Phasen. Zuerst kam die zweistufige kaskadierte überwachte Feinabstimmung (SFT). Dann kam das Reinforcement Studying mit überprüfbaren Belohnungen (RLVR). Der Schwerpunkt der Nachschulung lag auf der Agentenkodierung. Das Modell unterstützt auch verschachteltes Denken und die Verwendung nativer Instruments.

Benchmarks

Cohere meldet einen Wert von 33,4 für den Synthetic Evaluation Coding Index. Darin wird eine Wettbewerbsposition unter Modellen ähnlicher Größe beschrieben. Das Unternehmen bewertete SWE-Bench Verified, SWE-Bench Professional und Terminal-Bench v2. Außerdem wurden Terminal-Bench Onerous, SciCode und LiveCodeBench v6 verwendet.

Die Methodik ist spezifisch. SWE-Bench verwendete das SWE-Agent-Harness v1.1.0. Terminal-Bench v2 verwendete einen einfachen ReAct-Kabelbaum mit einem Terminal-Instrument. Terminal-Bench Onerous verwendete den Terminus-2-Kabelbaum. Jeder Benchmark wurde mit drei Samen durchgeführt und dann gemittelt. Bei der Probenahme wurde eine Temperatur von 1,0 und ein Top_P von 0,95 verwendet.

Die Geschwindigkeit

In den internen Assessments von Cohere erreichte North Mini Code einen bis zu 2,8-fach höheren Ausgabedurchsatz. Dies gilt bei identischer Parallelität und {Hardware}. Es zeigte auch einen Vorsprung von 30 % bei der Inter-Token-Latenz. Die Zeit bis zum ersten Token conflict zwischen den beiden kürzer. Devstral Small 2 behielt einen leichten TTFT-Vorsprung.

Anwendungsfälle mit Beispielen

Cohere hat North Mini Code für Agenten-Workflows entwickelt.

Drei Muster stechen in ihrer eigenen Rahmung hervor:

• Subagenten-Orchestrierung: Ein Hauptagent delegiert Unteraufgaben an Helfer. Beispiel: Ein Agent schreibt Unit-Assessments, während ein anderer fehlerhaften Code behebt.
• Zuordnung der Systemarchitektur: Das Modell liest ein Repository und skizziert seine Struktur. Beispiel: Verfolgen, wie sich Dienste vor einem großen Refactoring gegenseitig aufrufen.
• Codeüberprüfungen: Das Modell durchsucht ein Diff nach Problemen. Beispiel: Markieren einer ungeschützten Null-Dereferenzierung vor einer Zusammenführung.

Auch Terminalaufgaben passen zum Modell. Beispiel: Dateien auflisten, einen Construct ausführen und dann die Ausgabe auf Fehler analysieren.

Erste Schritte

Der schnellste Weg ist Hugging Face Transformers. Installieren Sie Transformers von der Quelle für dieses Modell. Die empfohlene Probenahme beträgt Temperatur 1,0 und top_p 0,95.

# Set up Transformers from supply (required for this mannequin):
# pip set up "git+https://github.com/huggingface/transformers.git"
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereLabs/North-Mini-Code-1.0"
tokenizer = AutoTokenizer.from_pretrained(model_id)
mannequin = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

immediate = "Write a python program to examine if a string is a palindrome or not."
messages = ({"position": "person", "content material": immediate})

# return_dict=True yields a dict (input_ids + attention_mask) so **inputs unpacks cleanly
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(mannequin.gadget)

gen_tokens = mannequin.generate(
    **inputs,
    max_new_tokens=1024,
    do_sample=True,
    temperature=1.0,
    top_p=0.95,
)

# Decode solely the newly generated tokens, not the immediate
output = tokenizer.decode(gen_tokens(0)(inputs("input_ids").form(-1):))
print(output)

Für die Bereitstellung funktioniert vLLM. Sie benötigen vLLM important plus die Melodienbibliothek von Cohere. Eine genaue Antwortanalyse hängt davon ab.

uv pip set up "git+https://github.com/vllm-project/vllm.git"
uv pip set up "cohere_melody>=0.9.0"

vllm serve CohereLabs/North-Mini-Code-1.0 
  -tp 2 
  --max-model-len 320000 
  --tool-call-parser cohere_command4 
  --reasoning-parser cohere_command4 
  --enable-auto-tool-choice

Es gibt quantisierte Builds für Ollama, LM Studio und llama.cpp. Sie können das Modell auch vor dem Herunterladen ausprobieren. Cohere bietet kostenlosen Zugang über OpenCode und einen gehosteten Hugging Face Area.

Wichtige Erkenntnisse

• Das erste Codierungsmodell von Cohere, North Mini Code, ist eine 30B-Expertenmischung, die nur 3B Parameter professional Token aktiviert.
• Es läuft auf einem einzelnen H100 bei FP8, mit 256 KB Kontext und 64 KB maximaler Ausgabe.
• Gewichte werden unter Apache 2.0 ausgeliefert, obwohl die Hugging Face-Karte einen nichtkommerziellen Hinweis hinzufügt.
• Die offizielle Veröffentlichung von Cohere meldet einen Wert von 33,4 beim Synthetic Evaluation Coding Index und einen bis zu 2,8-fachen Durchsatz gegenüber Devstral Small 2.
• Entwickelt für Agenten-Codierung – Subagenten-Orchestrierung, Architekturzuordnung, Codeüberprüfungen mit nativer Instrument-Nutzung

Der interaktive Erklärer von Marktechpost

# Set up Transformers from supply, then:
from transformers import AutoTokenizer, AutoModelForCausalLM

mid = "CohereLabs/North-Mini-Code-1.0"
tok = AutoTokenizer.from_pretrained(mid)
mannequin = AutoModelForCausalLM.from_pretrained(mid, device_map="auto")

msgs = ({"position": "person", "content material": "Write a Python palindrome checker."})
inputs = tok.apply_chat_template(
    msgs, add_generation_prompt=True,
    return_dict=True, return_tensors="pt",
).to(mannequin.gadget)

out = mannequin.generate(**inputs, max_new_tokens=1024,
                     do_sample=True, temperature=1.0, top_p=0.95)
print(tok.decode(out(0)(inputs("input_ids").form(-1):)))

Schauen Sie sich das an Modellgewichte Und Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns