Unternehmen benötigen effiziente Systeme zur Verarbeitung von Dokumenten mittels KI. Für Entwickler ist es sehr schwierig, das richtige Modell auszuwählen. Es ist sehr wichtig, das effizienteste Modell im Hinblick auf Geschwindigkeit, Genauigkeit und Kosten auszuwählen. Wir führen eine Vergleichsstudie zu drei anerkannten KI-Modellen durch: DeepSeek OCR, Qwen-3 VL und Mistral OCR.

Diese Überprüfung führt Sie zu einer besseren Datenextraktionsleistung. Fortschrittliche optische Zeichenerkennungssysteme ermöglichen eine grundlegende Automatisierung im Unternehmen. Die folgende Überprüfung basiert auf der Produktionsbereitschaft und dem tatsächlichen Verständnis des Dokuments. Für eine korrekte Dokumentenanalyse ist eine sorgfältige Modellauswahl wichtig. Die Ergebnisse bestätigen, welches jetzt den besten Nutzen erbringen kann.

Die Entwicklung der optischen Zeichenerkennung

Herkömmliche OCR-Systeme waren nur auf die Extraktion roher Zeichen ausgerichtet. Bei Tabellen, Spalten oder komplexen Dokumentlayouts scheiterten sie häufig. Heutzutage nutzen moderne KI-native Modelle Imaginative and prescient-Language-Architekturen. Diese Systeme führen zu einem tieferen Kontextverständnis und einem besseren Layoutverständnis. Sie sind sich bewusst, dass Textual content in einer Struktur lebt und nicht nur in einem Strom. Diese Funktion geht über die bloße einfache Zählung der Zeichenfehlerrate hinaus. Laut einem aktuellen Branchenbericht streben 70 % der Unternehmensanwender eine bessere Strukturtreue bei OCR an. Diese Änderung bedeutet, dass die Modelle die genaue OCR beherrschen und gleichzeitig die Formularlogik beibehalten müssen.

Warum haben wir dieses Bild für den Take a look at ausgewählt?

Die Auswahl eines Testdokuments erfordert bestimmte Herausforderungen. Das IRS-Formular 5500-EZ enthält komplexe und wise Datenfelder. Es umfasst handgeschriebene und gedruckte Elemente in einem dichten Structure und eignet sich daher superb für rohe OCR-Assessments. Die gepunkteten Linien und die verschiedenen Felder zwingen die Modelle zu einem überlegenen Structure-Verständnis. Für eine korrekte Darstellung ist eine genaue Feldextraktion erforderlich KI Dokumentenverarbeitung. Fehler in Steuerformularen haben klare, quantifizierbare Auswirkungen auf das Unternehmen. Dieses Formular bietet einen strengen Take a look at für echte Kompetenz in der Dokumentenanalyse.

Übersicht über DeepSeek OCR vs. Qwen-3 VL vs. Mistral OCR

DeepSeek-OCR

DeepSeek läuft auf einer großen, dedizierten Modellarchitektur. Sein Design konzentriert sich auf Geschwindigkeit und Effizienz bei der Schlussfolgerung. Es nutzt eine progressive Technik zur optischen Komprimierung von Kontexten, die die effektive und effiziente Verarbeitung visueller Informationen ermöglicht. DeepSeek ist auf die Einführung in Unternehmen und eine robuste Skalierung ausgerichtet.

Mehr lesen: DeepSeek OCR

Qwen-3 VL

Qwen-3 VL ist Alibabas leistungsstarkes multimodales Open-Weight-System mit einer Architektur, die ein extrem großes Kontextfenster unterstützt. Diese hohe Kapazität zielt auf das Verständnis komplexer, langer Dokumente ab. Ein solches Modell gewährleistet eine hohe Genauigkeit bei verschiedenen mehrsprachigen optischen Zeichenerkennungsaufgaben und bietet offene Flexibilität für Forscher und Entwickler.

Mistral OCR

Mistral OCR ist ein neues, fokussiertes Imaginative and prescient-Textual content-Modell für die KI-Dokumentenverarbeitung in der Produktion, mit Schwerpunkt auf hoher Genauigkeit und Extraktionstreue auf Feldebene. Das Modell ist speziell auf reale Dokumentenherausforderungen abgestimmt. Es liefert konsistente Leistung mit klarer struktureller Ausgabe.

Mehr lesen: Mistral OCR

Praxisnahe Testdurchführung und -analyse

Wir haben auf jedes Modell über seine öffentlich verfügbare API oder Webplattformschnittstelle zugegriffen. Für jedes Modell haben wir dieselbe OCR-Eingabeaufforderung eingefügt und das IRS-Formularbild übermittelt. Diese Methode stellt sicher, dass wir die Kern-Engine der optischen Zeichenerkennung testen. Die Eingabeaufforderung verlangte eine exakte Textextraktion unter Beibehaltung der ursprünglichen Struktur.

OCR-Eingabeaufforderung: „Führen Sie OCR (Optical Character Recognition) für das bereitgestellte Bild oder PDF-Dokument durch, um den gesamten sichtbaren Textual content genau so zu extrahieren, wie er im Dokument erscheint.

# Schritte

1. **Eingabeverarbeitung**: Stellen Sie sicher, dass es sich bei der Eingabe um ein unterstütztes Bildformat (z. B. JPEG, PNG) oder ein PDF-Dokument handelt.

2. **Bildverarbeitung**: Verarbeiten Sie das Bild bei Bedarf vor, um bessere OCR-Ergebnisse zu erzielen. Dazu kann die Anpassung von Helligkeit und Kontrast oder die Konvertierung in Graustufen gehören.

3. **OCR-Ausführung**: Verwenden Sie ein OCR-Instrument oder eine OCR-Bibliothek, um das Dokument zu scannen und den Textual content zu extrahieren. Stellen Sie sicher, dass das Instrument so konfiguriert ist, dass die Textformatierung so genau wie möglich erhalten bleibt.

4. **Textextraktion**: Rufen Sie den Textual content aus der OCR-Ausgabe ab und stellen Sie sicher, dass der gesamte Textual content so erfasst wird, wie er im Dokument erscheint, einschließlich Satzzeichen, Groß- und Kleinschreibung und Zeilenumbrüche.

# Ausgabeformat

– Stellen Sie den extrahierten Textual content in einem Nur-Textual content-Format bereit.

# Beispiel

– Eingabe: Ein Bild einer gedruckten Seite mit Textual content.

– Ausgabe: „Dies ist der extrahierte Textual content, wobei Satzzeichen und Zeilenumbrüche genau wie im Quellbild beibehalten werden.“

# Notizen

– Stellen Sie sicher, dass bei der Textextraktion die Struktur und Formatierung des Originaldokuments erhalten bleibt.“

1. DeepSeek-OCR

1. Gehen Sie rüber zu https://chat.deepseek.com
2. Fügen Sie die OCR-Eingabeaufforderung und das oben angegebene IRS-Formular ein.

Antwort:

# Kind Quantity: CA 530082
## Annual Return of A One-Participant (House owners/Companions and Their Spouses) Retirement Plan or A Overseas Plan
This way is required to be filed underneath part 6058 of the Inner Income Code. Sure royalty statements should be made required to be paid from different directions. Full all entries in accordance with the directions to the Kind 5500-EZ.
Go to www.irs.gov/Form5500EZ for directions and the most recent info.
---
### Annual Return Identification Info
For the calendar plan yr 2023 or fiscal plan yr starting (MM/DD/YYYY)  
(1) The ultimate return filed for the plan  
(2) an amended return  
(4) a brief plan yr return (lower than 12 months)  
Examine field if submitting underneath  
Kind 5558  
(automated extension)  
If this return is for a overseas plan, examine this field (see directions)  
If this return is for the IRS Late Filer Penalty Reduction Program, examine this field  
(Should be filed on a paper Kind with the IRS. See directions).  
If it is a retroactively adopted plan permitted by SECURE Act part 201, examine right here . . .  
---
### Fundamental Plan Info — enter all requested info.
**Identify of plan**
---
### Annual Return Plan
- Employer's title  
- **Aone Corp Software program**  
Commerce title of enterprise (if totally different from title of employer)  
In care of title  
Mailing deal with (room, apt., suite no. and avenue, or P.O. field)  
235, Park Avenue Avenue, FL  
Metropolis or city, state or province, county, and ZIP or overseas postal code (if overseas, see directions)  
FL 6352  
Plan administrator's title (if identical as employer, enter "Similar")  
In care of title  
Mailing deal with (room, apt., suite no. and avenue, or P.O. field)  
Metropolis or city, state or province, county, and ZIP or overseas postal code (if overseas, see directions)  
If the employer's title, the employer's EIN, and/or the plan title has modified for the reason that final return filed for this plan, enter the employer's title and EIN, the plan title, and the plan quantity for the final return within the acceptable house offered  
Employer's title  
---
### Plan title
|    | (1) Starting of yr | (2) Finish of yr |
|---|---|---|
| 6a    | 5 0000    | 6000    |
| 6b    | 4 000    | 5000    |
Web plan belongings (subtract line 6b from 6a)  
---
For Privateness Act and Paperwork Discount Act Discover, see the directions for Kind 5500-EZ.  
Catalog Quantity 62603Z  
Kind 5500-EZ (2023)

DeepSeek lieferte Ergebnisse in soliden 4–6 Sekunden. Im Gegensatz dazu struggle die Leistung bei der Dokumentenanalyse nicht sehr präzise. Dem Modell fehlten mehrere wichtige Felder im Dokumentkopf. Auch das Structure-Verständnis der Finanztabellen struggle fehlerhaft. In Schlüsselfeldern gab es Transkriptionsfehler, z. B. wurde „ACME Corp Software program“ als „Aone Corp Software program“ gelesen. Diese Fehlerquote bedeutet, dass die Ausgabe von DeepSeek erhebliche manuelle Korrekturen erfordert. Die Geschwindigkeit gleicht bei dieser Anwendung keinen größeren Datenverlust aus.

2. Qwen-3 VL

1. Gehe zu https://chat.qwen.ai/
2. Fügen Sie die OCR-Eingabeaufforderung und das oben angegebene IRS-Formular ein.

Ausgabe:

Kind Quantity: CA530082
Kind 5500-EZ
Annual Return of A One-Participant (House owners/Companions and Their Spouses) Retirement Plan or A Overseas Plan
Division of the Treasury
Inner Income Service
This way is required to be filed underneath part 6058(a) of the Inner Income Code.
Sure overseas retirement plans are additionally required to file this type (see directions).
Full all entries in accordance with the directions to the Kind 5500-EZ.
Go to www.irs.gov/Form5500EZ for directions and the most recent info.
OMB No. 1545-1610
2023
This Kind is Open to Public Inspection
Half I Annual Return Identification Info
For the calendar plan yr 2023 or fiscal plan yr starting (MM/DD/YYYY) 01/02/2022 and ending 01/10/2023
A This return is:
(1)  the primary return filed for the plan
(2) □ an amended return
(3) □ the ultimate return filed for the plan
(4) □ a brief plan yr return (lower than 12 months)
B Examine field if submitting underneath
□ Kind 5558
□ automated extension
□ particular extension (enter description)
C If this return is for a overseas plan, examine this field (see directions) □
D If this return is for the IRS Late Filer Penalty Reduction Program, examine this field
(Should be filed on a paper Kind with the IRS. See directions.) □
E If it is a retroactively adopted plan permitted by SECURE Act part 201, examine right here □
Half II Fundamental Plan Info — enter all requested info.
1a Identify of plan
Annual Return Plan
1b Three-digit plan quantity (PN)
586
1c Date plan first grew to become efficient (MM/DD/YYYY)
02/05/2022
2a Employer's title
ACME CORP Software program
Commerce title of enterprise (if totally different from title of employer)
In care of title
Mailing deal with (room, apt., suite no. and avenue, or P.O. field)
235, PARK STREET AVENUE, FL
Metropolis or city, state or province, nation, and ZIP or overseas postal code (if overseas, see directions)
FL 63052
2b Employer Identification Quantity (EIN)
(Don't enter your Social Safety Quantity)
735268329
2c Employer's phone quantity
011536259
second Enterprise code (see directions)
3a Plan administrator's title (if identical as employer, enter "Similar")
In care of title
Mailing deal with (room, apt., suite no. and avenue, or P.O. field)
Metropolis or city, state or province, nation, and ZIP or overseas postal code (if overseas, see directions)
3b Administrator's EIN
532678
3c Administrator's phone quantity
4 If the employer's title, the employer's EIN, and/or the plan title has modified for the reason that final return filed for this plan, enter the employer's title and EIN, the plan title, and the plan quantity for the final return within the acceptable house offered.
a Employer's title
4b EIN
5732900
4c Plan title
4d PN
5a(1) Whole variety of members in the beginning of the plan yr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1. Gehe zu https://chat.mistral.ai
2. Fügen Sie die OCR-Eingabeaufforderung und das oben angegebene IRS-Formular ein.

Antwort:

Right here is the seen textual content content material from the picture:
Kind Quantity: CA 530082
Kind 5500-EZ Annual Return of A One-Participant (House owners/Companions and Their Spouses) Retirement Plan or A Overseas Plan
Division of the Treasury Inner Income Service
Half I Annual Return Identification Info For the calendar plan yr 2023 or fiscal plan yr starting (MM/DD/YYYY): 01/02/2022 and ending 12/31/2023
A This return is: (1) the primary return filed for the plan (2) an amended return (3) the ultimate return filed for the plan (4) a brief plan yr return (lower than 12 months)
B Examine field if submitting underneath: Kind 5558 Computerized extension
C If this return is for a overseas plan, examine this field
D If this return is for the IRS Late Filer Penalty Reduction Program, examine this field
E If it is a retroactively adopted plan permitted by SECURE Act part 201, examine right here
Half II Fundamental Plan Info
1a Identify of plan: Annual Return plan
1b Three-digit plan quantity (PN): 586
1c Date plan first grew to become efficient (MM/DD/YYYY): 02/05/2022
2a Employer’s title: ACME Corp Software program
2b Employer Identification Quantity (EIN): 735268329
2c Employer’s phone quantity: (011) 538259
3a Plan administrator’s title (if identical as employer, enter “Similar”): Similar
3b Administrator’s EIN: 532678
3c Administrator’s phone quantity:
4 If the employer’s title, the employer’s EIN, and/or the plan title has modified for the reason that final return filed for this plan, enter the employer’s title and EIN, the plan title, and the plan quantity for the final return within the acceptable house offered
4b EIN: 5732900
4d PN: 586
5a(1) Whole variety of members in the beginning of the plan yr: 1.0
5a(2) Whole variety of energetic members in the beginning of the plan yr: 1
5b(1) Whole variety of members on the finish of the plan yr: 1
5b(2) Whole variety of energetic members on the finish of the plan yr: 1
5c Variety of members who terminated employment in the course of the plan yr with accrued advantages that had been lower than 100% vested: 2
Half III Monetary Info
6a Whole plan belongings: (1) Starting of yr: $50,000 (2) Finish of yr: $60,000
6b Whole plan liabilities: (1) Starting of yr: $4,000 (2) Finish of yr: $5,000
6c Web plan belongings (subtract line 6b from 6a): (1) Starting of yr: $46,000 (2) Finish of yr: $55,000
Catalog Quantity 63283R **Kind 5500-EZ (20

In diesem ausführlichen Vergleich hatte Mistral OCR die schnellste Reaktionszeit. Die gesamte Extraktion struggle in 3–4 Sekunden abgeschlossen. Das Ausgabeformat struggle ordentlich und intestine strukturiert. Es wurde eine sehr hohe Erkennungsgenauigkeit in allen handgeschriebenen und gedruckten Feldern erreicht. Am wichtigsten ist, dass das Structure-Verständnis eine einfache Nutzung der extrahierten Daten ermöglicht. Mistral hat erfolgreich die vollständigste und nutzbarste Endstruktur bereitgestellt. Dieses Modell zeigte auch ein einzigartiges Beispiel für die Ableitung der Gesamtsumme des Nettoplanvermögens in Zeile 6c, was tatsächlich eine starke interne Konsistenz über den Rohtext hinaus zeigt.

Festlegung robuster Vergleichsmetriken für OCR-Modelle

Endgültiges Urteil: DeepSeek OCR vs. Qwen-3 VL vs. Mistral OCR

Die praktische Anwendung erfordert einen Kompromiss zwischen Genauigkeit und Geschwindigkeit. In realen Situationen reicht theoretisch hohe Leistung nicht aus, um den Erfolg sicherzustellen. Praktische Assessments machen diese Tatsache sehr deutlich.

Mistral OCR bot die beste Steadiness für diese spezielle Dokumentenanalyseaufgabe: Es kombinierte hohe Genauigkeit, hervorragendes Layoutverständnis und höchste Verarbeitungsgeschwindigkeit. Das kleine Downside bei der Ausgabe des berechneten Werts besteht darin, dass der Gesamtnutzen beeinträchtigt wird.

Qwen-3 VL hatte eine starke Erkennung, konnte aber den Latenztest nicht bestehen. DeepSeek OCR struggle schnell, aber seine schlechte Leistung bei der optischen Zeichenerkennung macht es für komplexe Formulare ungeeignet. Wählen Sie für eine robuste KI-Dokumentenverarbeitung eine Architektur mit bewährter Geschwindigkeit und Strukturtreue. Der Branchentrend geht weg von reiner Brute-Drive-Genauigkeit hin zu einer schnellen, genauen und kontextbezogenen Extraktion.

Abschluss

Bei modernen OCR-Entscheidungen kommt es darauf an, Genauigkeit und tatsächliche Produktionsgeschwindigkeit in Einklang zu bringen. Benchmark-Ergebnisse sind wichtig, aber die Zuverlässigkeit in der Praxis ist noch wichtiger. Mistral zeichnet sich dadurch aus, dass es schnelle Ergebnisse mit einem ausgeprägten Structure-Verständnis liefert, was es zur sichersten Wahl für ernsthafte Dokumentenverarbeitungsarbeiten macht. DeepSeek ist schnell, hat aber Probleme mit der konsistenten OCR-Qualität, und Qwen-3 VL liest zwar intestine, hat aber Probleme mit der Latenz, was es für den Einsatz in Unternehmen riskant macht. Wenn Verzögerungen einen Arbeitsablauf unterbrechen können, überwiegen zuverlässige Geschwindigkeit und Strukturtreue die theoretische Genauigkeit. Wählen Sie das Werkzeug, das beweist, dass es unter realen Bedingungen funktioniert.

Häufig gestellte Fragen

Harsh Mishra ist ein KI/ML-Ingenieur, der mehr Zeit damit verbringt, mit großen Sprachmodellen zu sprechen als mit echten Menschen. Leidenschaftlich für GenAI, NLP und die intelligentere Entwicklung von Maschinen (damit sie ihn noch nicht ersetzen). Wenn er nicht gerade Modelle optimiert, optimiert er wahrscheinlich seinen Kaffeekonsum.

Bild von Editor

# Einführung

Angesichts des jüngsten Anstiegs von Code-zentrierten Großsprachenmodellen haben sich viele Entwickler und Programmierer auf sie verlassen, um die Produktivität zu verbessern. Funktionen wie Codevorschläge, Debuggen und sogar das Skalieren eines gesamten Projekts sind jetzt mit diesen Instruments möglich.

Mit technologischen Fortschritten wurde die Idee der Agenten -KI eingeführt, um unsere Arbeit zu unterstützen. Da ein agentener Ansatz über Aufgaben Grund zu den Aufgaben und den besten nächsten Schritt entscheidet, um ein Ziel zu erreichen, ist er heute zu einem wichtigen Werkzeug, das Entwickler heute übernehmen können. Durch die Integration von Code-fokussierten Modellen in ein agentisches Framework können wir einen personalisierten Codierungsassistenten erstellen, der unsere Anforderungen aus einer einfachen Eingabeaufforderung versteht.

Eines der bekanntesten Open-Supply-Code-zentrierten Modelle ist die QWEN3-CODERdie starke Fähigkeiten bei agierischen Codierungsaufgaben verfügt. Mit einem starken Modell wie diesem veröffentlichte das Workforce dann ein CLI -Agentenprogrammierungstool namens Qwen Code, um unsere Codierungsarbeiten zu unterstützen.

In diesem Artikel werden wir untersuchen, wie Qwen Code in der Praxis verwendet wird.

# Qwen Code

Qwen Code ist ein Agentic Command Line (CLI) Workflow-Instrument basierend auf dem Gemini Cli Das wurde für die QWEN3-Coder-Modelle angepasst. Dieses CLI -Instrument zielt darauf ab, Entwicklungsworkflows mit einem intelligenten Assistenten zu verbessern, der Ihre Umgebung verstehen und auf der Grundlage Ihrer Eingabeaufforderung handeln kann. Darüber hinaus bietet das Instrument Möglichkeiten, Betriebsaufgaben zu automatisieren und Verbesserungen zu analysieren, die spezifisch für die QWen-Coder-Modelle sind.

Das CLI-Instrument kann kostenlos verwendet werden und bietet zwei Authentifizierungsoptionen: Qwen OAuth und eine OpenAI-kompatible API. Die empfohlene Methode ist Qwen OAuth, die wir in diesem Artikel untersuchen werden. Qwen OAuth bietet kostenlose Optionen, einschließlich 2000 Anfragen professional Tag und ein Zinslimit von 60 Anfragen professional Minute, ohne dass wir eine Token -Grenze nutzen werden.

Um QWEN Code zu verwenden, benötigen Sie Node.js Model 20 oder höher installiert. Sie können es aus der Quelle herunterladen oder den folgenden Code verwenden.

curl -qL https://www.npmjs.com/set up.sh | sh

Verwenden Sie nach der Set up NPM, um das Instrument mit dem folgenden Code in Ihre Umgebung herunterzuladen.

npm set up -g @qwen-code/qwen-code@newest

Wenn Sie den QWEN -Code von Supply bevorzugen, können Sie die folgenden Befehle verwenden:

git clone https://github.com/QwenLM/qwen-code.git
cd qwen-code
npm set up
npm set up -g .

Probieren wir es aus, wenn QWEN -Code installiert ist. In diesem Artikel werden wir ein Codierungsprojekt bewerten – insbesondere das Lokales Lappenrezeptprojekt Ich habe mich entwickelt. Sie können Ihr eigenes Projekt- und Code -Repository verwenden.

Beginnen wir mit dem Aktivieren von QWEN -Code mit dem folgenden Befehl in Ihrem bevorzugten Verzeichnis.

Das erste, was Qwen Code Sie bitten wird, ist authentifiziert. In diesem Artikel werden wir Qwen OAuth auswählen und Sie werden in den Browser umgeleitet.

Wählen Sie Ihren bevorzugten Weg zum Anmelden aus – es gibt viele Optionen, um Ihr Profil zu authentifizieren. Sobald Sie sich angemeldet haben, kehren Sie zu Ihrer CLI zurück und sind bereit, mit Qwen Code zu arbeiten.

Verwenden Sie den QWEN -Code, indem Sie eine Eingabeaufforderung in die CLI übergeben. Zum Beispiel habe ich die Eingabeaufforderung verwendet: “describe the code right here”

QWEN Code führt einen Agentenprozess durch und untersucht das gesamte Projektrepository.

Dann liefert Qwen Code eine vollständige Erklärung basierend auf der Eingabeaufforderung. In diesem Beispiel erklärt es den Code im Verzeichnis und dessen Zweck.

Mit QWEN Code können Sie ihn bitten, Aktionen in Ihrem Namen auszuführen. Sie können beispielsweise darum bitten, das Code -Repository mithilfe der Eingabeaufforderung zu verbessern: “what components of this module could be optimized?”

QWEN -Code präsentiert mögliche Optimierungen und vorgeschlagene Änderungen der Implementierung.

Sie können dann die Änderungen akzeptieren oder ablehnen und einen Workflow in den Schleifen aufrechterhalten. Wenn Sie möchten, können Sie automatische Änderungen aktivieren, damit Sie sie nicht wiederholt akzeptieren müssen.

QWEN -Code kann auch die erforderlichen Dateien selbst erstellen, wie z. necessities.txt unten gezeigt.

Zuletzt können Sie einen Ordner oder eine Dateien angeben, die QWEN -Code verarbeiten möchten. Zum Beispiel habe ich die Eingabeaufforderung verwendet "@chroma_db, please clarify to me what this folder is all about". Das Ergebnis ist unten dargestellt:

Das Ergebnis zeigt den Zweck jeder Datei im Verzeichnis und wie es verwendet wird.

Wenn Sie Ihre QWEN -Codeerfahrung verbessern möchten, können Sie eine Datei erstellen .qwen/settings.json und füllen Sie es mit den gewünschten Einstellungen. Sie können beispielsweise das Token -Grenzwert mit folgenden festlegen:

{
  "sessionTokenLimit": 32000
}

Zusätzlich können Sie verschiedene Befehle verwenden, z. /assist So zeigen Sie alle verfügbaren Qwen -Code -Befehle an oder /stats Um die aktuellen QWEN -Code -Sitzungsinformationen anzuzeigen.

Das ist die grundlegende Verwendung von Qwen Code; Probieren Sie verschiedene Eingabeaufforderungen in Ihren Projekten aus, um zu sehen, wie es Ihrer Arbeit helfen kann.

# Einpacken

Qwen Code ist ein agenten CLI-Instrument, der QWEN3-CODER verwendet, ein leistungsstarkes Code-fokussierter Modell. Durch die Anpassung des Instruments aus Gemini CLI kann Qwen Code Ihren Code verstehen und viele grundlegende Aufgaben mit einer einfachen Eingabeaufforderung automatisieren.

Ich hoffe das hat geholfen!

Cornellius Yudha Wijaya ist ein Information Science Assistant Supervisor und Datenautor. Während er in Vollzeit bei Allianz Indonesien arbeitet, liebt er es, Python- und Datentipps über soziale Medien und das Schreiben von Medien zu teilen. Cornellius schreibt über eine Vielzahl von KI- und maschinellen Lernthemen.

Kürzlich kamen zwei neue QWEN-Modelle heraus-die QWEN3-4B-Instruct-2507 und Qwen3-4B-Dinking-2507. Beide QWEN3 -Modelle haben eine gute Kontextlänge von 256 Okay. und ich dachte mir: „Warum nicht einen Lappen machen, um die Kontextlänge intestine zu nutzen?“. Es ist erwähnenswert, dass die QWEN3 -Familie eine große Auswahl an Modellen hat, die zum Codieren, Denken, Einbettungen und Umbauten bestimmt sind. Um unseren Lappen bestmöglich zu machen, werden wir das Einbettungsmodell und das Reranker -Modell von QWEN3 verwenden.

Mach dir keine Sorgen, wir werden nicht damit beginnen, den Lappen zu bauen! Wir werden uns zuerst diese Modelle individuell ansehen und dann den Lappen bauen.

QWEN3 -Modelle: Hintergrund

Entwickelt von Alibaba Cloud, Mehrere QWEN3 -Modelle wurden gestartet Vor ein paar Monaten. Als Verbesserung dieser Modelle wurden kürzlich in drei Größen zwei neue Modelle, QWEN3-Instruct-2507 und Qwen3-Considering-257, in drei Größen eingeführt: 235B-A22B, 30B-A3B und 4B. Beachten Sie, dass wir uns in erster Linie auf die 4B-Variante von ‚Qwen3-Instruct-2507‘ für diesen Artikel konzentrieren werden. Alle diese Modelle sind Open-Supply und sind bei Umarmung und Kaggle leicht erhältlich. Es ist auch erwähnenswert, dass die QWEN3 -Modelle mehrsprachige Unterstützung haben, insbesondere 119 Sprachen und Dialekte. Lassen Sie uns einige der QWEN3 -Modelle in Aktion sehen und später den Lappen bauen, für den wir hier sind.

QWEN3 Fashions Demo

Beginnen wir mit dem Modellgenerierungsmodell, aber vorher stellen wir sicher, dass Holen Sie sich Ihr Umarmungs -Gesichts -Zugangs -Token von hier aus.

Hinweis: Wir werden diese Demo in Google Colab durchführen. Stellen Sie nach dem Öffnen eines neuen Notizbuchs das Zugangs -Token als hf_token in der Registerkarte Secrets and techniques hyperlinks hinzu. Stellen Sie sicher, dass Sie den Zugriff auf das Notizbuch aktivieren.

Qwen3-4b-Instruct-2507

Dies ist eine aktualisierte Model des QWEN3-4B-Nicht-Denken-Modus und hat eine fleischige Kontextlänge von 256 Okay. Wie Sie aus dem Namen selbst erkennen können, hat dieses Modell 4 Milliarden Parameter, was relativ leicht und für Colab zu verwenden ist. Lassen Sie uns dieses Modell mit den umarmenden Gesichtstransformatoren anfeuern und es in Aktion sehen.

Hinweis: Ändern Sie den Laufzeittyp in T4 GPU, um das Modell zu verarbeiten.

# Setup and Dependencies
import torch
import torch.nn.purposeful as F
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoModel

# Instruct Mannequin (Textual content Technology)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-4B-Instruct-2507")
mannequin = AutoModelForCausalLM.from_pretrained(
   "Qwen/Qwen3-4B-Instruct-2507",
   torch_dtype="auto",
   device_map="auto"
)


immediate = "Clarify what machine studying is in easy phrases."
messages = ({"position": "consumer", "content material": immediate})


textual content = tokenizer.apply_chat_template(
   messages,
   tokenize=False,
   add_generation_prompt=True,
   enable_thinking=False
)


model_inputs = tokenizer((textual content), return_tensors="pt").to(mannequin.machine)


generated_ids = mannequin.generate(
   **model_inputs,
   max_new_tokens=256
)


output_ids = generated_ids(0)(len(model_inputs.input_ids(0)):).tolist()
response = tokenizer.decode(output_ids, skip_special_tokens=True)
print(response)

Hier ist die Ausgabe, die ich für meine Frage zu „Erklären Sie, was maschinelles Lernen in einfachen Worten ist“. :

Positive! In easy phrases, **machine studying** is a method for computer systems to be taught from information and enhance at doing duties with out being explicitly programmed to take action.

Think about you've got a robotic that learns to acknowledge cats in photographs. As an alternative of writing step-by-step directions like "search for a spherical face, large eyes, and a nostril," you simply present it many footage of cats and footage of canines. Over time, the robotic begins to determine what makes a cat completely different from a canine — it learns by itself by way of examples.

That’s machine studying: the pc appears to be like at information (like footage, numbers, or textual content), finds patterns, and will get higher at making predictions or choices primarily based on these patterns.

Consider it like how a baby learns to determine completely different animals by seeing them again and again. The machine does one thing related — it learns from expertise (information) and will get smarter with time.

So, briefly:  
**Machine studying = instructing computer systems to be taught from information and enhance on their very own.** 😊

Qwen3-embedding-0,6b

Das ist ein Einbettungsmodell Wird verwendet, um Textual content in dichte Vektordarstellungen umzuwandeln, um die Beziehung zwischen Texten zu verstehen. Dies ist ein wesentlicher Bestandteil des Lappen, den wir später bauen werden. Das Einbettungsmodell bildet das Herz des Retrievers in der Abruf Augmented Technology (LAG).

Lassen Sie uns eine Funktion zur Wiederverwendbarkeit definieren und die Einbettung finden, um die Ähnlichkeit zwischen den Texten zu finden. Ich übertrage 4 Saiten (Textual content) in die Liste der „Texte“.

# Qwen3-Embedding-0.6B (Textual content Embeddings)
def last_token_pool(last_hidden_states, attention_mask):
   left_padding = (attention_mask(:, -1).sum() == attention_mask.form(0))
   if left_padding:
       return last_hidden_states(:, -1)
   else:
       sequence_lengths = attention_mask.sum(dim=1) - 1
       batch_size = last_hidden_states.form(0)
       return last_hidden_states(torch.arange(batch_size, machine=last_hidden_states.machine), sequence_lengths)


tokenizer = AutoTokenizer.from_pretrained('Qwen/Qwen3-Embedding-0.6B', padding_side="left")
mannequin = AutoModel.from_pretrained('Qwen/Qwen3-Embedding-0.6B')


texts = (
   "Machine studying is a subset of synthetic intelligence.",
   "Python is a well-liked programming language.",
   "The climate is sunny right this moment.",
   "Synthetic intelligence is remodeling industries."
)


batch_dict = tokenizer(
   texts,
   padding=True,
   truncation=True,
   max_length=8192,
   return_tensors="pt",
)


outputs = mannequin(**batch_dict)
embeddings = last_token_pool(outputs.last_hidden_state, batch_dict('attention_mask'))
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings @ embeddings.T)
print(scores.tolist())

Ausgabe:

((1.0, 0.4834885597229004, 0.3609130382537842, 0.6805511713027954), (0.4834885597229004, 1.0000001192092896, 0.44289979338645935, 0.4494439363479614), (0.3609130382537842, 0.44289979338645935, 1.0000001192092896, 0.4508340656757355), (0.6805511713027954, 0.4494439363479614, 0.4508340656757355, 1.0))

Dies ist eine Matrix, die wir berechnet haben, indem wir die Ähnlichkeitswerte von Texten untereinander finden. Schauen wir uns einfach die erste Reihe der Matrix an, um das Verständnis zu erleichtern. Wie Sie sehen können, beträgt die Ähnlichkeit derselben Texte immer 1, der nächste unmittelbare höchste Wert von 0,68, was zwischen einem Satz über KI und einem Satz über ML liegt, und die Ähnlichkeit zwischen einer Aussage über Wetter und KI ist nicht sehr hoch, was sinnvoll ist.

Qwen3-leranker-0.6b

Wir können die abgerufenen Stücke übergeben, die durch Vektorsuche mit dem Einbettungsmodell erhalten werden können. Das Reranker -Modell bewertet jeden Chunk gegen die Abfrage, um die Liste der Dokumente zu bestellen und Priorität zuzuweisen, oder verwenden Sie diese Bewertungen, um die abgerufenen Brocken zu untermengen. Wir werden dieses Modell im kommenden Abschnitt direkt in Aktion sehen, um ein besseres Verständnis zu erhalten.

Erstellen eines Lappen mit den QWEN -Modellen

Wir werden einen Lappen aufbauen Analytics Vidhya Blogs (~ 40 Blogs) Verwenden der drei angegebenen QWEN3 -Modelle. Wir werden die Daten nacheinander verarbeiten und die Modelle verwenden. Für die effiziente Verarbeitung laden/entladen wir das Modell für die Nutzung, um den Speicher zu erhalten. Schauen wir uns die Schritte an und tauchen in das Skript ein.

• Schritt 1: Laden Sie die Daten herunter. Hier ist der Hyperlink zu meinem Repository wo Sie die Daten und die Skripte finden können.
• Schritt 2: Installieren Sie die Anforderungen:
  ! PIP Installieren Sie FAISS-CPU PYPDF2
• Schritt 3: Entpacken Sie die Daten in einen Ordner:
  ! Unzipp information.zip
• Schritt 4: Für die einfachere Ausführung können Sie einfach das Skript qwen_rag.py in die Colab -Umgebung hinzufügen und das Skript mit:
  ! Python qwen_rag.py

Das Drehbuch aufbrechen:

• Wir verwenden die PYPDF2 -Bibliothek, um den Inhalt der Artikel im PDF -Format zu laden. Eine Funktion wird definiert, um Weblog -Inhalte in .txt- oder .pdf -Formaten zu lesen.
• Wir tauchen den Inhalt in Stücke von Größe 800 und eine Überlappung von 100, um die Kontextrelevanz in aufeinanderfolgenden Dokumenten aufrechtzuerhalten.
• Wir verwenden FAISS, um einen Vektor-Retailer zu erstellen, und reichen mit Hilfe unserer Abfrage die High-15-Dokumente basierend auf Ähnlichkeit.
• Jetzt verwenden wir den Reranker für diese 15 Dokumente, um die High-3 mithilfe dieser Funktion zu erhalten:

def rerank_documents(question, candidates, k_rerank=3):
   """Rerank paperwork utilizing reranker mannequin"""
   print("Reranking paperwork...")
   tokenizer, mannequin = load_reranker_model()
  
   # Put together inputs
   pairs = ()
   for doc, _ in candidates:
       pair = f"<Instruct>: Given an online search question, retrieve related passages that reply the queryn<Question>: {question}n<Doc>: {doc('content material')}"
       pairs.append(pair)
  
   # Tokenize
   inputs = tokenizer(pairs, padding=True, truncation=True, max_length=8192, return_tensors="pt").to(machine)
  
   # Get scores
   with torch.no_grad():
       outputs = mannequin(**inputs)
       logits = outputs.logits(:, -1, :)
      
       # Get sure/no token scores
       token_false_id = tokenizer.convert_tokens_to_ids("no")
       token_true_id = tokenizer.convert_tokens_to_ids("sure")
      
       true_scores = logits(:, token_true_id)
       false_scores = logits(:, token_false_id)
      
       batch_scores = torch.stack((false_scores, true_scores), dim=1)
       batch_scores = torch.nn.purposeful.log_softmax(batch_scores, dim=1)
       scores = batch_scores(:, 1).exp().tolist()
  
   # Unload reranker mannequin
   del tokenizer, mannequin
   clear_memory()
   print("Reranker mannequin unloaded")
  
   # Kind by rating
   paperwork = (doc for doc, _ in candidates)
   doc_scores = record(zip(paperwork, scores))
   doc_scores.type(key=lambda x: x(1), reverse=True)
  
   return doc_scores(:k_rerank)

• Sobald wir diese 3 High -Dokumente haben, übergeben wir sie an das Anweisungsmodell, um unsere endgültige Ausgabe vom Abruf Augmented Generator zu erhalten.

Ausgabe:

Query: What's the distinction between LoRA and QLoRA?

Reply: LoRA (Low-Rank Adaptation) and QLoRA (Quantized Low-Rank Adaptation) are each parameter-efficient fine-tuning strategies used to adapt giant language fashions (LLMs) to particular duties. Whereas they share similarities, they differ of their strategy and effectivity.

1. **LoRA (Low-Rank Adaptation)**:

- LoRA introduces low-rank matrices (A and B) into the self-attention module of every layer within the pre-trained mannequin. These matrices act as adapters that enable the mannequin to adapt and specialize for particular duties whereas minimizing the variety of extra parameters wanted.

- LoRA reduces parameter overhead by specializing in optimizing trainable low-rank matrices as a substitute of fine-tuning all parameters. This makes it far more memory-efficient and computationally cheaper.

- LoRA permits the pre-trained mannequin to be shared throughout a number of duties, facilitating environment friendly task-switching throughout deployment.

- LoRA doesn't introduce any extra inference latency in comparison with absolutely fine-tuned fashions, making it appropriate for real-time functions.

2. **QLoRA (Quantized Low-Rank Adaptation)**:

- QLoRA is an extension of LoRA that additional introduces quantization to boost parameter effectivity throughout fine-tuning. It builds on the rules of LoRA whereas introducing 4-bit NormalFloat (NF4) quantization and Double Quantization strategies.

- NF4 quantization leverages the inherent distribution of pre-trained neural community weights, remodeling all weights to a hard and fast distribution that matches throughout the vary of NF4 (-1 to 1). This permits for efficient quantization with out the necessity for costly quantile estimation algorithms.

- Double Quantization addresses the reminiscence overhead of quantization constants by quantizing the quantization constants themselves. This considerably reduces the reminiscence footprint with out compromising efficiency.

- QLoRA achieves even increased reminiscence effectivity by introducing quantization, making it significantly invaluable for deploying giant fashions on resource-constrained units.

- Regardless of its parameter-efficient nature, QLoRA retains excessive mannequin high quality, acting on par and even higher than absolutely fine-tuned fashions on numerous downstream duties.

In abstract, whereas LoRA focuses on lowering the variety of trainable parameters by way of low-rank adaptation, QLoRA additional enhances this effectivity by incorporating quantization strategies, making it extra appropriate for deployment on units with restricted computational sources.

Sources: fine_tuning.txt, Parameter-Environment friendly Positive-Tuning of Massive Language Fashions with LoRA and QLoRA.pdf, Parameter-Environment friendly Positive-Tuning of Massive Language Fashions with LoRA and QLoRA.pdf

Hinweis: Sie können auf die Protokolldatei ‚rag_retrieval_log.txt‘ verweisen, um weitere Informationen zu den abgerufenen Dokumenten und der Ähnlichkeitsbewertung mit der Abfrage und den Reranker -Bewertungen zu erhalten.

Abschluss

Durch die Kombination von QWEN3 -Modellen von Anweisungen, Einbetten und Reranker haben wir eine praktische Lag -Pipeline gebaut, die ihre Stärken voll ausnutzt. Mit einer Kontextlänge von 256K und mehrsprachiger Unterstützung erweist sich die QWEN-Familie für reale Aufgaben vielseitig. Für die nächsten Schritte können Sie versuchen, die an das Anweisungsmodell übergebenen Dokumente zu erhöhen oder ein Denkmodell für einen anderen Anwendungsfall zu verwenden. Die Ausgänge scheinen auch vielversprechend zu sein. Ich schlage vor, Sie versuchen, den Lappen auf Metriken wie Treue und Relevanz zu bewerten, um sicherzustellen, dass die LLM für Ihre Aufgabe/Ihren Anwendungsfall größtenteils frei von Halluzinationen ist.

Häufig gestellte Fragen

Leidenschaft für Technologie und Innovation, Absolvent des Vellore Institute of Know-how. Derzeit arbeitet er als Knowledge Science Trainee und konzentriert sich auf die Datenwissenschaft. Es ist sehr interessiert an tiefem Lernen und generativen KI, bestrebt, modernste Techniken zu erforschen, um komplexe Probleme zu lösen und wirkungsvolle Lösungen zu schaffen.

Dieser Artikel enthält einen technischen Vergleich zwischen zwei kürzlich veröffentlichten Modellen der Mischung aus Experten (MOE): Alibaba QWEN3 30B-A3B (veröffentlicht April 2025) und OpenAs GPT-OSS 20B (veröffentlicht August 2025). Beide Modelle stellen unterschiedliche Ansätze für das Design der MOE -Architektur dar und balancieren die Recheneffizienz mit Leistung in verschiedenen Bereitstellungsszenarien.

Modellübersicht

Quellen: QWEN3 Offizielle DokumentationAnwesend OpenAI GPT-OSS-Dokumentation

QWEN3 30B-A3B Technische Spezifikationen

Architekturdetails

QWEN3 30B-A3B verwendet eine tiefe Transformatorarchitektur mit 48 Schichtenenthält jeweils eine Konfiguration der Experten mit einer Mischung mit Experten mit 128 Experten professional Schicht. Das Modell aktiviert 8 Experten professional Token Während der Inferenz ein Gleichgewicht zwischen Spezialisierung und Recheneffizienz erreichen.

Aufmerksamkeitsmechanismus

Das Modell verwendet Gruppierte Aufmerksamkeit der Abfrage (GQA) mit 32 Abfrageköpfe und 4 Schlüsselwertköpfe³. Dieses Design optimiert die Speicherverwendung und behält gleichzeitig die Aufmerksamkeitsqualität auf, die besonders vorteilhaft für die lang Kontextverarbeitung ist.

Kontext und mehrsprachige Unterstützung

• Einheimische Kontextlänge: 32.768 Token
• Erweiterter Kontext: Bis zu 262.144 Token (neueste Varianten)
• Mehrsprachige Unterstützung: 119 Sprachen und Dialekte
• Vokabular: 151.936 Token mit BPE -Tokenisierung

Einzigartige Funktionen

QWEN3 enthält a Hybrid -Argumentationssystem Unterstützung sowohl „Denken“ als auch „nicht denkenden“ Modi, sodass Benutzer den Rechenaufwand basierend auf der Komplexität der Aufgaben steuern können.

GPT-OSS 20B Technische Spezifikationen

Architekturdetails

GPT-OSS 20B Includes a 24-layer-Transformator mit 32 MOE -Experten professional Schicht⁸. Das Modell aktiviert 4 Experten professional Tokendie umfassendere Expertenkapazität über die feinkörnige Spezialisierung.

Aufmerksamkeitsmechanismus

Das Modell implementiert Gruppierte Multi-Quer-Aufmerksamkeit mit 64 Abfrageköpfe und 8 Schlüsselwertköpfe, die in Gruppen von 8 angeordnet sind¹⁰. Diese Konfiguration unterstützt eine effiziente Inferenz und behält gleichzeitig die Aufmerksamkeitsqualität über die breitere Architektur auf.

Kontext und Optimierung

• Einheimische Kontextlänge: 128.000 Token
• Quantisierung: Native MXFP4 (4,25-Bit-Präzision) für MOE-Gewichte
• Speichereffizienz: Läuft mit einem 16 -GB -Speicher mit Quantisierung
• Tokenizer: O200K_Harmony (Superset von GPT-4O-Tokenizer)

Leistungseigenschaften

GPT-OSS 20B verwendet abwechselnd dichte und lokal gebundene spärliche Aufmerksamkeitsmuster Ähnlich wie GPT-3 mit Rotationspositionseinbettung (Seil) Für Positionalcodierung alss.

Architekturphilosophievergleich

Tiefe vs. Breite Strategie

QWEN3 30B-A3B betont Tiefe und Expertenvielfalt:

• 48 Schichten ermöglichen mehrstufige Argumentation und hierarchische Abstraktion
• 128 Experten professional Schicht bieten eine feinkörnige Spezialisierung
• Geeignet für komplexe Argumentationsaufgaben, die eine tiefe Verarbeitung erfordern

GPT-OSS 20B priorisiert Breite und Rechendichte:

• 24 Schichten mit größeren Experten maximieren die Repräsentationskapazität professional Schicht
• Weniger, aber leistungsfähigere Experten (32 gegenüber 128) erhöhen individuelle Expertenfunktionen
• Optimiert für eine effiziente Einzelpassinferenz

Moe Routing -Strategien

Qwen3: Routes Token durch 8 von 128 Expertenfördert vielfältige, kontextsensitive Verarbeitungspfade und modulare Entscheidungsfindung.

Gpt-oss: Routes Token durch 4 von 32 ExpertenMaximierung der Rechenleistung von Per-Experten und Bereitstellung einer konzentrierten Verarbeitung professional Inferenzschritt.

Überlegungen zum Speicher und Bereitstellung

QWEN3 30B-A3B

• Speicheranforderungen: Variable basierend auf Präzision und Kontextlänge
• Einsatz: Optimiert für die Cloud- und Edge -Bereitstellung mit flexibler Kontextverlängerung
• Quantisierung: Unterstützt verschiedene Quantisierungsschemata nach dem Coaching

GPT-OSS 20B

• Speicheranforderungen: 16 GB mit nativem MXFP4 -Quantisierung, ~ 48 GB in Bfloat16
• Einsatz: Für Verbraucherhardwarekompatibilität entwickelt
• Quantisierung: Native MXFP4 -Coaching ermöglicht eine effiziente Inferenz ohne Qualitätsverschlechterung

Leistungseigenschaften

QWEN3 30B-A3B

• Zeichnet sich aus mathematisches Denken, Kodierung und komplexe logische Aufgaben
• Starke Leistung in Mehrsprachige Szenarien über 119 Sprachen
• Denkmodus Bietet verbesserte Argumentationsfunktionen für komplexe Probleme

GPT-OSS 20B

• Erreicht Leistung vergleichbar mit OpenAI O3-Mini auf Normal -Benchmarks
• Optimiert für Device -Nutzung, Internet -Browser und Funktionsaufrufe
• Stark Gedankenkette mit einstellbaren Argumentationsaufwandsniveaus

Anwendungsfallempfehlungen

Wählen Sie QWEN3 30B-A3B für:

• Komplexe Argumentationsaufgaben, die eine mehrstufige Verarbeitung erfordern
• Mehrsprachige Anwendungen über verschiedene Sprachen hinweg
• Szenarien, die eine versatile Erweiterung der Kontextlänge erfordern
• Anwendungen, bei denen Denk-/Argumentationstransparenz bewertet wird

Wählen Sie GPT-OSS 20B für:

• Ressourcenbeschränkungen für Effizienz erfordern
• Werkzeuganrufe und Agentenanwendungen
• Schnelle Inferenz mit konsequenter Leistung
• Edge -Bereitstellungsszenarien mit begrenztem Speicher

Abschluss

QWEN3 30B-A3B und GPT-OSS 20B stellen ergänzende Ansätze für das Design der Moe-Architektur dar. QWEN3 betont Tiefe, Expertenvielfalt und mehrsprachige Fähigkeiten, wodurch es für komplexe Argumentationsanwendungen geeignet ist. GPT-OSS 20B priorisiert Effizienz, Integration der Instruments und Bereitstellungsflexibilität und positionieren Sie sie für praktische Produktionsumgebungen mit Ressourcenbeschränkungen.

Beide Modelle demonstrieren die Entwicklung von MOE -Architekturen über die einfache Parameterskalierung hinaus und enthält anspruchsvolle Designentscheidungen, die architektonische Entscheidungen mit beabsichtigten Anwendungsfällen und Bereitstellungsszenarien ausrichten.

Hinweis: Dieser Artikel ist von der inspiriert Reddit Publish und Diagramm von Sebastian Raschka.

Quellen

1. QWEN3 30B-A3B Mannequin Card-Umarmung Gesicht
2. QWEN3 Technischer Weblog
3. QWEN3 30B-A3B Basisspezifikationen
4. QWEN3 30B-A3B unterrichtet 2507
5. QWEN3 Offizielle Dokumentation
6. QWEN Tokenizer -Dokumentation
7. QWEN3 -Modellfunktionen
8. OpenAI GPT-OSS Einführung
9. GPT-OSS Github Repository
10. GPT-OSS 20B-GROQ-Dokumentation
11. OpenAI GPT-OSS-technische Particulars
12. Umarme Face GPT-OSS-Weblog
13. OpenAI GPT-OSS 20B Modellkarte
14. OpenAI GPT-OSS Einführung
15. NVIDIA GPT-OSS Technischer Weblog
16. Umarme Face GPT-OSS-Weblog
17. QWEN3 Leistungsanalyse
18. OpenAI GPT-OSS-Modellkarte
19. GPT-OSS 20B-Funktionen

Michal Sutter ist ein Datenwissenschaftler bei einem Grasp of Science in Information Science von der College of Padova. Mit einer soliden Grundlage für statistische Analyse, maschinelles Lernen und Datentechnik setzt Michal aus, um komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

Codierungsassistenten werden nach der Veröffentlichung von populär Claude -Code Und OpenAI Codex Cli. Was folgte, conflict eine Flut neuer Werkzeuge aus Gemini Cli zu grok 4 codex. Jetzt tritt Qwen 3 in den Kampf ein und möchte als mächtige Open-Supply-Various auferstehen. Egal, ob Sie vor einem schwierigen Codierungsproblem konfrontiert sind oder einfach nur nach einer intelligenteren Artwork und Weise suchen, QWEN 3 bietet eine kostenlose, progressive Lösung. Entwickelt für fortschrittliche Codegenerierung und versatile Codierungs -Workflows, ist perfekt für Datenwissenschaftler und KI -Enthusiasten. In diesem Weblog werden wir untersuchen, was Qwen 3 auszeichnet.

Was ist Qwen3-Codierer?

QWEN3-CODER ist das neueste und leistungsstärkste Open-Supply-KI-Modell des QWEN-Groups. Das Flaggschiff-Modell in dieser Serie ist der QWEN3-CODER-480B-A35B-Instruct, der eine huge Parameterarchitektur von 480 Milliarden Parametern bietet.

Ein wichtiges Merkmal dieses Modells ist die Verwendung einer Moe-of-Experten-Architektur (Expertenmischung). Mit diesem Design kann das Modell effizienter sein, indem nur ein kleiner Teil seiner Parameter zu einem bestimmten Zeitpunkt aktiviert wird.

Wichtige Highlights von QWEN3-CODER

• 480 Milliarden Parameter: Das Modell wird von 480 Milliarden Parametern angetrieben, aber nur mit 35 Milliarden sind während einer Abfrage aktiv.
• Effizienz durch Moe: Mit dem Ansatz der Expertenmischung werden nur eine ausgewählte Anzahl von Experten (die mit dem relevanten Thema vertraut sind) für eine bestimmte Aufgabe aktiviert, wodurch sie leistungsfähig und dennoch überschaubar ist.
• Langes Kontextfenster: Es unterstützt einen Kontext von 256.000 Tokenwas erweitert werden kann auf 1 Million TokenVerwendung von Extrapolation.
• Extrapolation: Diese Funktion ermöglicht das Modell, größere Eingaben zu verarbeiten, als es ursprünglich geschult wurde, was eine größere Flexibilität und Kapazität ermöglicht.

Dieses immense Kontextfenster ermöglicht es QWEN3-Coder, ganze Code-Repositorys zu verstehen und mit ihnen zu arbeiten, was es zu einem unschätzbaren Instrument für Entwickler macht.

Architektur von Qwen3-Codierer

QWEN3-Coder wird mit der Kernidee entwickelt, um die Agentencodierung zu übertreffen. Die Architektur und das Coaching sind so konzipiert, dass es ein erstklassiges Modell für Codegenerierung und Code-bezogene Aufgaben macht.

• Expertenmischung (MOE): Das Modell verwendet eine MOE -Architektur mit 160 Experten, von denen 8 gleichzeitig aktiv sind. Dies ermöglicht es dem Modell, sehr groß und mächtig zu sein, ohne langsam zu sein.
• Massives Kontextfenster: Mit der nativen Unterstützung für 256.000 Token kann QWEN3-CODER große Codemengen direkt verarbeiten. Dies ist oft entscheidend, um den Kontext eines ganzen Projekts zu verstehen.
• Erweitertes Coaching: Das Modell wurde auf 7,5 Billionen Daten vorhanden, wobei 70% davon Code waren. Außerdem wurde eine Part nach der Ausbildung durchlaufen, die das Verstärkungslernen aus menschlichem Suggestions beinhaltete, um die Fähigkeit zu verbessern, mit realen Codierungsaufgaben umzugehen.

Dieses fortgeschrittene Coaching wurde durchgeführt, um eine breitere Sichtweise zu nutzen, anstatt sich auf die Codegeneration auf Wettbewerbsebene in der Neighborhood zu konzentrieren. Das obige Diagramm zeigt die stetigen Leistungsgewinne in einer Vielzahl von Benchmarks, einschließlich Codegenerierung, Softwareentwicklung, Datenanalyse, Wettbewerbsprogrammierung, mehrsprachiger Codierung, SQL-Programmierung, Codebearbeitung und Anweisungen. Diese konsequenten Aufwärtstrends zeigen die Wirksamkeit des Verstärkungslernens bei der Verbesserung der Verallgemeinerung des Modells zwischen strukturierten und unstrukturierten Codierungsherausforderungen.

Leistung von Qwen3-Codierer

Qwen3-Codierer erzielte im Vergleich zu anderen Open-Supply-Modellen auf dem SWE-Bench-Benchmark eine hochmoderne Agentenleistung. Wie in der Grafik gezeigt, erreicht es 69,6% überprüfte Genauigkeit in einer interaktiven Einstellung von 500 Drehungen und 67,0% im Single-Shot-Modus. Es übertraf andere Modelle wie Mistral-Small-2507 mit 53,6% und GPT-4,1 mit einer Genauigkeit von 54,6%. Es liegt knapp hinter Claude-sonnet-4 (70,4%) und vor Kimi-K2 (65,4%) und Gemini-2,5 (49,0%). Dadurch werden QWEN3-Codierer als das open-leistungsstärkste Open-Agent-Modell für Software program-Engineering-Aufgaben in der realen Welt festgelegt.

Erste Schritte mit Qwen Code

Um direkt auf Qwen Code zuzugreifen, gehen Sie zu https://chat.qwen.ai/Und dort können Sie QWEN3-CODER als Modell auswählen und es verwenden.

Qwen API

Sie können direkt auf die API von Qwen3-Codierer zugreifen Alibaba Cloud Mannequin Studio. Hier ist eine Demonstration, wie dieses Modell mit der Qwen -API verwendet wird. Ab sofort ist keine kostenlose Quote verfügbar.

import os

from openai import OpenAI

# Create shopper - utilizing intl URL for customers outdoors of China

# In case you are in mainland China, use the next URL:

# "https://dashscope.aliyuncs.com/compatible-mode/v1"

shopper = OpenAI(

   api_key=os.getenv("DASHSCOPE_API_KEY"),

   base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",

)

immediate = "Assist me create an internet web page for an internet bookstore."

# Ship request to qwen3-coder-plus mannequin

completion = shopper.chat.completions.create(

   mannequin="qwen3-coder-plus",

   messages=(

       {"position": "system", "content material": "You're a useful assistant."},

       {"position": "consumer", "content material": immediate}

   ),

)

# Print the response

print(completion.decisions(0).message.content material.strip())

Das QWEN-Workforce hat außerdem ein Befehlszeilen-Software namens QWEN Code veröffentlicht, um die Verwendung von QWEN3-Coder einfach zu verwenden. Hier finden Sie eine Schritt-für-Schritt-Anleitung, um Ihnen den Einstieg zu erleichtern:

Wie benutze ich Qwen Code?

Schritt 1: Installieren Sie Node.js

Zunächst müssen Sie Node.js Model 20 oder höher in Ihrem System installieren. Sie können es mit den folgenden Befehlen installieren. Öffnen Sie Ihr Terminal und fügen Sie die folgenden Befehle einzeln ein.

# Obtain and set up nvm:

curl -o- https://uncooked.githubusercontent.com/nvm-sh/nvm/v0.40.3/set up.sh | bash

# in lieu of restarting the shell

. "$HOME/.nvm/nvm.sh"

# Obtain and set up Node.js:

nvm set up 22

# Confirm the Node.js model:

node -v # Ought to print "v22.17.1".

nvm present # Ought to print "v22.17.1".

# Confirm npm model:

npm -v # Ought to print "10.9.2".

Schritt 2: Installieren Sie den Qwen -Code

Installieren Sie als Nächstes das QWEN -Code -Software mit dem NPM -Paket -Supervisor:

npm i -g @qwen-code/qwen-code

Sie sollten so etwas sehen:

Schritt 3: Konfigurieren Sie Ihre API -Style

Sie können direkt auf die API von Qwen3-Codierer zugreifen Alibaba Cloud Mannequin Studio. Ab sofort ist keine kostenlose Quote verfügbar.

Sie müssen Ihren API -Schlüssel einrichten, um das Modell zu verwenden. Sie können dies tun, indem Sie Umgebungsvariablen festlegen.

export OPENAI_API_KEY="your_qwen_api_key_here"

export OPENAI_BASE_URL="https://dashscope-intl.aliyuncs.com/compatible-mode/v1"

export OPENAI_MODEL="qwen3-coder-plus"

Schritt 4: Codieren beginnen

Jetzt sind Sie bereit, „Qwen Code“ zu verwenden. Sie können zu Ihrem Projektverzeichnis navigieren und mit dem Agenten interagieren. Um beispielsweise die Architektur eines Projekts zu verstehen, können Sie den Befehl verwenden oder einfach den folgenden Befehl schreiben. Qwen Code wird angezeigt:

qwen

Sie können es auch für komplexere Aufgaben wie Refactoring -Code oder sogar die Automatisierung von Workflows verwenden.

Wie benutze ich Qwen3-Codierer im Claude-Code?

Zusätzlich zu Qwen Code können Sie jetzt QWEN3 -Coder mit Claude Code verwenden. Fordern Sie einfach einen API -Schlüssel an Alibaba Cloud Mannequin Studio Plattform und installieren Sie den Claude -Code, um die Codierung zu starten.

npm set up -g @anthropic-ai/claude-code

Arrange surroundings variables for utilizing Qwen3‑Coder

export ANTHROPIC_BASE_URL=https://dashscope-intl.aliyuncs.com/api/v2/apps/claude-code-proxy

export ANTHROPIC_AUTH_TOKEN=your-dashscope-apikey

Dann sollten Sie in der Lage sein, Claude Code mit QWEN3-CODER zu verwenden!

Notiz: Sie können entweder Qwen CLI oder Internet -Schnittstelle verwenden, um Codierungsaufgaben auszuführen. Lassen Sie uns nun einige Aufgaben ausführen, um QWEN3-Coder-Funktionen zu testen.

Praktische QWEN3-CODER

Wir haben Qwen3 -Coder auf einige interessante und komplexe Codierungsaufgaben getestet. Mal sehen, wie es sich leistete. Hier verwenden wir die UI -Model, die bei zugänglich ist https://chat.qwen.ai/

Aufgabe 1: Good Information Storytellerer

Immediate: Erstellen Sie eine Information Storytelling -App, in der Benutzer CSV -Dateien hochladen und Fragen zu ihren Daten stellen können. Die KI sollte Visualisierungen erzeugen, Muster identifizieren und narrative Erklärungen der Erkenntnisse erstellen. Fügen Sie Funktionen für Benutzer hinzu, um Observe-up-Fragen wie „Warum ist der Umsatz im dritten Quartal gesunken?“ Oder „zeigen Sie mir die Korrelation zwischen Marketingausgaben und Einnahmen.“ Machen Sie es nicht-technische Benutzer zugänglich.

Es dauerte einige Zeit, um den Code zu generieren, aber die vollständige App in einem Skript generierte. Als wir den HTML -Viewer getestet haben, haben wir folgende Ergebnisse erhalten:

Die Benutzeroberfläche der App ist interessant; Es wird erfolgreich verarbeitet, sodass die App Datei -Uploads verarbeiten kann. Die reichen UI -Komponenten werden mit React erstellt. Die App hat reaktionsschnell gestaltet und beweist daher, dass QWEN3-Coder in dieser Aufgabe eine gute Leistung erbringt.

Aufgabe 2: Debugging und Wiederbelebung eines komplexen, fehlgeschlagenen Codebasis

Immediate: Fungieren Sie als Senior Python Developer und Code Reviewer. Ich habe ein Python -Skript, das eine Liste von Benutzerdaten aus einer Schein -API verarbeiten, für aktive Benutzer filtert und ihr Durchschnittsalter berechnet. Es ist jedoch fehlerhaft, langsam und schlecht geschrieben. Ihre Aufgabe ist::

• Identifizieren Sie die Fehler: Finden und hear Sie alle logischen Fehler, potenzielle Laufzeitfehler und schlechte Praktiken im Code auf.
• Beheben Sie den Code: Geben Sie eine korrigierte Model des Skripts an, das wie beabsichtigt funktioniert.
• Refaktor zur Verbesserung: Refactor den korrigierten Code, um seine Leistung, Lesbarkeit und Wartbarkeit zu verbessern. Insbesondere sollten Sie:
  • Fügen Sie für die API -Anforderung Fehlerbehandlung hinzu.
  • Verwenden Sie nach Möglichkeit eine effizientere Datenstruktur oder -methode.
  • Verbesserung der Variablennamen, um beschreibender zu sein.
  • Fügen Sie bei Bedarf Typ -Hinweise und Kommentare hinzu.
  • Strukturieren Sie den Code in Funktionen für eine bessere Organisation.

Hier ist der Buggy -Code:

import requests

def process_users():

    knowledge = ()

    # Inefficiently fetching one consumer at a time

    for i in vary(1, 101):

        # API endpoint is wrong and can fail for some customers

        response = requests.get(f"https://my-mock-api.com/customers/{i}")

        knowledge.append(response.json())

    total_age = 0

    active_users_count = 0

    for consumer in knowledge:

        # Bug: 'standing' key won't exist

        if consumer('standing') == 'lively':

            # Bug: 'profile' or 'age' won't exist, will elevate KeyError

            total_age += consumer('profile')('age')

            active_users_count += 1

    # Bug: Division by zero if no lively customers are discovered

    average_age = total_age / active_users_count

    print("Common age of lively customers:", average_age)

process_users()

Ausgabe:

Qwen erzeugte die Lösung in einiger Zeit. Schauen wir uns das Ergebnis an:

• Gute Dinge: Qwen fügte Fehlerbehebung und sicheren Datenzugriff für API -Eingaben hinzu. Code hat eine gute Dokumentation, die ihn lesbar macht. Der Code folgt Normal -Codestil.
• Verbesserte Bereiche: Der Code ist aufgrund der zusätzlichen Fehlerbehandlung und -modularität länger und ausführlicher als das Authentic. Die Einführung von mehr Funktionen und Fehlerbehelden macht die Gesamtstruktur für Anfänger etwas komplexer.

Insgesamt ist der Code intestine und hat sich um alle Anweisungen kümmert.

Aufgabe 3: Solar Geländevisualisierung

Immediate: Erstellen Sie eine 3D -Solar -Terrain -Visualisierung mit einer einzelnen HTML -Datei, die CSS für Format und Themen enthält, und verwendet nur externe CDN -Bibliotheken – vor allem drei.js und Orbitcontrols – eine realistische, rotierende Sonne. Die Sonne sollte eine dynamische Oberflächenaktivität unter Verwendung animierter Beule oder Verschiebungskarten aufweisen, um Solargranulation und Fackeln zu simulieren, wodurch sie eine ungrierähnliche Textur verleiht. Fügen Sie einen dunklen Hintergrund zum Thema Area mit Sternen für den Umweltrealismus ein. Stellen Sie sicher, dass die Visualisierung interaktiv ist und die Drehung der Maus-Drehung und das Zooming von Scrollbasis unterstützt. Alle Texturen und Shader müssen aus öffentlichen CDNs oder Verfahrensgenerierungsmethoden ohne lokale oder hochgeladene Vermögenswerte bezogen werden.

Ausgabe:

Es generierte schnell einen HTML -Code. Als wir das in einem HTML -Betrachter getestet haben, haben wir Folgendes bekommen:

Es schuf ein interaktives 3D -Sonnengelände, das sich dreht. Die gelbe halbkreisförmige Struktur ist laut Qwen eine Fackel. Diese Animation ist etwas vielversprechend, aber nicht zu intestine.

Es hat auch einige Optionen in der linken Ecke der Down -Ecke bereitgestellt, um die Rotation zu pausieren, die Ansicht zurückzusetzen und Fackeln auszublenden. Das folgende Bild zeigt die Sonne ohne Fackeln:

Die Ausgabe dieser Aufgabe ist intestine, aber nicht bis zur Marke. Es gibt einige Bereiche, die Sie hier verbessern können. Vielleicht kann es gelöst werden, indem es eine detailliertere Eingabeaufforderung zur Verfügung stellt.

Abschluss

QWEN3-CODER stellt einen enormen Durchbruch in Open-Supply-KI-Modellen innerhalb der Domäne der Codegenerierung dar. Seine leistungsstarke Architektur, ein massives Kontextfenster und die agierenden Fähigkeiten machen es zu einem wertvollen Instrument für Entwickler und Forscher. Da das Modell weiterhin entwickelt wird, werden wir in Zukunft noch beeindruckendere Funktionen und Leistung erwarten. Dieses Open-Supply-KI-Modell hat einen erheblichen Einfluss darauf, wie wir Softwareentwicklungsprobleme angehen und es effizienter und automatischer machen.

Häufig gestellte Fragen

Harsh Mishra ist ein KI/ML -Ingenieur, der mehr Zeit damit verbringt, mit großen Sprachmodellen zu sprechen als mit tatsächlichen Menschen. Leidenschaft über Genai, NLP und Maschinen schlauer (damit sie ihn noch nicht ersetzen). Wenn er Fashions nicht optimiert, optimiert er wahrscheinlich seine Kaffeeaufnahme.

Qwen hat gerade 8 neue Modelle im Rahmen seiner neuesten Familie veröffentlicht – QWEN3, die vielversprechende Fähigkeiten präsentiert. Das Flaggschiff-Modell QWEN3-235B-A22B übertraf die meisten anderen Modelle, einschließlich Deepseek-R1, Openai’s O1O3-mini, grok 3 und Gemini 2.5-proin Normal -Benchmarks. Inzwischen übertraf der kleine Qwen3-30B-A3B QWQ-32B Dies hat ungefähr das 10 -fache der aktivierten Parameter als neues Modell. Mit solchen fortschrittlichen Funktionen erweisen sich diese Modelle als eine gute Wahl für eine breite Palette von Anwendungen. In diesem Artikel werden wir die Merkmale aller QWEN3 -Modelle untersuchen und lernen, wie Sie sie verwenden, um Lappensysteme und KI -Agenten zu erstellen.

Was ist Qwen3?

Qwen3 ist die neueste Serie von Großsprachige Modelle (LLM) in der QWEN -Familie, bestehend aus 8 verschiedenen Modellen. Dazu gehören QWEN3-235B-A22B, QWEN3-30B-A3B, QWEN3-32B, QWEN3-14B, QWEN3-8B, QWEN3-4B, QWEN3-1.7B und QWEN3-0.6B. Alle diese Modelle werden unter Apache 2.0 -Lizenz veröffentlicht, wodurch sie Einzelpersonen, Entwicklern und Unternehmen frei zur Verfügung stellen.

Während 6 dieser Modelle dicht sind, bedeutet dies, dass sie während der Zeit der Inferenz und des Trainings alle Parameter aktiv verwenden, 2 von ihnen sind offen gewichtet:

• QWEN3-235B-A22B: Ein großes Modell mit 235 Milliarden Parametern, von denen 22 Milliarden aktivierte Parameter sind.
• QWEN3-30B-A3B: Eine kleinere MOE mit 30 Milliarden Gesamtparametern und 3 Milliarden aktivierten Parametern.

Hier ist ein detaillierter Vergleich aller 8 QWEN3 -Modelle:

Hier ist, was der Tisch sagt:

• Schichten: Ebenen repräsentieren die Anzahl der verwendeten Transformatorblöcke. Es umfasst mehrkopf Selbstbekämpfungsmechanismus, Vorwärtsnetzwerke, positionelle Codierung, Schichtnormalisierung und Restverbindungen. Wenn ich additionally sage, dass QWEN3-30B-A3B 48 Schichten hat, bedeutet dies, dass das Modell 48 Transformatorblöcke verwendet, die nacheinander oder parallel gestapelt sind.
• Köpfe: Transformatoren verwenden Multi-Head-Aufmerksamkeit, die seinen Aufmerksamkeitsmechanismus in mehrere Köpfe aufteilt, jeweils einen neuen Aspekt aus den Daten. Hier repräsentiert Q/KV:
  • Q (Abfrageköpfe): Gesamtzahl der Aufmerksamkeitsköpfe, die zum Erstellen von Abfragen verwendet werden.
  • KV (Schlüssel und Wert): Die Anzahl der Schlüssel-/Wertköpfe professional Aufmerksamkeitsblock.

Notiz: Diese Aufmerksamkeitsköpfe für Schlüssel, Abfrage und Wert unterscheiden sich völlig von den Schlüssel-, Abfrage- und Wertvektor-Vektor, die durch eine Selbstbekämpfung erzeugt werden.

Lesen Sie auch: QWEN3 -Modelle: Wie man zugreift, Leistung, Funktionen und Anwendungen

Schlüsselmerkmale von QWEN3

Hier sind einige der wichtigsten Merkmale der QWEN3 -Modelle:

1. Vorausbildung: Der Prozess vor dem Coaching besteht aus drei Stufen:
   • In der ersten Stufe wurde das Modell auf über 30 Billionen Token mit einer Kontextlänge von 4K -Token vorbereitet. Dies lehrte das Modell grundlegende Sprachkenntnisse und allgemeine Kenntnisse.
   • In der zweiten Stufe wurde die Datenqualität verbessert, indem der Anteil wissenintensiver Daten wie STEM, Codierung und Argumentationsaufgaben erhöht wurde. Das Modell wurde dann über weitere 5 Billionen Token trainiert.
   • In der letzten Section wurden hochwertige Langkontextdaten verwendet, indem die Kontextlänge auf 32 -km -Token erhöht wurde. Dies wurde durchgeführt, um sicherzustellen, dass das Modell längere Eingaben effektiv verarbeiten kann.

2. Nach der Ausbildung: Um ein hybrides Modell zu entwickeln, das sowohl schrittweise Argumentation als auch schnelle Reaktionen in der Lage ist, wurde eine 4-stufige Trainingspipeline implementiert. Dies bestand aus:

3. Hybrid -Denkmodi: QWEN3 -Modelle verwenden einen hybriden Ansatz zur Problemlösung mit zwei neuen Modi:
   • Denkmodus: In diesem Modus nehmen die Modelle Zeit, indem sie eine komplexe Problemaussage in kleine und prozedurale Schritte einleiten, um sie zu lösen.
   • Nicht-dene-Denken-Modus: In diesem Modus liefert das Modell schnelle Ergebnisse und eignet sich meistens für einfachere Fragen.

4. Mehrsprachige Unterstützung: QWEN3 -Modelle unterstützen 119 Sprachen und Dialekte. Dies hilft Benutzern aus der ganzen Welt, von diesen Modellen zu profitieren.
5. Improvisierte Agentenfähigkeiten: QWEN hat die QWEN3 -Modelle für bessere Codierung und agentenische Fähigkeiten optimiert, die Unterstützung Modellkontextprotokoll (MCP) auch.

So greifen Sie über API auf QWEN3 -Modelle zu

Um die QWEN3 -Modelle zu verwenden, werden wir über API mit der OpenRouter -API darauf zugreifen. Hier erfahren Sie, wie es geht:

1. Erstellen Sie ein Konto auf OpenRouter und gehen Sie in die Modellsuchleiste, um die API für dieses Modell zu finden.

2. Wählen Sie das Modell Ihrer Wahl und klicken Sie auf der Zielseite auf „API -Style erstellen“, um eine neue API zu generieren.

Verwenden Sie QWEN3, um Ihre KI -Lösungen zu betreiben

In diesem Abschnitt werden wir mit QWEN3 den Prozess des Erstellens von AI -Anwendungen durchlaufen. Wir werden zuerst einen KI-betriebenen Reiseplaner-Agenten erstellen, der das Modell verwendet, und dann einen Q/A-Rag-Bot verwendet Langchain.

Voraussetzungen

Bevor wir einige reale KI-Lösungen mit QWEN3 erstellen, müssen wir zunächst die grundlegenden Voraussetzungen wie folgt abdecken:

Aufbau eines AI -Agenten mit QWEN3

In diesem Abschnitt werden wir QWEN3 verwenden, um ein AI-angetriebenes Reisebüro zu erstellen, das die wichtigsten Reiseplätze für die Stadt oder den Ort, den Sie besuchen, angeben. Wir ermöglichen es dem Agenten auch, das Web zu durchsuchen, um aktualisierte Informationen zu finden und ein Device hinzuzufügen, das die Währungskonvertierung ermöglicht.

Schritt 1: Einrichten von Bibliotheken und Instruments

Zunächst werden wir die erforderlichen Bibliotheken und Instruments installieren und importieren, die zum Erstellen des Agenten erforderlich sind.

!pip set up langchain langchain-community openai duckduckgo-search
from langchain.chat_models import ChatOpenAI
from langchain.brokers import Device
from langchain.instruments import DuckDuckGoSearchRun
from langchain.brokers import initialize_agent


llm = ChatOpenAI(
   base_url="https://openrouter.ai/api/v1",
   api_key="your_api_key",
   mannequin="qwen/qwen3-235b-a22b:free"
)
# Internet Search Device
search = DuckDuckGoSearchRun()


# Device for DestinationAgent
def get_destinations(vacation spot):
   return search.run(f"Prime 3 vacationer spots in {vacation spot}")


DestinationTool = Device(
   identify="Vacation spot Recommender",
   func=get_destinations,
   description="Finds prime locations to go to in a metropolis"
)


# Device for CurrencyAgent
def convert_usd_to_inr(question):
   quantity = (float(s) for s in question.break up() if s.exchange('.', '', 1).isdigit())
   if quantity:
       return f"{quantity(0)} USD = {quantity(0) * 83.2:.2f} INR"
   return "Could not parse quantity."


CurrencyTool = Device(
   identify="Foreign money Converter",
   func=convert_usd_to_inr,
   description="Converts USD to inr primarily based on static charge"
)

• Search_tool: Mit DuckDuckGoSearchRun () können der Agent die Websuche verwenden, um Informationen über die beliebten Touristenplätze zu erhalten.
• DestinationTool: Wendet die Funktion get_destinations () an, die das Suchwerkzeug verwendet, um die Prime -3 -Touristenplätze in einer bestimmten Stadt zu erhalten.
• CurrencyTool: Verwendet die Funktion convert_usd_to_inr (), um die Preise von USD in INR zu konvertieren. Sie können ‚INR‘ in der Funktion ändern, um sie in eine Währung Ihrer Wahl umzuwandeln.

Lesen Sie auch: Erstellen Sie einen Reiseassistenten Chatbot mit Umarmung, Langchain und Mistralai

Schritt 2: Erstellen des Agenten

Nachdem wir alle Instruments initialisiert haben, gehen wir mit dem Erstellen eines Agenten, der die Instruments verwendet und uns einen Plan für die Reise ermöglichen.

instruments = (DestinationTool, CurrencyTool)


agent = initialize_agent(
   instruments=instruments,
   llm=llm,
   agent_type="zero-shot-react-description",
   verbose=True
)
def trip_planner(metropolis, usd_budget):
   dest = get_destinations(metropolis)
   inr_budget = convert_usd_to_inr(f"{usd_budget} USD to INR")
   return f"""Right here is your journey plan:


*Prime spots in {metropolis}*:
{dest}
*Price range*:
{inr_budget}
Get pleasure from your day journey!"""

• Initialize_agent: Diese Funktion erstellt einen Agenten mit Langchain mit einem Null-Shot-Reaktionsansatz, mit dem der Agent die Toolbeschreibungen verstehen kann.
• Agent_type: Mit „Zero-Shot-React-Decription“ ermöglicht es dem Agent LLM, zu entscheiden, welches Device es in einer bestimmten State of affairs ohne Vorkenntnis verwenden soll, indem die Beschreibung und die Eingabe von Device verwendet wird.
• Ausführlich: Ausführlich ermöglicht die Protokollierung des Denkprozesses des Agenten, sodass wir jede Entscheidung überwachen können, die der Agent trifft, einschließlich aller aufgerufenen Interaktionen und Instruments.
• trip_planner: Dies ist eine Python -Funktion, die Instruments manuell aufruft, anstatt sich auf den Agenten zu verlassen. Damit kann der Benutzer das beste Device für ein bestimmtes Drawback auswählen.

Schritt 3: Initialisierung des Agenten

In diesem Abschnitt werden wir den Agenten initialisieren und seine Antwort beobachten.

# Initialize the Agent
metropolis = "Delhi"
usd_budget = 8500


# Run the multi-agent planner
response = agent.run(f"Plan a day journey to {metropolis} with a price range of {usd_budget} USD")
from IPython.show import Markdown, show
show(Markdown(response))

• Aufruf des Agenten: Agent.Run () verwendet die Absicht des Benutzers über Eingabeaufforderung und plant die Reise.

Ausgabe

Aufbau eines Lappensystems mit QWEN3

In diesem Abschnitt werden wir a erstellen Rag Bot Dies beantwortet jede Abfrage innerhalb des entsprechenden Eingabendokuments von der Wissensbasis. Dies gibt eine informative Antwort unter Verwendung von QWEN/QWEN3-235B-A22B. Das System würde auch Langchain verwenden, um genaue und kontextbezogene Antworten zu erzeugen.

Schritt 1: Einrichten der Bibliotheken und Instruments

Zunächst werden wir die erforderlichen Bibliotheken und Instruments installieren und importieren, die zum Erstellen des Lappensystems erforderlich sind.

!pip set up langchain langchain-community langchain-core openai tiktoken chromadb sentence-transformers duckduckgo-search
from langchain_community.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain_community.vectorstores import Chroma
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.chains import RetrievalQA
from langchain.chat_models import ChatOpenAI
# Load your doc
loader = TextLoader("/content material/my_docs.txt")
docs = loader.load()

• Dokumente laden: Die Langchain -Klasse „Textloader“ lädt das Dokument wie eine PDF-, TXT- oder DOC -Datei, die für das Q/A -Abruf verwendet wird. Hier habe ich hochgeladen my_docs.txt.
• Auswählen des Vektor -Setups: Ich habe Chromadb verwendet, um die Einbettungen aus unserer Vektor -Datenbank für den Q/A -Prozess zu speichern und zu durchsuchen.

Schritt 2: Erstellen der Einbettungen

Nachdem wir unser Dokument geladen haben, gehen wir mit dem Erstellen von Einbettungen daraus, was dazu beiträgt, den Abrufprozess zu lindern.

# Cut up into chunks
splitter = CharacterTextSplitter(chunk_size=300, chunk_overlap=50)
chunks = splitter.split_documents(docs)


# Embed with HuggingFace mannequin
embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
db = Chroma.from_documents(chunks, embedding=embeddings)


# Setup Qwen LLM from OpenRouter
llm = ChatOpenAI(
   base_url="https://openrouter.ai/api/v1",
   api_key="YOUR_API_KEY",
   mannequin="qwen/qwen3-235b-a22b:free"
)


# Create RAG chain
retriever = db.as_retriever(search_kwargs={"ok": 2})
rag_chain = RetrievalQA.from_chain_type(llm=llm, retriever=retriever)

• Dokumentspaltung: Der CharakterTextsplitter () teilt den Textual content in kleinere Stücke, was hauptsächlich in zwei Dingen hilft. Erstens erleichtert es den Abrufprozess und zweitens hilft es bei der Beibehaltung des Kontextes vom vorherigen Chunk über Chunk_Overlap.
• Einbettungsdokumente: Einbettungsdings umwandeln den Textual content für jeden Token in die Einbettungsvektoren einer festgelegten Dimension. Hier haben wir Chunk_Size von 300 verwendet, was bedeutet, dass jedes Wort/Token in einen Vektor von 300 Dimensionen umgewandelt wird. Jetzt hat diese Vektoreinbettung alle kontextuellen Informationen dieses Wortes in Bezug auf die anderen Wörter im Chunk.
• Lappenkette: Die Lappenkette kombiniert die Chromadb mit dem LLM, um einen Lappen zu bilden. Auf diese Weise können wir kontextbezogene Antworten sowohl aus dem Dokument als auch aus dem Modell erhalten.

Schritt 3: Initialisierung des Lappensystems

# Ask a query
response = rag_chain.invoke({"question": "How can i exploit Qwen with MCP. Please give me a stepwise information together with the required code snippets"})
show(Markdown(response('consequence')))

• Abfrageausführung: Die Methode rag_chain_invoke () sendet die Abfrage des Benutzers an das RAG-System, das dann die relevanten kontextbewussten Brocken aus dem Dokumentstore (Vector DB) abruft und eine kontextbezogene Antwort generiert.

Ausgabe

Sie können den vollständigen Code finden Hier.

Anwendungen von Qwen3

Hier finden Sie einige weitere Anwendungen von QWEN3 in Branchen:

• Automatisierte Codierung: QWEN3 kann Code generieren, debuggen und Dokumentationen bereitstellen, mit denen Entwickler Fehler ohne manuelle Aufwand lösen können. Das 22B -Parametermodell zeichnet sich in der Codierung aus, wobei die Leistungen mit Modellen wie vergleichbar sind Deepseek-R1Gemini 2.5 Professional und OpenAIs o3-mini.
• Bildung und Forschung: QWEN3 Archiv hohe Genauigkeit in Mathematik, Physik und Problemlösung für logisches Denken. Es ist auch mit dem Gemini 2.5 Professional konkurriert, während es sich mit Modellen wie OpenAs O1, O3-Mini, Deepseek-R1 und Openai auszeichnet Grok 3 Beta.
• Agentenbasierte Device-Integration: QWEN3 führt auch in AI-Agentenaufgaben an, indem er die Verwendung externer Instruments, APIs und MCPs für mehrstufige und multi-agentische Workflows mit seiner Device-Abrechnungsvorlage ermöglicht, was die Agenteninteraktion weiter vereinfacht.
• Erweiterte Argumentationsaufgaben: QWEN3 verwendet eine umfassende Denkfähigkeit, um optimale und genaue Antworten zu liefern. Das Modell verwendet die Kette des Gedächtnisses für komplexe Aufgaben und einen Nicht-Denken-Modus für optimierte Geschwindigkeit.

Abschluss

In diesem Artikel haben wir gelernt, wie man QWEN3-Agenten-KI- und RAG-Systeme baut. Die hohe Leistung, die mehrsprachige Unterstützung und die fortschrittliche Fähigkeit von QWEN3 machen es zu einer starken Wahl für das Abrufen von Wissen und agentenbasierte Aufgaben. Durch die Integration von QWEN3 in RAG- und Agenten-Pipelines können wir genaue, kontextbezogene und reibungslose Antworten erhalten, was es zu einem starken Anwärter auf reale Anwendungen für KI-betriebene Systeme macht.

Häufig gestellte Fragen

Hallo, ich bin Vipin. Ich bin begeistert von Datenwissenschaft und maschinellem Lernen. Ich habe Erfahrung mit der Analyse von Daten, dem Aufbau von Modellen und der Lösung realer Probleme. Ich möchte Daten verwenden, um praktische Lösungen zu erstellen und in den Bereichen Datenwissenschaft, maschinelles Lernen und NLP zu lernen.