Eingabeaufforderungen prägen jede Interaktion mit einem großen Sprachmodell. Klare Anweisungen führen zu gezielten, nützlichen Antworten, während vage Anweisungen oft zu inkonsistenten Ergebnissen führen. Dies wird schwieriger, wenn Groups dieselbe Aufgabe wiederholt in einem festen Format, Ton oder einer festen Struktur erledigen müssen.

Beim Meta-Prompting wird das Modell aufgefordert, vor Abschluss der Aufgabe eine wiederverwendbare Eingabeaufforderung, Vorlage, Checkliste oder einen Workflow zu entwerfen. In diesem Artikel untersuchen wir, wie es die Konsistenz, Skalierbarkeit und Immediate-Qualität verbessert.

Meta-Prompting ist eine Technik, bei der ein Immediate verwendet wird, um einen anderen Immediate zu erstellen, zu verbessern oder zu steuern. Vereinfacht ausgedrückt bedeutet dies, das Modell dazu zu bewegen, ein Immediate-Designer zu werden.

Bei der normalen Eingabeaufforderung bitten Sie das Modell direkt, eine Aufgabe abzuschließen. Zum Beispiel:

„Schreiben Sie einen Artikel über KI-Agenten.“

Beim Meta-Prompting bitten Sie das Modell, zunächst den besten Immediate für diese Aufgabe zu erstellen. Zum Beispiel:

„Erstellen Sie eine wiederverwendbare Eingabeaufforderung, die einem KI-Modell dabei helfen kann, hochwertige Artikel zu KI-Themen zu schreiben.“

Die Ausgabe einer Meta-Eingabeaufforderung ist normalerweise nicht die endgültige Antwort. It may be a immediate template, system instruction, algorithm, guidelines, rubric, or structured workflow that may be reused for related duties.

Dies ist nützlich, wenn Sie Konsistenz über viele Ausgaben hinweg wünschen. Anstatt jedes Mal eine neue Eingabeaufforderung zu schreiben, erstellen Sie einmalig eine starke wiederverwendbare Eingabeaufforderungsstruktur und verwenden diese für mehrere Aufgaben.

Beim Meta-Prompting wird vor der letzten Aufgabe eine zusätzliche Ebene hinzugefügt. Anstatt das Modell direkt zu bitten, die endgültige Ausgabe zu erzeugen, fordern wir es zunächst auf, die richtige Eingabeaufforderung, Vorlage oder den richtigen Befehlssatz für diese Ausgabe zu erstellen.

Ein einfacher Meta-Prompting-Workflow besteht aus vier Schritten.

1. Definieren Sie das Ziel: Geben Sie klar an, was das Modell mit der letzten Eingabeaufforderung erstellen soll, z. B. eine Zusammenfassung des Kundenfeedbacks, Python-Code, einen Weblog-Artikel oder einen Geschäftsbericht.
2. Einschränkungen hinzufügen: Geben Sie Ton, Zielgruppe, Länge, Struktur, Instruments, Beispiele, Formatierungsregeln und alles an, was das Modell vermeiden soll.
3. Generieren Sie eine wiederverwendbare Eingabeaufforderung: Bitten Sie das Modell, eine klare Eingabeaufforderung mit Anweisungen und Platzhaltern zu erstellen, die für verschiedene Eingaben angepasst werden kann.
4. Testen und verfeinern: Probieren Sie die generierte Eingabeaufforderung anhand realer Beispiele aus. Wenn die Ergebnisse nicht zufriedenstellend sind, verbessern Sie den Meta-Immediate und wiederholen Sie den Vorgang.

Dadurch wird die Aufforderung systematischer. Sie hoffen nicht nur auf eine gute Antwort. Sie entwerfen einen zeitnahen Arbeitsablauf, der getestet, verbessert und wiederverwendet werden kann.

Eine Meta-Eingabeaufforderung muss nicht kompliziert sein. Eine gute Meta-Eingabeaufforderung umfasst normalerweise die Aufgabe, das Ziel, die Einschränkungen, das erwartete Format und eine Möglichkeit, die endgültige Ausgabe zu überprüfen.

Hier ist eine einfache wiederverwendbare Vorlage:

Act as an professional immediate designer.
Create a reusable immediate for the next activity:
Activity:
(Describe the duty)
The immediate ought to observe these necessities:
Viewers:
(Who the output is for)
Tone:
(Formal, easy, technical, pleasant, and so forth.)
Size:
(Brief, detailed, 500 phrases, and so forth.)
Output format:
(Paragraph, desk, JSON, bullet factors, report, and so forth.)
Should embody:
(Essential factors)
Should keep away from:
(Issues the mannequin mustn't do)
Return:
System directions
Consumer immediate template with placeholders
A brief guidelines to validate the output

Mithilfe dieser Vorlage kann das Modell eine Eingabeaufforderung erstellen, die für ähnliche Aufgaben wiederverwendet werden kann. Die Checkliste ist wichtig, da sie eine einfache Möglichkeit bietet, zu überprüfen, ob die Ausgabe den erwarteten Regeln entspricht.

Lassen Sie uns Meta-Prompting anhand eines einfachen Beispiels verstehen.

Angenommen, Sie möchten Artikel zu verschiedenen KI-Themen schreiben. Eine normale Eingabeaufforderung wäre:

„Schreiben Sie einen Artikel über KI-Agenten.“

Dadurch erhalten Sie möglicherweise einen Artikel, die Struktur kann sich jedoch jedes Mal ändern. Ein Artikel enthält möglicherweise Beispiele, ein anderer möglicherweise nicht. Einer enthält möglicherweise häufig gestellte Fragen, während ein anderer sie möglicherweise völlig vermisst.

Anstatt das Modell nun direkt zu bitten, den Artikel zu schreiben, verwenden wir Meta-Prompting.

Schritt 1: Schreiben Sie die Meta-Eingabeaufforderung

Act as an professional immediate designer.
Create a reusable immediate that helps an AI mannequin write beginner-friendly articles on AI matters.
The article ought to embody:
• A brief introduction
• Easy clarification of the subject
• Sensible examples
• Use instances
• Comparability with associated ideas
• Finest practices
• Frequent errors
• Conclusion
• FAQs
Maintain the tone easy, instructional, and sensible.
Additionally embody a guidelines to validate whether or not the ultimate article is full.

Schritt 2: Das Modell generiert eine wiederverwendbare Eingabeaufforderung

Das Modell generiert eine Eingabeaufforderung wie diese:

You're an professional AI educator and technical content material author.
Write a beginner-friendly article on the next matter:
Matter: (INSERT AI TOPIC)
Target market: Inexperienced persons with little or no prior data of the subject.
Article purpose: Assist readers perceive the subject, see the way it works in observe, and be taught when and learn how to use it.
Use a easy, instructional, and sensible tone. Clarify technical phrases utilizing plain language. Keep away from pointless jargon, overly tutorial explanations, and sophisticated mathematical particulars. When a technical time period is important, outline it instantly.
Use clear headings, brief paragraphs, examples, bullet factors, and tables the place they enhance readability.
The article ought to observe this construction:
(Create a Clear and Participating Title)
Introduction
Write a brief introduction that:
• Introduces the subject
• Explains why it's helpful or necessary
• Tells the reader what they'll be taught
• Makes use of a relatable drawback, query, or real-world scenario
What Is (Matter)?
Clarify the subject in easy language.
Embody:
• A transparent definition
• The primary objective of the idea
• A easy analogy
• The essential thought behind the way it works
Assume the reader has by no means studied the subject earlier than.
How Does It Work?
Clarify the method step-by-step.
Embody:
• The primary elements
• The essential workflow
• What goes into the system
• What occurs throughout processing
• What output is produced
Use a numbered clarification when acceptable.
Sensible Examples
Present at the least two sensible examples.
For every instance, embody:
• The issue
• How the idea is utilized
• The anticipated outcome
• A easy walkthrough
Embody beginner-friendly code, prompts, diagrams described in textual content, or pattern inputs and outputs when related.
Clarify each code instance clearly. Don't embody code with out explaining what it does.
Frequent Use Circumstances
Describe at the least 5 practical use instances.
For every use case, clarify:
• The trade or scenario
• The issue being solved
• How the subject helps
• The anticipated profit
Use instances needs to be sensible quite than overly theoretical.
Comparability With Associated Ideas
Evaluate the subject with intently associated ideas reminiscent of:
(INSERT RELATED CONCEPTS, OR IDENTIFY THEM AUTOMATICALLY)
Use a comparability desk containing:
• Idea
• Important objective
• The way it works
• Finest fitted to
• Key limitation
After the desk, clarify when somebody ought to select every idea.
Don't current associated ideas as an identical. Clearly clarify their variations.
Finest Practices
Present sensible finest practices for utilizing the subject efficiently.
Cowl areas reminiscent of:
• Planning
• Information or enter high quality
• Immediate or configuration design
• Testing
• Analysis
• Safety
• Price
• Efficiency
• Human assessment
• Steady enchancment
Clarify why every finest observe issues.
Frequent Errors
Describe the most typical newbie errors.
For every mistake, embody:
• What the error is
• Why it occurs
• What drawback it causes
• Find out how to keep away from or repair it
Embody at the least 5 errors.
Limitations and Issues
Clarify the necessary limitations of the subject.
Focus on related considerations reminiscent of:
• Accuracy
• Hallucination
• Bias
• Privateness
• Safety
• Price
• Scalability
• Upkeep
• Dependence on information or instruments
Maintain this part balanced. Don't exaggerate both the advantages or the dangers.
Conclusion
Write a brief conclusion that:
• Summarizes the principle thought
• Reinforces a very powerful classes
• Explains when the subject is helpful
• Suggests one sensible subsequent step for newcomers
Don't introduce new ideas within the conclusion.
Ceaselessly Requested Questions
Write between 5 and eight FAQs.
Embody questions on:
• The essential which means of the subject
• The way it works
• Whether or not coding is required
• Instruments or platforms generally used
• Prices or limitations
• Newbie studying steps
• Variations from associated ideas
• Actual-world purposes
Maintain every reply clear and concise.
Closing Article Validation Guidelines
Earlier than submitting the article, confirm the next:
Content material
• The article has a transparent and related title.
• The introduction is brief and explains why the subject issues.
• The subject is outlined in easy language.
• Technical phrases are clearly defined.
• A easy analogy is included.
• The working course of is defined step-by-step.
• Not less than two sensible examples are included.
• Examples comprise sufficient clarification for newcomers.
• Not less than 5 sensible use instances are included.
• Associated ideas are in contrast clearly.
• A comparability desk is included.
• Finest practices are sensible and actionable.
• Not less than 5 widespread errors are defined.
• Essential limitations and dangers are mentioned.
• The conclusion summarizes the article with out including new data.
• 5 to eight FAQs are included.
Writing High quality
• The language is straightforward and beginner-friendly.
• The article avoids pointless jargon.
• Paragraphs are brief and readable.
• Headings observe a logical order.
• Examples are practical and related.
• Claims are correct and never exaggerated.
• Repeated data has been eliminated.
• The article is instructional quite than promotional.
• The ultimate article will be understood with out exterior context.
Sensible Worth
• The reader understands what the subject is.
• The reader understands the way it works.
• The reader is aware of the place it may be used.
• The reader understands the way it differs from associated ideas.
• The reader is aware of the principle finest practices and errors.
• The reader has a transparent subsequent step for studying or experimentation.
Output solely the entire article. Don't embody planning notes, hidden reasoning, or feedback about how the article was generated.

Schritt 3: Verwenden Sie die generierte Eingabeaufforderung

Füllen Sie nun den Platzhalter aus:

Matter: AI Brokers 

Und dann wird die Ausgabe entsprechend den KI-Agenten und der bereitgestellten Eingabeaufforderung generiert.

Schritt 4: Testen und verbessern

Überprüfen Sie nach dem Ausführen dieser Eingabeaufforderung die Ausgabe anhand der Checkliste.

Wenn der Artikel zu allgemein erscheint, fügen Sie Folgendes hinzu:

Embody one office instance.

Artikel ist zu lang, fügen Sie hinzu:

Maintain every part brief and simple to scan.

Wenn dem Artikel die Struktur fehlt, fügen Sie Folgendes hinzu:

Use correct headings and subheadings.

So funktioniert Meta-Prompting in der Praxis. Wir erstellen nicht nur eine endgültige Antwort. Wir erstellen eine wiederverwendbare Eingabeaufforderung, die bei ähnlichen Aufgaben viele konsistente Antworten generieren kann.

Vereinfacht ausgedrückt gibt Ihnen eine normale Eingabeaufforderung eine Antwort. Die Eingabeaufforderung für wenige Aufnahmen zeigt die Modellbeispiele zum Nachahmen. Die Aufforderung zur Gedankenkette hilft dem Modell, eine Aufgabe zu lösen. Meta-Prompting geht eine Ebene höher und hilft dabei, die Eingabeaufforderung oder den Workflow zu entwerfen, der für viele ähnliche Aufgaben wiederverwendet werden kann.

Wenn Sie beispielsweise einen LinkedIn-Beitrag wünschen, reicht eine normale Aufforderung aus. Wenn Sie möchten, dass der Beitrag einem bestimmten Stil folgt, kann die Eingabeaufforderung mit wenigen Bildern hilfreich sein. Wenn der Beitrag eine gründliche Analyse erfordert, kann die Aufforderung zur Gedankenkette dabei helfen, die Argumentation zu strukturieren. Wenn Sie jedoch eine wiederverwendbare Eingabeaufforderung wünschen, mit der regelmäßig viele LinkedIn-Beiträge generiert werden können, ist Meta-Eingabeaufforderung die bessere Wahl.

Meta-Prompting kann je nach Aufgabenstellung auf unterschiedliche Weise eingesetzt werden. Manchmal verwenden wir es, um eine neue Eingabeaufforderung zu erstellen, manchmal, um eine vorhandene Eingabeaufforderung zu verbessern, und manchmal, um Anweisungen für einen KI-Agenten zu entwerfen. Hier sind einige gängige Muster.

Diese Muster machen Meta-Prompting praktisch. Ein Content material-Group kann beispielsweise einen Vorlagen-Builder verwenden, um wiederverwendbare Weblog-Eingabeaufforderungen zu erstellen. Ein Entwickler kann einen Immediate-Refiner verwenden, um einen schwachen Codierungs-Immediate zu verbessern. Ein Produktteam kann Agentengerüste verwenden, um zu definieren, wie ein KI-Agent argumentieren, Instruments verwenden und Ausgaben zurückgeben soll.

Die Grundidee ist einfach: Meta-Prompting hilft uns, vom Schreiben einmaliger Prompts zum Erstellen wiederverwendbarer Immediate-Systeme überzugehen.

Abschluss

Meta-Prompting trägt dazu bei, LLM-Ausgaben strukturierter, konsistenter und wiederverwendbar zu machen. Anstatt das Modell zu bitten, eine Aufgabe direkt zu erledigen, bitten wir es, die Eingabeaufforderung, Vorlage, Regeln oder Checkliste zu erstellen, die zukünftige Ausgaben leiten wird. Dies macht es nützlich für sich wiederholende Arbeitsabläufe wie Inhaltserstellung, Codierung, Kundensupport, Datenwissenschaft, Bildung und KI-Agenten. Dadurch wird die Eingabeaufforderung zu einem Entwurfsprozess, der getestet, verbessert und skaliert werden kann. Es bedarf jedoch noch eines klaren Ziels, strenger Einschränkungen, realer Beispiele und ordnungsgemäßer Assessments. Einfach ausgedrückt hilft uns Meta-Prompting dabei, bessere Anweisungen für zuverlässige KI-Workflows zu entwerfen.

Häufig gestellte Fragen

In der aktuellen Laptop-Imaginative and prescient-Landschaft umfasst die Standardarbeitsanweisung einen modularen „Lego-Baustein“-Ansatz: einen vorab trainierten Imaginative and prescient-Encoder für die Merkmalsextraktion gepaart mit einem separaten Decoder für die Aufgabenvorhersage. Diese architektonische Trennung ist zwar effektiv, erschwert jedoch die Skalierung und behindert die Interaktion zwischen Sprache und Imaginative and prescient.

Der Institut für Technologieinnovation (TII) Das Forschungsteam stellt dieses Paradigma in Frage Falkenwahrnehmungein 600M-Parameter-Unified-Dense-Transformer. Durch die Verarbeitung von Bild-Patches und Textual content-Tokens in einem gemeinsamen Parameterraum von der ersten Ebene an hat das TII-Forschungsteam eine entwickelt frühe Fusion Stack, der Wahrnehmung und Aufgabenmodellierung mit äußerster Effizienz handhabt.

Die Architektur: Ein einzelner Stack für jede Modalität

Das Kerndesign von Falcon Notion basiert auf der Hypothese, dass ein einzelner Transformer gleichzeitig visuelle Darstellungen lernen und eine aufgabenspezifische Generierung durchführen kann^.

Hybride Aufmerksamkeit und GGROPE

Im Gegensatz zu Normal-Sprachmodellen, die eine strikte kausale Maskierung verwenden, verwendet Falcon Notion eine Hybride Aufmerksamkeitsstrategie^{. Bild-Token kümmern sich bidirektional umeinander, um einen globalen visuellen Kontext aufzubauen, während Textual content- und Aufgaben-Token sich um alle vorhergehenden Token kümmern (kausale Maskierung), um eine autoregressive Vorhersage zu ermöglichen.}

Um zweidimensionale räumliche Beziehungen in einer abgeflachten Reihenfolge aufrechtzuerhalten, verwendet das Forschungsteam 3D-Rotationspositionseinbettungen. Dadurch wird die Kopfdimension in eine sequentielle Komponente und eine räumliche Komponente zerlegt Golden Gate SEIL (GGROPE). Mit GGROPE können Aufmerksamkeitsköpfe auf relative Positionen entlang beliebiger Winkel achten, wodurch das Modell sturdy gegenüber Rotations- und Seitenverhältnisschwankungen wird.

Minimalistische Sequenzlogik

Die grundlegende architektonische Abfolge folgt a Wahrnehmungskette Format:

(Picture) (Textual content) <coord> <dimension> <seg> ... <eos>^.

Dadurch wird sichergestellt, dass das Modell räumliche Mehrdeutigkeiten (Place und Größe) als Konditionierungssignal auflöst, bevor die endgültige Segmentierungsmaske generiert wird^.

Engineering for Scale: Myon, FlexAttention und Raster Ordering

Das TII-Forschungsteam führte mehrere Optimierungen ein, um das Coaching zu stabilisieren und die GPU-Auslastung für diese heterogenen Sequenzen zu maximieren.

• Myonenoptimierung: Das Forschungsteam berichtet, dass der Einsatz von Myonen-Optimierer für spezialisierte Köpfe (Koordinaten, Größe und Segmentierung) führte zu geringeren Trainingsverlusten und einer verbesserten Leistung bei Benchmarks im Vergleich zum Normal-AdamW.
• FlexAttention und Sequence Packing: Um Bilder mit nativen Auflösungen zu verarbeiten, ohne Rechenleistung für das Auffüllen zu verschwenden, verwendet das Modell a Scatter-and-Pack-Strategie. Gültige Patches werden in Blöcke fester Länge gepackt und FlexAttention wird verwendet, um die Selbstaufmerksamkeit innerhalb der Grenzen jedes Bildbeispiels einzuschränken.
• Rasterreihenfolge: Wenn mehrere Objekte vorhanden sind, sagt Falcon Notion diese voraus Rasterreihenfolge (von oben nach unten, von hyperlinks nach rechts). Es wurde festgestellt, dass dies eine schnellere Konvergenz und einen geringeren Koordinatenverlust verursacht als eine zufällige oder größenbasierte Reihenfolge.

Das Trainingsrezept: Destillation auf 685 GT

Das Modell verwendet Multi-Lehrer-Destillation zur Initialisierung, zum Destillieren von Wissen DINOv3 (ViT-H) für lokale Besonderheiten und SigLIP2 (So400m) für sprachorientierte Funktionen^{. Nach der Initialisierung durchläuft das Modell a dreistufige Wahrnehmungstrainingspipeline insgesamt ca 685 Gigatokens (GT):}

1. In-Context-Itemizing (450 GT): Lernen, den Szenenbestand aufzulisten, um einen globalen Kontext aufzubauen.
2. Aufgabenausrichtung (225 GT): Übergang zu unabhängigen Abfrageaufgaben mit Abfragemaskierung um sicherzustellen, dass das Modell jede Abfrage ausschließlich auf dem Bild basiert.
3. Langkontext-Feinabstimmung (10 GT): Kurze Anpassung für excessive Dichte, wodurch das Maskenlimit auf 600 professional Ausdruck erhöht wird.

In diesen Phasen wird die aufgabenspezifische Serialisierung verwendet:

<picture>expr1<current><coord><dimension><seg> <eoq>expr2<absent> <eoq> <eos>^.

Der <current> Und <absent> Token zwingen das Modell, vor der Lokalisierung eine binäre Entscheidung über die Existenz eines Objekts zu treffen^.

PBench: Profilierungsfunktionen über gesättigte Basislinien hinaus

Um den Fortschritt zu messen, stellte das TII-Forschungsteam vor PBenchein Benchmark, der Stichproben in fünf Ebenen semantischer Komplexität organisiert, um Modellfehlermodi zu entwirren.

Hauptergebnisse: Falcon Notion vs. SAM 3 (Makro-F1)

Benchmark-Break up	SAM 3	Falkenwahrnehmung (600M)
L0: Einfache Objekte	64.3	65.1
L1: Attribute	54.4	63,6
L2: OCR-gesteuert	24.6	38,0
L3: Räumliches Verständnis	31.6	53,5
L4: Beziehungen	33.3	49.1
Dichte Spaltung	58.4	72,6

Falcon Notion übertrifft SAM 3 bei komplexen semantischen Aufgaben deutlich und zeigt insbesondere a +21,9 Punktegewinn zum räumlichen Verständnis (Stufe 3)^.

FalconOCR: Der 300M-Dokumentenspezialist

Das TII-Group hat dieses Early-Fusion-Rezept auch auf erweitert FalconOCRein kompakter 300M-Parameter Das Modell wurde von Grund auf initialisiert, um der feinkörnigen Glyphenerkennung Priorität einzuräumen. FalconOCR ist mit mehreren größeren proprietären und modularen OCR-Systemen konkurrenzfähig:

• olmOCR: Erfolgt 80,3 % Genauigkeitentspricht oder übertrifft Gemini 3 Professional (80,2 %) und GPT 5.2 (69,8 %).
• OmniDocBench: Erreicht eine Gesamtpunktzahl von 88,64vor GPT 5.2 (86,56) und Mistral OCR 3 (85,20), liegt jedoch hinter der High-Modulpipeline PaddleOCR VL 1.5 (94,37) zurück.

Wichtige Erkenntnisse

• Einheitliche Early-Fusion-Architektur: Falcon Notion ersetzt modulare Encoder-Decoder-Pipelines durch einen einzigen dichten Transformer, der Bild-Patches und Textual content-Tokens in einem gemeinsamen Parameterraum aus der ersten Ebene verarbeitet. Es nutzt eine hybride Aufmerksamkeitsmaske – bidirektional für visuelle Token und kausal für Aufgabentoken –, um gleichzeitig als Imaginative and prescient-Encoder und autoregressiver Decoder zu fungieren.
• Wahrnehmungskettensequenz: Das Modell serialisiert die Instanzsegmentierung in eine strukturierte Sequenz $(langle coordrangle rightarrow langle sizerangle rightarrow langle segrangle)$was es dazu zwingt, die räumliche Place und Größe als Konditionierungssignal aufzulösen, bevor die Maske auf Pixelebene generiert wird.
• Spezialisierte Köpfe und GGROPE: Um dichte räumliche Daten zu verwalten, verwendet das Modell Fourier-Characteristic-Encoder für die hochdimensionale Koordinatenkartierung und Golden Gate ROPE (GGROPE), um isotrope 2D-Raumaufmerksamkeit zu ermöglichen. Der Muon-Optimierer wird für diese spezialisierten Köpfe eingesetzt, um die Lernraten mit dem vorab trainierten Rückgrat abzugleichen.
• Semantische Leistungssteigerungen: Beim neuen PBench-Benchmark, der semantische Fähigkeiten (Stufen 0–4) entwirrt, zeigt das 600M-Modell erhebliche Vorteile gegenüber SAM 3 in komplexen Kategorien, einschließlich eines Vorsprungs von +13,4 Punkten bei OCR-gesteuerten Abfragen und eines Vorsprungs von +21,9 Punkten beim räumlichen Verständnis.
• Hocheffiziente OCR-Erweiterung: Die Architektur lässt sich auf Falcon OCR herunterskalieren, ein 300-M-Parameter-Modell, das bei olmOCR 80,3 % und bei OmniDocBench 88,64 % erreicht. Es erreicht oder übertrifft die Genauigkeit viel größerer Systeme wie Gemini 3 Professional und GPT 5.2 und sorgt gleichzeitig für einen hohen Durchsatz für die Verarbeitung umfangreicher Dokumente.

---

Schauen Sie sich das an Papier, Modellgewicht, Repo Und Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Bild vom Autor

# Einführung

Wenn Sie Anwendungen mit großen Sprachmodellen (LLMs) erstellen, haben Sie wahrscheinlich schon einmal dieses Szenario erlebt, bei dem Sie eine Eingabeaufforderung ändern, sie ein paar Mal ausführen und die Ausgabe sich besser anfühlt. Aber ist es tatsächlich besser? Ohne objektive Kennzahlen stecken Sie in dem fest, was die Branche heute als „Vibe-Testing“ bezeichnet, was bedeutet, Entscheidungen auf der Grundlage Ihrer Instinct und nicht auf Grundlage von Daten zu treffen.

Die Herausforderung ergibt sich aus einem grundlegenden Merkmal von KI-Modellen: der Unsicherheit. Im Gegensatz zu herkömmlicher Software program, bei der dieselbe Eingabe immer dieselbe Ausgabe erzeugt, können LLMs unterschiedliche Reaktionen auf ähnliche Eingabeaufforderungen generieren. Dies macht herkömmliche Unit-Assessments wirkungslos und lässt Entwickler rätseln, ob ihre Änderungen wirklich die Leistung verbessert haben.

Dann kam Google Stax, ein neues experimentelles Toolkit von Google DeepMind Und Google Labs Entwickelt, um der KI-Bewertung Genauigkeit zu verleihen. In diesem Artikel werfen wir einen Blick darauf, wie Stax es Entwicklern und Datenwissenschaftlern ermöglicht, Modelle und Eingabeaufforderungen anhand ihrer eigenen benutzerdefinierten Kriterien zu testen und so subjektive Urteile durch wiederholbare, datengesteuerte Entscheidungen zu ersetzen.

# Google Stax verstehen

Stax ist ein Entwicklertool, das die Evaluierung generativer KI-Modelle und -Anwendungen vereinfacht. Betrachten Sie es als ein Check-Framework, das speziell für die besonderen Herausforderungen der Arbeit mit LLMs entwickelt wurde.

Im Kern löst Stax ein einfaches, aber kritisches Drawback: Woher wissen Sie, ob ein Modell oder eine Eingabeaufforderung für Ihren spezifischen Anwendungsfall besser ist als ein anderes? Anstatt sich auf allgemeine Kriterien zu verlassen, die möglicherweise nicht den Anforderungen Ihrer Anwendung entsprechen, können Sie mit Stax definieren, was „intestine“ für Ihr Projekt bedeutet, und es anhand dieser Requirements messen.

// Erkundung der wichtigsten Fähigkeiten

• Es hilft dabei, Ihre eigenen Erfolgskriterien zu definieren, die über allgemeine Kennzahlen wie Sprachkompetenz und Sicherheit hinausgehen
• Sie können verschiedene Eingabeaufforderungen verschiedener Modelle nebeneinander testen
• Sie können datengesteuerte Entscheidungen treffen, indem Sie gesammelte Leistungsmetriken visualisieren, einschließlich Qualität, Latenz und Token-Nutzung
• Es kann maßstabsgetreue Bewertungen mit Ihren eigenen Datensätzen durchführen

Stax ist flexibel und unterstützt nicht nur Googles Zwillinge Modelle aber auch GPT von OpenAI, Claude von Anthropic, Mistralund andere über API-Integrationen.

# Über Normal-Benchmarks hinausgehen

Allgemeine KI-Benchmarks erfüllen einen wichtigen Zweck, beispielsweise dabei, den Modellfortschritt auf hohem Niveau zu verfolgen. Sie berücksichtigen jedoch oft nicht die domänenspezifischen Anforderungen. Ein Modell, das sich beim Denken im offenen Bereich auszeichnet, könnte bei speziellen Aufgaben wie den folgenden schlecht abschneiden:

• Compliance-orientierte Zusammenfassung
• Analyse von Rechtsdokumenten
• Unternehmensspezifische Fragen und Antworten
• Einhaltung der Markenstimme

In der Lücke zwischen allgemeinen Benchmarks und realen Anwendungen bietet Stax einen Mehrwert. Es ermöglicht Ihnen, KI-Systeme anhand Ihrer Daten und Kriterien zu bewerten, nicht anhand abstrakter globaler Bewertungen.

# Erste Schritte mit Stax

// Schritt 1: Hinzufügen eines API-Schlüssels

Um Modellausgaben zu generieren und Auswertungen auszuführen, müssen Sie einen API-Schlüssel hinzufügen. Stax empfiehlt, mit a zu beginnen Gemini-API-Schlüsselda die integrierten Evaluatoren es standardmäßig verwenden. Sie können sie jedoch auch für die Verwendung anderer Modelle konfigurieren. Sie können Ihren ersten Schlüssel beim Onboarding oder später in den Einstellungen hinzufügen.

Um mehrere Anbieter zu vergleichen, fügen Sie Schlüssel für jedes Modell hinzu, das Sie testen möchten. Dies ermöglicht einen parallelen Vergleich ohne Werkzeugwechsel.

Einen API-Schlüssel erhalten

// Schritt 2: Erstellen eines Evaluierungsprojekts

Projekte sind der zentrale Arbeitsbereich in Stax. Jedes Projekt entspricht einem einzelnen Evaluierungsexperiment, beispielsweise dem Testen eines neuen System-Prompts oder dem Vergleich zweier Modelle.

Sie können zwischen zwei Projekttypen wählen:

Projekttyp	Am besten für
Einzelmodell	Baseline-Leistung oder Testen einer Iteration eines Modells oder einer Systemaufforderung
Seite an Seite	Direkter Vergleich zweier verschiedener Modelle oder Eingabeaufforderungen im selben Datensatz

Abbildung 1: Ein Flussdiagramm für einen Vergleich nebeneinander, das zeigt, wie zwei Modelle dieselben Eingabeaufforderungen erhalten und wie ihre Ausgaben in einen Evaluator fließen, der Vergleichsmetriken erstellt

// Schritt 3: Erstellen Sie Ihren Datensatz

Eine solide Bewertung beginnt mit Daten, die genau sind und Ihre realen Anwendungsfälle widerspiegeln. Stax bietet zwei Hauptmethoden an, um dies zu erreichen:

Possibility A: Manuelles Hinzufügen von Daten im Immediate Playground

Wenn Sie noch keinen Datensatz haben, erstellen Sie einen von Grund auf:

• Wählen Sie die Modelle aus, die Sie testen möchten
• Legen Sie eine Systemaufforderung fest (non-obligatory), um die Rolle der KI zu definieren
• Fügen Sie Benutzeraufforderungen hinzu, die echte Benutzereingaben darstellen
• Geben Sie menschliche Bewertungen ein (non-obligatory), um grundlegende Qualitätsbewertungen zu erstellen

Jede Eingabe, Ausgabe und Bewertung wird automatisch als Testfall gespeichert.

Possibility B: Hochladen eines vorhandenen Datensatzes
Für Groups mit Produktionsdaten laden Sie CSV-Dateien direkt hoch. Wenn Ihr Datensatz keine Modellausgaben enthält, klicken Sie auf „Ausgaben generieren“ und wählen Sie ein Modell aus, um diese zu generieren.

Finest Follow: Beziehen Sie Randfälle und widersprüchliche Beispiele in Ihren Datensatz ein, um umfassende Assessments sicherzustellen.

# Auswertung von KI-Ausgaben

// Durchführung einer manuellen Bewertung

Sie können menschliche Bewertungen zu einzelnen Ergebnissen direkt auf dem Spielplatz oder im Projekt-Benchmark abgeben. Obwohl die menschliche Bewertung als „Goldstandard“ gilt, ist sie langsam, teuer und schwer zu skalieren.

// Durchführen einer automatisierten Bewertung mit Autoratern

Um viele Ausgaben gleichzeitig zu bewerten, verwendet Stax LLM-als-Richter Auswertung, bei der ein leistungsstarkes KI-Modell die Ergebnisse eines anderen Modells anhand Ihrer Kriterien bewertet.

Stax enthält vorinstallierte Evaluatoren für gängige Metriken:

• Geläufigkeit
• Sachliche Konsistenz
• Sicherheit
• Anweisungen folgen
• Prägnanz

Die Stax-Bewertungsoberfläche zeigt eine Spalte mit Modellausgaben mit angrenzenden Bewertungsspalten von verschiedenen Evaluatoren sowie eine Schaltfläche „Bewertung ausführen“.

// Nutzung benutzerdefinierter Evaluatoren

Während vorinstallierte Evaluatoren einen hervorragenden Ausgangspunkt bieten, ist die Erstellung benutzerdefinierter Evaluatoren die beste Möglichkeit, zu messen, was für Ihren spezifischen Anwendungsfall wichtig ist.

Mit benutzerdefinierten Evaluatoren können Sie bestimmte Kriterien definieren, wie zum Beispiel:

• „Ist die Antwort hilfreich, aber nicht übermäßig vertraut?“
• „Enthält die Ausgabe personenbezogene Daten (PII)?“
• „Entspricht der generierte Code unserem internen Styleguide?“
• „Steht die Markenstimme im Einklang mit unseren Leitlinien?“

So erstellen Sie einen benutzerdefinierten Evaluator: Definieren Sie Ihre klaren Kriterien, schreiben Sie eine Eingabeaufforderung für das Richtermodell, die eine Bewertungscheckliste enthält, und testen Sie es anhand einer kleinen Stichprobe manuell bewerteter Ergebnisse, um eine Übereinstimmung sicherzustellen.

# Erkundung praktischer Anwendungsfälle

// Überprüfung von Anwendungsfall 1: Kundensupport-Chatbot

Stellen Sie sich vor, Sie erstellen einen Chatbot für den Kundensupport. Ihre Anforderungen könnten Folgendes umfassen:

• Professioneller Ton
• Präzise Antworten basierend auf Ihrer Wissensdatenbank
• Keine Halluzinationen
• Lösung gemeinsamer Probleme innerhalb von drei Börsen

Mit Stax würden Sie:

• Laden Sie einen Datensatz mit echten Kundenanfragen hoch
• Generieren Sie Antworten aus verschiedenen Modellen (oder verschiedenen Eingabeaufforderungsversionen)
• Erstellen Sie einen benutzerdefinierten Evaluator, der durch Professionalität und Genauigkeit punktet
• Vergleichen Sie die Ergebnisse nebeneinander, um den besten Leistungsträger auszuwählen

// Überprüfung von Anwendungsfall 2: Inhaltszusammenfassungstool

Für eine Anwendung zur Nachrichtenzusammenfassung ist Folgendes wichtig:

• Prägnanz (Zusammenfassungen unter 100 Wörtern)
• Sachliche Übereinstimmung mit dem Originalartikel
• Bewahrung wichtiger Informationen

Mit dem vorgefertigten Summarization High quality Evaluator von Stax erhalten Sie sofortige Messwerte, während benutzerdefinierte Evaluatoren bestimmte Längenbeschränkungen oder Markenanforderungen durchsetzen können.

Abbildung 2: Eine visuelle Darstellung des Stax-Schwungrads mit drei Phasen: Experiment (Testaufforderungen/Modelle), Evaluieren (Ausführen von Evaluatoren) und Analysieren (Metriken überprüfen und entscheiden).

# Ergebnisse interpretieren

Sobald die Auswertungen abgeschlossen sind, fügt Stax Ihrem Datensatz neue Spalten hinzu, die Bewertungen und Begründungen für jede Ausgabe anzeigen. Der Abschnitt „Projektmetriken“ bietet eine aggregierte Ansicht von:

• Menschliche Bewertungen
• Durchschnittliche Bewertung der Bewerter
• Inferenzlatenz
• Token zählt

Nutzen Sie diese quantitativen Daten, um:

• Iterationen vergleichen: Ist Immediate A durchweg besser als Immediate B?
• Wählen Sie zwischen Modellen: Ist das schnellere Modell den leichten Qualitätsverlust wert?
• Verfolgen Sie den Fortschritt: Verbessern Ihre Optimierungen tatsächlich die Leistung?
• Fehler identifizieren: Welche Eingaben führen durchweg zu schlechten Ergebnissen?

Abbildung 3: Eine Dashboard-Ansicht mit Balkendiagrammen, die zwei Modelle anhand mehrerer Metriken (Qualitätsfaktor, Latenz, Kosten) vergleichen.

# Implementierung von Finest Practices für effektive Bewertungen

1. Fangen Sie klein an und skalieren Sie dann: Sie benötigen nicht Hunderte von Testfällen, um einen Mehrwert zu erzielen. Ein Bewertungssatz mit nur zehn hochwertigen Eingabeaufforderungen ist unendlich wertvoller, als sich allein auf Vibe-Assessments zu verlassen. Beginnen Sie mit einem fokussierten Satz und erweitern Sie ihn, während Sie lernen.
2. Regressionstests erstellen: Ihre Bewertungen sollten Assessments beinhalten, die die bestehende Qualität schützen. Beispiel: „Immer gültiges JSON ausgeben“ oder „Niemals Mitbewerbernamen einbeziehen“. Dadurch wird verhindert, dass neue Änderungen das, was bereits funktioniert, zerstören.
3. Baue Herausforderungssets: Erstellen Sie Datensätze, die auf Bereiche abzielen, in denen Sie Ihre KI verbessern möchten. Wenn Ihr Modell mit komplexen Argumenten zu kämpfen hat, erstellen Sie ein Herausforderungsset speziell für diese Fähigkeit.
4. Geben Sie die menschliche Überprüfung nicht auf: Auch wenn sich automatisierte Auswertungen intestine skalieren lassen, bleibt es für die Entwicklung der Instinct von entscheidender Bedeutung, dass Ihr Group Ihr KI-Produkt nutzt. Verwenden Sie Stax, um überzeugende Beispiele aus menschlichen Assessments zu erfassen und sie in Ihre formalen Bewertungsdatensätze zu integrieren.

# Beantwortung häufig gestellter Fragen

1. Was ist Google STAX? Stax ist ein Entwicklertool von Google zur Evaluierung von LLM-basierten Anwendungen. Es hilft Ihnen, Modelle und Eingabeaufforderungen anhand Ihrer eigenen Kriterien zu testen, anstatt sich auf allgemeine Benchmarks zu verlassen.
2. Wie funktioniert Stax AI? Stax verwendet einen „LLM-as-Choose“-Ansatz, bei dem Sie Bewertungskriterien definieren und ein KI-Modell die Ergebnisse auf der Grundlage dieser Kriterien bewertet. Sie können vorgefertigte Evaluatoren verwenden oder benutzerdefinierte Evaluatoren erstellen.
3. Mit welchem ​​Software von Google können Einzelpersonen ihre Modelle für maschinelles Lernen erstellen? Während sich Stax eher auf die Bewertung als auf die Modellerstellung konzentriert, funktioniert es zusammen mit anderen Google-KI-Instruments. Zum Erstellen und Trainieren von Modellen verwenden Sie normalerweise TensorFlow oder Vertex AI. Stax hilft Ihnen dann bei der Bewertung der Leistung dieser Modelle.
4. Was ist Googles Äquivalent zu ChatGPT? Die primäre Konversations-KI von Google ist Gemini (ehemals Bard). Stax kann Ihnen dabei helfen, Eingabeaufforderungen für Gemini zu testen und zu optimieren und seine Leistung mit anderen Modellen zu vergleichen.
5. Kann ich KI anhand meiner eigenen Daten trainieren? Stax trainiert keine Modelle; es bewertet sie. Sie können jedoch Ihre eigenen Daten als Testfälle verwenden, um vorab trainierte Modelle zu bewerten. Zum Trainieren benutzerdefinierter Modelle auf Ihren Daten verwenden Sie Instruments wie Vertex AI.

# Abschluss

Die Ära des Vibe-Assessments geht zu Ende. Während die KI von experimentellen Demos zu Produktionssystemen übergeht, wird eine detaillierte Bewertung immer wichtiger. Google Stax bietet den Rahmen, um zu definieren, was „intestine“ für Ihren individuellen Anwendungsfall bedeutet, und die Instruments, um dies systematisch zu messen.

Indem Stax subjektive Urteile durch wiederholbare, datengesteuerte Bewertungen ersetzt, hilft es Ihnen:

• Versenden Sie KI-Funktionen mit Zuversicht
• Treffen Sie fundierte Entscheidungen zur Modellauswahl
• Schnellere Iteration bei Eingabeaufforderungen und Systemanweisungen
• Erstellen Sie KI-Produkte, die die Benutzeranforderungen zuverlässig erfüllen

Ganz gleich, ob Sie ein Datenwissenschaftler-Anfänger oder ein erfahrener ML-Ingenieur sind: Die Einführung strukturierter Bewertungspraktiken wird die Artwork und Weise, wie Sie mit KI bauen, verändern. Fangen Sie klein an, definieren Sie, worauf es für Ihre Anwendung ankommt, und lassen Sie sich bei Ihren Entscheidungen von Daten leiten.

Sind Sie bereit, über das Vibe-Testen hinauszugehen? Besuchen stax.withgoogle.com um das Software zu erkunden und der Group von Entwicklern beizutreten, die bessere KI-Anwendungen entwickeln.

// Referenzen

Shittu Olumid ist ein Software program-Ingenieur und technischer Autor, der sich leidenschaftlich dafür einsetzt, modernste Technologien zu nutzen, um fesselnde Erzählungen zu erschaffen, mit einem scharfen Blick fürs Element und einem Gespür für die Vereinfachung komplexer Konzepte. Sie können Shittu auch auf finden Twitter.

Meta hat SAM Audio veröffentlicht, ein prompt-gesteuertes Audio-Trennungsmodell, das auf einen häufigen Bearbeitungsengpass abzielt und einen Sound aus einem realen Combine isoliert, ohne für jede Soundklasse ein benutzerdefiniertes Modell zu erstellen. Meta hat 3 Hauptgrößen veröffentlicht, sam-audio-small, sam-audio-baseUnd sam-audio-large. Das Modell steht zum Herunterladen und Ausprobieren im Section Something Playground zur Verfügung.

Architektur

SAM Audio verwendet separate Encoder für jedes Konditionierungssignal, einen Audio-Encoder für die Mischung, einen Textual content-Encoder für die Beschreibung in natürlicher Sprache, einen Spannen-Encoder für Zeitanker und einen visuellen Encoder, der eine vom Video abgeleitete visuelle Eingabeaufforderung sowie eine Objektmaske verwendet. Die codierten Streams werden zu zeitlich ausgerichteten Merkmalen verkettet und dann von einem Diffusionstransformator verarbeitet, der die Selbstaufmerksamkeit über die zeitlich ausgerichtete Darstellung und die Queraufmerksamkeit auf das Textmerkmal richtet. Anschließend rekonstruiert ein DACVAE-Decoder Wellenformen und gibt zwei Ausgänge aus: Zielaudio und Restaudio.

Was SAM Audio macht und was „Section“ hier bedeutet?

SAM Audio nimmt eine Eingabeaufzeichnung, die mehrere überlappende Quellen enthält, zum Beispiel Sprache plus Verkehr plus Musik, und trennt anhand einer Eingabeaufforderung eine Zielquelle ab. In der öffentlichen Inferenz-API erzeugt das Modell zwei Ausgaben: outcome.goal Und outcome.residual. Das Forschungsteam beschreibt goal als der isolierte Ton, und residual wie alles andere.

Diese Ziel- und Restschnittstelle wird direkt den Editorvorgängen zugeordnet. Wenn Sie das Bellen eines Hundes in einem Podcast-Monitor entfernen möchten, können Sie das Bellen als Ziel betrachten und es dann subtrahieren, indem Sie nur den Relaxation beibehalten. Wenn Sie einen Gitarrenpart aus einem Konzertclip extrahieren möchten, behalten Sie stattdessen die Zielwellenform bei. Meta verwendet genau solche Beispiele, um zu erklären, was das Modell ermöglichen soll.

Die 3 Eingabeaufforderungstypen, die Meta liefert, werden ausgeliefert

Meta positioniert SAM Audio als ein einziges einheitliches Modell, das drei Aufforderungstypen unterstützt, und besagt, dass diese Aufforderungen einzeln oder kombiniert verwendet werden können.

1. Texteingabe: Sie beschreiben das Geräusch in natürlicher Sprache, zum Beispiel „Hundegebell“ oder „Singstimme“, und das Modell trennt dieses Geräusch aus der Mischung. Meta listet Textaufforderungen als einen der wichtigsten Interaktionsmodi auf, und das Open-Supply-Repo enthält ein Finish-to-Finish-Beispiel für die Verwendung SAMAudioProcessor Und mannequin.separate.
2. Visuelle Aufforderung: Sie klicken auf die Individual oder das Objekt in einem Video und bitten das Modell, den mit diesem visuellen Objekt verbundenen Ton zu isolieren. Das Meta-Staff beschreibt visuelle Aufforderung als Auswahl des klingenden Objekts im Video. Im veröffentlichten Codepfad wird die visuelle Eingabeaufforderung durch die Weitergabe von Videobildern und Masken an den Prozessor implementiert masked_videos.
3. Span-Prompting: Das Meta-Staff nennt Span-Prompting eine Branchenneuheit. Sie markieren Zeitabschnitte, in denen das Zielgeräusch auftritt, und das Modell verwendet diese Zeitabschnitte dann zur Steuerung der Trennung. Dies ist in mehrdeutigen Fällen wichtig, beispielsweise wenn dasselbe Instrument in mehreren Passagen vorkommt oder wenn ein Klang nur kurz vorhanden ist und Sie eine übermäßige Trennung des Modells verhindern möchten.

Ergebnisse

Das Meta-Staff positioniert SAM Audio als Anbieter von Spitzenleistung in verschiedenen, realen Szenarien und stellt es als einheitliche Various zu Audio-Instruments für einen einzigen Zweck dar. Das Staff veröffentlicht eine subjektive Bewertungstabelle für die Kategorien Allgemein, SFX, Sprache, Sprecher, Musik, Instr(wild), Instr(professional), mit allgemeinen Werten von 3,62 für Sam Audio Small, 3,28 für Sam Audio Base und 3,50 für Sam Audio Massive und Instr(Professional)-Werten von 4,49 für Sam Audio Massive.

Wichtige Erkenntnisse

1. SAM Audio ist ein einheitliches Audio-Trennmodellsegmentiert es den Klang aus komplexen Mischungen Textaufforderungen, visuelle Aufforderungen und Zeitspannenaufforderungen.
2. Die Kern-API erzeugt zwei Wellenformen professional Anfrage, goal für den isolierten Klang und residual für alles andere, was sich sauber auf gängige Bearbeitungsvorgänge wie das Entfernen von Rauschen, das Extrahieren von Stems oder das Beibehalten der Atmosphäre abbilden lässt.
3. Meta hat mehrere Prüfpunkte und Varianten veröffentlichteinschließlich sam-audio-small, sam-audio-base, sam-audio-largeplus television Varianten, von denen das Repo sagt, dass sie bei der visuellen Eingabeaufforderung eine bessere Leistung erbringen, veröffentlicht das Repo auch eine subjektive Bewertungstabelle nach Kategorie.
4. Die Veröffentlichung umfasst Instruments, die über alle Rückschlüsse hinausgehenMeta bietet a sam-audio-judge Modell, das Trennungsergebnisse anhand einer Textbeschreibung hinsichtlich Gesamtqualität, Erinnerung, Präzision und Treue bewertet.

---

Schauen Sie sich das an Technische Particulars Und GitHub-Seite. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Ich habe an der Verbesserung meiner Aufforderungsinteressierte gearbeitet, und dies ist eine der wichtigsten Lektionen, die ich bisher gelernt habe:

Die Artwork und Weise, wie Sie mit KI sprechen, kann es in eine bestimmte Richtung lenken, die nicht der Qualität Ihrer Antworten zugute kommt. Vielleicht mehr als du denkst (mehr als mir klar wurde).

In diesem Artikel werde ich erklären, wie Sie unbewusst Voreingenommenheit in Ihre Eingabeaufforderungen einführen können, warum dies problematisch ist (da dies die Qualität Ihrer Antworten beeinflusst) und vor allem: Was Sie dagegen tun können, damit Sie bessere Ergebnisse von KI erzielen können.

Voreingenommenheit in AI

Abgesehen von den Vorurteilen, die bereits in einigen KI -Modellen vorhanden sind (aufgrund der verwendeten Trainingsdaten), wie z. demografische Vorurteile (z. B. ein Modell, das öfter mit Frauen als mit Männern „Küchen“ assoziiert), Kulturelle Vorurteile (Das Mannequin Associates ‚Feiertage‘ leichter mit Weihnachten als mit Diwali oder Ramadan) oder Sprachbias (Ein Modell ist in bestimmten Sprachen, normalerweise Englisch, besser ab.) Sie beeinflussen auch die Schiefe der Antworten, die Sie erhalten.

Ja, durch Ihre Aufforderung. Ein einzelnes Wort in Ihrer Frage kann ausreichen, um das Modell einen bestimmten Pfad festzulegen.

Was ist (schnelle) Voreingenommenheit?

Bias ist eine Verzerrung in der Artwork und Weise, wie ein Modell Informationen verarbeitet oder priorisiert, wodurch systematischer Schrägen erzeugt werden.

Im Kontext der KI -Aufforderung beinhaltet es das Modell, das die Antwort „Farbe“ „färbt“. Oft, ohne dass Sie sich dessen bewusst sind.

Warum ist es ein Drawback?

KI-Systeme werden zunehmend für Entscheidungsfindung, Analyse und Schöpfung verwendet. In diesem Zusammenhang ist Qualitätsangelegenheiten. Die Verzerrung kann diese Qualität verringern.

Die Risiken unbewusster Vorurteile:

• Sie erhalten eine weniger nuancierte oder sogar falsche Antwort
• Sie (unbewusst) wiederholen Ihre eigenen Vorurteile
• Sie vermissen relevante Perspektiven oder Nuancen
• In beruflichen Kontexten (Journalismus, Forschung, Politik) kann dies Ihre Glaubwürdigkeit schädigen

Wann sind Sie gefährdet?

TL; DR: Immer, aber es wird besonders sichtbar, wenn Sie nur wenige Aufforderung verwenden.

Lange Model: Das Risiko einer Verzerrung besteht, wenn Sie einem KI -Modell eine Eingabeaufforderung geben, einfach weil jedes Wort, jede Sequenz und jedes Beispiel etwas von Ihrer Absicht, Ihrem Hintergrund oder Ihrer Erwartung trägt.

Mit wenigen Schüssen (bei dem Sie Beispiele für das Modell zum Spiegel angeben) ist das Verzerrungsims sichtbarer, da Sie Beispiele geben, die das Modell spiegelt. Die Reihenfolge dieser Beispiele, die Verteilung von Etiketten und sogar kleine Formatierungsunterschiede können die Antwort beeinflussen.

(Ich habe alle Voreingenommenheitrisiken in diesem Artikel zu den fünf häufigsten Aufforderungsprodukten, derzeit: Anweisungen, Zero-Shot, Wenig-Shot, Denkkette und rollenbasierte Aufforderung gestellt.)

Häufige Verzerrungen bei wenigen Schüssen auf Anspruch

Welche Vorurteile treten üblicherweise in wenigen Schüssen auf und was beinhalten sie?

Mehrheitslabelbias

• Das Drawback: Modell wählt häufiger das häufigste Etikett in Ihren Beispielen aus.
• Beispiel: Wenn 3 Ihrer 4 Beispiele als Antwort „Ja“ haben, prognostiziert das Modell leichter „Ja“.
• Lösung: Steadiness Labels.

Auswahlverzerrung

• Das Drawback: Beispiele oder Kontext sind nicht repräsentativ.
• Beispiel: Bei allen Beispielen geht es um Tech -Startups, sodass das Modell an diesem Kontext haftet.
• Lösung: Beispiele variieren/Steadiness.

Vorurteile verankern

• Das Drawback: Erstes Beispiel oder Anweisung bestimmt die Ausgangsrichtung zu stark.
• Beispiel: Wenn das erste Beispiel etwas als „billig und unzuverlässig“ beschreibt, kann das Modell ähnliche Elemente als geringe Qualität behandeln, unabhängig von späteren Beispielen.
• Lösung: Starten Sie impartial. Variieren. Bitten Sie ausdrücklich um Neubewertung.

Wiederholungserscheinung

• Das Drawback: Modell fügt dem letzten Beispiel in einer Eingabeaufforderung mehr Wert an.
• Beispiel: Die Antwort ähnelt dem Beispiel, das zuletzt erwähnt wird.
• Lösung: Beispiele drehen/Fragen in neuen Wendungen neu formulieren.

Formatierende Voreingenommenheit

• Das Drawback: Formatierende Unterschiede beeinflussen das Ergebnis: Structure (z. B. fett) wirkt sich auf die Aufmerksamkeit und die Auswahl aus.
• Beispiel: Ein fettes Etikett wird öfter ausgewählt als ein ohne Formatierung.
• Lösung: Führen Sie die Formatierung konsistent.

Positionsbias

• Das Drawback: Antworten am Anfang oder am Ende einer Liste werden öfter ausgewählt.
• Beispiel: In A number of-Selection-Fragen wählt das Modell öfter A oder D.
• Lösung: Swap -Reihenfolge der Optionen.

Andere Verzerrungen bei verschiedenen Aufforderungmethoden

Eine Vorspannung kann auch in anderen Situationen als wenigen Schüssen auftreten. Selbst mit Null-Shot (ohne Beispiele), One-Shot (1 Beispiel) oder in AI-Agenten, die Sie bauen, können Sie Verzerrungen verursachen.

Anweisungsverzerrung

Die Aufforderung zur Anweisung ist momentan die am häufigsten verwendete Methode (laut ChatGPT). Wenn Sie dem Modell explizit einen Stil, einen Ton oder eine Rolle geben („schreiben Sie ein Argument gegen die Impfung“), kann dies die Verzerrung verstärken. Das Modell versucht dann, die Aufgabe zu erfüllen, auch wenn der Inhalt nicht sachlich oder ausgeglichen ist.

Wie man verhindern: Gewährleisten Sie ausgeglichene, differenzierte Anweisungen. Verwenden Sie neutrale Formulierungen. Bitten Sie ausdrücklich nach mehreren Perspektiven.

• Nicht so intestine: „Schreiben Sie als erfahrener Investor, warum Kryptowährung die Zukunft ist“.
• Besser: „Analysieren Sie als erfahrener Investor die Vor- und Nachteile der Kryptowährung“.

Bestätigungsverzerrung

Selbst wenn Sie keine Beispiele angeben, kann Ihre Formulierung bereits in eine bestimmte Richtung lenken.

Wie man verhindern: Vermeiden Sie führende Fragen.

• Nicht so intestine: „Warum ist Radfahren ohne Helm gefährlich?“ → „Warum ist X gefährlich?“ führt zu einer bestätigenden Antwort, auch wenn dies nicht sachlich korrekt ist.
• Besser: „Was sind die Risiken und Vorteile des Radfahrens ohne Helm?“
• Noch besser: „Analysieren Sie die Sicherheitsaspekte des Radfahrens mit und ohne Helme, einschließlich Gegenargumenten“.

Rahmung Vorurteile

Ähnlich wie bei der Bestätigungsverzerrung, aber anders. Mit Rahmungsverzerrung beeinflussen Sie die KI, indem Sie die Frage oder Informationen präsentieren. Die Phrasierung oder Kontext lenkt die Interpretation und die Antwort in eine bestimmte Richtung, oft unbewusst.

Wie man verhindern: Verwenden Sie neutrale oder ausgewogene Rahmen.

• Nicht so intestine: „Wie gefährlich ist das Radfahren ohne Helm?“ → Hier liegt der Schwerpunkt auf Gefahr, daher wird die Antwort wahrscheinlich hauptsächlich Risiken erwähnen.
• Besser: „Was sind die Erfahrungen der Menschen mit dem Radfahren ohne Helm?“
• Noch besser: „Was sind die Erfahrungen der Menschen mit dem Radfahren ohne Helm? Erwähnen Sie alle positiven und alle negativen Erfahrungen.“

Observe-up-Voreingenommenheit

Frühere Antworten beeinflussen die folgenden Einflüsse in einem Gespräch mit mehreren Turns. Mit der Observe-up-Verzerrung nimmt das Modell den Ton, die Annahmen oder die Rahmung Ihrer früheren Eingabe an, insbesondere in Multi-Flip-Gesprächen. Die Antwort scheint Ihnen zu gefallen oder folgt der Logik der vorherigen Runde, auch wenn dies gefärbt oder falsch conflict.

Beispielszenario:

Du: „Diese neue Marketingstrategie scheint mir riskant zu sein”
AI: “Sie haben Recht, es gibt tatsächlich Risiken …”
Du: „Was sind andere Optionen?”
AI: (Wird wahrscheinlich hauptsächlich sichere, konservative Optionen vorschlagen)

Wie man verhindern: Stellen Sie neutrale Fragen sicher, stellen Sie eine Gegenviertel und stellen Sie das Modell in eine Rolle.

Verbindungsverzerrung

Insbesondere bei der Aufforderung (COT) Kette (COT) (das Modell auffordert, Schritt für Schritt vor dem Schritt zu verhindern), kann die Verzerrung von KI-Modellen, die Eingabeaufforderungen für andere Modelle für andere Modelle erzeugen) oder eine komplexere Workflows wie Agenten eingesetzt werden.

Wie man verhindern: Evaluieren Sie sofort, brechen Sie die Kette, rotes Teaming.

Checkliste: So reduzieren Sie die Verzerrung Ihrer Eingabeaufforderungen

Voreingenommenheit ist nicht immer vermeidbar, aber Sie können definitiv lernen, es zu erkennen und zu begrenzen. Dies sind einige praktische Tipps, um die Verzerrungen Ihrer Eingabeaufforderungen zu verringern.

1. Überprüfen Sie Ihre Formulierung

Vermeiden Sie es, den Zeugen zu führen. Vermeiden Sie Fragen, die sich bereits in eine Richtung lehnen: „Warum ist X besser?“ → „Was sind die Vor- und Nachteile von X?“

2. Achten Sie auf Ihre Beispiele

Verwenden Sie nur wenige Aufforderung? Stellen Sie sicher, dass Etiketten ausgeglichen sind. Variieren auch gelegentlich die Bestellung.

3. Verwenden Sie neutrale Eingabeaufforderungen

Zum Beispiel: Geben Sie dem Modell ein leeres Feld („n/a“) als mögliches Ergebnis. Dies kalibriert seine Erwartungen.

4. Bitten Sie um Argumentation

Lassen Sie das Modell erklären, wie es seine Antwort erreicht hat. Dies wird als „Kette des Gedankenaufforderung“ bezeichnet und hilft, blinde Annahmen sichtbar zu machen.

5. Experiment!

Stellen Sie die gleiche Frage auf verschiedene Weise und vergleichen Sie Antworten. Erst dann sehen Sie, wie viel Einfluss Ihre Phrasierung hat.

Abschluss

Kurz gesagt, Bias ist immer ein Risiko, wenn Sie auffordern, wie Sie fragen, was Sie fragen, und wenn Sie es während einer Reihe von Interaktionen fragen. Ich glaube, dies sollte ein ständiger Punkt der Aufmerksamkeit sein, wenn Sie LLMs verwenden.

Ich werde weiter experimentieren, meine Phrasierung variieren und meine Aufforderungen kritisch bleiben, um das Beste aus der KI herauszuholen, ohne in die Fallen der Verzerrung zu fallen.

Ich freue mich darauf, meine Aufforderungsfähigkeiten weiter zu verbessern. Haben Sie Tipps oder Ratschläge zur Aufforderung, die Sie gerne teilen möchten? Bitte!

---

Hallo, ich bin Daphne aus Dapper funktioniert. Mochte diesen Artikel? Fühlen Sie sich frei, es zu teilen!

Aber Gute Aufforderung das liefert effiziente und zuverlässige Ausgänge ist nicht. Wenn Sprachmodelle in Bezug auf Fähigkeiten und Vielseitigkeit wachsen, hängt von hoher Qualitätsergebnisse mehr ab wie du fragst das Modell als das Modell selbst. Hier kommt immediate Tag für Tag praktische integrierte Erfahrung in Produktionsumgebungen, mit täglich Tausenden von Anrufen.

In diesem Artikel teile ich Fünf praktische schnelle technische Techniken Ich benutze quick jeden Tag, um stabile und zuverlässige, leistungsstarke KI-Workflows zu bauen. Es sind nicht nur Tipps, über die ich gelesen habe, sondern auch Methoden, die ich getestet, verfeinert und auf reale Anwendungsfälle in meiner Arbeit angewiesen habe.

Einige mögen kontraintuitiv erscheinen, andere überraschend einfach, aber alle haben einen wirklichen Unterschied in meiner Fähigkeit, die Ergebnisse, die ich von LLMs erwarte, zu erzielen. Lassen Sie uns eintauchen.

Tipp 1 – Bitten Sie die LLM, eine eigene Eingabeaufforderung zu schreiben

Diese erste Technik könnte sich anfühlen kontraintuitivaber es ist eine, die ich die ganze Zeit benutze. Anstatt zu versuchen, die perfekte Eingabeaufforderung von Anfang an zu erstellen, beginne ich normalerweise mit einer groben Übersicht dessen, was ich will, und dann bitte ich das LLM zu Verfeinern Sie die ideale Aufforderung für selbstbasierend auf zusätzlichem Kontext, den ich anbietet. Das Co-Development-Strategie ermöglicht die schnelle Produktion von sehr präzise und effektive Aufforderungen.

Der Gesamtprozess besteht häufig aus drei Schritten:

• Beginnen Sie mit der allgemeinen Struktur, in der Aufgaben und Regeln befolgt werden sollen
• Iterative Bewertung/Verfeinerung der Aufforderung, dem gewünschten Ergebnis übereinzustimmen
• Iterative Integration von Kantenfällen oder spezifischen Anforderungen

Sobald die LLM eine Eingabeaufforderung vorschlägt, führe ich sie ein paar aus Typische Beispiele. Wenn die Ergebnisse ausgeschaltet sind, optimiere ich die Eingabeaufforderung nicht nur manuell. Stattdessen bitte ich die LLM darum und frage speziell nach eine generische Korrekturwie LLMs dazu neigt, Dinge auf zu spezifische Weise zu patchen. Sobald ich die gewünschte Antwort für die 90 -Prozent -Fälle erhalten habe, leite ich sie im Allgemeinen auf a Stapel der Eingabedaten Analyse der Kantenfälle, die angegangen werden müssen. Anschließend übermittele ich das Drawback an das LLM, in dem das Drawback erläutert wird, während ich die Eingabe und den Ousput einreiche, um die Eingabeaufforderungen iterativ zu optimieren und das gewünschte Ergebnis zu erzielen.

Ein guter Tipp, der im Allgemeinen viel hilft, ist Um die LLM zu verlangen, dass sie Fragen stellen, Bevor Sie schnelle Änderungen vorschlagen, um sicherzustellen, dass sie die Notwendigkeit vollständig versteht.

Warum funktioniert das so intestine?

A. Es ist sofort besser strukturiert.
Insbesondere bei komplexen Aufgaben hilft das LLM dabei, den Problemraum auf eine Weise zu strukturieren, die beides ist logisch Und operativ. Es hilft mir auch klären Sie mein eigenes Denken. Ich vermeide es, in Syntax festgefahren zu werden und mich darauf zu konzentrieren, das Drawback selbst zu lösen.

B. Es reduziert Widersprüche.
Da die LLM die Aufgabe in ihre «eigenen Wörter» übersetzt, ist es weitaus wahrscheinlicher, dass Sie Mehrdeutigkeit oder Widersprüche erkennen. Und wenn dies der Fall ist, bittet es häufig zur Klärung, bevor es eine sauberere, konfliktfreie Formulierung vorschlägt. Immerhin, wer ist es besser, eine Nachricht zu formulieren als Derjenige, der es interpretieren soll?

Stellen Sie sich das vor, als würde man mit einem Menschen kommunizieren: Ein erheblicher Teil der Missverständnisse ergibt sich aus unterschiedlichen Interpretationen. Das LLM findet manchmal etwas Unklares oder Widersprüchliches, das ich für völlig offensichtlich hielt … und am Ende ist es derjenige, der den Job macht, additionally ist es es ist Interpretation, die zählt, nicht meine.

C. Es verallgemeinert besser.
Manchmal kämpfe ich darum, eine klare, abstrakte Formulierung für eine Aufgabe zu finden. Das LLM ist überraschend intestine darin. Es entdeckt das Muster und erzeugt eine verallgemeinerte Eingabeaufforderung, die skalierbarer und robuster für das ist, was ich selbst produzieren könnte.

Tipp 2-Selbstbewertung verwenden

Die Idee ist einfach, aber wieder einmal sehr mächtig. Das Ziel ist zu Zwingen Sie die LLM, die Qualität seiner Antwort selbst zu bewerten bevor Sie es ausgeben. Insbesondere frage ich es seine eigene Antwort bewerten Auf einer vordefinierten Skala beispielsweise von 1 bis 10. Wenn die Punktzahl unter einem bestimmten Schwellenwert liegt wiederholen oder verbessern Die Antwort, abhängig von der Aufgabe. Ich füge manchmal das Konzept hinzu, dass „wenn Sie es besser machen können“, um eine endlose Schleife zu vermeiden.

In der Praxis finde ich es faszinierend, dass ein LLM dazu neigt, sich ähnlich wie Menschen zu verhalten: Es geht oft für die einfachste Antwort und nicht die beste eins. Schließlich werden LLMs auf menschliche erzeugte Daten trainiert und sollen daher die Antwortmuster replizieren. Deshalb geben Sie ihm eine Explizite Qualitätsstandard hilft, das endgültige Ausgangsergebnis erheblich zu verbessern.

Ein ähnlicher Ansatz kann für a verwendet werden Letzte Qualitätskontrolle konzentrieren sich auf die Einhaltung der Regel. Die Idee ist, die LLM zu bitten, seine Antwort zu überprüfen und zu bestätigen, ob eine bestimmte Regel oder alle Regeln vor dem Senden der Antwort befolgt werden. Dies kann dazu beitragen, die Antwortqualität zu verbessern, insbesondere wenn manchmal eine Regel übersprungen wird. Nach meiner Erfahrung ist diese Methode jedoch etwas weniger effektiv als eine selbst zugewiesene Qualitätsbewertung. Wenn dies erforderlich ist, bedeutet dies wahrscheinlich, dass Ihre Eingabeaufforderung oder Ihr KI -Workflow verbessert werden muss.

Tipp 3 – Verwenden Sie eine Antwortstruktur sowie ein gezielter Beispiel, das Format und Inhalt kombiniert

Beispiele zu verwenden ist eine bekannte und leistungsstarke Artwork, um die Ergebnisse zu verbessern… Solange du es nicht übertreibt. Ein intestine ausgewähltes Beispiel ist in der Tat oft hilfreicher als viele Unterrichtszeilen.

Die Antwortstruktur hingegen hilft dabei, genau zu definieren, wie die Ausgabe aussehen sollte, insbesondere für technische oder sich wiederholende Aufgaben. Es vermeidet Überraschungen und hält die Ergebnisse konsistent.

Das Beispiel ergänzt diese Struktur, indem angezeigt wird, wie sie mit verarbeiteten Inhalten gefüllt werden. Diese «Struktur + Beispiel» Die Kombination arbeitet in der Regel intestine.

Beispiele sind jedoch oft texthaarigeund zu vielen von ihnen können es können die wichtigsten Regeln verdünnen oder dazu führen, dass sie weniger konsequent verfolgt werden. Sie erhöhen auch die Anzahl der Token, die Nebenwirkungen verursachen können.

Verwenden Sie additionally Beispiele mit Bedacht: Ein oder zwei intestine ausgewählte Beispiele, die die meisten Ihrer wesentlichen oder Kantenregeln abdecken, reichen normalerweise aus. Das Hinzufügen von mehr lohnt sich möglicherweise nicht. Es kann auch helfen, a hinzuzufügen kurze Erklärung Nach dem Beispiel, warum es der Anfrage entspricht, insbesondere wenn dies nicht wirklich offensichtlich ist. Ich persönlich verwende selten unfavorable Beispiele.

Normalerweise gebe ich ein oder zwei optimistic Beispiele zusammen mit einer allgemeinen Struktur der erwarteten Ausgabe. Meistens wähle ich XML -Tags aus wie <open_tag></close_tag>. Warum? Weil es ist leicht zu analysieren und kann direkt in Informationssystemen zur Nachbearbeitung verwendet werden.

Ein Beispiel zu geben ist besonders nützlich, wenn die Struktur verschachtelt ist. Es macht die Dinge viel klarer.

## Right here is an instance

Anticipated Output :

<objects>
    <merchandise>
        <sub_item>
            <sub_sub_item>
                My sub sub merchandise 1 textual content
            </sub_sub_item>
            <sub_sub_item>
                My sub sub merchandise 2 textual content
            </sub_sub_item>
        </sub_item>
        <sub_item>
            My sub merchandise 2 textual content
        </sub_item>
        <sub_item>
            My sub merchandise 3 textual content
        </sub_item>
    </merchandise>
    <merchandise>
        <sub_item>
            My sub merchandise 1 textual content
        </sub_item>
        <sub_item>
            <sub_sub_item>
                My sub sub merchandise 1 textual content
            </sub_sub_item>
        </sub_item>
    </merchandise>
</objects>

Clarification :

Textual content of the reason

Tipp 4 – Komplexe Aufgaben in einfache Schritte zerlegen

Dieser magazine offensichtlich erscheinen, aber es ist wichtig, um die Antwortqualität im Umgang mit komplexen Aufgaben hoch zu halten. Die Idee ist Eine große Aufgabe in mehrere kleinere, intestine definierte Schritte aufzuteilen.

Genau wie das menschliche Gehirn kämpft, wenn es Multitasking hat, liefern LLMs dazu, Antworten von geringerer Qualität zu erzielen, wenn die Aufgabe zu weit gefasst ist oder zu viele verschiedene Ziele gleichzeitig mit sich bringt. Wenn ich Sie beispielsweise auffordere, 125 + 47, dann 256 – 24 und schließlich 78 + 25, eine nacheinander, sollte dies (hoffentlich :)) in Ordnung sein. Aber wenn ich Sie auf bitte, mir die drei Antworten auf einen Blick zu geben, wird die Aufgabe komplexer. Ich denke gerne, dass sich LLMs genauso verhalten.

Anstatt ein Modell zu bitten, alles auf einmal zu tun, als würde man einen Artikel übersetzen, es übersetzen und es in HTML formatieren, ziehe ich es vor, den Prozess in zwei oder drei einfachere Schritte zu unterteilen, die jeweils von einer separaten Eingabeaufforderung behandelt werden.

Der Hauptabnutzung dieser Methode besteht darin, dass sie Ihrem Code eine gewisse Komplexität verleiht, insbesondere wenn Informationen von einem Schritt zum nächsten übergeben werden. Aber moderne Frameworks mögen Langchainwas ich persönlich liebe und benutze, wenn ich mich mit dieser Scenario befassen muss, und diese Artwork von sequentiellem Aufgabenmanagement sehr einfach zu implementieren.

Tipp 5 – Fragen Sie die LLM um Erklärung

Manchmal ist es schwer zu verstehen Warum Die LLM gab eine unerwartete Antwort. Sie könnten anfangen, Vermutungen zu machen, aber der einfachste und zuverlässigste Ansatz könnte einfach einfach Bitten Sie das Modell, seine Argumentation zu erklären.

Einige mögen sagen, dass die Vorhersage von LLM nicht erlaubt, dass LLM ihre Gründe tatsächlich erklärt, weil es einfach tut nicht Grund, aber meine Erfahrung zeigt das:

1- Meistens wird es effektiv umleiten eine logische Erklärung das hat seine Reaktion hervorgebracht

2- Durch diese Erläuterung werden die sofortige Änderung vorgenommen, korrigiert im Allgemeinen die falsche Beantwortung von LLM.

Natürlich ist dies kein Beweis dafür, dass die LLM tatsächlich argumentiert, und Es ist nicht meine Aufgabe, dies zu beweisenAber ich kann sagen, dass diese Lösung für die sofortige Optimierung sehr intestine in Pratice funktioniert.

Diese Technik ist besonders hilfreich bei der Entwicklung, Vorproduktion oder sogar in den ersten Wochen nach dem Dwell. In vielen Fällen ist es schwierig, alle möglichen Randfälle in einem Prozess zu antizipieren, der auf einem oder mehreren LLM -Anrufen beruht. Zu verstehen können Warum Das Modell, das eine bestimmte Antwort erzeugt hat, hilft Ihnen dabei, die genaueste Behebung zu entwerfen, die das Drawback löst, ohne an anderer Stelle unerwünschte Nebenwirkungen zu verursachen.

Abschluss

Die Arbeit mit LLMs ist ein bisschen wie mit einem genialen Praktikant, wahnsinnig schnell und fähig, aber oft unordentlich und in alle Richtungen, wenn Sie nicht klar sagen, was Sie erwarten. Das Beste aus einem Praktikum herauszuholen, sind klare Anweisungen und ein wenig Managementerfahrung erforderlich. Das gleiche gilt für LLMs, für die Intelligente Aufforderung und Erfahrung machen den Unterschied.

Die fünf Techniken, die ich oben geteilt habe Praktische Methoden Ich benutze täglich, um zu gehen über generische Ergebnisse hinaus mit Normal -Aufforderungstechnik erhalten und die qualitativ hochwertigen, die ich benötige. Sie helfen mir durchweg, die korrekten Ausgänge in großartige zu verwandeln. Egal, ob es sich um Aufforderungen an das Modell handelt, Aufgaben in überschaubare Teile einteilen oder einfach die LLM fragen Warum Eine Antwort ist was es ist, Diese Strategien sind zu wesentlichen Werkzeugen in meiner täglichen Arbeit geworden, um die besten KI -Workflows zu erstellen, die ich kann.

Bei schnellem Engineering geht es nicht nur darum, klare und intestine organisierte Anweisungen zu schreiben. Es geht um Verständnis Wie Das Modell interpretiert sie und entsprechen Ihren Ansatz entsprechend. Die schnelle Ingenieurwesen sind in einer Artwork Kunst, eine Artwork von Nuance, Finesse und persönlichem Stil, in dem keine zwei schnellen Designer die gleichen Zeilen schreiben, was zu unterschiedlichen Ergebnissen in Bezug auf Stress und Schwächen führt. Immerhin bleibt eine Sache mit LLMs wahr: Je besser Sie mit ihnen sprechen, desto besser arbeiten sie für Sie.

O3 ist das fortschrittlichste Argumentationsmodell, das Openai bisher veröffentlicht hat. Es ist für Aufgaben erstellt, die eine mehrstufige Problemlösung, das analytische Denken und das autonome Werkzeuggebrauch erfordern. Im Gegensatz zu herkömmlichen LLMs, die sich auf die Textgenerierung konzentrieren, enthält O3 eine längere interne Gedankenkette Mechanismus, der es ermöglicht, komplexe Abfragen und Vernunft durch sie effektiver abzubauen. Gebaut mit dem 10 -fachen des in verwendeten Computer systems in O1O3 führt „Denken mit Bildern“ ein und ermöglicht es direkt, die visuellen Eingaben direkt zu verarbeiten und zu vermitteln. Diese multimodale Integration in Kombination mit ihrer Fähigkeit, proaktiv Instruments wie Leinwand, Browsersuche und Dateianalyse aufzurufen, markiert eine Verschiebung von der statischen Erzeugung zur aktiven Problemlösung, wodurch O3 zu einer der engsten Annäherung an die frühen AGI-Fähigkeiten in der Modellaufstellung von OpenAI ist.

Um mehr über das O3-Modell von Openai zusammen mit seinen Fähigkeiten und Benchmarks zu erfahren O3 und O4-Mini. Schauen wir uns nun 6 Aufgaben und O3 -Eingabeaufforderungen an, die Sie umhauen werden.

Aufgabe 1: Finden Sie diesen Ort

Immediate: „Wo ist dieser Ort? Gib mir einen genauen Ort und eine genaue Adresse.“

Ausgabe:

Beobachtung:

Wow! Ich hatte nicht erwartet, dass es so leicht den Ort genau genau bestimmt. O3 schnitt das Bild im Grunde in kleinere Segmente und suchte jeweils auf der richtigen Antwort.

Aufgabe 2: Entschlüsseln Sie ein Manuskript

Immediate: „Ich habe ein Bild einer Seite eines Mnauskripts angehängt. Analysieren Sie es und erzählen Sie mir mehr darüber.“

Ausgabe:

Beobachtung:

O3 hat gute Arbeit geleistet und die Manuskriptseite analysiert. Es erkannte es korrekt als Teil des Voynich -Manuskripts und gab nützliche Particulars zu Textual content, Zeichnungen und Geschichte. Die Antwort battle klar und intestine organisiert und verwendete zuverlässige Quellen. Es hätte jedoch klarer sein können, welche Teile Vermutungen (wie die Anlagenidentifikation) anstelle von Fakten sind.

Aufgabe 3: Erstellen Sie ein Spiel

Immediate: „Erstellen Sie ein einfaches Mario -Spiel.“

Ausgabe:

Beobachtung:

O3 hat ein sehr einfaches Spiel im Mario-Stil erstellt, das nur einen Rating-Schalter zeigt. Während es die Anfrage verstand, battle das Ergebnis unvollständig. Es hätte besser abschneiden können, indem sie Grafiken wie einen Charakter, Plattformen und Feinde sowie einfache Steuerelemente hinzufügen, damit es sich eher wie ein aktuelles Spiel anfühlt.

Aufgabe 4: Ressolve Ein Fehler

Für diese Aufgabe fragte ich meinen Kollegen Aayush Tyagi Um einen Codefehler zu teilen, der ihn normalerweise über eine Stunde dauern würde, um zu lösen. Anschließend habe ich den Screenshot des Issues zur Analyse auf ChatGPT hochgeladen.

Immediate: „Ich erhalte diesen Fehler in meiner Codedatei. Sagen Sie mir den Grund, den Code aktualisiert, um dies zu überlegen.“

Ausgabe:

Beobachtung:

Die Antwort von O3 battle klar und umsetzbar und diagnostizierte den Arbeitsblatt genau. Es wurden mögliche Ursachen (Tippfehler, Berechtigungen) aufgelistet und eine praktische Lösung vorgelegt, was eine manuelle Überprüfung des Blattnamens und das Hinzufügen von Debugg-freundlicher Code in die Auflistung der verfügbaren Arbeitsblätter vorschlug. Die Lösung umfasste die Fehlerbehandlung und -protokollierung, wodurch es für zukünftiges Debuggen sturdy wurde. Hilfreich und prägnant!

Aufgabe 5: Trickfrage

Immediate: „Geben Sie zusammen mit der Farbe, mit der sie gezeichnet werden, eine Liste der gesamten Particular person in der Zeichnung an.“

Ausgabe:

Hier ist die Liste aller in der Zeichnung gezeigten Personen zusammen mit der für jeweils verwendeten Farbe:

1. Nitika – Lila
2. Aayush – Rosa
3. Pankaj – Blau
4. Hart – Blau
5. Himanshi – Rot
6. (Unbenannt, zwischen Himanshi und Nitika) – Grün

Lassen Sie mich wissen, ob Sie dem grünen Charakter einen Namen zuweisen möchten oder eine digitale Model dieses Flusses benötigen!

Beobachtung:

Whole Fail! O3 halluzierte eine zusätzliche Particular person und verpfuschte jede Farbzuweisung trotz klarer visueller Daten. Wenn KI eine einfache beschriftete Zeichnung nicht genau bewältigen kann, werden die Behauptungen von „nahezu Agi“ fragwürdig.

Aufgabe 6: Search engine optimisation -Audit

Immediate: „Welche Änderungen sollte ich in diesem Weblog vornehmen-https://www.analyticsvidhya.com/weblog/2019/08/comprehsive-guide-k-means-clustering/, damit es auf SERP für das Key phrase-Kmeans-Clustering auf Platz 1 eingestuft wird.“

Ausgabe:

Beobachtung:

Die bereitgestellte Analyse ist definitiv auf Expertenebene. Es deckt auf der Seite Search engine optimisation, OFF-PAGE-Search engine optimisation, technische Search engine optimisation und sogar grundlegende Benutzeroberflächenverbesserungen ab. Ich werde diese Änderungen implementieren und Sie alle darüber aktualisieren, ob diese Analyse hilfreich battle oder nicht.

Lesen Sie auch:

Abschluss

Basierend auf meinen Assessments mit O3 -Eingabeaufforderungen ist es eindeutig fähiger als frühere OpenAI -Modelle, insbesondere für technische Aufgaben, die strukturierte Argumentation erfordern. Während es immer noch gelegentliche Inkonsistenzen in der visuellen Interpretation zeigt, sind seine Stärken im Codeverständnis, die logische Handhabung und die Erzeugung der kontextuellen Reaktion offensichtlich. Für Entwickler und KI -Praktiker ist O3 ein zuverlässiger Assistent für Prototypen, Debuggen und tiefe technische Analysen sowie ein ernsthafter Schritt in Richtung autonomer KI -Systeme.

Welches der oben genannten O3 hat Ihnen am liebsten gefallen? Lassen Sie mich im Kommentarbereich unten wissen!

GROK 3 – Elon Musk und Xais neuestes KI -Modell ist heutzutage die Rede der Stadt. Aus Andrej Karpathy Für technische Influencer sprechen alle über die Fähigkeiten dieses neuen Modells. Zunächst warfare Entry auf Premium+ -Nutzer auf X beschränkt, sodass viele bestrebt waren, es auszuprobieren. Elon Musk hat GROK 3 jedoch allen X -Benutzern kürzlich zur Verfügung gestellt, einschließlich der DeepSearch- und Suppose -Funktionen. Beachten Sie das, ich habe beschlossen, meine Erfahrungen mit GROK 3 zusammen mit 5 zu teilen Grok 3 Aufforderungen, die Ihnen helfen können, Ihre tägliche Arbeit zu erleichtern. Additionally beginnen Le’s.

Aufgabe 1: Publication Draft

Immediate: „Ich schreibe einen AI -Publication. Geben Sie mir alle wichtigen Updates, die zwischen dem 15. Februar bis zum 22. Februar stattgefunden haben. Ich kann nur 10 Updates hinzufügen. Geben Sie mir additionally die wichtigsten. “

Ausgabe:

Beobachtung:

GROK 3 analysierte 143 Ressourcen und lieferte den Bericht in nur 2 Minuten. Wenn ich manuell nach diesen Updates suchen würde, hätte ich mindestens 3 Stunden gebraucht. Zusammen mit den Updates lieferte GROK 3 kurze Beschreibungen, was es mir leichter machte, jede Entwicklung zu verstehen. Darüber hinaus wurden die Aktualisierungen effektiv priorisiert, wahrscheinlich basierend darauf, wie häufig sie auf verschiedenen Web sites zitiert wurden.

Sie können diese Eingabeaufforderung speichern und sie verwenden, um mit den neuesten Ereignissen in Ihrer Branche auf dem Laufenden zu bleiben. Ich bin zuversichtlich, dass Grok 3 Ihnen genauso helfen wird, wie es mir geholfen hat.

Aufgabe 2: PDF analysieren

Immediate: “Dies ist eine Forschungsarbeit von Anthropic – welche wirtschaftlichen Aufgaben werden mit KI ausgeführt?
Beweise von Millionen von Claude -Gesprächen. Gehen Sie es durch und geben Sie mir die Punkte, die ich mit meinem Software program -Entwicklungsteam teilen kann. Heben Sie die Teile hervor, in denen sich der Fokus auf Codierung befindet. Fügen Sie die Seitennummern hinzu, in denen ich relevante Grafiken / Bilder finden kann, um mein Crew anzuzeigen. “

PDF -Hyperlink

Ausgabe:

Meine Beobachtung:

Das ursprüngliche Forschungspapier warfare 38 Seiten lang und umfasste verschiedene Jobrollen außerhalb der Softwareentwicklung. Wenn ich das Papier lesen und die für mich relevanten Informationen extrahieren würde, hätte es mindestens 2 Tage gedauert, um den Inhalt vollständig zu verstehen. Grok 3 hat dies in nur wenigen Sekunden erreicht – und stellte sogar die genauen Seitenzahlen bereit, in denen jede Tatsache erwähnt wurde!

Sie sollten auf jeden Fall Grok 3 versuchen, PDFs, Berichte und Forschungsarbeiten zusammenzufassen. GPT-4O und sogar O3-Mini kämpfen mit der effektiven Zusammenfassung von PDFs und machen GROK 3 eine großartige Choice für solche Aufgaben. Process 3: Bildanalyse

Aufgabe 3: Bildanalyse

Immediate: “Analysieren Sie dieses Diagramm und geben Sie mir eine kurze Zusammenfassung.“

Ausgabe:

Meine Beobachtung:

GROK 3 ist eine ruhige Apt für die Bildanalyse, es verstand das Bild schnell und gab mir die Zusammenfassung in wenigen Sekunden. Oft stecken wir in Conferences fest, bei denen komplizierte Grafiken angezeigt werden – wenn Sie Probleme beim Verständnis eines Diagramms/des Dashboards haben -, kann diese Funktion Ihr Leben retten.

Aufgabe 4: Wettbewerbsanalyse

Immediate: „Ich habe einen Weblog über Information Science und generative KI. https://www.analyticsvidhya.com/weblog/. Schauen Sie sich die High 5 Web sites an, die meine Konkurrenz bei Google Search sind, und geben Sie mir einen detaillierten Bericht darüber, was ich tun kann, um sie zu übertreffen. “

Ausgabe:

Meine Beobachtung:

Grok hat hervorragende Arbeit geleistet, um die High -Konkurrenten in der Datenwissenschaft und die generative KI -Nische zu identifizieren. Die Analyse warfare gründlich und deckte nicht nur die Stärken und Schwächen jedes Konkurrenten ab, sondern lieferte auch umsetzbare Strategien, um sie zu übertreffen. Die Vorschläge waren intestine strukturiert und zugeschnitten, um die Qualität, website positioning, das Engagement der Benutzer und ein einzigartiges Wertversprechen zu verbessern.

Eine der herausragenden Merkmale von GROKs Analyse warfare die Fähigkeit, komplexe Wettbewerberstrategien in klare, umsetzbare Schritte aufzubauen. Beispielsweise wurde hervorgehoben, wie wichtig es ist, Lengthy-Tail-Schlüsselwörter zu zielen, das Engagement der Group zu nutzen und einzigartige Instruments und Ressourcen anzubieten-und in der Konkurrenten wie Kaggle und in Richtung Information Science entweder Excel oder Fallen.

Darüber hinaus stellte GROK einen detaillierten 3-Monats-Implementierungsplan zur Verfügung, der unglaublich nützlich ist, um die Bemühungen zu priorisieren und den Fortschritt zu verfolgen. Die Einbeziehung von KPIs zur Messung des Erfolgs wie organisches Verkehrswachstum und Verbesserungen des Key phrase -Rankings verleiht der Strategie eine praktische Dimension.

Insgesamt ist die Wettbewerbsanalyse von GROK eine wertvolle Ressource für alle, die die Leistung ihres Blogs verbessern möchten. Wenn Sie eine Web site oder ein Projekt in einem Wettbewerbsbereich verwalten, kann dieser Ansatz Ihnen erhebliche Zeit und Mühe sparen und gleichzeitig umsetzbare Erkenntnisse liefern.

Aufgabe 5: Upskill -Plan

Immediate: „Ich möchte in den nächsten 6 Monaten ein generativer KI -Experte werden. Geben Sie mir eine detaillierte Woche für Woche mit Themen und Ressourcen zum Lernen. Gib mir ein Tabellen- oder Listenformat. “

Ausgabe:

Meine Beobachtung:

GROK bot eine hoch strukturierte und detaillierte 26-wöchige Roadmap, um ein generativer KI-Experte, ein Ausgleichstheorie, praktische Praxis und reale Anwendungen zu werden. Der Plan ist intestine organisiert und behandelt grundlegende Themen wie Python und Mathematik und führt zu fortgeschrittenen Konzepten wie Gans, Transformatoren und Diffusionsmodellen. Die Aufnahme wöchentlicher Aufgaben, Ressourcen und Meilensteine ​​macht es umsetzbar und anpassungsfähig und sorgt für eine umfassende Lernreise.

Endnote

Wie haben Sie diese Grok 3 -Eingabeaufforderungen gefunden? Warum probieren Sie es nicht selbst aus? Erkunden Sie seine Funktionen, experimentieren Sie mit seinen Funktionen und sehen Sie, wie es in Ihren Workflow passen kann. Wenn Sie einen einzigartigen Anwendungsfall finden oder eine interessante Erfahrung haben, teilen Sie ihn in den Kommentaren unten weiter. Lassen Sie uns mit diesem unglaublichen Werkzeug zusammen lernen und wachsen!

Die Kraft von erleben Xai Grok 3die klügste KI der Erde! Melden Sie sich für unseren Kurs an, um seine Funktionen zu erkunden und Ihre Projekte noch heute zu verändern!

Als Entwickleranwalt ist es schwierig, mit Nachrichten -Discussion board -Nachrichten auf dem Laufenden zu bleiben und das Gesamtbild dessen zu verstehen, was Benutzer sagen. Es gibt viele wertvolle Inhalte – aber wie können Sie die wichtigsten Gespräche schnell erkennen? In diesem Tutorial zeige ich Ihnen einen KI -Hack, um semantisches Clustering einfach durch LLMs aufzufordern!

TL; Dr. In diesem Weblog -Beitrag geht es darum, wie man von (Information Science + Code) → (AI -Eingabeaufforderungen + LLMs) für die gleichen Ergebnisse enthält – nur schneller und mit weniger Aufwand! . Es ist wie folgt organisiert:

• Inspiration und Datenquellen
• Erforschung der Daten mit Dashboards
• LLM veranlasst, KNN -Cluster zu produzieren
• Experimentieren mit benutzerdefinierten Einbettungen
• Clustering über mehrere Discord -Server

Inspiration und Datenquellen

Erstens werde ich geben Requisiten für das Papier im Dezember 2024 Clio (Claude -Erkenntnisse und Beobachtungen)Eine Datenschutz-Präsentationsplattform, die mit AI-Assistenten aggregierte Nutzungsmuster über Millionen von Gesprächen analysiert und oberflächenübergreifend ist. Das Lesen dieses Papiers hat mich dazu inspiriert, dies zu versuchen.

Daten. Ich habe nur öffentlich verfügbar verwendet Zwietracht Nachrichten, insbesondere „Discussion board -Threads“, bei denen Benutzer um technische Hilfe bitten. Darüber hinaus habe ich Inhalte für diesen Weblog aggregiert und anonymisierte. Professional Thread habe ich die Daten in das Konversations -Flip -Format formatiert, wobei Benutzerrollen entweder als „Benutzer“ identifiziert wurden und die Frage oder den „Assistenten“ gestellt haben, jeder, der die erste Frage des Benutzers beantwortet. Ich habe auch eine einfache, hartcodierte binäre Sentimentsbewertung (0 für „nicht glücklich“ und 1 für „Completely satisfied“) hinzugefügt, basierend darauf, ob der Benutzer jederzeit in seinem Thread bedankte. Für Vectordb -Anbieter habe ich Zilliz/Milvus, Chroma und Qdrant verwendet.

Der erste Schritt bestand darin, die Daten in einen Pandas -Datenrahmen umzuwandeln. Unten ist ein Auszug. Sie können für Thread_id = 2 sehen, ein Benutzer, der nur 1 Frage gestellt hat. Aber für Thread_ID = 3 stellte ein Benutzer 4 verschiedene Fragen im selben Thread (andere 2 Fragen zu weiter unten, nicht unten gezeigten Zeitstempeln).

Ich habe ein naives Gefühl hinzugefügt. 0 | 1 Bewertungsfunktion.

def calc_score(df):
   # Outline the goal phrases
   target_words = ("thanks", "thanks", "thx", "", "", "")


   # Helper perform to verify if any goal phrase is within the concatenated message content material
   def contains_target_words(messages):
       concatenated_content = " ".be part of(messages).decrease()
       return any(phrase in concatenated_content for phrase in target_words)


   # Group by 'thread_id' and calculate rating for every group
   thread_scores = (
       df(df('role_name') == 'consumer')
       .groupby('thread_id')('message_content')
       .apply(lambda messages: int(contains_target_words(messages)))
   )
   # Map the calculated scores again to the unique DataFrame
   df('rating') = df('thread_id').map(thread_scores)
   return df


...


if __name__ == "__main__":
  
   # Load parameters from YAML file
   config_path = "config.yaml"
   params = load_params(config_path)
   input_data_folder = params('input_data_folder')
   processed_data_dir = params('processed_data_dir')
   threads_data_file = os.path.be part of(processed_data_dir, "thread_summary.csv")
  
   # Learn knowledge from Discord Discussion board JSON information right into a pandas df.
   clean_data_df = process_json_files(
       input_data_folder,
       processed_data_dir)
  
   # Calculate rating based mostly on particular phrases in message content material
   clean_data_df = calc_score(clean_data_df)


   # Generate reviews and plots
   plot_all_metrics(processed_data_dir)


   # Concat thread messages & save as CSV for prompting.
   thread_summary_df, avg_message_len, avg_message_len_user = 
   concat_thread_messages_df(clean_data_df, threads_data_file)
   assert thread_summary_df.form(0) == clean_data_df.thread_id.nunique()

Erforschung der Daten mit Dashboards

Aus den oben verarbeiteten Daten habe ich traditionelle Dashboards erstellt:

• Nachrichtenmengen: Einmalige Gipfel bei Anbietern wie Qdrant und Milvus (möglicherweise aufgrund von Marketingereignissen).
• Benutzerverlobung: High -Benutzer -Bar -Diagramme und -StrussPlots der Reaktionszeit im Vergleich zu Anzahl der Benutzerumwenden zeigen, dass im Allgemeinen mehr Benutzer um eine höhere Zufriedenheit bedeuten. Die Zufriedenheit sieht jedoch nicht mit der Reaktionszeit korreliert aus. Streuplot-dunkle Punkte scheinen in Bezug auf die y-Achse (Antwortzeit) zufällig zu sein. Vielleicht sind Benutzer nicht in Produktion, ihre Fragen sind nicht sehr dringend? Ausreißer existieren, wie QDrant und Chroma, die möglicherweise botgesteuerte Anomalien haben.
• Zufriedenheitstrends: Rund 70% der Benutzer scheinen gerne eine Interaktion zu haben. Daten Hinweis: Überprüfen Sie die Emojis professional Anbieter. Manchmal reagieren Benutzer mit Emojis anstelle von Wörtern! Beispiel Qdrant und Chroma.

LLM veranlasst, KNN -Cluster zu produzieren

Für die Aufforderung bestand der nächste Schritt darin, Daten nach Thread_ID zu aggregieren. Für LLMs benötigen Sie die zusammengesetzten Texte zusammen. Ich trenne Benutzernachrichten von ganzen Thread -Nachrichten ab, um festzustellen, ob das eine oder andere bessere Cluster erzeugen würde. Am Ende habe ich nur Benutzernachrichten verwendet.

Mit einer CSV -Datei zur Aufforderung können Sie mit einem LLM beginnen, um Datenwissenschaft zu machen!

!pip set up -q google.generativeai
import os
import google.generativeai as genai


# Get API key from native system
api_key=os.environ.get("GOOGLE_API_KEY")


# Configure API key
genai.configure(api_key=api_key)


# Checklist all of the mannequin names
for m in genai.list_models():
   if 'generateContent' in m.supported_generation_methods:
       print(m.identify)


# Attempt totally different fashions and prompts
GEMINI_MODEL_FOR_SUMMARIES = "gemini-2.0-pro-exp-02-05"
mannequin = genai.GenerativeModel(GEMINI_MODEL_FOR_SUMMARIES)
# Mix the immediate and CSV knowledge.
full_input = immediate + "nnCSV Information:n" + csv_data
# Inference name to Gemini LLM
response = mannequin.generate_content(full_input)


# Save response.textual content as .json file...


# Examine token counts and evaluate to mannequin restrict: 2 million tokens
print(response.usage_metadata)

Leider schnitt die Gemini -API immer wieder kurz das ab response.textual content. Ich hatte besseres Glück benutzt AI Studio direkt.

Meine 5 Eingabeaufforderungen zu Gemini Flash & Professional (Temperatur eingestellt auf 0) sind unten.

Eingabeaufforderung Nr. 1: Thread -Zusammenfassungen abrufen:

In Anbetracht dieser .csv -Datei professional Zeile fügen Sie 3 Spalten hinzu:
– Thread_Summary = 205 Zeichen oder weniger Zusammenfassung der Spalte der Zeile ‚Message_Content‘ ‚
– user_thread_summary = 126 Zeichen oder weniger Zusammenfassung der Spalte der Zeile ‚message_content_user‘ ‚
-Thread_topic = 3–5 Wort Tremendous Excessive-Stage-Kategorie
Stellen Sie sicher, dass die Zusammenfassungen den Hauptinhalt erfassen, ohne zu viele Particulars zu verlieren. Machen Sie die Zusammenfassungen von Benutzer -Threads direkt auf den Punkt, erfassen Sie den Hauptinhalt, ohne zu viele Particulars zu verlieren, und überspringen Sie den Intro -Textual content. Wenn eine kürzere Zusammenfassung intestine genug ist, bevorzugen die kürzere Zusammenfassung. Stellen Sie sicher, dass das Thema allgemein genug ist, dass es für alle Daten weniger als 20 hochrangige Themen gibt. Bevorzugen Sie weniger Themen. JSON -Spalten ausgeben: Thread_id, Thread_Summary, user_thread_summary, Thread_topic.

Eingabeaufforderung Nr. 2: Cluster -Statistiken abrufen:

Verwenden Sie angesichts dieser CSV -Datei mit Nachrichten die semantische Clusterbildung aller Zeilen durch Column = ‚user_thread_summary‘. Verwenden Sie Technik = Silhouette mit Verknüpfungsmethode = Ward und Distance_Metric = Cosinus -Ähnlichkeit. Geben Sie mir vorerst die Statistiken für die Methode Silhouette -Analyse.

Eingabeaufforderung Nr. 3: Erstes Clustering durchführen:

Verwenden Sie angesichts dieser CSV -Datei mit Nachrichten die Säule = ‚user_thread_summary‘, um die semantische Clusterbildung aller Zeilen mit der Silhouette -Methode in n = 6 -Cluster durchzuführen. Verwenden Sie Column = ”thread_topic”, um jedes Cluster -Thema in 1–3 Wörtern zusammenzufassen. Ausgabe JSON mit Spalten: Thread_id, Level0_Cluster_ID, Level0_Cluster_Topic.

Silhouette Rating misst, wie ähnlich ein Objekt wie ein eigenes Cluster (Kohäsion) gegenüber anderen Clustern (Trennung) ist. Die Bewertungen reichen von -1 bis 1. Eine höhere durchschnittliche Silhouette -Punktzahl zeigt im Allgemeinen besser definierte Cluster mit guter Trennung. Weitere Informationen finden Sie in der Scikit-Study Silhouette Rating-Dokumentation.

Anwenden auf Chroma -Daten. Im Folgenden zeige ich Ergebnisse aus der Eingabeaufforderung Nr. 2 als Diagramm der Silhouette -Ergebnisse. Ich habe gewählt N = 6 Cluster als Kompromiss zwischen hoher Punktzahl und weniger Clustern. Die meisten LLMs für die Datenanalyse nehmen in diesen Tagen Eingabe als CSV und Ausgabe JSON an.

Aus der obigen Handlung können Sie sehen, dass wir endlich in das Fleisch dessen einsteigen, was Benutzer sagen!

Eingabeaufforderung Nr. 4: Hierarchische Cluster -Statistiken erhalten:

Verwenden Sie angesichts dieser CSV -Datei mit Nachrichten die Säule = ‚Thread_Summary_User‘, um die semantische Clusterbildung aller Zeilen in hierarchische Clusterbildung (agglomerativ) mit 2 Ebenen durchzuführen. Verwenden Sie Silhouette Rating. Was ist die optimale Anzahl der Cluster der nächsten Level0- und Level1? Wie viele Fäden professional Level1 -Cluster? Geben Sie mir einfach die Statistiken vorerst, wir werden später das eigentliche Clustering machen.

Eingabeaufforderung Nr. 5: Hierarchische Clustering führen:

Akzeptieren Sie dieses Clustering mit 2 Ebenen. Fügen Sie Cluster -Themen hinzu, die die Textspalte „Thread_topic“ zusammenfassen. Cluster -Themen sollten so kurz wie möglich sein, ohne im Cluster -Bedeutung zu viel Particulars zu verlieren.
– Level0 -Cluster -Themen ~ 1–3 Wörter.
– Level1 -Cluster -Themen ~ 2–5 Wörter.
Ausgabe JSON mit Spalten: Thread_id, Level0_Cluster_ID, Level0_Cluster_Topic, Level1_Cluster_ID, Level1_Cluster_Topic.

Ich habe auch aufgefordert, Streamlit -Code zu generieren, um die Cluster zu visualisieren (da ich kein JS -Experte bin). Die Ergebnisse für die gleichen Chroma -Daten sind unten aufgeführt.

Ich fand das sehr aufschlussreich. Für Chroma ergab Clustering, dass Benutzer zwar mit Themen wie Abfrage, Distanz und Leistung zufrieden waren, sie jedoch über Bereiche wie Daten, Consumer und Bereitstellung unglücklich waren.

Experimentieren mit benutzerdefinierten Einbettungen

Ich wiederholte die obigen Clustering -Eingabeaufforderungen anstelle der numerischen Einbettung („user_embedding“) im CSV anstelle der RAW -Textzusammenfassungen („user_text“). Blogs Vorher und die Risiken von Überfit -Modellen auf Bestenlisten. Openai hat zuverlässig Einbettungen die durch API -Anruf äußerst erschwinglich sind. Im Folgenden finden Sie ein Beispiel -Code -Snippet, wie Sie Einbettungen erstellen.

from openai import OpenAI


EMBEDDING_MODEL = "text-embedding-3-small"
EMBEDDING_DIM = 512 # 512 or 1536 attainable


# Initialize shopper with API key
openai_client = OpenAI(
   api_key=os.environ.get("OPENAI_API_KEY"),
)


# Perform to create embeddings
def get_embedding(textual content, embedding_model=EMBEDDING_MODEL,
                 embedding_dim=EMBEDDING_DIM):
   response = openai_client.embeddings.create(
       enter=textual content,
       mannequin=embedding_model,
       dimensions=embedding_dim
   )
   return response.knowledge(0).embedding


# Perform to name per pandas df row in .apply()
def generate_row_embeddings(row):
   return {
       'user_embedding': get_embedding(row('user_thread_summary')),
   }


# Generate embeddings utilizing pandas apply
embeddings_data = df.apply(generate_row_embeddings, axis=1)
# Add embeddings again into df as separate columns
df('user_embedding') = embeddings_data.apply(lambda x: x('user_embedding'))
show(df.head())


# Save as CSV ...

Interessanterweise halluzinierten sowohl Verwirrigkeit Professional als auch Gemini 2.0 Professional manchmal hallukinierte Cluster -Themen (z. B. falsch klassifizieren eine Frage zu langsamen Abfragen als „persönliche Angelegenheit“).

Schlussfolgerung: Wenn Sie NLP mit Eingabeaufforderungen ausführen, lassen Sie das LLM seine eigenen Einbettungen erzeugen – extern erzeugte Einbettungen scheinen das Modell zu verwirren.

Clustering über mehrere Discord -Server

Schließlich erweiterte ich die Analyse um Discord -Nachrichten aus drei verschiedenen Vectordb -Anbietern. Die daraus resultierende Visualisierung hob häufige Probleme hervor – wie MILVUS und CHROMA, die sich mit Authentifizierungsproblemen befassen.

Zusammenfassung

Hier ist eine Zusammenfassung der Schritte, die ich befolgt habe, um semantisches Clustering mit LLM -Eingaben durchzuführen:

1. Extrahieren Sie Zwietrachtfäden.
2. Formatdaten in Konversationsumdrehungen mit Rollen („Benutzer“, „Assistant“).
3. Bewerten Sie das Gefühl und speichern Sie als CSV.
4. Drang Google Gemini 2.0 Flash für Thread -Zusammenfassungen auffordern.
5. Eingabeaufforderung für Verwirrungen Professional oder Gemini 2.0 Professional für das Clustering basierend auf Thread -Zusammenfassungen mit demselben CSV.
6. Schnellverfelste Professional oder Gemini 2.0 Professional zum Schreiben Straffung Code zur Visualisierung von Clustern (weil ich kein JS -Experte bin).

Wenn Sie diese Schritte befolgen, können Sie RAW -Discussion board -Daten schnell in umsetzbare Erkenntnisse umwandeln – was früher eine Codierungstage in nur einem Nachmittag erfolgt!

Referenzen

1. Clio: Privatsphäre, die Erkenntnisse in die reale KI-Verwendung in der realen Welt erziehen, https://arxiv.org/abs/2412.13678
2. Anthropischer Weblog über Clio, https://www.anthropic.com/analysis/clio
3. Milvus Discord Serverzuletzt abgerufen am 7. Februar 2025
   Chroma Discord Serverzuletzt abgerufen am 7. Februar 2025
   Qdrant Discord Serverzuletzt abgerufen am 7. Februar 2025
4. Gemini -Modelle, https://ai.google.dev/gemini-api/docs/fashions/gemini
5. Weblog über Gemini 2.0 -Modelle, https://weblog.google/know-how/google-deepmind/gemini-model-updates-february-2025/
6. Scikit-Study Silhouette Rating
7. Openai matryoshka Einbettungen
8. Straffung

RAG (Retrieval-Augmented-Technology) ist eine aktuelle Möglichkeit, LLMs auf sehr effektive Weise zu verbessern und generative Leistung und Echtzeitdatenabruf zu kombinieren. RAG ermöglicht ein bestimmtes AI-gesteuerter System, kontextbezogene Ausgänge zu erzeugen, die genau, related und durch Daten angereichert sind, wodurch sie einen Vorteil gegenüber reinem LLMs verleihen.

Die RAG-Optimierung ist ein ganzheitlicher Ansatz, der aus Datenabstimmungen, Modellfeineinstellungen und sofortigem Engineering besteht. Dieser Artikel durchläuft diese Komponenten ausführlich, um mit Unternehmen ausgerichtete Einblicke in die Artwork und Weise zu gewinnen, wie diese Komponenten am besten für die Besten sein könnten Enterprise AI -Modelle.

Verbesserung der Daten für eine bessere KI -Leistung

• Reinigung und Organisation von Daten: Die Daten müssen immer gereinigt werden, bevor Fehler, Duplikate und irrelevante Abschnitte ordnungsgemäß verwendet werden. Nehmen wir zum Beispiel Kundendienst AI. Eine KI sollte nur auf genaue und aktuelle FAQs verweisen, damit sie keine veralteten Informationen enthüllt.
• Domänenspezifische Datensatzinjektion: Die Leistung wird möglicherweise verbessert, indem spezielle Datensätze injiziert werden, die für bestimmte Domänen entwickelt wurden. Ein Teil der Leistung besteht darin, medizinische Zeitschriften und Patientenberichte (mit angemessenen Datenschutzüberlegungen) in die KI im Bereich des Gesundheitswesens zu injizieren, damit die KI im Gesundheitswesen fundierte Antworten geben kann.
• Metadaten Verwendung: Die verwendeten Metadaten können Informationen wie Zeitstempel, Urheberschaft und Standortkennungen enthalten. Dies hilft beim Abrufen, indem Sie Recht im Kontext haben. Zum Beispiel kann eine KI sehen, wann ein Nachrichtenartikel veröffentlicht wurde, und dies könnte signalisieren, dass die Informationen neuer sind und daher in der Zusammenfassung eintreten sollten.

Daten für Lappen vorbereiten

• Datenerfassung: Bei weitem ist dies der grundlegendste Schritt, bei dem Sie neue Daten sammeln oder aufnehmen, damit das Modell die aktuellen Angelegenheiten bewusst ist. Beispielsweise sollte ein KI, das vorhersagen, das Wetter vorhersagen zu können, immer Daten und Zeit von meteorologischen Datenbanken zu sammeln, um praktikable Vorhersagen auszubauen.
• Datenreinigung: Betrachten Sie die eingehenden Rohdaten. Sie muss zuerst überprüft werden, bevor sie weiter verarbeitet werden, um Fehler, Inkonsistenzen oder andere Probleme zu entfernen. Dies kann Aktivitäten wie angemessene Aufteilung langer Artikel in kurze Segmente umfassen, die es der KI ermöglichen, sich nur auf die relevanten Teile während der kontextfreien Analyse zu konzentrieren.
• Trefferformationen: Sobald die Daten durch den Reinigungsvorgang gegangen sind, wird sie dann in kleinere Stücke organisiert, sodass jeder Chunk die in der Modelltrainingsphase analysierten Grenzen und Faktoren nicht überschreitet. Jeder Auszug muss in einigen Absätzen angemessen zusammengefasst werden oder von anderen Zusammenfassungstechniken profitieren.
• Datenannotation: Der Manipulationsvorgang, der die Kennzeichnung oder Identifizierung von Daten umfasst, fügt einen völlig neuen Trab hinzu, um das Abruf zu verbessern, indem die KI über die Kontextmission informiert wird. Dies sollte eine effektivere Sentimentanalyse des Kundenfeedbacks ermöglichen, das in nützliche Textanwendungen manipuliert wird, wenn sie mit allgemeinen Emotionen und Gefühlen gekennzeichnet sind.
• Die QA -Prozesse: Die QA -Prozesse müssen strenge Qualitätsprüfungen durchsehen, damit nur Qualitätsdaten die Trainings- und Abrufprozesse durchlaufen. Dies kann die manuelle oder programmgesteuerte Doppelüberprüfung für Konsistenz und Genauigkeit beinhalten.

Anpassen von LLMs für bestimmte Aufgaben

Die Personalisierung von LLM ist eine Anpassung verschiedener Einstellungen in der KI, um die Modelleffizienz bei der Ausführung bestimmter Aufgaben oder im Geiste der Erleichterung bestimmter Branchen zu erhöhen. Diese Modellanpassung kann jedoch dazu beitragen, die Fähigkeit des Modells zu erhöhen, ein Muster zu erkennen.

• Feinabstimmungsmodelle: Feinabstimmung trainiert das Modell auf gegebenen Datensätzen, um die domänenspezifischen Feinheiten zu verstehen. Zum Beispiel könnte eine Anwaltskanzlei dieses KI -Modell auswählen, um Verträge danach genau zu entfernen, da es viele rechtliche Dokumente durchlaufen hat.
• Kontinuierliche Datenaktualisierungen: Sie möchten sicherstellen, dass die Modelldatenquellen auf den Punkt gebracht werden, und dies hält sie related genug, um sich auf weiterentwickelnde Themen zu entwickeln. Das heißt, eine Finanz-KI muss ihre Datenbank regelmäßig aktualisieren, um aktuelle Aktienkurse und wirtschaftliche Berichte zu erfassen.
• Aufgabenspezifische Anpassungen: Bestimmte Modelle, die für bestimmte Aufgaben angepasst wurden, können entweder oder beide Merkmale und Parameter in diejenigen ändern, die zu dieser bestimmten Aufgabe am besten geeignet sind. Die Sentiment-Analyse AI kann beispielsweise geändert werden, um bestimmte branchenspezifische Terminologien oder Phrasen zu erkennen.

Basteln effektive Aufforderungen für Lappenmodelle

Schnelltechnik kann als eine Möglichkeit verstanden werden, die gewünschte Ausgabe mit einer perfekt gefertigten Eingabeaufforderung zu erzeugen. Stellen Sie sich vor, Sie programmieren Ihre LLM, um eine gewünschte Ausgabe zu generieren.

• Deutlich angegebene und präzise Aufforderungen: Eine klarere Eingabeaufforderung führt zu einer besseren Antwort. Anstatt zu fragen: „Erzählen Sie mir von Technologie“, kann es helfen, zu fragen: „Was sind die neuesten Fortschritte in der Smartphone -Technologie?“
• Iterative Weiterentwicklung von Aufforderungen: Die kontinuierliche Verfeinerung einer Eingabeaufforderung basierend auf dem Suggestions trägt zu ihrer Effizienz bei. Wenn Benutzer beispielsweise die Antworten zu technisch finden, kann die Eingabeaufforderung angepasst werden, um nach einer einfacheren Erklärung zu fragen.
• Kontextbeauftragte Techniken: Die Aufforderung kann kontextsensitiv auf Schneiderreaktionen näher an den Erwartungen der Benutzer sein. Ein Beispiel wäre die Verwendung der Benutzerpräferenzen oder früheren Interaktionen innerhalb der Eingabeaufforderungen, die weitaus mehr persönliche Ausgänge erzeugen.
• Anordnen der Eingabeaufforderungen in logischer Reihenfolge: Organisieren von Eingabeaufforderungen in einer logischen Sequenz hilft beim Abschluss

Wichtige Informationen. Wenn man zum Beispiel nach einem historischen Ereignis fragt, wäre es zuerst besser geeignet zu sagen: „Was ist passiert?“ Bevor er weiter fragte: „Warum warfare es bedeutsam?“

Hier erfahren Sie, wie Sie die besten Ergebnisse von Rag Methods erzielen können

Regelmäßige Bewertungspipelines: Nach einigen Bewertungen hilft es, ein Bewertungssystem einzurichten, indem er die Qualität im Laufe der Zeit im Auge behält, dh routinemäßig, wie intestine sowohl Abruf- als auch Generationsteile von Rag abschneiden. Kurz gesagt, herauszufinden, wie intestine eine KI in verschiedenen Szenarien Fragen beantwortet.

Integrieren Sie Consumer Suggestions Loops: Das Benutzer -Suggestions ermöglicht konstante Verbesserungen an dem, was das System zu bieten hat. Dieses Suggestions ermöglicht es dem Benutzer auch, Dinge zu melden, die dringend angegangen werden müssen.