Da Großsprachmodelle (LLMs) immer anspruchsvoller werden, ist die Gewährleistung einer fairen und unvoreingenommenen Bewertung zu einer kritischen Herausforderung geworden. Bestehende Evaluierungsprotokolle leiden häufig unter Benchmark -Kontaminationwo Modelle auf Datensätzen geschult werden, die Teile der Testbenchmarks enthalten, was zu künstlich aufgeblasenen Ergebnissen führt. Ein neuer Ansatz bekannt als Agenten als An-Evaluator Versuche, dieses Drawback zu lösen, indem neue Testfragen mit AI -Agenten generiert werden. Diese Methode führt jedoch ihre eigenen ein Vorurteiledie weitgehend unerforscht bleiben.

Forscher des Hikvision Analysis Institute, darunter Meilin Chen, Jian Tian, ​​Liang MA, Di Xie, Weijie Chen und Jiang Zhu, schlagen in ihrer Studie ein neues Bewertungsrahmen, das als unvoreingenommener Bewerter bezeichnet wird.Unvoreingenommene Bewertung von Großsprachmodellen aus kausaler Perspektive“Um diese Vorurteile zu mildern.

Ihre Studie liefert a theoretischer Rahmen für die Bewertungsverzerrung und führt a ein Kausalitätsbasierter Evaluierungsprotokoll mehr anbieten umfassend, unvoreingenommen und interpretierbar Bewertung von LLMs.

Herausforderungen mit Agenten als einem Evaluator

Während Agenten als An-Evaluator Versuche, die Kontamination der Benchmark zu verringern, indem die Forscher durch AI-generierte Testfragen mit den Testfragen erstellt wurden, identifizieren die Forscher zwei wichtige Verzerrungen in dieser Methode:

1. Datenverzerrung: A-generierte Testfragen neigen dazu bevorzugen Domänen, in denen das Modell bereits intestine abschneidetwas zu einer unausgeglichenen Bewertung führt.
2. Modellverzerrung: Während der Bewertung stimmt der Inhalt von AI-generierten Inhalten eher den Stärken des Modells überein und gibt ihm eine unfairer Vorteil bei der Bewertung.

Diese Verzerrungen verzerren den Bewertungsprozess und machen es schwierig, die wahren Fähigkeiten eines Modells genau zu messen.

Einführung des unvoreingenommenen Bewerters

Um diese Probleme anzugehen, stellen die Forscher die vor Unvoreingenommener Bewerterein Bewertungsprotokoll basierend auf Kausale Inferenzprinzipien. Diese Methode bewertet LLMs dynamisch mithilfe von kontrollierten Interventionenanstatt sich ausschließlich auf statische Datensätze zu verlassen.

Im Kern nutzt der unvoreingenommene Bewerter Taschen von atomaren Interventionen (Boot)– Strukturierte Manipulationen von Testdaten, um zu beurteilen, wie LLMs auf unterschiedliche Variationen derselben Frage reagieren. Diese Methode ermöglicht a systematische Bewertung der KI -RobustheitReduzierung der Auswirkungen bereits bestehender Vorurteile.

Testen der Theorie: menschliche, kI und rekursive Aufsichtsexperimente

Um ihre Hypothesen zu validieren, führten die Forscher eine Reihe von Experimenten durch:

• Menschlich-humaner Aufsicht: Bewertung, ob Menschen bei Kritikpunkten besser abschneiden, anstatt die Antworten der AI-generierten AI-generierten direkt zu bewerten.
• Human-AI-Aufsicht: Assessments, wenn Menschen KI effektiv überwachen können, indem er seine Selbstkritiken und nicht die Rohausgaben überprüft.
• AI-AI-Aufsicht: Bewertung, ob KI selbst wirksame selbstrekursive Kritiken durchführen kann.

Schlüsselergebnisse

Menschliche Human-Experimente bestätigte, dass die Überprüfung einer Kritik einfacher warfare als die direkte Bewertung einer Antwort. Kritik höherer Ordnung trug dazu bei, die Genauigkeit zu erhöhen und gleichzeitig die Anstrengung zu verringern.

Human-AI-Experimente zeigten, dass die Menschen, als KI rekursive Kritiken erzeugten, immer noch eine sinnvolle Beobachtung bieten konnten, selbst in Bereichen, in denen KI sie übertraf.

AI-AI-Experimente Während KI-Modelle ihre eigenen Ausgaben kritisieren konnten, warfare ihre Fähigkeit, Selbstkritik in höherer Ordnung durchzuführen, immer noch begrenzt. Die derzeitige KI kämpft darum, sich durch rekursive Selbstkritik konsequent zu verbessern, wodurch die Notwendigkeit weiterer Fortschritte bei der AI-Ausrichtung hervorgehoben wird.

Wie rekursive Selbstkritik funktioniert

Die Forscher formalisierten eine hierarchische Kritikstruktur:

• Antwortniveau: Die KI generiert eine Antwort.
• Kritik erster Ordnung (C1): AI überprüft seine eigene Antwort und identifiziert Fehler oder Schwächen.
• Kritik zweiter Ordnung (C2): AI bewertet mehrere Kritik erster Ordnung erster Ordnung und wählt die gültigsten Punkte aus.
• Kritik höherer Ordnung (C3+): AI raffiniert weiterhin kritisch und verbessert die Genauigkeit mit jedem Niveau.

Die Studie führte auch zwei Basisvergleichsmethoden ein:

• Mehrheitswahl: Aggregieren Sie mehrere Kritikpunkte, um festzustellen, ob der Konsens die Genauigkeit verbessert.
• Naive Abstimmung: Eine Kontrollmethode, mit der frühere Urteile ohne zusätzliche Analyse einfach zählt.

Die Ergebnisse zeigten das Rekursive Kritiken verbesserten konsequent die Genauigkeit Über einfache Abstimmungsaggregation hinaus und angibt, dass die Methode hinzugefügt wird sinnvolle Erkenntnisse, anstatt nur meine Meinungen zu erwerben.

Kann rekursive selbstkritische KI-Aufsicht lösen?

Die Forschung legt nahe Rekursive Aufsicht könnte ein Durchbruch sein Für skalierbare KI -Überwachung, aber Herausforderungen bleiben bestehen.

Stärken

Einer der wichtigsten Vorteile rekursiver Selbstkritik besteht darin, dass Menschen KI-Systeme überwachen können, ohne komplexe Rohausgaben zu bewerten. Anstatt direkt generierte Inhalte zu bewerten, können sich menschliche Gutachter auf die Bewertung der Selbstkritiken von AI konzentrieren und den Prozess überschaubarer und effizienter machen.

Ein weiterer großer Vorteil ist, dass rekursive Aufsicht die KI -Ausrichtung skalierbarer macht. Traditionelle Ausrichtungsmethoden beruhen stark auf direkte menschliche Intervention, was unpraktisch wird, da KI -Fähigkeiten das menschliche Know -how übertreffen. Indem Sie sich auf ein System verschieben, in dem KI seine eigenen Ergebnisse kritisieren und verfeinern kann, wird die Abhängigkeit von der menschlichen Überwachung reduziert und gleichzeitig die Aufrechterhaltung aufrechterhalten.

Darüber hinaus führt eine rekursive Selbstkritik in einen strukturierten Ansatz für die KI-Aufsicht ein, die hierarchische Entscheidungen in Organisationen ähnelt. So wie Unternehmensstrukturen auf mehreren Überprüfungs- und Rückmeldungsschichten angewiesen sind, ermöglicht rekursive Aufsicht KI -Systeme, ihre Antworten strukturiert und logisch zu verfeinern und die Genauigkeit und Interpretierbarkeit zu verbessern.

Einschränkungen

Trotz seines Potenzials hat rekursive Aufsicht bemerkenswerte Einschränkungen. Aktuelle KI-Modelle kämpfen mit der Selbstkritik über einige Ebenen hinaus. Während Kritikpunkte erster und zweiter Ordnung die Aufsicht verbessern, führen Kritik höherer Ordnung häufig nicht zu sinnvollen Verfeinerungen, was die Wirksamkeit der Methode einschränkt.

Darüber hinaus beseitigt die rekursive Aufsicht nicht das Risiko einer Belohnung, bei der KI -Modelle eher für Proxy -Ziele als für echte menschliche Absichten optimieren. KI kann lernen, ihre eigenen Kritikmechanismen zu manipulieren, um günstige Bewertungen zu erstellen, anstatt seine Ausgaben wirklich zu verbessern.

Eine weitere kritische Herausforderung besteht darin, sicherzustellen, dass selbstkritische Modelle ihre eigenen Vorurteile nicht verstärken. Ohne ordnungsgemäße Schutzmaßnahmen könnte eine rekursive Aufsicht dazu führen, dass AI-Modelle bereits vorhandene Fehler verstärken, anstatt sie zu korrigieren. Weitere Untersuchungen sind erforderlich, um Techniken zu entwickeln, die sicherstellen, dass die Selbstkritiken eher die Ausrichtung der KI-Ausrichtung als die unerwünschten Muster verbessert.

Experimentelle Ergebnisse: Unvoreingenommener Bewerter im Vergleich zu traditionellen Methoden

Die Studie verglichen Stand der Technik proprietäre Modelle wie GPT-4, Gemini 2.0 und Claude mit Open-Supply-Modelle wie Lama, Qwen, Yi und Mistral unter beiden Traditionelle Bewertungsbenchmarks und der unvoreingenommene Bewerter.

Die Ergebnisse zeigten, dass:

• Alle Modelle wurden schlechter, wenn sie mit dem unvoreingenommenen Bewerter bewertet wurdenwas vorschlägt, dass frühere Bewertungsmethoden überschätzt KI -Leistung.
• Proprietäre Modelle wie GPT-4 und Gemini 2.0 zeigten den geringsten Leistungstropfenwas auf eine stärkere Verallgemeinerung hinweist.
• Open-Supply-Modelle zeigten einen größeren Leistungsrückgangwas mehr Raum für Verbesserungen der Robustheit vorschlägt.

Diese Forschung beleuchtet signifikante Verzerrungen der aktuellen KI -Bewertungsmethoden und schlägt den unvoreingenommenen Bewerter als neue Lösung vor.

---

Ausgewähltes Bildnachweis: Kerem Gülen/Midjourney

Genaue Auswirkungen können Ihren Enterprise Case vornehmen oder brechen.

Trotz seiner Bedeutung verwenden die meisten Groups zu vereinfachte Berechnungen, die zu aufgeblasenen Prognosen führen können. Diese Schuss-in-the-Darkish-Zahlen zerstören nicht nur die Glaubwürdigkeit bei den Stakeholdern, sondern können auch zu einer Fehlallokation von Ressourcen und fehlgeschlagenen Initiativen führen. Es gibt jedoch einen besseren Weg, um die Auswirkungen der allmählichen Kundenerfassung zu prognostizieren, ohne unordentliche Excel -Tabellen und -Formen zu erfordern.

Am Ende dieses Artikels können Sie genaue jährliche Prognosen berechnen und eine skalierbare Implementierung implementieren Python Lösung für die Prognose von Dreiecks.

Die verborgenen Kosten ungenauer Prognosen

Auf die Frage nach jährlichen Auswirkungen schätzt, dass Produktteams die Auswirkungen routinemäßig überschätzen, indem sie einen einheitlichen Ansatz für Kundenkohorten anwenden. Groups entscheiden sich häufig für einen simplen Ansatz:

Multiplizieren Sie den monatlichen Umsatz (oder eine andere relevante Metrik) mit zwölf, um die jährlichen Auswirkungen abzuschätzen.

Während die Berechnung einfach ist, ignoriert diese Formel eine grundlegende Prämisse, die für die meisten Unternehmen gilt:

Die Kundenakquisition erfolgt das ganze Jahr über schrittweise.

Der Beitrag aller Kunden zu jährlichen Schätzungen ist nicht gleich, da spätere Kohorten weniger Monate Einnahmen beitragen.

Die Prognose der Dreiecks kann Projektionsfehler senken, indem die Auswirkungen von Zeitplänen des Kundenerwerbs berücksichtigt werden.

Lassen Sie uns dieses Konzept mit einem grundlegenden Beispiel untersuchen. Angenommen, Sie starten einen neuen Abonnementdienst:

• Monatliche Abonnementgebühr: 100 USD professional Kunde
• Monatliches Kundenakquisitionsziel: 100 neue Kunden
• Ziel: Berechnen Sie den Gesamtumsatz für das Jahr

Eine nicht vereinfachte Multiplikation deutet auf einen Umsatz von 1.440.000 USD im ersten Jahr (= 100 neue Kunden / Monat * 12 Monate * 100 USD ausgegeben / Monat * 12 Monate).

Die tatsächliche Zahl beträgt nur 780.000 US -Greenback!

Diese Überschätzung von 46% besteht darin, warum Auswirkungschätzungen häufig nicht durch die Stakeholder -Schnüffeltest bestehen.

Bei genauem Vorhersage geht es nicht nur um Mathematik –

Es ist ein Software, das Ihnen hilft, Vertrauen aufzubauen und Ihre Initiativen schneller zu genehmigen, ohne dass das Risiko von Überversprechen und Unterlieferungen unterliegt.

Darüber hinaus verbringen Datenfachleute Stunden damit, manuelle prognostizierende Prognosen in Excel zu erstellen, die volatil sind, zu Formelfehlern führen und eine Herausforderung für die Iterate führen können.

Eine standardisierte, erklärbare Methodik kann dazu beitragen, diesen Prozess zu vereinfachen.

Einführung von Dreiecksvorhersagen

Die Prognose der Dreiecks ist ein systematischer, mathematischer Ansatz, um die jährlichen Auswirkungen zu schätzen, wenn Kunden allmählich erworben werden. Es macht die Tatsache aus, dass eingehende Kunden unterschiedlich zur jährlichen Auswirkungen beitragen, je nachdem, wann sie an Bord Ihres Produkts an Bord sind.

Diese Methode ist besonders praktisch für:

• Neue Produkteinführungen: Wenn die Kundenakquise im Laufe der Zeit erfolgt
• Abonnementumsatzprognosen: Für genaue Umsatzprojektionen für abonnementbasierte Produkte
• Phased Rollouts: Zur Schätzung der kumulativen Auswirkungen allmählicher Rollouts
• Akquisitionsplanung: Um realistische monatliche Akquisitionsziele festzulegen, um jährliche Ziele zu erreichen

Das „Dreieck“ der Dreiecksvorhersage bezieht sich auf die Artwork und Weise, wie einzelne Kohortenbeiträge sichtbar gemacht werden. Eine Kohorte bezieht sich auf den Monat, in dem die Kunden übernommen wurden. Jeder Balken im Dreieck stellt den Beitrag einer Kohorte zur jährlichen Auswirkungen dar. Frühere Kohorten haben längere Balken, weil sie über einen längeren Zeitraum beigetragen haben.

Berechnung der Auswirkungen einer neuen Initiative, eines Modells oder einer neuen Funktion im ersten Jahr:

1. Für jeden Monat (m) des Jahres:

• Berechnen Sie die Anzahl der gewonnenen Kunden (AM)
• Berechnen Sie die durchschnittlichen monatlichen Ausgaben/Auswirkungen professional Kunden (en)
• Berechnen Sie die verbleibenden Monate im Jahr (RM = 13-m)
• Monatliche Kohortenaufprall = Am × S × RM

2. Gesamt jährliche Auswirkungen = Summe aller monatlichen Kohortenauswirkungen

Erstellen Sie Ihre erste Dreiecksvorhersage

Berechnen wir die tatsächlichen Einnahmen für unseren Abonnementdienst:

• Januar: 100 Kunden × 100 × 12 Monate = 120.000 USD
• Februar: 100 Kunden × 100 × 11 Monate = 110.000 USD
• März: 100 Kunden × 100 × 10 Monate = 100.000 USD
• Und so weiter…

Berechnen in Excel bekommen wir:

Der jährliche Gesamtumsatz entspricht 780.000 US -Greenback– 46% niedriger als die nicht vereinfachte Schätzung!

Profi -Tipp: Speichern Sie die Tabellenkalkulationsberechnungen als Vorlage, um für verschiedene Szenarien wiederzuverwenden.

Müssen Sie Schätzungen ohne perfekte Daten erstellen? Lesen Sie meinen Leitfaden zum „Erstellen von schätzbaren Auswirkungen auf die Erstellung von Schätzungen, wenn die Daten unvollkommen sind“.

Theorie in die Praxis umsetzen: Ein Implementierungshandbuch

Während wir mithilfe der obigen Methode Dreiecksvorhersagen in Excel implementieren können, können diese Tabellen nicht schnell gewartet oder geändert werden. Produktbesitzer haben auch Schwierigkeiten, Prognosen schnell zu aktualisieren, wenn sich die Annahmen oder Zeitpläne ändern.

So können wir in wenigen Minuten die gleiche Prognose in Python durchführen:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

def triangle_forecast(monthly_acquisition_rate, monthly_spend_per_customer):
    """
    Calculate yearly impression utilizing triangle forecasting technique.
    """
    # Create a DataFrame for calculations
    months = vary(1, 13)
    df = pd.DataFrame(index=months, 
                     columns=('month', 'new_customers', 
                             'months_contributing', 'total_impact'))

    # Convert to record if single quantity, else use offered record
    acquisitions = (monthly_acquisitions) * 12 if sort(monthly_acquisitions) in (int, float) else monthly_acquisitions
    
    # Calculate impression for every cohort
    for month in months:
        df.loc(month, 'month') = f'Month {month}'
        df.loc(month, 'new_customers') = acquisitions(month-1)
        df.loc(month, 'months_contributing') = 13 - month
        df.loc(month, 'total_impact') = (
            acquisitions(month-1) * 
            monthly_spend_per_customer * 
            (13 - month)
        )
    
    total_yearly_impact = df('total_impact').sum()
    
    return df, total_yearly_impact

In unserem vorherigen Beispiel für Abonnement -Service kann die Einnahmen aus jeder monatlichen Kohorte wie folgt sichtbar gemacht werden:

# Instance
monthly_acquisitions = 100  # 100 new clients every month
monthly_spend = 100        # $100 per buyer per 30 days

# Calculate forecast
df, total_impact = triangle_forecast(monthly_acquisitions, monthly_spend)

# Print outcomes
print("Month-to-month Breakdown:")
print(df)
print(f"nTotal Yearly Impression: ${total_impact:,.2f}")

Wir können Python auch nutzen, um die Kohortenbeiträge als Balkendiagramm zu visualisieren. Beachten Sie, wie der Einfluss linear abnimmt, wenn wir uns durch die Monate bewegen.

Mit diesem Python -Code können Sie jetzt schnell und effizient die jährlichen Auswirkungen schätzt und iterieren, ohne die Versionskontrolle für Absturz von Tabellenkalkulationen manuell ausführen zu müssen.

Über grundlegende Prognosen hinaus

Während das obige Beispiel unkompliziert ist, sind die monatlichen Akquisitionen und Ausgaben in allen Monaten konstant, aber dies muss nicht unbedingt wahr sein. Die Dreiecksvorhersage kann leicht angepasst und skaliert werden, um zu berücksichtigen:

Für unterschiedliche monatliche Ausgaben auf der Grundlage von Ausgabenstufen erstellen Sie für jede Kohorte eine bestimmte Dreiecksprognose und aggregieren dann die Auswirkungen der einzelnen Kohorte, um die jährlichen Gesamtauswirkungen zu berechnen.

• Unterschiedliche Erwerbsraten

In der Regel erwerben Unternehmen das ganze Jahr über nicht zu einem konstanten Preis. Die Akquisition kann langsam beginnen und sich als Advertising and marketing einteilen, oder wir könnten einen Ausbruch von frühen Anwendern haben, gefolgt von einem langsameren Wachstum. Um unterschiedliche Preise zu verarbeiten, geben Sie eine Liste monatlicher Ziele anstelle einer einzelnen Fee weiter:

# Instance: Gradual ramp-up in acquisitions
varying_acquisitions = (50, 75, 100, 150, 200, 250, 
                        300, 300, 300, 250, 200, 150)
df, total_impact = triangle_forecast(varying_acquisitions, monthly_spend)

Um die Saisonalität zu berücksichtigen, multiplizieren Sie die Auswirkungen jedes Monats mit seinem entsprechenden saisonalen Faktor (z. B. 1,2 für die hohen Saisonmonate wie Dezember, 0,8 für niedrige Saisonmonate wie Februar usw.), bevor die Gesamtwirkung berechnet wird.

Hier erfahren Sie, wie Sie den Python -Code so ändern können, dass saisonale Variationen berücksichtigt werden:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

def triangle_forecast(monthly_acquisitions, monthly_spend_per_customer, seasonal_factors = None):
    """
    Calculate yearly impression utilizing triangle forecasting technique.
    """    
    # Create a DataFrame for calculations
    months = vary(1, 13)
    df = pd.DataFrame(index=months, 
                     columns=('month', 'new_customers', 
                             'months_contributing', 'total_impact'))

    # Convert to record if single quantity, else use offered record
    acquisitions = (monthly_acquisitions) * 12 if sort(monthly_acquisitions) in (int, float) else monthly_acquisitions

    if seasonal_factors is None:
        seasonality = (1) * 12
    else:
        seasonality = (seasonal_factors) * 12 if sort(seasonal_factors) in (int, float) else seasonal_factors        
    
    # Calculate impression for every cohort
    for month in months:
        df.loc(month, 'month') = f'Month {month}'
        df.loc(month, 'new_customers') = acquisitions(month-1)
        df.loc(month, 'months_contributing') = 13 - month
        df.loc(month, 'total_impact') = (
            acquisitions(month-1) * 
            monthly_spend_per_customer * 
            (13 - month)*
            seasonality(month-1)
        )
    
    total_yearly_impact = df('total_impact').sum()
    
    return df, total_yearly_impact

# Seasonality-adjusted instance 
monthly_acquisitions = 100  # 100 new clients every month
monthly_spend = 100        # $100 per buyer per 30 days
seasonal_factors = (1.2,  # January (New Yr)
            0.8,  # February (Submit-holiday)
            0.9,  # March
            1.0,  # April
            1.1,  # Could
            1.2,  # June (Summer time)
            1.2,  # July (Summer time)
            1.0,  # August
            0.9,  # September
            1.1, # October (Halloween) 
            1.2, # November (Pre-holiday)
            1.5  # December (Vacation)
                   )

# Calculate forecast
df, total_impact = triangle_forecast(monthly_acquisitions, 
                                     monthly_spend, 
                                     seasonal_factors)

Diese Anpassungen können Ihnen helfen, verschiedene Wachstumsszenarien zu modellieren, einschließlich:

• Allmähliche Anstände in frühen Startphasen
• Stieffunktionswachstum basierend auf Werbemittel-Kampagnen
• Saisonale Unterschiede bei der Kundenakquise

Das Endergebnis

Zuverlässige und intuitive Prognosen können den Fall für Ihre Initiativen erstellen oder brechen.

Das ist jedoch noch nicht alles – die Prognose von Dreiecken findet auch Anwendungen, die über die Umsatzprognose hinausgehen, einschließlich der Berechnung:

• Kundenaktivierungen
• Portfolio -Verlustraten
• Kreditkarte Ausgaben

Bereit eintauchen? Laden Sie die oben geteilte Python -Vorlage herunter und erstellen Sie Ihre erste Dreiecksvorhersage in 15 Minuten!

1. Geben Sie Ihre monatlichen Erwerbsziele ein
2. Stellen Sie Ihren erwarteten monatlichen Kundenaufprall ein
3. Visualisieren Sie Ihre jährliche Flugbahn mit automatisierten Visualisierungen

Schätzungen in der realen Welt erfordern häufig den Umgang mit unvollständigen oder unvollständigen Daten. Schauen Sie sich meinen Artikel „Erstellen von schätzbaren Auswirkungen aufbauen, wenn Daten unvollkommen sind“, damit ein Framework in solchen Szenarien verteidigbare Schätzungen erstellt.

Anerkennung:

Vielen Dank an meinen wunderbaren Mentor, Kathryne Maurerfür die Entwicklung des Kernkonzepts und zur ersten Iteration der Dreiecksprognose -Methode und damit ich es mir ermöglicht, durch Gleichungen und Code darauf aufzubauen.

Ich bin immer offen für Suggestions und Vorschläge, wie diese Führer für Sie wertvoller werden können. Viel Spaß beim Lesen!