habe eine Zeile wie ESCALATION_THRESHOLD = 0.90. Darüber agiert der Agent. Darunter wird ein Mensch angepingt.
Es ist einfach. Es ist abstimmbar. Es gibt jedem das Gefühl, dass die Autonomie unter Kontrolle ist.
Aber es ist nicht die richtige Lösung.
Das Replace ist keine bessere Nummer. Der Repair stellt fest, dass die Eskalationsschwelle überhaupt nie ein Prozentsatz battle. Es ist ein Preis.
Beginnen Sie mit der falschen Frage
Die meisten Groups stellen eine Fähigkeitsfrage. Kann der Agent das SQL schreiben? Kann die Rückerstattung erfolgen? Wenn ja, lassen Sie es laufen.
Aber etwas tun zu können und sich dafür zu entscheiden, es alleine zu tun, sind verschiedene Themen. Beim zweiten geht es eigentlich um die Entscheidung selbst: Was kostet ein Fehler und was kostet es, stattdessen einen Menschen einzubeziehen?
Das ist die wahre Wahl. Wenn der Agent handelt, riskieren Sie die Kosten eines Fehlers. Wenn Sie eskalieren, zahlen Sie für die Zeit eines Menschen, unabhängig davon, ob der Agent Recht hatte oder nicht.
Geben Sie Zahlen an und der Vergleich ist quick peinlich einfach. Eine Annahme zunächst: Der Mensch bekommt eskalierte Tickets richtig. Das lockern wir später. Handeln Sie vorerst allein, wenn:
(1 - p) * cost_of_error < cost_of_escalationDabei ist p die Wahrscheinlichkeit, dass der Agent Recht hat. Neu angeordnet, eskalieren, wann immer:
p < 1 - (cost_of_escalation / cost_of_error)Der Wert auf der rechten Seite ist der tatsächliche Schwellenwert. Beachten Sie, worauf es ankommt. Nicht das Modell. Keine Police aus einer Werkstatt. Nur ein Verhältnis zwischen zwei Kosten. Wenn Fehler günstig sind, ist die Schwelle niedriger und der Agent kann häufiger handeln. Wenn Fehler teuer sind, ist die Hemmschwelle höher und selbst ein selbstbewusster Makler sollte um Hilfe bitten.
Bei einem festen Grenzwert wird davon ausgegangen, dass das Verhältnis für jede Entscheidung, mit der der Agent jemals konfrontiert wird, gleich ist. Das ist selten.
Dieser Ansatz basiert auf Chows Ablehnungsregel aus dem Jahr 1970, die die Grundlage der heutigen Forschung zum Lernen des Aufschiebens bildet. Alte Ideen altern intestine, wenn sie richtig sind.
Zwei Tickets
Der einfachste Weg, dies zu zeigen: Help-Ticket-Triage. Ein Agent liest eingehende Tickets und löst sie entweder oder leitet sie an eine Particular person weiter. Die Zahlen hier sind für das Argument erfunden, aber sie hängen zusammen.
Eine routinemäßige Rückerstattungsanfrage. Kleine Menge, klare Richtlinien. Wenn der Agent es vermasselt, ist die Bereinigung ein Folgeticket und eine Kulanzgutschrift. Nennen wir es 15 £. Eskalierende Verbrennungen erfordern etwa drei Minuten der Zeit eines Spezialisten. Nennen Sie das 4 £.
Der Schwellenwert liegt bei 1 minus 4/15. Ungefähr 0,73.
Wenn der Agent additionally zu 90 % überzeugt ist, sollte er eindeutig handeln. Eine Eskalation würde 4 £ kosten, um nur 1,50 £ des erwarteten Fehlers zu vermeiden. Wenn Sie es laut aussprechen, würde niemand diesen Commerce tätigen, aber ein fester Cutoff führt ihn automatisch den ganzen Tag über durch.
Jetzt eine mögliche Kontoübernahme. Ein Kunde meldet eine Passwortänderung, die er nicht vorgenommen hat. Wenn der Agent dies als Routine betrachtet, ist der Nachteil kein Vorteil. Es geht um Betrugsverluste, Abhilfemaßnahmen, regulatorische Risiken und einen Kunden, der nie wieder zurückkommt. Setzen Sie konservative 2.000 £ ein. Die Eskalation kostet immer noch 4 £.
Der neue Schwellenwert beträgt 1 minus 4/2000 oder 0,998. In der Praxis bedeutet das, dass Sie immer eskalieren sollten. Bei einem Vertrauensverhältnis von 90 % birgt das alleinige Handeln des Maklers ein Risiko von 200 £ an erwarteten Kosten, verglichen mit nur 4 £ für eine Eskalation. Es ist fünfzigmal günstiger, es abzugeben.
Gleicher Agent. Gleiche 90 %. Gegenüberliegende richtige Antworten. Die 90 %-Regel besagt, dass in beiden Fällen gehandelt werden muss, und im zweiten Fall werden stillschweigend 196 £ professional Ticket verbrannt, um jemandem drei Minuten zu sparen.
Diese Beobachtung landet normalerweise im Gespräch.
Eine ehrliche Falte. Das Beispiel geht davon aus, dass der Agent weiß, welches Ticket er besitzt. Bei der echten Triage ist das die Unsicherheit. Wenn der Agent zu 90 % sicher ist, dass es sich bei einem Ticket um eine routinemäßige Rückerstattung handelt, könnte es sich bei einem Teil der restlichen 10 % um eine verdeckte Übernahme handeln. Gewichten Sie additionally die Fehlerkosten nach dem, was das Ticket sein könnte, und nicht nach dem, was es wahrscheinlich ist. Bewerten Sie es im Zweifelsfall als die schlechteste believable Klasse. Billig aussehende Tickets sind genau dort, wo sich teure Fehler verstecken.
Der Haken
All diese Arithmetik beruht auf einer Annahme. Wenn der Agent 90 % sagt, hat er in etwa 90 % der Fälle Recht.
Das ist Kalibrierung und nicht dasselbe wie Vertrauen. Vertrauen ist eine Zahl, die das Modell ausgibt. Bei der Kalibrierung geht es darum, ob die Zahl etwas bedeutet.
Geben Sie das in die Regel ein und beobachten Sie, wie sie bricht. Wenn 0,95 angegeben ist, bedeutet dies tatsächlich 0,70, Ihre erwarteten Fehlerkosten sind sechsmal so hoch wie die arithmetische Berechnung. Der Schwellenwert, den Sie so sorgfältig festgelegt haben, ist Fiktion. Sie managen das Risiko nicht mehr. Sie waschen es durch eine Zahl, die wie eine Wahrscheinlichkeit aussieht, aber keine ist.
Überprüfen Sie additionally vorher die Nummer. Protokollieren Sie jede Entscheidung mit der angegebenen Sicherheit. Bucket nach Konfidenzband, professional Entscheidungsklasse. Vergleichen Sie die angegebene mit der tatsächlichen Genauigkeit in jedem Eimer. Wenn der Agent 90 % sagt und 78 % erreicht, haben Sie Ihre Korrektur gefunden: Ordnen Sie eins dem anderen zu, bevor irgendetwas den Schwellenwert berührt. Die Anpassung erfolgt durch isotonische Regression oder Platt-Skalierung.
Hier stechen zwei Particulars hervor. Agenten sind in der seltenen, risikoreichen Klasse oft am schlechtesten kalibriert, gerade weil sie selten ist. Das ist die Klasse, die Ihren extremen Schwellenwert trägt, sodass ein globaler Durchschnitt den entscheidenden Fehler verbirgt. Und die Karte verschiebt sich, wenn sich der Ticketmix ändert, additionally messen Sie sie nach einem Zeitplan neu. Die Technik zählt weniger als die Gewohnheit. Bis Sie die Lücke gemessen haben, hat kein Schwellenwert Ihr Vertrauen verdient.
Die Regel im Code
Hier ist es als Lernspielzeug. Ein paar Zeilen, um die Struktur sichtbar zu machen, nicht etwas, das ich gebaut oder versendet habe.
def should_act_autonomously(stated_confidence: float,
cost_of_error: float,
cost_of_escalation: float,
calibrate) -> bool:
"""
Educating toy: act alone or escalate, by anticipated value.
`calibrate` maps said confidence to a measured
chance of being appropriate, constructed from logged
choices and realised outcomes.
"""
p_correct = calibrate(stated_confidence)
expected_cost_of_acting = (1 - p_correct) * cost_of_error
expected_cost_of_asking = cost_of_escalation
return expected_cost_of_acting < expected_cost_of_askingDie Funktion enthält nichts Besonderes. Was wirklich zählt, ist, wie Sie die drei Eingaben auswählen. Hier sollten Sie sich anstrengen, anstatt darüber zu streiten, ob die magische Zahl 0,85 oder 0,92 sein sollte.
Wo die Zahlen chaotisch werden
Zwei Faktoren machen die Eingaben komplizierter.
Die Eskalationskosten betragen nicht nur Minuten mal Gehalt. Eskalationen häufen sich in einer Warteschlange, und die Warteschlangen verstopfen sich. Schlimmer noch: Eine übermäßige Eskalation bringt die Rezensenten dazu, sich abzunicken. Schicken Sie jemandem professional Stunde vierzig routinemäßige Rückerstattungen, und innerhalb einer Woche hat er aufgehört, sie zu lesen. Ein Mensch, der alles gutheißt, ist keine Kontrolle. Es ist ein Ritual. Die geringfügige Eskalation kostet additionally mehr, als es aussieht, und die Kluft wird mit zunehmendem Volumen größer.
Und erinnern Sie sich an die Annahme, die wir vorhin vertreten haben: Der Mensch macht es richtig. Oft tun sie das nicht. Geben Sie dem Spezialisten eine Fehlerrate h und die Regel wird wirksam, wenn (1 − p) × Fehlerkosten kleiner sind als Eskalationskosten plus h × Fehlerkosten. Normalerweise ist h klein genug, um ignoriert zu werden. Bei wirklich mehrdeutigen Tickets ist dies nicht der Fall und die Barriere verschiebt sich wieder in Richtung des Agenten. Das überrascht die Leute.
Keines dieser Probleme ändert den Gesamtansatz; Sie wirken sich nur auf die Zahlen aus. Das ist der Vorteil der Verwendung einer numerischen Methode.
Tun Sie dies für Ihren eigenen Agenten
Das Verfahren ist kurz.
Gruppieren Sie zunächst die Entscheidungen des Agenten in Klassen, bei denen die Kosten eines Fehlers ungefähr gleich sind. Ordnen Sie beispielsweise Rückerstattungen einer Klasse und Sicherheitsvorfälle einer anderen zu. Wenn Sie die Kosten eines Fehlers für eine Klasse nicht abschätzen können, ist sie noch nicht bereit für Autonomie. Tatsächlich ist es ein wertvoller Teil des Prozesses, dies herauszufinden.
Dann bepreisen Sie jede Klasse. Sprechen Sie mit den Leuten, die das Chaos beseitigen, nicht nur mit den Leuten, die den Agenten entwickelt haben. Finanz- und Supportmitarbeiter kennen diese Zahlen besser als die Technik und sind in der Regel froh, dass endlich jemand gefragt hat.
Schätzen Sie außerdem die Kosten einer Eskalation ein, einschließlich der Auswirkungen von Staus und Billigungen.
Verwenden Sie in Ihrer Regel die korrigierte Wahrscheinlichkeit, nicht den Rohwert.
Letzter Schritt: Leiten Sie den Schwellenwert professional Klasse aus dem Kostenverhältnis ab und lassen Sie ihn sich ändern, wenn sich die Kosten ändern. Ein neues Betrugsmuster erhöht den Preis eines Sicherheitsfehlers, sodass auch die Schwelle steigt. Es ist keine Besprechung erforderlich, da es sich um eine Ableitung und nicht um eine Verordnung handelt.
Am Ende wird Ihr Agent mehrere Schwellenwerte haben, nicht nur einen. Es wird mehr Autonomie haben, wenn Fehler billig sind, und viel weniger, wenn Fehler kostspielig sind. Das Modell und der Vergleich bleiben gleich.
Und das ist die ehrliche Antwort auf die Frage, mit der jeder beginnt. „Wie sicher sollte mein Agent sein, bevor er alleine handelt?“ Kann nicht beantwortet werden, da es nicht ausreichend spezifiziert ist. „Was kostet hier ein falscher Anruf und was kostet eine Nachfrage?“ dürfen. Legen Sie den Schwellenwert als Preis fest. Der Prozentsatz klärt sich von selbst.