Normalerweise können Sie das, was Ihnen wichtig ist, nicht direkt messen.
Nehmen wir an, mein Ziel wäre es, die Qualität meiner E-newsletter-Beiträge zu messen. Wie mache ich das? „Qualität“ ist subjektiv und es gibt keine allgemein akzeptierte Formel zur Bewertung. Daher muss ich den besten (oder am wenigsten schlechten) Proxy für mein Ziel wählen. dass ich tatsächlich messen kann. In diesem Beispiel könnte ich Öffnungsrate, Likes usw. als Indikator für die Qualität verwenden.
Dies hängt eng mit dem zusammen, was oft als „Relevanz“ der Kennzahl bezeichnet wird: Schafft es einen Mehrwert für das Unternehmen, wenn Sie die Kennzahl verbessern? Wenn nicht, warum messen Sie sie dann?
Zum Beispiel, Nehmen wir an, Sie arbeiten bei Uber und möchten wissen, ob Ihre Angebotsseite gesund ist. Sie denken vielleicht, dass die Anzahl der Fahrer auf der Plattform oder die Zeit, die sie on-line in der App verbringen, ein guter Maßstab ist.
Diese Kennzahlen sind nicht schlecht, aber sie sagen Ihnen nicht wirklich, ob Ihre Angebotsseite eigentlich gesund (dh ausreichend, um die Nachfrage zu decken). Es könnte sein, dass die Nachfrage das Treiberwachstum übersteigt oder dass das Nachfragewachstum hauptsächlich vormittags stattfindet, das Angebot jedoch hauptsächlich nachmittags wächst.
Ein besserer Maßstab wäre einer, der Angebot und Nachfrage kombiniert, z. B. die Häufigkeit, mit der Fahrgäste die App öffnen und kein Fahrer verfügbar ist.
Die Leute lieben ausgefallene Kennzahlen. Schließlich bezahlt man das Datenteam für komplexe Analysen, oder? Komplizierte Kennzahlen sind jedoch aus mehreren Gründen gefährlich:
- 🤔 Sie sind schwer zu verstehen. Wenn Sie nicht genau verstehen, wie eine Metrik berechnet wird, wissen Sie nicht, wie Sie ihre Bewegungen interpretieren oder wie Sie sie beeinflussen können.
- 🧑🔬 Sie erzwingen eine Zentralisierung der Analytik. Häufig ist das Knowledge Science-Staff das einzige, das komplexe Kennzahlen berechnen kann. Dadurch wird anderen Groups die Möglichkeit genommen, dezentral Analysen durchzuführen.
- ⚠️ Sie sind fehleranfällig. Komplexe Kennzahlen erfordern oft Enter von mehreren Groups. Ich habe den Überblick verloren, wie oft ich Fehler gefunden habe, weil einer der vielen Upstream-Inputs fehlerhaft warfare. Erschwerend kommt hinzu, dass nur eine Handvoll Leute im Unternehmen diese Kennzahlen berechnen können, es kaum Peer-Opinions gibt und Fehler oft lange Zeit unbemerkt bleiben.
- 🔮 Oft handelt es sich dabei um Projektionen. Viele komplexe Messgrößen basieren auf Prognosen (z. B. Prognosen der Kohortenleistung auf Grundlage früherer Daten). Diese Prognosen sind häufig ungenau und ändern sich im Laufe der Zeit, wenn neue Daten eingehen, was zu Verwirrung führt.
Nehmen wir zum Beispiel LTV:CAC:
Abgesehen davon, dass es nicht das beste Maß für den Job es soll, es ist aber auch gefährlich, weil es kompliziert zu berechnen ist. Der Zähler, CAC, erfordert, dass Sie verschiedene Kosten aus Advertising and marketing und Vertrieb auf Kohortenbasis aggregieren, während der Nenner, LTV, eine Projektion verschiedener Faktoren ist, darunter Kundenbindung, Upselling usw.
Bei solchen Kennzahlen merkt man nach zwei Jahren, dass es ein methodisches Drawback gab und man sich die ganze Zeit „falsche“ Daten angesehen hat.
Wenn Sie Ihr Unternehmen kontinuierlich anhand einer Kennzahl steuern möchten, muss es reaktionsfähig sein. Wenn eine Kennzahl verzögert ist, d. h. es Wochen oder Monate dauert, bis sich Änderungen auf die Kennzahl auswirken, haben Sie keine Feedbackschleife, die Ihnen kontinuierliche Verbesserungen ermöglicht.
Sie möchten dieses Drawback vielleicht dadurch lösen, dass Sie die Auswirkungen von Änderungen vorhersagen, statt abzuwarten, bis sie sich in den Kennzahlen niederschlagen. Davon ist allerdings oft abzuraten (siehe Grundsatz Nr. 2 oben).
Natürlich ist es wichtig, nachlaufende Kennzahlen wie den Umsatz im Auge zu behalten (insbesondere für die Finanz- oder Führungsabteilung), aber die meisten Groups sollten sich vor allem auf die Frühindikatoren konzentrieren.
Wenn Sie eine Messgröße auswählen und die Leute für die Verbesserung dieser Messgröße verantwortlich machen, werden sie die effizientesten Wege finden, dies zu tun. Dies führt jedoch häufig zu unbeabsichtigten Ergebnissen. Hier ist ein Beispiel:
- Fb möchte den Nutzern relevante Inhalte zeigen, um die Verweildauer auf der Web site zu erhöhen
- Da „Relevanz“ schwer zu messen ist, verwenden sie Engagement-Kennzahlen als Proxy (Likes, Kommentare usw.).
- Writer und Kreative erkennen, wie der Algorithmus funktioniert und finden psychologisch manipulative Wege, um das Engagement zu steigern ➡ Click on Bait und Wutköder Sind geboren
„Wenn eine Maßnahme zum Ziel wird, ist sie keine gute Maßnahme mehr.“
— Goodharts Gesetz
Im obigen Beispiel könnte Fb mit der Qualitätsverschlechterung einverstanden sein, solange die Nutzer weiterhin Zeit auf der Plattform verbringen. Aber in vielen Fällen kann eine Manipulation der Kennzahlen in großem Maßstab ernsthaften Schaden anrichten.
Nehmen wir an, Sie bieten einen Empfehlungsbonus an, bei dem Benutzer für empfohlene Anmeldungen belohnt werden. Was wird höchstwahrscheinlich passieren? Die Leute werden versuchen, Dutzende von Faux-Konten zu erstellen, um den Bonus zu erhalten. Eine bessere Empfehlungsmetrik wäre, einen Mindesttransaktionsbetrag auf der Plattform (z. B. 25 $) zu erfordern, um den Bonus zu erhalten.
Eine Möglichkeit, Manipulationen vorzubeugen, besteht darin, Entwerfen Sie die Metrik so, dass das erwartete unerwünschte Verhalten eingeschränkt wird. Ein anderer Ansatz besteht darin, Metriken zu paaren. Dieser Ansatz wurde von Andy Grove in seinem Buch „Excessive Output Administration“ vorgestellt:
„Da Indikatoren die Aktivitäten eines Menschen steuern, sollte man sich vor Überreaktionen hüten. Dies kann man erreichen, indem man Indikatoren paart, sodass sowohl Wirkung als auch Gegenwirkung gemeinsam gemessen werden.“
— Andy Grove, „Excessive Output Administration“
Wie sieht das in der Praxis aus? Wenn Sie Ihren Kundendienstmitarbeitern nur Anreize für die „Zeit bis zur ersten Antwort“ bieten, weil Sie möchten, dass die Kunden sofort Hilfe erhalten, werden sie auf jedes neue Ticket einfach mit einer allgemeinen Nachricht antworten. Wenn Sie dies jedoch mit einem Ziel für die Ticketlösungszeit (oder Kundenzufriedenheit) verknüpfen, stellen Sie sicher, dass sich die Mitarbeiter tatsächlich darauf konzentrieren, die Probleme der Kunden schneller zu lösen.
Viele gängige Kennzahlen bei Technologieunternehmen sind an einen Schwellenwert gebunden.
Zum Beispiel:
- Anzahl der Benutzer mit mindestens 5 Verbindungen
- Anzahl der Movies > 1.000 Aufrufe
Das ist sinnvoll. Oft ist eine Aktion an sich kein sehr wertvolles Sign und Sie müssen einen Schwellenwert festlegen, damit die Metrik aussagekräftig ist. Es ist etwas ganz anderes, wenn sich jemand den Großteil eines Movies ansieht, als wenn er nur darauf klickt.
ABER: Der Schwellenwert sollte nicht willkürlich sein.
Wählen Sie „1.000 Aufrufe“ nicht, weil das eine schöne, runde Zahl ist; der Schwellenwert sollte auf Daten basieren. Erzielen Movies mit 1.000 Aufrufen im Nachhinein höhere Klickraten? Oder führen sie dazu, dass mehr Folgeinhalte produziert werden? Steigern die Bindung der Ersteller?
Zum Beispiel Twitch Maßnahmen wie viele Benutzer einen Stream mindestens fünf Minuten lang ansehen. Obwohl Daten bei dieser Wahl offenbar eine Rolle spielten, ist nicht ganz klar, warum sie sich letztendlich für fünf entschieden haben.
Bei Uber haben wir versucht, uns von den Daten leiten zu lassen, wo der Schwellenwert liegen sollte. Wir haben zum Beispiel festgestellt, dass Eating places, die viele andere Eating places in der Nähe hatten, bei UberEats zuverlässiger waren, da es einfacher warfare, Kuriere in der Nähe zu halten. Wir haben den Schwellenwert für das, was wir als Eating places mit geringer Dichte betrachteten, anhand des „Knies“ festgelegt, den wir in der Grafik gesehen haben:
Dieser Ansatz funktionierte in vielen Geschäftsbereichen. Wir stellten beispielsweise auch fest, dass die Wahrscheinlichkeit, dass Mitfahrer oder Fahrer die Plattform behalten, viel größer ist, wenn sie eine bestimmte Anzahl von Erstfahrten erreicht haben.
Sie werden nicht immer einen solchen „magischen“ Schwellenwert finden, aber Sie sollten versuchen, einen zu ermitteln, bevor Sie sich für einen willkürlichen Wert entscheiden.
Absolute Zahlen ohne Kontext sind selten hilfreich. Sie werden oft Pressemitteilungen wie diese sehen:
- „1 Milliarde Datenzeilen für unsere Kunden verarbeitet“, oder
- „100 Millionen US-Greenback Einnahmen wurden an die Entwickler auf unserer Plattform ausgezahlt“
Diese Zahlen sagen Ihnen nichts. Damit sie aussagekräftig sind, müssen sie in einen Kontext gestellt werden. Wie viel hat jeder Ersteller auf der Plattform im Durchschnitt verdient? In welchem Zeitraum? Mit anderen Worten: Wenn man die absolute Zahl in ein Verhältnis umwandelt, fügt man Kontext hinzu.
Natürlich ist in den obigen Beispielen ein Teil davon beabsichtigt; die Unternehmen wollen nicht, dass die Öffentlichkeit die Einzelheiten erfährt. Aber dieses Drawback ist nicht nur auf Pressemitteilungen und Blogbeiträge beschränkt.
Wenn Sie Ihre Vertriebspipeline in absoluten Zahlen betrachten, können Sie vielleicht erkennen, ob sie im Laufe der Zeit wächst. Um sie jedoch wirklich aussagekräftig zu machen, müssen Sie sie mit der Größe des Vertriebsteams oder der von ihm erfüllten Quote in Verbindung bringen. Dadurch erhalten Sie die Pipeline-Abdeckung, das Verhältnis von Pipeline zu Quote, eine viel aussagekräftigere Kennzahl.
Durch die Erstellung dieser Artwork von Verhältnissen werden Vergleiche auch aufschlussreicher und fairer. So lässt ein Vergleich des Umsatzes professional Abteilung große Abteilungen besser aussehen, ein Vergleich des Umsatzes professional Mitarbeiter vermittelt jedoch einen tatsächlichen Überblick über die Produktivität.
Wenn Sie eine Veränderung bei einer Kennzahl sehen möchten, brauchen Sie eine Particular person, die für deren Verbesserung verantwortlich ist.
Auch wenn die Arbeit mehrerer Groups zur Verbesserung der Messgröße beiträgt, benötigen Sie dennoch einen einzelnen „Eigentümer“, der für das Erreichen des Ziels verantwortlich ist (sonst wird es am Ende viel Schuldzuweisungen geben).
Hier gibt es drei mögliche Problemszenarien:
- Kein Besitzer. Da niemand besessen davon ist, ihn zu verbessern, wird die Kennzahl einfach ihren aktuellen Kurs beibehalten.
- Mehrere Eigentümer. Unklare Eigentumsverhältnisse führen zu Reibereien und mangelnder Rechenschaftspflicht. Bei UberEats gab es beispielsweise Zeiten, in denen unklar warfare, ob bestimmte Kennzahlen den lokalen Stadtteams oder den zentralen Betriebsteams gehörten. Für kurze Zeit verbrachten wir mehr Zeit mit Besprechungen zu diesem Thema als mit der tatsächlichen Umsetzung.
- Mangelnde Kontrolle. Ein weiteres Rezept für das Scheitern ist die Ernennung eines Eigentümers, der (oder das Gefühl) machtlos ist, die Metrik zu verändern. Dies kann daran liegen, dass der Eigentümer keine direkten Hebel zur Kontrolle der Metrik hat, kein Finances dafür hat oder die Unterstützung anderer Groups fehlt.
Eine Kennzahl ist nur dann umsetzbar, wenn Sie ihre Schwankungen interpretieren können. Um ein klares Ergebnis zu erhalten, müssen Sie so viele „Störquellen“ wie möglich eliminieren.
Zum Beispiel: Nehmen wir an, Sie sind ein kleines B2B-SaaS-Startup und betrachten den Internet-Visitors als Frühindikator für die Spitze Ihres Funnels. Wenn Sie sich nur die „rohe“ Anzahl der Besuche ansehen, werden Sie von Ihren eigenen Mitarbeitern, Freunden und Verwandten sowie von bestehenden Kunden, die die Web site besuchen, beeinflusst und Sie werden möglicherweise nur eine geringe Korrelation zwischen dem Internet-Visitors und den Down-Funnel-Metriken feststellen.
Wenn Sie diese Verkehrsquellen wenns möglich aus Ihren Berichten ausschließen, bekommen Sie einen besseren Eindruck davon, was in Ihrem potenziellen Funnel tatsächlich vor sich geht.
Bei bestimmten Kennzahlen ist es wichtig, dass sie unternehmensübergreifend verglichen werden können. Wenn Sie beispielsweise im B2B-SaaS-Bereich tätig sind, wird Ihr CFO Ihre Internet Income Retention (NRR), CAC Paybacks oder Magic Quantity mit denen der Konkurrenz vergleichen wollen (und Ihre Investoren werden dasselbe tun wollen).
Wenn Sie diese Kennzahlen auf eine Weise berechnen, die nicht dem Marktstandard entspricht, können Sie durch Benchmarking keine Erkenntnisse gewinnen und eine Menge Verwirrung stiften. Das heißt nicht, dass Sie keine Kennzahlen erfinden sollten; tatsächlich habe ich im Laufe meiner Karriere selbst einige erfunden (und werde vielleicht einen separaten Beitrag darüber schreiben, wie das geht).
Die Definitionen der meisten Finanz- und Effizienzkennzahlen sollten jedoch besser unverändert bleiben.
Nach alledem möchte ich eines klarstellen: Es gibt kein perfekt Metrik für jeden Anwendungsfall. Jede Metrik hat Nachteile und Sie müssen die „am wenigsten schlechte“ auswählen.
Hoffentlich werden Ihnen die oben genannten Grundsätze dabei helfen.
Für weitere praktische Analytics-Tipps folgen Sie mir hier auf Medium, auf LinkedIn oder auf Unterstapel.