Einführung
Wenn Sie jemals Daten mit integrierten T-Testfunktionen analysiert haben, wie z. Wenn Ihre Antwort Nein lautet – oder wenn Sie sich nicht einmal sicher sind, was dies bedeutet – ist dieser Weblog -Beitrag für Sie!
Der various Hypotheseparameter, der in der Statistik häufig als „Einschwanz“ im Vergleich zu „zweiseitig“ bezeichnet wird, definiert die erwartete Richtung der Differenz zwischen Kontroll- und Behandlungsgruppen. In einem zweiseitigen Take a look at beurteilen wir, ob es einen Unterschied in den Mittelwerten zwischen den Gruppen gibt, ohne eine Richtung anzugeben. Ein einseitiger Take a look at dagegen stellt eine bestimmte Richtung aus-ob der Mittelwert der Kontrollgruppe entweder geringer als oder größer ist als die der Behandlungsgruppe.
Die Wahl zwischen ein- und zweiseitigen Hypothesen scheint ein kleines Element zu sein, aber es wirkt sich auf jede Stufe der A/B-Exams aus: von der Testplanung bis zu Datenanalyse und Ergebnisinterpretation. Dieser Artikel baut eine theoretische Grundlage dafür auf, warum die Hypothesenrichtung wichtig ist und die Vor- und Nachteile jedes Ansatzes untersucht.
Einschwanzer gegen zweiseitige Hypothesentests: den Unterschied verstehen
Um zu verstehen, wie wichtig es ist, zwischen einseitigen und zweiseitigen Hypothesen zu wählen, lesen wir kurz die Grundlagen des T-Exams, die häufig verwendete Methode im A/B-Take a look at. Wie andere Hypothesentest Methoden, der T-Take a look at beginnt mit einer konservativen Annahme: Es gibt keinen Unterschied zwischen den beiden Gruppen (der Nullhypothese). Nur wenn wir starke Beweise gegen diese Annahme finden, können wir die Nullhypothese ablehnen und zu dem Schluss kommen, dass die Behandlung eine Wirkung hat.
Aber was qualifiziert sich als „starke Beweise“? Zu diesem Zweck wird eine Ablehnungsregion unter der Nullhypothese bestimmt, und alle Ergebnisse, die in diese Area fallen, gelten so unwahrscheinlich, dass wir sie als Beweis gegen die Machbarkeit der Nullhypothese betrachten. Die Größe dieser Ablehnungsregion basiert auf einer vorgegebenen Wahrscheinlichkeit, die als Alpha (α) bekannt ist, die die Wahrscheinlichkeit darstellt, die Nullhypothese falsch abzulehnen.
Was hat das mit der Richtung der alternativen Hypothese zu tun? Eigentlich ziemlich. Während die Alpha -Ebene die Größe der Ablehnungsregion bestimmt, bestimmt die various Hypothese ihre Platzierung. In einem einseitigen Take a look at, bei dem wir eine bestimmte Differenzrichtung hypotheket, befindet sich die Abstoßungsregion nur in einem Schwanz der Verteilung. Für einen hypothetischen positiven Effekt (e..g. Dass die Behandlungsgruppe höher ist als der Mittelwert der Kontrollgruppe), würde die Ablehnungsregion im rechten Schwanz liegen und einen Take a look at mit rechtsschwächen erzeugen. Wenn wir umgekehrt einen negativen Effekt annehmen (z. B. dass die Behandlungsgruppe mit geringerem Mittelwert der Kontrollgruppe ist), würde der Ablehnungsbereich in den linken Schwanz platziert, was zu einem Take a look at mit dem linken Schwanz führt.
Im Gegensatz dazu ermöglicht ein zweiseitiger Take a look at die Erkennung eines Unterschieds in beide Richtungen, sodass der Abstoßungsbereich zwischen beiden Schwänzen der Verteilung aufgeteilt wird. Dies berücksichtigt die Möglichkeit, Extremwerte in beide Richtungen zu beobachten, unabhängig davon, ob der Effekt positiv oder negativ ist.
Um Instinct aufzubauen, visualisieren wir, wie die Ablehnungsregionen unter den verschiedenen Hypothesen erscheinen. Erinnern Sie sich daran, dass sich nach der Nullhypothese der Unterschied zwischen den beiden Gruppen um Null konzentrieren sollte. Dank des Central Restrict -Theorems wissen wir auch, dass diese Verteilung einer Normalverteilung entspricht. Folglich sehen die Ablehnungsbereiche, die der unterschiedlichen alternativen Hypothese entsprechen, so aus:
Warum macht es einen Unterschied?
Die Auswahl der Richtung für die various Hypothese wirkt sich auf den gesamten A/B -Testprozess aus, beginnend mit der Planungsphase – insbesondere bei der Bestimmung der Stichprobengröße. Die Stichprobengröße wird basierend auf der gewünschten Leistung des Exams berechnet. Dies ist die Wahrscheinlichkeit, einen echten Unterschied zwischen den beiden Gruppen zu erkennen, wenn man existiert. Um die Macht zu berechnen, untersuchen wir den Bereich unter der alternativen Hypothese, die der Ablehnungsregion entspricht (da die Macht die Fähigkeit widerspiegelt, die Nullhypothese abzulehnen, wenn die various Hypothese wahr ist).
Da die Richtung der Hypothese die Größe dieser Ablehnungsregion beeinflusst, ist die Leistung für eine zweiseitige Hypothese im Allgemeinen niedriger. Dies ist darauf zurückzuführen, dass die Ablehnungsregion auf beide Schwänze aufgeteilt wird, was es schwieriger macht, einen Effekt in eine eine Richtung zu erkennen. Das folgende Diagramm zeigt den Vergleich zwischen den beiden Arten von Hypothesen. Beachten Sie, dass der lila Bereich für die einseitige Hypothese im Vergleich zur zweiseitigen Hypothese größer ist:
Um das gewünschte Leistungsniveau aufrechtzuerhalten, kompensieren wir die reduzierte Leistung einer zweiseitigen Hypothese, indem wir die Stichprobengröße erhöhen (zunehmende Stichprobengröße erhöht die Leistung, obwohl die Mechanik dafür ein Thema für einen separaten Artikel sein kann). Somit beeinflusst die Wahl zwischen ein- und zweiseitigen Hypothesen die erforderliche Stichprobengröße für Ihren Take a look at direkt.
Über die Planungsphase hinaus wirkt sich die Auswahl der alternativen Hypothese direkt auf die Analyse und Interpretation von Ergebnissen aus. Es gibt Fälle, in denen ein Take a look at mit einem einseitigen Ansatz eine Bedeutung erreichen kann, jedoch nicht mit einem zweiseitigen und umgekehrt. Das Überprüfen des vorherigen Diagramms kann dazu beitragen, dies zu veranschaulichen: Zum Beispiel könnte ein Ergebnis des linken Schwanzes unter einer zweiseitigen Hypothese signifikant sein, jedoch nicht unter einer rechten Einschwanzhypothese. Umgekehrt könnten bestimmte Ergebnisse in die Ablehnungsregion eines rechten einseitigen Exams fallen, liegen jedoch in einem zweiseitigen Take a look at außerhalb des Ablehnungsbereichs.
Wie Sie sich zwischen einer einkötigen und zweiseitigen Hypothese entscheiden
Beginnen wir mit dem Fazit: Hier gibt es keine absolute richtige oder falsche Wahl. Beide Ansätze sind gültig, und die primäre Überlegung sollte Ihre spezifischen Geschäftsbedürfnisse sein. Um zu entscheiden, welche Choice Ihrem Unternehmen am besten geeignet ist, skizzieren wir die wichtigsten Vor- und Nachteile.
Auf den ersten Blick scheint eine einseitige Different die klare Wahl zu sein, da sie häufig besser mit Geschäftszielen übereinstimmt. In Branchenanwendungen liegt der Schwerpunkt in der Regel auf der Verbesserung spezifischer Metriken, anstatt die Auswirkungen einer Behandlung in beide Richtungen zu untersuchen. Dies ist insbesondere bei A/B -Exams related, bei denen das Ziel häufig darin besteht, die Conversion -Raten zu optimieren oder den Umsatz zu steigern. Wenn die Behandlung nicht zu einer signifikanten Verbesserung führt, wird die untersuchte Änderung nicht umgesetzt.
Über diesen konzeptionellen Vorteil hinaus haben wir bereits einen Schlüsselvorteil einer einseitigen Hypothese erwähnt: Es erfordert eine kleinere Stichprobengröße. Durch die Auswahl einer einseitigen Different können Sie sowohl Zeit als auch Ressourcen sparen. Um diesen Vorteil zu veranschaulichen, zeigen die folgenden Grafiken die erforderlichen Stichprobengrößen für ein- und zweiseitige Hypothesen mit unterschiedlichen Leistungsniveaus (Alpha ist auf 5percenteingestellt).
In diesem Zusammenhang wird die Entscheidung zwischen ein- und zweiseitigen Hypothesen bei sequentiellen Exams besonders wichtig- eine Methode, die eine laufende Datenanalyse ermöglicht, ohne den Alpha-Spiegel zu verbessern. Durch die Auswahl eines einseitigen Exams kann die Dauer des Exams erheblich verringert werden, was eine schnellere Entscheidungsfindung ermöglicht, was in dynamischen Geschäftsumgebungen, in denen sofortige Antworten wesentlich sind, besonders wertvoll ist.
Seien Sie jedoch nicht zu schnell, um die zweiseitige Hypothese zu entlassen! Es hat seine eigenen Vorteile. In einigen geschäftlichen Kontexten ist die Fähigkeit, „adverse signifikante Ergebnisse“ zu erkennen, ein wesentlicher Vorteil. Als ein Kunde, der einst geteilt hatte, bevorzugte er adverse signifikante Ergebnisse gegenüber nicht schlüssigen Ergebnissen, da er wertvolle Lernmöglichkeiten bietet. Selbst wenn das Ergebnis nicht wie erwartet wäre, konnte er zu dem Schluss kommen, dass die Behandlung einen negativen Effekt hatte und Einblicke in das Produkt erhielt.
Ein weiterer Vorteil von zweiseitigen Exams ist die einfache Interpretation unter Verwendung von Konfidenzintervallen (CIS). Bei zweiseitigen Exams zeigt ein CI, der nicht direkt Null enthält, eine Bedeutung an, was es den Praktikern erleichtert, die Ergebnisse auf einen Blick zu interpretieren. Diese Klarheit ist besonders ansprechend, da die CIs in A/B -Testplattformen häufig verwendet werden. Umgekehrt könnte ein signifikantes Ergebnis bei Einschwanz-Exams immer noch Null in den CI enthalten, was möglicherweise zu Verwirrung oder Misstrauen in den Befunden führt. Obwohl einseitige Konfidenzintervalle mit einseitigen Exams verwendet werden können, ist diese Praxis weniger häufig.
Schlussfolgerungen
Durch Anpassen eines einzelnen Parameters können Sie Ihre A/B -Exams erheblich beeinflussen: Insbesondere die Stichprobengröße, die Sie sammeln müssen, und die Interpretation der Ergebnisse. Betrachten Sie bei der Entscheidung zwischen ein- und zweiseitigen Hypothesen Faktoren wie die verfügbare Stichprobengröße, die Vorteile der Erkennung negativer Effekte und die Bequemlichkeit, Konfidenzintervalle (CIs) mit Hypothesentests auszurichten. Letztendlich sollte diese Entscheidung nachdenklich getroffen werden, wobei berücksichtigt wird, was am besten zu Ihren Geschäftsanforderungen passt.
(Hinweis: Alle Bilder in diesem Beitrag wurden vom Autor erstellt)