Zweitens: Als Datenwissenschaftler haben Sie dieses Szenario schon erlebt (wahrscheinlich mehr als einmal). Jemand hat Sie mitten im Gespräch unterbrochen und gefragt: „Was genau bedeutet ein p-Wert?„Ich bin mir auch sehr sicher, dass Ihre Antwort auf diese Frage zu Beginn Ihrer Information-Science-Reise eine andere warfare als ein paar Monate später oder ein paar Jahre später.“
Aber was mich jetzt interessiert: Konnten Sie eine klare, sichere Antwort geben, als Ihnen diese Frage zum ersten Mal gestellt wurde? Oder hast du so etwas gesagt wie: „Es ist… die Wahrscheinlichkeit, dass das Ergebnis zufällig ist?” (nicht unbedingt in genau diesen Worten!)
Die Wahrheit ist, du bist nicht allein. Viele Menschen, die regelmäßig p-Werte verwenden, verstehen nicht wirklich, was sie bedeuten. Und um truthful zu sein, Statistik- und Mathematikunterricht haben dies nicht gerade einfach gemacht. Beide betonten die Bedeutung von p-Werten, stellten jedoch keinen Zusammenhang zwischen ihrer Bedeutung und dieser Bedeutung her.
Hier ist, was die Leute denken, was ein p-Wert bedeutet: Ich wette, Sie haben so etwas gehört wie „Es besteht eine Wahrscheinlichkeit von 5 %, dass mein Ergebnis auf Zufall zurückzuführen ist“, „Die Wahrscheinlichkeit, dass meine Hypothese richtig ist, liegt bei 95 %“, oder vielleicht die häufigste, „niedrigerer p-Wert = wahrer/bessere Ergebnisse“.
Aber hier ist die Sache: All das ist falsch. Nicht leicht falsch, sondern grundsätzlich falsch. Und der Grund dafür ist ziemlich subtil: Wir stellen die falsche Frage. Wir müssen wissen, wie wir die richtige Frage stellen, denn das Verständnis von p-Werten ist in vielen Bereichen sehr wichtig:
- A/B-Assessments in der Technik: Entscheiden, ob eine neue Funktion tatsächlich die Benutzereinbindung verbessert oder ob das Ergebnis nur Rauschen ist.
- Medizin und klinische Studien: Feststellung, ob eine Behandlung im Vergleich zu einem Placebo eine echte Wirkung hat.
- Wirtschafts- und Sozialwissenschaften: Testen von Beziehungen zwischen Variablen wie Einkommen und Bildung.
- Psychologie: Bewertung, ob beobachtete Verhaltensweisen oder Interventionen statistisch aussagekräftig sind.
- Marketinganalyse: Messen, ob Kampagnen tatsächlich Auswirkungen auf Conversions haben.
In all diesen Fällen ist das Ziel dasselbe:
um herauszufinden, ob das, was wir sehen, ein Sign ist … oder einfach nur Glück, das vorgibt, Bedeutung zu haben.
Was ist additionally ein p-Wert?
Es ist höchste Zeit, dass wir diese Frage stellen. Hier ist die sauberste Artwork, darüber nachzudenken:
Ein p-Wert misst, wie überraschend Ihre Daten wären, wenn nichts Reales passieren würde.
Oder noch einfacher:
„Wenn alles nur zufällig wäre … wie seltsam ist dann, was ich gerade gesehen habe?“
Stellen Sie sich vor, Ihre Daten leben in einem Spektrum. Wenn nichts passiert, werden Ihre Ergebnisse in den meisten Fällen bei „kein Unterschied“ liegen. Aber manchmal führt der Zufall zu seltsamen Ergebnissen.
Wenn Ihr Ergebnis ganz weit draußen landet, fragen Sie:
„Wie oft würde ich so etwas Extremes nur zufällig sehen?“
Diese Wahrscheinlichkeit ist Ihr p-Wert. Versuchen wir das anhand eines Beispiels zu beschreiben:
Stellen Sie sich vor, Sie betreiben eine kleine Bäckerei. Sie haben ein neues Keksrezept erstellt und denken, es sei besser als das alte. Aber als kluger Unternehmer benötigen Sie Daten, um diese Hypothese zu stützen. Sie führen additionally einen einfachen Check durch:
- Geben Sie 100 Kunden den alten Keks.
- Geben Sie 100 Kunden den neuen Cookie.
- Fragen Sie: „Gefällt Ihnen das?“
Was Sie beobachten:
- Alter Keks: 52 % mochten ihn.
- Neuer Keks: 60 % mochten ihn.
Nun, wir haben es geschafft! Der Neue hat eine bessere Kundenbewertung! Oder doch?
Aber hier wird es etwas knifflig: „Ist das neue Keksrezept tatsächlich besser … oder habe ich mit der Kundengruppe einfach nur Glück gehabt?„p-Werte werden uns bei der Beantwortung dieser Frage helfen!“
Schritt 1: Gehen Sie davon aus, dass nichts passiert
Sie beginnen mit der Nullhypothese: „Es gibt keinen wirklichen Unterschied zwischen den Cookies.“ Mit anderen Worten: Beide Kekse sind gleich intestine und jeder Unterschied, den wir sahen, ist nur eine zufällige Variation.
Schritt 2: Simulieren Sie eine „Zufallswelt“.
Stellen Sie sich nun vor, Sie würden dieses Experiment tausende Male wiederholen: Wenn die Kekse tatsächlich gleich wären, würde sie manchmal der einen Gruppe mehr gefallen, manchmal der anderen. Denn genau so funktioniert Zufälligkeit.
Anstelle mathematischer Formeln machen wir etwas sehr Intuitives: Stellen Sie sich vor, beide Cookies wären gleich intestine, simulieren Sie Tausende von Experimenten unter dieser Annahme und fragen Sie dann:
„Wie oft sehe ich durch Zufall einen Unterschied von bis zu 8 %?“
Lassen Sie es uns herausholen.
Laut Kodex p-Wert = 0,2.
Das heißt, wenn die Kekse tatsächlich gleich wären, würde ich in etwa 20 % der Fälle einen so großen Unterschied feststellen. Wenn wir die Anzahl der Kunden erhöhen, die wir zu einem Geschmackstest befragen, wird sich dieser p-Wert erheblich ändern.
Beachten Sie, dass wir nicht beweisen mussten, dass das neue Cookie besser ist. Stattdessen kamen wir auf der Grundlage der Daten zu dem Schluss, dass „Dieses Ergebnis wäre ziemlich seltsam, wenn nichts passieren würde.“ Das reicht aus, um an den Nullhypothesen zu zweifeln.
Stellen Sie sich nun vor, Sie hätten den Cookie-Check nicht nur einmal, sondern 200 Mal durchgeführt, jeweils mit neuen Kunden. Für jedes Experiment fragen Sie:
„Was ist der Unterschied darin, wie sehr den Leuten der neue Keks im Vergleich zum alten gefiel?“
Was oft übersehen wird
Hier ist der Teil, der alle aus der Fassung bringt (einschließlich mir selbst, als ich zum ersten Mal an einem Statistikkurs teilnahm). Ein p-Wert beantwortet diese Frage:
„Wenn die Nullhypothese wahr ist, wie wahrscheinlich sind diese Daten?“
Was wir aber wollen, ist:
„Wie wahrscheinlich ist meine Hypothese angesichts dieser Daten wahr?“
Das ist nicht dasselbe. Es ist, als würde man fragen: „Wie wahrscheinlich ist es, dass ich nasse Straßen sehe, wenn es regnet?”
vs „Wenn ich nasse Straßen sehe, wie wahrscheinlich ist es, dass es regnet?“
Da unser Gehirn umgekehrt arbeitet, wollen wir aus den Daten, die wir sehen, auf die Wahrheit schließen. Aber p-Werte gehen in die andere Richtung: Nehmen Sie eine Welt an → Bewerten Sie, wie seltsam Ihre Daten in dieser Welt sind.
Anstatt additionally zu denken: „p = 0,03 bedeutet, dass die Wahrscheinlichkeit, dass ich falsch liege, bei 3 % liegt“, denken wir „Wenn nichts Wirkliches passieren würde, würde ich so etwas Extremes nur in 3 % der Fälle sehen.“
Das ist es! Keine Erwähnung von Wahrheit oder Richtigkeit.
Warum ist es wichtig, p-Werte zu verstehen?
Ein Missverständnis der Bedeutung von p-Werten führt zu echten Problemen, wenn Sie versuchen, das Verhalten Ihrer Daten zu verstehen.
- Falsches Vertrauen
Die Leute denken: „p < 0,05 → das stimmt“. Das ist nicht korrekt; es bedeutet lediglich „unter den Nullhypothesen unwahrscheinlich“.
- Überreagieren auf Lärm
Ein kleiner p-Wert kann immer noch zufällig auftreten, insbesondere wenn Sie viele Assessments durchführen.
- Ignorieren der Effektgröße (oder des Kontexts der Daten)
Ein Ergebnis kann statistisch signifikant, aber praktisch bedeutungslos sein. Beispielsweise könnte eine Verbesserung um 0,1 % mit p < 0,01 technisch „signifikant“ sein, ist aber praktisch nutzlos.
Stellen Sie sich einen p-Wert wie einen „Verrücktheitswert“ vor.
- Hoher p-Wert → „Das sieht regular aus.“
- Niedriger p-Wert → „Das sieht seltsam aus.“
Und seltsame Daten lassen Sie Ihre Annahmen in Frage stellen. Das ist alles, was Hypothesentests bewirken.
Warum ist 0,05 die magische Zahl?
Irgendwann haben Sie wahrscheinlich diese Regel gesehen:
„Wenn p < 0,05, ist das Ergebnis statistisch signifikant.“
Der Schwellenwert von 0,05 wurde dank Ronald Fisher, einer der ersten Figuren der modernen Statistik, populär. Er schlug 5 % als vernünftigen Grenzwert für den Fall vor, dass die Ergebnisse „selten genug“ erscheinen, um die Annahme der Zufälligkeit in Frage zu stellen.
Nicht weil es mathematisch optimum oder allgemein korrekt ist, sondern nur weil es … praktisch warfare. Und mit der Zeit wurde es zur Standardeinstellung. p < 0,05 bedeutet, dass ich in weniger als 5 % der Fälle so etwas Extremes sehen würde, wenn nichts passieren würde.
Bei der Wahl von 0,05 ging es darum, zwei Arten von Fehlern auszugleichen:
- Falsch constructive Ergebnisse → denken, dass etwas passiert, obwohl dies nicht der Fall ist.
- Falsche Destructive → ein echter Effekt fehlt.
Wenn Sie den Schwellenwert strenger festlegen (z. B. 0,01), verringern Sie die Zahl der Fehlalarme, verpassen aber mehr reale Auswirkungen. Wenn Sie den Wert dagegen lockern (z. B. 0,10), erhalten Sie mehr reale Effekte, riskieren aber mehr Rauschen. 0,05 liegt additionally irgendwo in der Mitte.
Der Imbiss
Wenn Sie diesen Artikel mit nur einer Sache verlassen, sei es so, dass ein p-Wert Ihnen nicht sagt, dass Ihre Hypothese wahr ist; Es gibt Ihnen auch nicht die Wahrscheinlichkeit, dass Sie falsch liegen! Es zeigt Ihnen, wie überraschend Ihre Daten unter der Annahme sind, dass sie keinen Effekt haben.
Der Grund, warum die meisten Menschen zunächst von p-Werten verwirrt sind, liegt nicht darin, dass p-Werte kompliziert sind, sondern darin, dass sie oft nur rückwärts erklärt werden. Anstatt additionally zu fragen: „Habe ich 0,05 bestanden?“fragen: „Wie überraschend ist dieses Ergebnis?”
Und um das zu beantworten, müssen Sie sich p-Werte als Spektrum vorstellen:
- 0,4 → völlig regular
- 0,1 → einigermaßen interessant
- 0,03 → etwas überraschend
- 0,001 → sehr überraschend
Es handelt sich nicht um einen binären Schalter; es handelt sich vielmehr um einen Beweisgradienten.
Sobald Sie Ihr Denken von „Ist das wahr?“ ändern zu „Wie seltsam wäre das, wenn nichts passieren würde?“ fängt alles an zu klicken. Und was noch wichtiger ist: Sie beginnen, anhand Ihrer Daten bessere Entscheidungen zu treffen.