ungleichen – chatgpz.de – KI-Tools & Praxiswissen http://chatgpz.de Unabhängige Tests, Anleitungen und Hintergründe zu KI-Tools. Sat, 22 Mar 2025 07:10:22 +0000 de-DE hourly 1 https://wordpress.org/?v=6.4.2 234900186 Sie können viel aus einer einfachen Simulation lernen (Beispiel für experimentelles Design mit ungleichen Varianzen für Behandlungs- und Kontrolldaten) http://chatgpz.de/data-science/sie-koennen-viel-aus-einer-einfachen-simulation-lernen-beispiel-fuer-experimentelles-design-mit-ungleichen-varianzen-fuer-behandlungs-und-kontrolldaten/ http://chatgpz.de/data-science/sie-koennen-viel-aus-einer-einfachen-simulation-lernen-beispiel-fuer-experimentelles-design-mit-ungleichen-varianzen-fuer-behandlungs-und-kontrolldaten/#respond Sat, 22 Mar 2025 07:10:22 +0000 http://chatgpz.de/data-science/sie-koennen-viel-aus-einer-einfachen-simulation-lernen-beispiel-fuer-experimentelles-design-mit-ungleichen-varianzen-fuer-behandlungs-und-kontrolldaten/ [ad_1]

Wir haben heute über die Blockierung in Experimenten im Unterricht gesprochen, und ein Schüler fragte: „Wann sollten wir eine ungleiche Anzahl von Einheiten in den Behandlungs- und Kontrollgruppen haben?“

Ich antwortete, dass das einfachste Beispiel ist, wenn die Behandlung teuer ist. Sie könnten 10.000 Menschen in Ihrer Bevölkerung haben, aber nur genug Finances, um die Behandlung auf 100 Menschen anzuwenden, sodass 99% in der Kontrollgruppe liegen. In anderen Umgebungen kann die Behandlung störend sein, und Sie würden sie auch hier nur auf einen kleinen Teil der verfügbaren Einheiten anwenden.

Aber selbst wenn Kosten kein Downside sind und Sie nur die statistische Effizienz maximieren möchten, könnte es sinnvoll sein, den beiden Gruppen unterschiedliche Anzahl von Einheiten zuzuweisen.

Zum Beispiel habe ich angenommen, dass Ihre Ergebnisse unter der Behandlung viel variabler sind als die Kontrolle. Um die grundlegende Schätzung des Behandlungseffekts – das durchschnittliche Ergebnis in der Behandlungsgruppe, abzüglich des Durchschnitts unter den Kontrollen – möchten Sie dann mehr Behandlungsbeobachtungen für die höhere Varianz berücksichtigen.

Aber dann machte ich eine Pause. Ich struggle von Verwirrung beeindruckt.

Hier gibt es zwei Intuitionen, und sie gehen in entgegengesetzte Richtungen:

(1) Behandlungsbeobachtungen sind variabler als Kontrollen. Sie benötigen additionally mehr Behandlungsmessungen, um eine genaue Schätzung für die Behandlungsgruppe zu erhalten.

(2) Behandlungsbeobachtungen sind variabler als Kontrollen. Daher sind die Beobachtungen der Behandlungen knapper, und Sie sollten mehr von Ihrem Finances den qualitativ hochwertigen Kontrollmessungen widmen.

Ich hatte das Gefühl, dass die richtige Argumentation (1), nicht (2) struggle, aber ich struggle mir nicht sicher.

Wie habe ich das Downside gelöst?

Rohe Kraft.

Hier ist der R:

n <- 100
expt_sim <- perform(n, p=0.5, s_c=1, s_t=2){
  n_c <- spherical((1-p)*n)
  n_t <- spherical(p*n)
  se_dif <- sqrt(s_c^2/n_c + s_t^2/n_t)
  se_dif
}
curve(expt_sim(100, x), from=.01, to=.99,
  xlab="Proportion of information within the remedy group",
  ylab="se of estimated remedy impact",
  foremost="Assuming sd of measurements isntwice as excessive for handled as for controls",
  bty="l")

Und hier ist das Ergebnis:

Oh, Shoot, ich magazine es wirklich nicht, wie die y-Achse nicht ganz auf Null geht. Es lässt die Varianzreduzierung dramatischer aussehen als es wirklich ist. Null ist in der NachbarschaftAdditionally luden wir es ein in:

curve(expt_sim(100, x), from=.01, to=.99,
  xlab="Proportion of information within the remedy group",
  ylab="se of estimated remedy impact",
  foremost="Assuming sd of measurements isntwice as excessive for handled as for controls", 
  bty="l",
  xlim=c(0, 1), ylim=c(0, 2), xaxs="i", yaxs="i")

Und wir können die Antwort sehen: Wenn in der Behandlungsgruppe doppelt so viel Variation wie in der Kontrollgruppe vorliegt, sollten Sie in der Behandlungsgruppe doppelt so viele Messungen ergreifen. Die Kurve ist bei x = 2/3 minimiert (was wir überprüfen können, ohne etwas zu zeichnen, aber die Grafik bietet eine gewisse Instinct und eine Gesundheitsprüfung). Argument (1) oben ist korrekt.

Andererseits ist der Standardfehler aus dem optimalen Design nicht viel niedriger als das einfache 50/50 -Design, wie durch Berechnung des Verhältnisses ersichtlich ist:

print(expt_sim(100, 1/2) / expt_sim(100, 2/3))

das ergibt 0,95.

Somit ergibt das bessere Design eine Verringerung des Standardfehlers um 5%-das heißt, eine Effizienzgewinn von 10%. Nicht nichts, aber nicht riesig.

Wie auch immer, der Hauptpunkt dieses Beitrags ist, dass Sie viel aus der Simulation lernen können. After all on this case the issue could be solved analytically—just differentiate (s_c^2/(1-p) + s_t^2/p) with respect to p and set the by-product to zero, and also you get s_c^2/(1-p)^2 – s_t^2/p^2 = 0, thus s_c^2/(1-p)^2 = s_t^2/p^2, so p/(1-p) = s_t/s_c. Das ist alles in Ordnung, aber ich magazine die Brute-Power-Lösung.

[ad_2]

]]>
http://chatgpz.de/data-science/sie-koennen-viel-aus-einer-einfachen-simulation-lernen-beispiel-fuer-experimentelles-design-mit-ungleichen-varianzen-fuer-behandlungs-und-kontrolldaten/feed/ 0 8007
Welchs t-Take a look at: Die zuverlässige Methode zum Vergleichen von zwei Populationsmittelwerten mit ungleichen Varianzen | von Vito Rihaldijiran | Juni 2024 http://chatgpz.de/machine-learning/welchs-t-take-a-look-at-die-zuverlaessige-methode-zum-vergleichen-von-zwei-populationsmittelwerten-mit-ungleichen-varianzen-von-vito-rihaldijiran-juni-2024/ http://chatgpz.de/machine-learning/welchs-t-take-a-look-at-die-zuverlaessige-methode-zum-vergleichen-von-zwei-populationsmittelwerten-mit-ungleichen-varianzen-von-vito-rihaldijiran-juni-2024/#respond Sun, 16 Jun 2024 00:29:15 +0000 http://chatgpz.de/machine-learning/welchs-t-test-die-zuverlaessige-methode-zum-vergleichen-von-zwei-populationsmittelwerten-mit-ungleichen-varianzen-von-vito-rihaldijiran-juni-2024/ [ad_1]

Entdecken Sie, warum der Welch t-Take a look at die Methode der Wahl für genaue statistische Vergleiche ist, selbst bei unterschiedlichen Varianzen.

Foto von Simon Maage An Unsplash

Teil 1: Hintergrund

Im ersten Semester meines Aufbaustudiums hatte ich die Gelegenheit, den Kurs STAT7055: Einführung in die Statistik für Wirtschaft und Finanzen zu belegen. Während des Kurses battle ich definitiv manchmal etwas erschöpft, aber das Wissen, das ich über die Anwendung verschiedener statistischer Methoden in unterschiedlichen Situationen gewonnen habe, battle wirklich unbezahlbar. Während der 8. Vorlesungswoche erregte etwas wirklich Interessantes meine Aufmerksamkeit, nämlich das Konzept des Hypothesentests beim Vergleich zweier Populationen. Ich fand es faszinierend zu erfahren, wie sich der Ansatz unterscheidet, je nachdem, ob die Stichproben unabhängig oder gepaart sind, und was zu tun ist, wenn wir die Populationsvarianz der beiden Populationen kennen oder nicht, sowie wie man Hypothesentests für zwei Anteile durchführt. Es gibt jedoch einen Aspekt, der im Materials nicht behandelt wurde, und ich frage mich immer wieder, wie ich dieses spezielle Szenario angehen soll, nämlich die Durchführung von Hypothesentests anhand von zwei Populationsmittelwerten, wenn die Varianzen ungleich sind, bekannt als Welch t-Take a look at.

Um das Konzept der Anwendung des Welch t-Assessments zu verstehen, können wir einen Datensatz für den Beispielfall untersuchen. In jeder Section dieses Prozesses wird der Datensatz aus realen Daten verwendet.

Teil 2: Der Datensatz

Der von mir verwendete Datensatz enthält reale Daten zu den Schätzungen des weltweiten landwirtschaftlichen Angebots und der Nachfrage (World Agricultural Provide and Demand Estimates, WASDE), die regelmäßig aktualisiert werden. Der WASDE-Datensatz wird vom World Agricultural Outlook Board (WAOB) zusammengestellt. Es handelt sich um einen monatlichen Bericht, der jährliche Vorhersagen für verschiedene globale Regionen und die Vereinigten Staaten in Bezug auf Weizen, Reis, Getreide, Ölsaaten und Baumwolle liefert. Darüber hinaus enthält der Datensatz auch Prognosen für Zucker, Fleisch, Geflügel, Eier und Milch in den Vereinigten Staaten. Er stammt von der Nasdaq-Web site und Sie können ihn hier kostenlos abrufen: WASDE-Datensatz. Es gibt 3 Datensätze, aber ich verwende nur den ersten, nämlich die Angebots- und Nachfragedaten. Die Spaltendefinitionen finden Sie hier:

Abbildung 1: Spaltendefinitionen nach NASDAQ

Ich werde zwei verschiedene Beispiele aus bestimmten Regionen, Waren und Artikeln verwenden, um den Testprozess zu vereinfachen. Zusätzlich werden wir für das Finish-to-Finish-Verfahren die Programmiersprache R verwenden.

Lassen Sie uns nun eine ordnungsgemäße Datenaufbereitung durchführen:

library(dplyr)

# Learn and preprocess the dataframe
wasde_data <- learn.csv("wasde_data.csv") %>%
choose(-min_value, -max_value, -year, -period) %>%
filter(merchandise == "Manufacturing", commodity == "Wheat")

# Filter knowledge for Argentina and Australia
wasde_argentina <- wasde_data %>%
filter(area == "Argentina") %>%
prepare(desc(report_month))

wasde_oz <- wasde_data %>%
filter(area == "Australia") %>%
prepare(desc(report_month))

Ich habe zwei Proben auf zwei verschiedene Regionen aufgeteilt, nämlich Argentinien und Australien. Der Schwerpunkt liegt auf der Produktion von Weizenrohstoffen.

Jetzt sind wir bereit. Aber warten Sie…

Bevor ich mich näher mit der Anwendung des Welch t-Assessments befasse, frage ich mich, warum es notwendig ist, zu testen, ob die Varianzen der beiden Grundgesamtheiten gleich sind oder nicht.

Teil 3: Testen der Varianzgleichheit

Wenn Hypothesentests durchgeführt werden, um zwei Populationsmittelwerte ohne Kenntnis der Populationsvarianzen zu vergleichen, ist es entscheidend, die Gleichheit der Varianzen zu bestätigen, um den geeigneten statistischen Take a look at auszuwählen. Wenn sich die Varianzen als gleich herausstellen, entscheiden wir uns für den gepoolten Varianz-T-Take a look at; andernfalls können wir den Welch-T-Take a look at verwenden. Dieser wichtige Schritt garantiert die Genauigkeit der Ergebnisse, da die Verwendung eines falschen Assessments aufgrund eines höheren Risikos von Fehlern des Typs I und II zu falschen Schlussfolgerungen führen könnte. Indem wir auf Gleichheit der Varianzen prüfen, stellen wir sicher, dass der Hypothesentestprozess auf genauen Annahmen beruht, was letztendlich zu zuverlässigeren und gültigeren Schlussfolgerungen führt.

Wie testen wir dann die beiden Populationsvarianzen?

Wir müssen die beiden folgenden Hypothesen aufstellen:

Abbildung 2: Null- und Alternativhypothesen zur Prüfung der Gleichheitsvarianzen nach Autor

Die Faustregel ist ganz einfach:

  1. Wenn die Teststatistik in den Ablehnungsbereich fällt, dann lehnen Sie H0 oder die Nullhypothese ab.
  2. Andernfalls können wir H0 oder die Nullhypothese nicht ablehnen.

Wir können die Hypothesen wie folgt aufstellen:

# Hypotheses: Variance Comparability
h0_variance <- "Inhabitants variance of Wheat manufacturing in Argentina equals that in Australia"
h1_variance <- "Inhabitants variance of Wheat manufacturing in Argentina differs from that in Australia"

Nun sollten wir die Teststatistik durchführen. Aber wie erhalten wir diese Teststatistik? Wir verwenden F-Take a look at.

Ein F-Take a look at ist ein statistischer Take a look at, mit dem die Varianzen zweier Stichproben oder das Verhältnis der Varianzen zwischen mehreren Stichproben verglichen werden. Die Teststatistik, die Zufallsvariable F, wird verwendet, um zu bestimmen, ob die getesteten Daten unter der wahren Nullhypothese und wahren üblichen Annahmen über den Fehlerterm eine F-Verteilung aufweisen.

Abbildung 3: Illustration der Wahrscheinlichkeitsdichtefunktion (PDF) der F-Verteilung durch Wikipedia

Wir können den Wert der Teststatistik erzeugen, indem wir zwei Stichprobenvarianzen so was:

Abbildung 4: F-Testformel nach Autor

und der Ablehnungsbereich ist:

Abbildung 5: Ablehnungsbereich des F-Assessments nach Autor

wobei n die Stichprobengröße und Alpha das Signifikanzniveau ist. Wenn additionally der F-Wert in einen dieser Ablehnungsbereiche fällt, lehnen wir die Nullhypothese ab.

Aber..

Der Trick ist: Die Beschriftung von Probe 1 und Probe 2 ist eigentlich zufällig, additionally lasst uns Stellen Sie sicher, dass Sie die größere Stichprobenvarianz jedes Mal oben platzierenAuf diese Weise wird unsere F-Statistik immer größer als 1 sein, und Wir müssen uns nur auf den oberen Grenzwert beziehen, um H0 auf dem Signifikanzniveau α abzulehnen, wenn.

Wir können dies tun, indem wir:

# Calculate pattern variances
sample_var_argentina <- var(wasde_argentina$worth)
sample_var_oz <- var(wasde_oz$worth)

# Calculate F calculated worth
f_calculated <- sample_var_argentina / sample_var_oz

Wir verwenden ein Signifikanzniveau von 5 % (0,05), daher lautet die Entscheidungsregel:

# Outline significance stage and levels of freedom
alpha <- 0.05
alpha_half <- alpha / 2
n1 <- nrow(wasde_argentina)
n2 <- nrow(wasde_oz)
df1 <- n1 - 1
df2 <- n2 - 1

# Calculate vital F values
f_value_lower <- qf(alpha_half, df1, df2)
f_value_upper <- qf(1 - alpha_half, df1, df2)

# Variance comparability consequence
if (f_calculated > f_value_lower & f_calculated < f_value_upper) {
cat("Fail to Reject H0: ", h0_variance, "n")
equal_variances <- TRUE
} else {
cat("Reject H0: ", h1_variance, "n")
equal_variances <- FALSE
}

Das Ergebnis ist Wir lehnen die Nullhypothese bei einem Signifikanzniveau von 5 % abMit anderen Worten, aufgrund dieses Assessments gehen wir davon aus, dass die Varianzen der beiden Populationen nicht gleich sind. Jetzt wissen wir, warum wir den Welch-t-Take a look at anstelle des gepoolten Varianz-t-Assessments verwenden sollten.

Teil 4: Der Hauptgang, Welch t-Take a look at

Der Welch-T-Take a look at, auch Welchs T-Take a look at für ungleiche Varianzen genannt, ist eine statistische Methode zum Vergleichen der Mittelwerte zweier separater Stichproben. Im Gegensatz zum standardmäßigen gepoolten Varianz-T-Take a look at geht der Welch-T-Take a look at von gleichen Varianzen aus, da er diese Annahme nicht trifft. Diese Anpassung der Freiheitsgrade führt zu einer präziseren Bewertung der Differenz zwischen den Mittelwerten der beiden Stichproben. Da der Welch-T-Take a look at keine gleichen Varianzen annimmt, liefert er ein zuverlässigeres Ergebnis bei der Arbeit mit realen Daten, bei denen diese Annahme möglicherweise nicht zutrifft. Er wird aufgrund seiner Anpassungsfähigkeit und Zuverlässigkeit bevorzugt und stellt sicher, dass aus statistischen Analysen gezogene Schlussfolgerungen auch dann gültig bleiben, wenn die Annahme gleicher Varianzen nicht erfüllt ist.

Die Formel für die Teststatistik lautet:

Abbildung 6: Teststatistikformel des Welch t-Assessments nach Autor

Wo:

und der Freiheitsgrad kann wie folgt definiert werden:

Abbildung 7: Freiheitsgradformel nach Autor

Der Ablehnungsbereich für den Welch-t-Take a look at hängt vom gewählten Signifikanzniveau und davon ab, ob der Take a look at einseitig oder zweiseitig ist.

Zweiseitiger Take a look at: Die Nullhypothese wird abgelehnt, wenn der Absolutwert der Teststatistik |t| größer ist als der kritische Wert der t-Verteilung mit ν Freiheitsgraden bei α/2.

Einseitiger Take a look at: Die Nullhypothese wird abgelehnt, wenn die Teststatistik t größer ist als der kritische Wert der t-Verteilung mit ν Freiheitsgraden bei α für einen Take a look at mit oberem Rand oder wenn t kleiner ist als der unfavourable kritische Wert für einen Take a look at mit unterem Rand.

  • Oberseitiger Take a look at: t > tα,ν
  • Unterseitiger Take a look at: t < −tα,ν

Machen wir additionally ein Beispiel mit Einseitiger Welch t-Take a look at.

Lassen Sie uns die Hypothesen aufstellen:

h0_mean <- "Inhabitants imply of Wheat manufacturing in Argentina equals that in Australia"
h1_mean <- "Inhabitants imply of Wheat manufacturing in Argentina is larger than that in Australia"

das ist ein Oberer Schwanztest, Der Ablehnungsbereich ist additionally: t > tα,ν

und indem Sie die oben angegebene Formel und dasselbe Signifikanzniveau (0,05) verwenden:

# Calculate pattern means
sample_mean_argentina <- imply(wasde_argentina$worth)
sample_mean_oz <- imply(wasde_oz$worth)

# Welch's t-test (unequal variances)
s1 <- sample_var_argentina
s2 <- sample_var_oz
t_calculated <- (sample_mean_argentina - sample_mean_oz) / sqrt(s1/n1 + s2/n2)
df <- (s1/n1 + s2/n2)^2 / ((s1^2/(n1^2 * (n1-1))) + (s2^2/(n2^2 * (n2-1))))
t_value <- qt(1 - alpha, df)

# Imply comparability consequence
if (t_calculated > t_value) {
cat("Reject H0: ", h1_mean, "n")
} else {
cat("Fail to Reject H0: ", h0_mean, "n")
}

Das Ergebnis ist Wenn wir H0 bei einem Signifikanzniveau von 5 % nicht ablehnen, dann ist der Bevölkerungsmittelwert der Weizenproduktion in Argentinien gleich dem in Australien.

So führen Sie den Welch t-Take a look at durch. Jetzt sind Sie dran. Viel Spaß beim Experimentieren!

Teil 5: Fazit

Beim Vergleichen von zwei Populationsmittelwerten während des Hypothesentests ist es sehr wichtig, zunächst zu prüfen, ob die Varianzen gleich sind. Dieser erste Schritt ist entscheidend, da er bei der Entscheidung hilft, welcher statistische Take a look at verwendet werden soll, und präzise und zuverlässige Ergebnisse garantiert. Wenn sich herausstellt, dass die Varianzen tatsächlich gleich sind, können Sie den Customary-t-Take a look at mit gepoolten Varianzen anwenden. In Fällen, in denen die Varianzen jedoch nicht gleich sind, wird empfohlen, den Welch-t-Take a look at durchzuführen.

Der Welch-T-Take a look at bietet eine gute Lösung für den Vergleich von Mittelwerten, wenn die Annahme gleicher Varianzen nicht zutrifft. Durch die Anpassung der Freiheitsgrade an die ungleichmäßigen Varianzen bietet der Welch-T-Take a look at eine präzisere und zuverlässigere Bewertung der statistischen Bedeutung des Unterschieds zwischen zwei Stichprobenmittelwerten. Diese Anpassungsfähigkeit macht ihn zu einer beliebten Wahl in verschiedenen praktischen Situationen, in denen Stichprobengrößen und Varianzen erheblich variieren können.

Zusammenfassend lässt sich sagen, dass die Genauigkeit von Hypothesentests durch die Überprüfung auf Varianzgleichheit und die Verwendung des Welch-t-Assessments bei Bedarf sichergestellt wird. Dieser Ansatz verringert die Wahrscheinlichkeit von Fehlern erster und zweiter Artwork und führt zu zuverlässigeren Schlussfolgerungen. Indem wir den geeigneten Take a look at auf der Grundlage der Varianzgleichheit auswählen, können wir die Ergebnisse sicher analysieren und fundierte Entscheidungen auf der Grundlage empirischer Beweise treffen.

Ressourcen

[ad_2]

]]>
http://chatgpz.de/machine-learning/welchs-t-take-a-look-at-die-zuverlaessige-methode-zum-vergleichen-von-zwei-populationsmittelwerten-mit-ungleichen-varianzen-von-vito-rihaldijiran-juni-2024/feed/ 0 1464