Fällig morgen (10. Juni): Geben Sie a ein Wettbewerb für Alexandre Andorras Interview mit Aki, Richard und Andrew über ihr neues Buch Bayesianischer Workflow.

Ich hoffe, die Leute fragen danach Bewertung von MRP-Modellen. Wir haben gesehen:

• Der Verlust auf individueller Ebene (y_i, yhat_i) eignet sich möglicherweise nicht für die Auswahl von Modellen MRP. („Individualismus funktioniert nicht“)
• Auch der auf die Bevölkerungszahl gewichtete Verlust auf individueller Ebene ist nicht groß. („Individualismus funktioniert nicht (auch nicht mit Gewichtung)“)
• Kreuzvalidierungsrauschen kann wichtige Modellunterschiede überdecken. („Individualismus und das CV-Lärmproblem“)
• In Wahrscheinlichkeitsstichproben passt die Aufteilung eines Clusters in Trainings- und Testmodelle zu mehr Informationen, als wir sollten, aber keine Aufteilung einer Schicht zwischen Trainings- und Testanpassungsmodellen mit weniger Informationen, als wir sollten. Wie trifft dies auf MRP zu? („dCV für MRP?“)

Bei Andrew Gelmans Workshop zum 60. Geburtstag Aki hat einen großartigen Vortrag darüber gehalten Klos 10. Geburtstag. Der lavatory R-Paket Berechnet die ungefähre Go away-One-Out-Kreuzvalidierung (lavatory). Aki deckte ein breites Spektrum an Arbeiten im gesamten Bayes’schen Arbeitsablauf ab. Er sagte, dass es bald eine neue Model ihres Papiers über die Bewertung von MRP-Modellen geben wird. Kennedy et al. 2024.

Kennedy et al. 2024 Pivot vom üblichen Verlust(y_i, yhat_i) auf Einzelebene zu einem Verlust(E(Y), E(yhat_i)) auf Bevölkerungsebene. Wir haben nicht das wahre E(Y), additionally ersetzen sie es durch eine klassische Poststratifizierungsschätzung (siehe Beitrag zur Poststratifizierung). Um eine Überanpassung zu vermeiden, sollte diese klassische Schätzung auf anderen Daten als dem MRP-Modell selbst berechnet werden.

Sie nutzen die Go away-One-Cell-Out (LOCO)-Kreuzvalidierung, eine Model von Go away-One-Group-Out (LOGO), die wir in erwähnt haben „designbasierte Kreuzvalidierung (dCV)“. In „dCV für MRP?“ Wir fragten, ob wir bewerten sollten, wie intestine das MRP-Modell neue Gruppen (z. B. neue Zellen) vorhersagt.

Sollte der MRP-Workflow LOCO-CV umfassen?

[ad_2]

Wir haben uns getroffen Herr P (Mehrstufige Regression und Poststratifizierung). Wir haben uns getroffen Frau P (Mehrstufige Regression mit synthetischer Poststratifizierung). Jetzt treffen wir uns Frau P (Mehrstufig Strukturiert Regression mit Poststratifizierung) aus Gao et al. 2021.

Lassen Sie uns zunächst einen Rückblick geben Nachschichtung:

• Wir wollen den Populationsmittelwert E(Y)
• Wir haben Y,X in der Stichprobe, X in der Inhabitants.
• Additionally wir kalibrieren unsere Schätzungen von E(Y) zur Bevölkerungsverteilung von X.

Gao et al. 2021Beispiel:

• Y = Unterstützung der Homo-Ehe
• X = Geschlecht, Rasse, Einkommen, Staat, Alter, Bildung
• Beispieldaten zu Y, X aus der Nationwide Annenberg Election Survey 2008
• Bevölkerungsdaten zu X aus dem American Group Survey (ACS)

Von das Gesetz der totalen Erwartung: E(Y) = E(E(Y|X)). Wenn unsere Schätzung von E(Y|X) der Stichprobenmittelwert von Y für Personen mit diesem X ist, handelt es sich bei der Gesamtschätzung um eine klassische Poststratifizierung (keine Ehrenbezeichnung). Wenn unsere Schätzung von E(Y|X) auf einem Modell basiert, das über X reguliert, beträgt die Gesamtschätzung Herr P.

Wie reguliert man über X hinweg? Angenommen, das Alter ist eine der X-Variablen. Gao et al. 2021 Betrachten Sie 3 Prioritäten für die Koeffizienten a_j der Altersgruppen j = 1,…,J:

1. Unabhängige Normalität: a_j ~ N(0, Sigma)
2. Autoregressiv: a_j | a_{j-1} ~ N(rho a_{j-1}, Sigma) mit rho in (-1,1)
3. Zufallsgang: a_j | a_{j-1} ~ N(a_{j-1}, Sigma)

Der erste wird oft verwendet in Herr P. Die nächsten beiden gehören zu Frau Pda sie die Ordnungszahl verwenden Struktur volljährigwobei die Altersgruppe j näher an der Altersgruppe j + 1 liegt als an der Altersgruppe j + 5. Die Verwendung dieser Struktur kann Frau P dabei helfen, stärker zu regulieren, mit kleinerem Sigma und mehr Ausleihinformationen über die Altersgruppen hinweg.

Gao et al. 2021 Simulieren Sie Daten aus E(Y|X) = logit^-1(… f(X_age(j))…), wobei die Funktion f(X_age(j)) angibt, wie die Unterstützung je nach Alter variiert. Sie überlegen 3 reibungslose Funktionen f(x). Für die von jedem simulierten Daten passen sie Modelle mit den drei oben genannten Prioritäten an. Frau P übertrifft Herrn Pwobei die Random-Stroll-Struktur am besten funktioniert:

Diese Fußnote in der Stan-Dokumentation könnte erklären, warum Random Stroll Autoregressive übertrifft:

In der Praxis kann es nützlich sein, die Einschränkung zu entfernen, um zu testen, ob ein instationärer Satz von Koeffizienten eine bessere Anpassung an die Daten bietet. Es kann auch nützlich sein, dem Modell einen Trendterm hinzuzufügen, da sich ein nicht angepasster Pattern als Instationarität manifestiert.

Gao et al. 2021 auch bedenken räumliche Prioritätenwo benachbarte PUMAs stärker korrelieren. Sie simulieren Daten sowohl mit räumlicher Glätte als auch mit unabhängigen Normalen, um zu bestätigen, dass der Prior „keine räumliche Struktur erzwingt, wenn sie nicht vorhanden ist“. Haben sie dies für das Altersmodell übersprungen?

Neben den Simulationsstudien Gao et al. 2021 Wenden Sie Frau P auch auf die Nationwide Annenberg Election Survey 2008 und das ACS-Beispiel oben an.

[ad_2]

Im Jahr 2010 Bethany Hedt-Gauthier (einer meiner Helden) ließ mich bei ihrem Projekt mit dem malawischen Gesundheitsministerium dabei sein. Damals wurden 270.000 Patienten in 377 antiretroviralen HIV-Kliniken behandelt. Patientenbehandlungskarten waren (und sind es auch heute noch) Taylor & Kazembe 2025) papierbasiert.

Vierteljährlich wurden diese Behandlungskarten mit dem Klinikregister abgeglichen, um Fehler zu erkennen. Damals führte man in jeder Klinik eine Vollzählung durch. In Hedt-Gauthier et al. (2012) Wir schlugen vor, in jeder Klinik eine Stichprobe der Aufzeichnungen zu entnehmen und anhand einer Entscheidungsregel (Lot High quality Assurance Sampling, LQAS) zu entscheiden, ob die Klinik eine vollständige Zählung der Behandlungskarten erhalten würde.

Wir nahmen an 19 Klinikbesuchen teil, um dies parallel zu den Standing-Quo-Zählungen auszuprobieren. Die Volkszählungen dauerten insgesamt 28,5 Stunden und korrigierten einige Datenfehler. Die stichprobenbasierte Entscheidungsregel benötigte weniger als die Hälfte der Zeit und erkannte mehr als die Hälfte der Fehler.

Betrachten Sie eine Klinik. Lassen:

• p = wahre Übereinstimmungsrate zwischen Behandlungskarten und Klinikregister
• n = Anzahl der beprobten Behandlungskarten, wir haben 76 befragt
• D = Anzahl derjenigen, die anderer Meinung sind ~ Binomial(n, 1-p)

Unsere Entscheidungsregel lautete: Wenn D >= 3, dann führen Sie eine vollständige Zählung der Behandlungskarten durch.

• P(eine vollständige Volkszählung durchführen | p = 0,99) = etwa 4 %
• P(keine vollständige Volkszählung durchführen | p = 0,89) = weniger als 1 %

Es besteht ein Kompromiss zwischen der Überprüfung der Stunden (Kosten) und den korrigierten Daten (Nutzen). LQAS navigiert dies mit den oben genannten Wahrscheinlichkeiten, die bei Hypothesentests manchmal als „Fehler vom Typ I“ und „Typ II“ bezeichnet werden. Aber Hedt-Gauthier et al. (2012) bezog sich nicht auf Hypothesentests. Ihr Fokus lag auf der Messung der Kosten und des Nutzens der Entscheidung.

In Geben Sie die statistische Signifikanz auf (zitiert auf diesem Weblog) schrieben die Autoren über statistische Signifikanzschwellen:

Solche Schwellenwerte drücken implizit einen bestimmten Kompromiss zwischen Fehlern vom Typ I und Typ II aus, aber in Wirklichkeit sollte dieser Kompromiss von den Kosten, Nutzen und Wahrscheinlichkeiten aller Ergebnisse abhängen

Der Eisbär verfügt über ein eigenes papierbasiertes System (Anmerkungen zur Umfragestatistik). Er strebt eine Volkszählung über sie an. Er strebt auch eine Zählung des Appalachian Path an, er hat die rot markierten Meilen zurückgelegt.

[ad_2]

Im Jahr 2021 habe ich unterrichtet Umfrageforschungsmethoden an der NYU (Danke an Daphna Harel für diese Gelegenheit!). Wir haben das Lehrbuch von verwendet Groves et al. (in dieser Blogserie Hier). Es hat dieses hilfreiche Bild, das sogar Twitter geliked:

Ich magazine dieses Bild, weil es uns daran erinnert, alle Fehlerquellen zu berücksichtigen, auch wenn das etwas stressig ist. Betrachtet man beispielsweise verschiedene Befragungsmodi (persönlich vs. Telefon vs. E-Mail), Groves et al. S.151 vergleicht Rücklaufquote, Kosten, Abdeckung und Messfehler. Meng 2018 „Statistische Paradiese und Paradoxien“ (in dieser Blogserie Hier) erinnert uns daran, dass große Verwaltungsdatensätze möglicherweise eine große Abdeckung und Stichprobengröße haben, ein kleinerer Datensatz mit höherer Qualität jedoch in wichtigen Punkten besser sein könnte. In einem sprechen Meng fragt, ob eine nicht zufällige Stichprobe von 80 % (oder sogar 99 %) besser ist als eine zufällige Stichprobe von 5 %.

Betrachten Sie zwei Datenquellen, möglicherweise aus verschiedenen Umfragemodi:

1. 100 % Abdeckung, dh Ihr Stichprobenrahmen umfasst die gesamte Grundgesamtheit. Aber die Antwortwahrscheinlichkeit P(R = 1 | Y) unterscheidet sich stark um Y, eine Variable von Interesse. Diese Unterschiede werden bei mehreren Kontaktversuchen möglicherweise nicht kleiner. Sie könnten tatsächlich schlimmer werden.
2. Nur 5 % Abdeckung, dh Sie können nur 5 % der Bevölkerung kontaktieren und sie bitten, an Ihrer Umfrage teilzunehmen, additionally P(R = 1) <= 5 %. Nehmen wir jedoch an, dass die Antwortwahrscheinlichkeit P(R = 1 | Y) über Y ungefähr konstant ist. Hier umfasst R = 1 sowohl die Abdeckung als auch die Antwort.

(Um diesen Vergleich einfach zu halten, habe ich die Diskussion der Hilfsdaten X weggelassen, die wir haben viel diskutiert in dieser Blogserie.) Die erste Datenquelle weist keinen Protection-Fehler, aber viele Non-Response-Fehler auf. Die zweite Datenquelle weist viele Abdeckungsfehler auf, führt aber letztendlich nicht zu einer Verzerrung. Dies sind beide Cartoon-Beispiele, die reale Welt ist meist etwas subtiler.

Andrew befürwortet (2011, 2018Und 2025) beide Umfragen in einem Modell zusammenfassen mit:

Indikatoren für die einzelnen Erhebungen (unterschiedliche Abschnitte, möglicherweise auch unterschiedliche Steigungen)

In der Praxis ist dies meiner Meinung nach schwieriger, als es sich anhört, da große Modelle viele Hilfs-X-Daten ausmachen und Umfragen sich in ihrer Abdeckung und ihren Non-Response-Mechanismen stark unterscheiden. Könnte es besser sein, sich darauf zu konzentrieren, die Mechanismen einer Umfrage wirklich intestine zu verstehen? Es könnte aber auch besser sein, Datenquellen zu kombinieren.

[ad_2]

Bisher haben wir uns auf a konzentriert Bevölkerungsmittelwert E(Y) als unsere interessierende Größe. Wir haben darüber gesprochen, dies mit Gewichten oder zu schätzen MRP.

• Inverse-Response-Wahrscheinlichkeitsgewichte (IPW): 1/E(R | X)
  Oder normalisiert als Bedeutung der Stichprobengewichte W = E(R)/E(R|X) = p(X)/p(X|R=1).
  Mit E(Y) = E(YW | R = 1) ermitteln wir die interessierende Größe.
• (Mehrstufige) Regression und Poststratifizierung ((M)RP):

  E(Y) = E(E(Y | X, R = 1)) ist die Artwork und Weise, wie wir die interessierende Größe identifizieren.

Diese sind äquivalent, wenn wir vollständig gesättigte Modelle verwenden, um E(R|X) und E(Y|X,R=1) zu schätzen, siehe Lumley 2010 Abschnitt 9.2.2 und Hernán und Robins (2020) Technischer Punkt 2.3.

Aber was ist nun, wenn uns eine Untergruppe wie … am Herzen liegt? Wähler E(Y | V=1) ? Angenommen, die Wahl hat noch nicht stattgefunden, sodass wir kein V (ob Sie Wähler sind) in der Bevölkerung haben. Und V in der Umfrage leidet unter der „Voreingenommenheit bei der übermäßigen Berichterstattung über Stimmen“. Ghitza und Gelman 2013 Und Ghitza und Gelman 2020 Notiz. Der New York Occasions schätzt E(V | X), das als Teil der Gewichte verwendet werden soll:

Andere Umfragen, darunter The Occasions/Siena Ballot, verwenden ein sogenanntes probabilistisches Modell. Anstatt Wähler mit geringer Wahrscheinlichkeit vollständig aus der Stichprobe auszuschließen, kombinieren Meinungsforscher die verfügbaren Daten, um abzuschätzen, wie wahrscheinlich es ist, dass jeder Befragte wählt, und ihre Antworten werden entsprechend gewichtet.

Da p(X) bekannt ist, können wir Bayes verwenden, um p(X | V = 1) zu erhalten, wie auf Seite 157 von getan Gelman 2007. Und auf S.764 von Ghitza und Gelman 2013 Sie erwähnen die Schätzung der Zellgrößen N_j oder Zellwahrscheinlichkeiten p(X=j | V =1), die für MRP benötigt werden:

Möglicherweise bilden wir den Durchschnitt über die Bevölkerung im Wahlalter, die wahlberechtigte Bevölkerung oder die Wählerpopulation … Wenn die N_Jsind bekannt … Poststratifizierung ist einfach. Wenn das N_J Da es sich lediglich um Schätzungen handelt, wenden wir weiterhin (1) an und fügen dieses Mal Schätzungen der N_ ein.J Das ergibt sich aus einer vorläufigen Analyse.

Die oben genannten Methoden sehen nun additionally so aus:

• Gewichte:

  Jetzt Bedeutung der Stichprobengewichte sind W = E(V|X)/E(V) / E(R|X)/E(R) = p(X|V=1)/p(X|R=1).

• Mehrstufige Regression und Poststratifizierung (MRP):

  E(Y | V=1) = E(E(Y | X, R = 1, V = 1) | V = 1) erfordert nun p(X | V=1) für den äußeren Erwartungswert.
  Wir haben mindestens drei Möglichkeiten, so etwas wie das NYT-Wahrscheinlichkeitswählermodell E(V | X) zu verwenden:

  1. Verwenden Sie Bayes, um Wahrscheinlichkeiten auf Zellebene p(X=j | V=1) wie in zu schätzen Gelman 2007 Und Ghitza und Gelman 2013
  2. Machen Sie Weichengewichte T = E(V|X)/E(V), den Zähler der oben genannten Wichtigkeitsgewichte. Dann bewerten Sie unser MR-Modell für alle außer gewichtet:
     E(E(Y | X, R = 1, V = 1) * T)
  3. Im Gespräch mit Andrew unter Spielzimmer Heute schlug er vor, dass zum „X“ im MRP auch Weichengewichte hinzugefügt werden können.

Diese Taxonomie kehrt viel unter den Teppich! Es wurde erstellt, um zu zeigen, wie Wahlbeteiligungsgewichte mit inversen Antwortwahrscheinlichkeitsgewichten zusammenhängen. Wenn wahrscheinliche Wähler auch eher an Umfragen teilnehmen, kann der Non-Response-Bias als zusätzliche Gewichtung der Wahlbeteiligung angesehen werden.

[ad_2]

Andrews Vortrag heute über die Geschichte der politischen Umfragen Beinhaltet:

19. Wahlen außerhalb des Jahres und Partyausgleich

Bafumi et al. (2010) Beschreiben Sie das Ausgleich als:

Die Wählerschaft steigert ihre Unterstützung für die Out -Partei zum Zwischenzeit aus dem Wunsch nach Steadiness in Bezug auf Ideologie oder Politik.

Andrew hat darüber ein Haufen gebloggt, z. B. „Was ich von diesen harten 538 Kommentatoren gelernt habe“ (2010). Komischerweise enthält es ein Beispiel für das Ausgleich:

Als Leser ist eine Ihrer ersten Reaktionen, wenn Sie jemanden schreiben, der dieser Particular person X falsch schreibt.

Versuchen wir zu verstehen, worum es bei der ganzen Aufregung ging. „Particular person X“ ist „selbst beschrieben“ politische Operative „Les Francis“, der 2010 sagt:

Ich brauche keine Umfragen, um mir zu sagen, dass Republikaner im November intestine abschneiden werden. Die „Out“ -Partei zeigt bei der ersten Zwischenwahl eines neuen Präsidenten quick immer erhebliche Gewinne.

Jawohl. Andrew wollte hinzufügen, dass Umfragen immer noch dazu beitragen, Zwischenwahlen vorherzusagen. Lassen:

• Umfragen = % Demokrat in Umfragen in Zwischenjahren und Befragte, für welche Partei („generische“, nicht ein bestimmter Kandidat) sie beabsichtigen, stimmen zu stimmen
• Abstimmung = % Demokrat bei Wahlen in Zwischenjahren
• Präsident = 1 Wenn der Demokrat im Amt ist, –1, wenn der Republikaner im Amt ist

Bafumi et al. (2010) Anpassung von Regressionsmodellen:

vote = b0 + b1 * president + b2 * polls + error

Beide Koeffizienten sind „statistisch signifikant“.

• B1 ist negativ: Die Demokraten machen es in Mitte der Mitte, wenn es einen republikanischen Präsidenten gibt, und umgekehrt.
• B2 ist positiv: Umfragen prognostizieren die Wahlergebnisse.

Bafumi et al. (2010) Tabelle 4 zeigt das B2 ändert sich nicht viel, basierend auf der Zeit der Umfrage, aber B1 kommt näher an 0, da die Umfragen am Wahltag näher kommen. Abbildung 3 zeigt diese Regression:

Wie Andrew betont, basierend auf Bafumi et al. (2010)ein Wahlvorhersagemodell mit beiden Präsident Und Umfragen macht besser als ein Vorhersagemodell mit Präsident allein.

ps Diese Umfrage Statistics Weblog Collection Enthält immer ein Foto des Eisbären auf dem Weg. Als Nick Tierney notiert auf BSKYDies kann unerwartet sein. Aber in diesem Beitrag gibt es eine Verbindung darin Joseph Bafumi ist Professor in Dartmouth, Heimat eines Teils des Appalachian Path.

[ad_2]

Im Juli Wir haben ein neues Paradigma betreten: Ob Sie auf eine Umfrage (R) antworten, kann auch nach der Kontrolle von Kovariaten (x) vom Ergebnis (Y) abhängen. Dies wird als nicht zufällig (MNAR) als fehlend bezeichnet, im Gegensatz zu zufällig (mar).

Michael Bailey‚S Ein neues Paradigma für die Wahl schlägt Methoden vor, die auf a angewiesen sind Antwortinstrument z: Eine Variable, die die Wahrscheinlichkeit von Reaktion R beeinflusst, aber nicht direkt das Interesse auswirkt. Y. Bailey schreibt:

Das dominierende Paradigma in den Wahllokalzentren für zufällige Stichproben, was unglücklich ist, weil zufällige Stichproben für alle praktischen Zwecke tot ist.

Aber wie Andrea Gibson schrieb„Sterben ist das Gegenteil des Verlassens.“ In diesem neuen Paradigma ist eine zufällige Stichprobe sehr bei uns.

Um dies zu sehen, lassen Sie uns das Beispiel von erneut besuchen Ein neues Paradigma für die Wahlwas auch in ist Bailey 2025. Es beginnt mit Personen, die aus der Adress-basierten Wahrscheinlichkeitsstichprobe von Ipsos stammen. Das ist wichtig !! Diese Leute werden dann zufällig zugewiesen, entweder gezwungen zu sein, über Politik zu diskutieren (Z = 0, „hohes Antwortprotokoll“), oder sie erhalten die Wahl, Sport zu trennen und zu diskutieren (Z = 1, „niedriges Antwortprotokoll“).

Um das durchschnittliche y (z. B. die Zustimmung des Trumps) in der Bevölkerung zu schätzen, prognostizieren wir in der Zufallsstichprobe y_i angegeben. Dann wie in Nachstratifikation (zB MRP) Methoden verwenden wir die Populationsverteilung von x und z, um das durchschnittliche y: e (y) = e (y | x, z, r = 1)) zu erhalten. Sehen Bailey 2025 Gleichung (8).

Aber warte, was ist die Bevölkerungsverteilung von Z? Vermuten Wir beginnen mit einer Zufallsstichprobe Bevor sie die Leute überhaupt zu Z = 0 oder Z = 1 zuweisen. Die äußere Erwartung über x und z kann durch diese Zufallsstichprobe geschätzt werden.

Mir scheint daher, dass diese Reaktionsinstrumentmethoden nützlich sind, um die sinkenden Rücklaufquoten in Umfragen zu besprechen, die als Wahrscheinlichkeitsproben beginnen. Aber für reine Choose-in-Umfragen bin ich mir nicht sicher, wie sie sich anwenden?

[ad_2]

Diese Woche zum 3. Mal, Dr. Arjun Potter und ich unterrichte einen einwöchigen Kurs über statistischen Workflow bei Die afrikanische Establishment für Wissenschaft und Technologie von Nelson Mandela (NM-Aist)eine öffentliche Postgraduierten -Forschungsuniversität in Arusha, Tansania, die 2009 gegründet wurde. Ich habe über die erste Iteration des Kurses gebloggt Hier. Und Hier sind die Kursmaterialien.

Unsere Fallstudie ist ein Experiment zum NM-Aist Campus Arjun Potter Und Charles Luchagula und Kollegen, um das zu studieren Auswirkungen von Dürre, Feuer und Pflanzenfresser auf das Wachstum verschiedener Acacia -Baumarten. Der Schwerpunkt liegt auf dem experimentellen Design und Modellieren.

Dies ist eine Weblog -Serie über Umfragen. Warum spreche ich additionally über Experimente? Nun, as Fienberg und Tanur (1987) sagte über die Verbindungen zwischen Umfragestichproben und Experimenten:

Es ist bekannt, dass die grundlegenden Konzepte bei der Gestaltung von Stichprobenstudien parallel zu denen für die Gestaltung randomisierter Experimente entsprechen.

Ihre Tabelle 1 zeigt einige dieser Parallelen:

Lassen Sie uns zwei davon diskutieren: Cut up-Plot/Cluster und Blockierung/Schichtung.

Interventionen auf Gruppenebene in Experimenten, Cluster in Umfragen

Das Manipulieren von Feuer ist schwierig. Die Forscher entschieden sich additionally, die kontrollierten Verbrennungen auf einer größeren Ebene zu machen, die sie als „Blöcke“ bezeichnen. Pflanzenfresser und Dürre wurden auf einer kleineren Ebene, die sie als „Nebenhandlungen“ bezeichnen, in Blöcken verschachtelt. Dies wird manchmal als „Cut up-Plots“ bezeichnet.

Interventionen auf Gruppenebene in Experimenten sind in Umfragen analog zu Cluster als Lumley 2010 erklärt (fett mein eigenes):

Cluster -Stichprobedh eine relativ geringe Anzahl von Gruppen von Menschen ist in großen Umfragen, die persönliche Interviews umfassen, quick universell. Im Gegensatz zu einer geschichteten Probenahme, die eine erhöhte Präzision für die gleiche Stichprobengröße ergibt, Die Cluster -Probenahme verringert die Präzision für eine bestimmte Stichprobengröße, kann jedoch die Stichprobengröße und -präzision für bestimmte Kosten erhöhen.

Wir haben dies im experimentellen Kontext gesehen: Die Wirkung des Feuers wird mit weniger Präzision als die Auswirkungen von Pflanzenfresser und Dürre geschätzt.

Wir haben dies im (quasi-) experimentellen Kontext in in in in in erwähnt Das Millennium Villages -Projekt: eine retrospektive, beobachtende Endliniebewertung: „Herausforderungen einer reduzierten statistischen Macht aufgrund von Interventionen auf Dorfebene“ (siehe Unser 2018er Papier im Lancet sowie Weblog -Beiträge von 2015Anwesend 2018Anwesend 2023).

Blockierung in Experimenten, Schichtung in Umfragen

Wenn wir Unterhandlungen direkt zu Pflanzenfresser und Dürre randomisieren, könnten wir Pech haben und alle Pflolen im Osten haben oder alle Dürre -Nebenhandlungen im Westen sind. Stattdessen haben wir innerhalb jedes Blocks zufällig, um vor dieser Unglücklichkeit zu schützen.

Die Blockierung in Experimenten ist analog zur Schichtung in Umfragen wie Lumley 2010 erklärt (fett mein eigenes):

Eine Möglichkeit, die Präzision zu erhöhen, ist eine geschichtete Probenahme, bei der die Bevölkerung in Gruppen aufgeteilt wird, die als Schichten bezeichnet werden und eine separate Wahrscheinlichkeitsprobe von jedem zeichnen. Die Schichtung stellt sicher, dass eine vorgegebene Anzahl von Beobachtungen aus jeder Schicht in der Probe landetanstatt zuzulassen, dass die Verteilung von Beobachtungen über die Schichten hinweg zufällig ist.

Umfragestatistiker: Welche Erkenntnisse haben Sie aus der experimentellen Designliteratur gewonnen?

[ad_2]

In Unser Beitrag von vor zwei Wochen Wir haben begonnen, über die aktuelle Umfrage zur Beschäftigungsstatistik (CES) des US -amerikanischen Bureau of Labour Statistics (BLS) zu erfahren, die den monatlichen Stellenbericht erstellen.

Wir haben uns gefragt, warum die Größe der Einrichtung in der Schichtung und nicht in der Schätzung verwendet wird. Kommentatoren schlugen vor, die BLS zu kontaktieren, um sie zu fragen, additionally habe ich es getan! Sie schrieben schnell mit den ersten Ressourcen und einer Zeitleiste für ihre vollständige Antwort zurück, die ich am Freitag (15. August 2025) bekam, und werden jetzt mit Ihnen verdauen.

Steve ManceCES Department Chief bei The BLS, schreibt (alles fett ist mein eigener):

Die CES Privatsektor Die Probe verwendet ein geschichtestes einfaches Zufallsstichprobenentwurf, das von Staat, 8 Geschäftsgrößenklassen und 13 breiten Industrien zugewiesen wurde und die Gewichte als Umkehrung der Auswahlwahrscheinlichkeit zugewiesen sind. Die Schätzstruktur besteht aus über 500 Zellen, die durch die detaillierte NAICS -Industrie (und Area im Bau) definiert sind. Auf dieser detaillierten Branchenebene entwickelte Schätzungen, die zur Bildung der nationalen gesamten privaten Schätzung entwickelt wurden.

Dies entspricht meinem Verständnis: Beispielschichten werden durch staatliche, Größe und (breite) Branche definiert. Schätzzellen werden durch (detaillierte) Industrie und Area definiert.

Regierung Schätzungen verwenden weiterhin ein Quotendesign und umfassen regionale Schichtung zur Schätzung der staatlichen und lokalen Bildung. Staatliche und Metro -Schätzungen verwenden dieselbe Stichprobe wie die nationalen Daten, werden jedoch unabhängig berechnet und verwenden unterschiedliche Aggregationsstrukturen. In einigen Fällen umfassen sie explizite Anpassungen für nicht antwortende Gewichtsanpassungen, die durch detaillierte NAICs in einer breiten Branche definiert sind.

Das struggle neuer für mich. Die Auftragszählungen der Regierung basieren auf einer Quote (nicht Wahrscheinlichkeit). Die Schätzung scheint nur (detaillierte) Industrie und Area zu verwenden, wie für den privaten Sektor.

In den meisten Fällen führt CES in den nationalen Daten keine expliziten Nichtanpassungen (entweder durch Gewichtsanpassungen oder eine Imputation) vor. Unser Schätzer entspricht der Einstellung von Nichtbefragten unter Verwendung des relativen Beschäftigungswachstums der Befragten, die auf Schätzungszellebene berechnet wurden.

Wie wir in der besprochen haben Nachstratifikation Und Imputation Beiträge: Wir können die Befragten verwenden, um die Beschäftigung von Per-Zellen abzuschätzen, die dann unter Verwendung einer bekannten Verteilung über Zellen aggregiert werden. (Ich muss Klammern für Andrew einwerfen: E (E (y | x, Befragte)), wobei X die Zellen definieren und y beschäftigten. Die äußere Erwartung ist über X.)

In seltenen Fällen werden verspätete oder Nichtantwort von großen Stichprobeneinheiten, die historisch gesehen saisonale Unterschiede zum Relaxation der Bevölkerung aufweisen, durch explizite Imputation berücksichtigt. Wenn eines dieser Unternehmen keine CES-Daten für den aktuellen Monat meldet, können seine historischen über-monatigen Änderungsdaten in der Imputation verwendet werden, um seine erwartete saisonale Bewegung zu erfassen.

Wenn eine große Einrichtung nicht reagiert, lindern sie die Verwendung seiner Geschichte.

In der Frage, die wir erhalten haben, bemerkten Sie a Papier von Ken Copeland Ab 2003, der die Non -Response in CES untersuchte und fragte Warum wir die Größe in der Allokation verwenden, aber nicht in unserer Schätzstruktur (Ich werde auch Geographie ansprechen):

 

• Zu Konstruktionszwecken muss die Zuordnung den Zustand umfassen. CES ist ein Kooperativprogramm für Fed-State, und wir müssen ein gewisses Maß an Zuverlässigkeit der Schätzungen für kleine Staaten sicherstellen. Eine optimale Zuordnung für die nationalen Daten könnte für einige Staaten unannehmbar kleine Stichprobengrößen aufweisen. Die Zuteilung der staatlichen Stichprobengrößen werden vom CES Coverage Council vereinbart, das aus Vertretern von BLS und staatlichen Arbeitskräften besteht und in der Regel alle 5 Jahre aktualisiert wird. (In jedem Zustand wird die feste Stichprobengröße jährlich auf die Branchen-/Größenschicht zugewiesen.)

Dies ist ein großartiges Beispiel für was s Raphael Nishimura und Andrew sagte in unserer Poststratifikation Diskussion „Oft wird eine Schicht absichtlich übertroffen.“

Steve Mance (BLS) fährt fort:

• Die Größenklasse struggle auch eine wichtige Überlegung unseres Stichprobenredesigns, das in den neunziger Jahren entwickelt und Anfang der 2000er Jahre implementiert wurde. Unser früheres Quotenkonstruktion führte zu einer Stichprobe, die stark gegenüber großen Unternehmen gewichtet wurde, was als signifikante potenzielle Verzerrungsquelle angesehen wurde, obwohl die Forschung, die vor dem Redesign führte, keine Unterschiede zwischen großen und kleinen Unternehmen als wichtiger Beitrag zu Benchmark -Revisionen ansah.

Benchmark -Revisionen sind Korrekturen in CES -Schätzungen, die auf der vierteljährlichen Volkszählung und Lohnsummen (QCEW) basieren. Das QCEW hat nahezu vollständige Antwort, sodass wir sie verwenden können, um die Nichtantwortverzerrung in den CES zu bewerten. Die BLS sahen nicht, dass die Größe der Etablierung ein großer Beitrag zur Nichtantwortverzerrung struggle, obwohl die Stichprobe größere Unternehmen aufwies. Es scheint, dass X (Größe) mit R (Antwort) verbunden ist, „eine Stichprobe, die stark gegenüber großen Unternehmen gewichtet ist“. Aber wenn X einen großen Beitrag zu Nicht -Response -Verzerrungen macht, bedeutet das, dass es nicht mit Y (Jobs) verbunden ist? Das verwirrt mich.

Wenn x mit R verbunden ist, aber nicht y, dann ist x was Kuh et al. 2023 Tabelle 1 nennt „belanglos“:

Ihr Tisch wurde von inspiriert von Little und Vartivarian 2005 Tabelle 1, die warnt, dass die Anpassung an ein solches X die Varianz erhöhen kann:

Wir diskutierte sparsifizierte MRP Um diese Varianzzunahme zu vermeiden. In der Tat, Little und Vartivarian 2005 abschließen:

Ein ausgefeilterer Ansatz besteht darin, Zufallseffektmodelle anzuwenden, um die Gewichte zu verkleinern, wobei mehr Schrumpfung für Ergebnisse schrumpfen, die nicht stark mit den Kovariaten zusammenhängen (z. B. Elliott und Little 2000). Eine versatile Various zu diesem Ansatz ist die Imputation, die auf Vorhersagemodellen basiert…

Steve Mance (BLS) fährt fort:

• Wir haben festgestellt, dass das Schichten der Schätzstruktur durch detaillierte Industrie die wichtigste Dimension bei der Aufrechterhaltung der ignorierenden Nichtantwort -Annahme ist Sie haben aus Copeland (2003) festgestellt. Innerhalb der angegebenen breiten Allokationsindustrien haben wir in Bezug auf das relative Beschäftigungswachstum und die Reaktionsneigung eine große Heterogenität und eine relative Homogenität innerhalb der Branchen festgestellt. Die Konstruktion ist eine bemerkenswerte Ausnahme, bei der eine größere geografische Heterogenität vorliegt, die in der Schätzungszellstruktur berücksichtigt wird.

Das macht Sinn. Sie haben festgestellt, dass die detaillierte Industrie am wichtigsten ist, um die Verzerrung zu verringern.

Es ist sicherlich plausibel, dass die Einbeziehung von Informationen wie Größe und Zustand in Gewichtsanpassungen oder Imputation den Nichtantwortfehler verringern könnte, und BLS erforscht derzeit direkter die Nichtantwort in CES unter Verwendung von Zustand, Größe und anderen Informationen. Die früheren Arbeiten, die Größe und andere Merkmale in nicht reagierten Anpassungen beinhalten, wie z. Copeland und Valliant (2007)lieferte keine signifikanten Verbesserungen der aggregierten Überarbeitungen in CES.

Dies wiederholt den obigen Punkt, die BLS sahen nicht, dass die Größe der Beteiligung ein großer Beitrag zur Nichtantwortverzerrung struggle. Und sie recherchieren weiter.

[ad_2]

“Längsschnitt“ oder „PanelDie Daten umfassen einige wiederholte Umfragen derselben Personen im Laufe der Zeit. Sharon Lohrs Buch beschreibt Beispiele wie das CPS:

Sobald ein Haushalt für eine Panel -Umfrage wie die US -amerikanische Bevölkerungsumfrage eingestellt wird, die Merkmale im Zusammenhang mit der Beschäftigung misst, bleibt er in der Umfrage für nachfolgende Interviews.

Das New-in-the-Dritt-Kapitel über Nicht-Wahrscheinlichkeitsproben beschreibt auch On-line-Internet-Panels:

Ein On-line -Gremium ist eine Gruppe von Personen, die von einer Umfragegeration für die Übernahme von Umfragen eingestellt wurden. Wenn dann ein Thema auftaucht, für die Umfragen gewünscht werden, bittet die Organisation eine Stichprobe von Personen aus dem Gremium, die die Umfragekriterien erfüllen, um die Umfrage zu übernehmen.

Die Struktur der Paneldaten kann auf verschiedene Weise in Modelle aufgenommen werden. Zum Beispiel kann ein hierarchisches (dh mehrstufiges) Modell ein nicht beobachtetes Modell enthalten Effekt auf Personenebene. Wie Gelman et al. schreiben BDA S.21:

Im Allgemeinen bevorzugen wir es, die Komplexität mit einer hierarchischen Struktur unter Verwendung zusätzlicher Variablen und nicht mit komplizierten Randverteilungen zu modellieren, selbst wenn die zusätzlichen Variablen nicht beobachteten oder sogar nicht beobachtbar sind. Dieses Thema zugrunde liegt Mischmodelle…

Aber as Antonelli et al. (2016) Und Fitzmaurice et al. S.39 schreiben:

Für linear Modelle mit gemischten Effekten… Abweichungen von den Normalitätsannahmen für die zufälligen Effekte haben nur sehr geringe Auswirkungen auf die Schätzung der Parameter mit festen Effekten… für nichtlinear und verallgemeinerte lineare gemischte Modelle können die Verteilung der Zufallseffekte zu schweren voreingenommenen Schätzungen für die Parameter fester Effekte führen.

In weiten Teilen der Umfrageforschung sind Variablen von Interesse diskret, z. B. die Wahl der Stimmen. Wir würden additionally nichtlineare Modelle passen, wo die obigen Vorsichtsmaßnahmen gelten. Wie analysieren die meisten Umfragepraktiker Längsbinärdaten?

(Ich habe danach gefragt Stan -Diskurs Zurück im Jahr 2022, könnte aber mehr Anleitung gebrauchen.)

[ad_2]