Ich bin verwirrt, wenn dasselbe Wort für 2 verschiedene Dinge verwendet wird. (Ich bin sehr verwirrt.)
In Umfragestatistiken wird das Wort „Kalibrierung“ auf zwei verschiedene Arten verwendet. Beide sind Versuche, Schätzungen aus unserer Umfrage an eine externe Datenquelle (z. B. Zensus -Tabellen) auszurichten:
- Nachstratifikation: Kalibrieren Sie unsere Schätzungen von Mitteln E (y) auf Populationsdaten zu einer anderen Variablen X.
- Abfangenkorrektur: Kalibrieren Sie unsere Schätzungen von Regressionen E (y | x), um Daten über E (y) zu aggregieren.
Die Verwendung von mehr Datenquellen macht eine statistische Methode intestine (Ein Prinzip, der Andrew von Hal Stern lernte). Kuriwaki et al. 2024 Verwenden Sie beide Geschmacksrichtungen der Kalibrierung, um den republikanischen Stimmenanteil nach Rassen- und Kongressbezirk abzuschätzen. Hier ist ihre Abbildung 4:
Angenommen, wir wollen E (y), die Bevölkerung, schätzen. Aber wir haben nur Y in der Umfrage -Stichprobe. Nehmen wir zum Beispiel an, Y stimmt republikanisch ab. Wir können den Stichprobenmittelwert, ehat (y | Probe), verwenden, aber was ist, wenn Umfragetechniker mehr oder weniger republikanisch als die Bevölkerung sind?
Wenn wir Bevölkerungsdaten zu X, z. B. Rassengruppe Das Gesetz der Gesamterwartung: E (y) = e (e (y | x)). Wenn unsere Stichprobe additionally die falsche Verteilung von Rassengruppen aufweist, beheben wir das zumindest mit einer gewissen Kalibrierung. Ersetzen von „E“ durch Schätzungen „ehat“, Nachstratifikation kalibriert unsere Schätzung des Bevölkerungsmittelmittels E (y) auf die bekannte Verteilung von x unter Verwendung von E (EHAT (y | x, Probe)).
Angenommen, 60percentder weißen Wähler wählen republikanisch, e (y | x = weiß) = 60percentund E (y | x = nicht weiß) = 25%. Angenommen, P (x = weiß) = 70%. Unsere Stichprobe hat jedoch die falsche Verteilung der Rassengruppen, z. B. P (x = weiß | Probe) = 50%. Ohne dies zu korrigieren, wäre unsere Schätzung: 60% * 50% + 25% * 50% = 42,5% und aufgrund unserer Stichprobe mit zu wenigen weißen Wählern zu niedrig. Aber mit der korrekten Bevölkerungsverteilung von x: 60% * 70% + 25% * 30% = 49,5%, ungefähr die Wahlergebnisse 2016. Anstatt e (y) = e (y | Probe) anzunehmen, wird unsere neue Berechnung an die Annahme von E (y | weiß) = e (y | weiß, probe) und e (y | nicht weiß) = e (y | nicht weiß, probe) vorausgesetzt.
Für mehr, siehe Lumley 2010 Kapitel 7: Poststratifikation, Rakeln und Kalibrierung. Für Implementierung versuchen Sie:
survey::calibrate()
- WOLLEN: Bevölkerungsbedeutung E (y)
- haben: y, x in Stichprobe, x in der Bevölkerung
Aber lasst uns das herumblättern. Aus Wahlergebnissen wissen wir E (y). Wir möchten, dass unsere Stimmenschätzungen der Rassengruppe E (y | x) auf die bekannten Gesamtsummen kalibriert werden.
- will: e (y | x)
- haben: y, x in Stichprobe, x in der Bevölkerung, UND Bevölkerungsbedeutung e (y)
Dies ist ein anderer Kalibriergeschmack! Bei der Poststratifikation waren es die Summen, die wir selbst schätzen wollten, und die Regression E (y | x) battle ein Schritt auf dem Weg. Jetzt ist die Regression E (y | x) das, was wir schätzen wollen, aber das bekannte Gesamt -E (y) hilft uns. Wenn wir additionally E (y | x) schätzen, beschränken wir es auf das bekannte E (y) zu aggregieren. Eine Möglichkeit, wie dies getan wird, wird als „Logit -Verschiebung“ bezeichnet Rosenman et al. 2023 Und „Abfangenkorrektur“ In Ghitza und Gelman 2020 (Bearbeiten: Es erscheint auch auf S.769 von Ghitza und Gelman 2013 als „einfache Anpassung“). Diese Intercept -Korrektur ist nicht benötigt, wenn wir in der Bevölkerung eine Regression von Y auf X durchführen. Wie in Regressionslehrbüchern beschrieben, werden die angepassten Werte (dh Ehat (y | x)) mit dem Mittelwert y aggregiert, wenn Ihr Modell einen Intercept enthält. Was in Umfragestatistiken bricht, ist, dass wir die Regression in der Stichprobe und nicht in der Bevölkerung durchführen.
Angenommen, unsere Stichprobe umfasst beispielsweise zu viele demokratische Wähler insgesamt, weil sie eher Umfragen unternehmen. Unser Yhat für alle Rassengruppen ist additionally fälschlicherweise gegenüber Demokraten verändert. Wir können den Abschnitt unseres Modells korrigieren, indem wir genug subtrahieren, damit die kalibrierten Yhats jetzt den korrekten niedrigeren Anteil der Demokraten aggregieren.
Vereinfachung Kuriwaki et al. 2024 die beabsichtigen, republikanische Stimmenanteile durch Rassengruppe E (y | x) zu schätzen (vom Kongressbezirk, den wir hier ignorieren werden):
- Sie kalibrieren zunächst (2. Geschmack) E (z | x), um Z (Bildung) zum Hilfsdaten X (Rassengruppe) hinzuzufügen, wobei bekannte Bildungsaggregate aus Volkszählentabellen verwendet werden.
- Anschließend kalibrieren sie (1. Geschmack) Schätzungen des republikanischen Stimmenanteils unter den Rassengruppen E (y | x) unter Verwendung von Hilfsdaten x, z. Dies geschieht durch Schätzung von E (y | x, z) und dann über die Verteilung von Z | X.
- Anschließend kalibrieren sie (2. Geschmack erneut) E (y | x), um E (Y) aus den Wahlgebnissen zu aggregieren.
Sie verwenden „Kalibrierung“, um sich auf beide Geschmacksrichtungen zu beziehen (fett mir selbst):
Zweitens verbessern wir die vorhandene Umfragemodellierung Methoden durch Entwicklung zweier neuer Kalibrierung Techniken… Mehrebenenregression und Nachstratifizierung (MRP) für kleine Flächenschätzungen. MRP verwendet Hierarchische Modellierung und Kalibrierung Gewichte…Darüber hinaus entwickeln wir eine Zwei -Wege -Umfrage KalibrierungAnwesend die gleichzeitig Kalibriert Schätzungen beider Wahlen Ergebnisse nach Geographie und einer externen Umfrage, anstelle von nur der Geographie.
Kalibrierung im maschinellen Lernen
Ich bin noch verwirrter, wenn andere Felder (z. B. maschinelles Lernen) auch „Kalibrierung“ verwenden.
Unser 2. Kalibrierungsgeschmack, die „Abfangkorrektur“, stellt sicher, dass E (y) = e (yhat). Dies wird manchmal genannt “mittlere Kalibrierung“. Wie oben erwähnt, erhalten wir dies kostenlos, wenn Stichprobe und Bevölkerung gleich sind, und unsere Regression von Y auf X enthält einen Abfang. Es spielt keine Rolle, ob unser Modell überhaupt korrekt ist!
A strengere Kind der Kalibrierung Erfordert e (y | yhat) = yhat. Siehe zum Beispiel S.30 von Muster, Vorhersagen und Handlungen: Eine Geschichte über maschinelles Lernen, von Moritz Hardt und Benjamin Recht. Oder Jessicas Beiträgez Hier. Dies gilt, wenn unser Modell für E (y | x) korrekt ist, was viel schwieriger ist, als nur einen Intercept -Time period zu werfen, um mittlere Kalibrierung zu erhalten.
