Diese Blogserie startete mit dem Sprichwort „es sind die Menschen„. Sprechen wir additionally über die Arbeit einiger Leute, mit denen ich im Laufe der Jahre gerne gesprochen habe: Swen Kuh, Lauren Kennedy, Qixuan Chen, Andrew Gelman und Aki Vehtari. Sie haben darüber nachgedacht, wie man Modelle bewerten kann Mehrstufige Regression und Poststratifizierung (MRP).
Der typische Verlust durch maschinelles Lernen sieht jeweils einzeln aus: Loss(y_i, yhat_i).
Unser Beitrag zur Poststratifizierung konzentrierte sich auf die Schätzung eines Populationsmittelwerts E(Y) mit yhat, wodurch Verlust(E(Y), y_hat) minimiert wurde. Dies unterscheidet sich von Loss(y_i, yhat_i). In der Tat, Kuh et al. 2023 Beachten Sie, dass diese Verluste die Modelle möglicherweise anders anordnen. Mit anderen Worten, Der Verlust auf individueller Ebene ist möglicherweise nicht besonders intestine für die Auswahl von Modellen für MRP. Kennedy et al. 2024 Schlagen Sie einen Weg vor, um den Bevölkerungsverlust Loss(E(Y), y_hat) zu ermitteln.
Dies ist einer meiner weniger herausragenden Zeltplätze. Aber ich habe einen Nachbarn! Dies ist ein Beitrag über Fehler auf Bevölkerungsebene (es sind die Menschen!), und unsere Zelte haben einen durchschnittlichen bis guten Platz.
Kennedy et al. 2024 weisen Sie darauf hin Die erste Herausforderung besteht darin, dass wir weder E(Y) noch E(Y|X) kennen.:
In der Praxis ist die Bevölkerungswahrheit (zellweise oder auf aggregierter Ebene) jedoch nicht verfügbar. Eine Möglichkeit besteht in diesem Fall darin, die Bevölkerungswahrheit anhand der Stichprobenbeobachtung anzunähern.
.
Ich gehe davon aus, dass dies das bedeutet, was wir in unserem als Ehat(Y | X = j, pattern) geschrieben haben Beitrag zur Poststratifizierungauch mit ungeschickter Notation. In Worten: der durchschnittliche Y für Personen in der Stichprobe mit der j-ten möglichen Kombination von Kovariaten X. Die Aggregierung dieser Stichprobendurchschnitte über Im Gegensatz dazu verwendet die MRP-Schätzung yhat_MRP ein mehrstufiges Modell für E(Y|X).
Wenn ich es additionally verstehe, Kennedy et al. 2024 Schlagen Sie vor, die MRP-Schätzung durch Vergleich mit der klassischen Poststratifizierungsschätzung zu bewerten?
Die zweite Herausforderung besteht darin, dass dieselben Daten sowohl für die Anpassung des MRP-Modells als auch für die Bewertung seines Fehlers verwendet werden. Wie beim maschinellen Lernen üblich, schlagen sie vor, dieses Downside durch Kreuzvalidierung anzugehen:
Die Okay-Falten-Kreuzvalidierung unterteilt die Probe in Okay nicht überlappende Falten. Der okTh Die Falte wird entfernt, um sie an das Modell anzupassen, und die Bewertung wird anhand dieser Falte berechnet.
In ihrer obigen Gleichung (9) müssten wir additionally das durchschnittliche Y für Personen in der k-ten Falte mit X = j berechnen. Damit dies nicht leer ist, brauchen wir Okay Leute in jeder Zelle j. Bei genügend Kovariaten X ist dies eine große Herausforderung. In dem Papier schlagen sie Alternativen vor.
Aber ich stecke immer noch bei der ersten Herausforderung fest. Verstehe ich ihren Vorschlag, einen Fehler auf Bevölkerungsebene zu ermitteln, richtig?