Fällig morgen (10. Juni): Geben Sie a ein Wettbewerb für Alexandre Andorras Interview mit Aki, Richard und Andrew über ihr neues Buch Bayesianischer Workflow.
Ich hoffe, die Leute fragen danach Bewertung von MRP-Modellen. Wir haben gesehen:
- Der Verlust auf individueller Ebene (y_i, yhat_i) eignet sich möglicherweise nicht für die Auswahl von Modellen MRP. („Individualismus funktioniert nicht“)
- Auch der auf die Bevölkerungszahl gewichtete Verlust auf individueller Ebene ist nicht groß. („Individualismus funktioniert nicht (auch nicht mit Gewichtung)“)
- Kreuzvalidierungsrauschen kann wichtige Modellunterschiede überdecken. („Individualismus und das CV-Lärmproblem“)
- In Wahrscheinlichkeitsstichproben passt die Aufteilung eines Clusters in Trainings- und Testmodelle zu mehr Informationen, als wir sollten, aber keine Aufteilung einer Schicht zwischen Trainings- und Testanpassungsmodellen mit weniger Informationen, als wir sollten. Wie trifft dies auf MRP zu? („dCV für MRP?“)
Bei Andrew Gelmans Workshop zum 60. Geburtstag Aki hat einen großartigen Vortrag darüber gehalten Klos 10. Geburtstag. Der lavatory R-Paket Berechnet die ungefähre Go away-One-Out-Kreuzvalidierung (lavatory). Aki deckte ein breites Spektrum an Arbeiten im gesamten Bayes’schen Arbeitsablauf ab. Er sagte, dass es bald eine neue Model ihres Papiers über die Bewertung von MRP-Modellen geben wird. Kennedy et al. 2024.
Kennedy et al. 2024 Pivot vom üblichen Verlust(y_i, yhat_i) auf Einzelebene zu einem Verlust(E(Y), E(yhat_i)) auf Bevölkerungsebene. Wir haben nicht das wahre E(Y), additionally ersetzen sie es durch eine klassische Poststratifizierungsschätzung (siehe Beitrag zur Poststratifizierung). Um eine Überanpassung zu vermeiden, sollte diese klassische Schätzung auf anderen Daten als dem MRP-Modell selbst berechnet werden.
Sie nutzen die Go away-One-Cell-Out (LOCO)-Kreuzvalidierung, eine Model von Go away-One-Group-Out (LOGO), die wir in erwähnt haben „designbasierte Kreuzvalidierung (dCV)“. In „dCV für MRP?“ Wir fragten, ob wir bewerten sollten, wie intestine das MRP-Modell neue Gruppen (z. B. neue Zellen) vorhersagt.
Sollte der MRP-Workflow LOCO-CV umfassen?