Dieser Beitrag hat 3 Fragen an Sie unten.
Multilevel -Regression und Nachstratifizierung (MRP) Ziel ist es, die Nichtbeantwortung anzugehen. Angenommen, wir wollen E (y), die Bevölkerung, schätzen. Aber wir haben nur Y für Befragte. Nehmen wir zum Beispiel an, Y stimmt republikanisch ab. Und was ist, wenn die Befragten mehr oder weniger republikanisch sind als die Bevölkerung? Wenn wir Bevölkerungsdaten zu X haben, z. B. eine Reihe der demografischen Variablen, können wir E (y | x) und Aggregat schätzen: E (y) = e (e (y | x)). Wenn unsere Stichprobe additionally die falsche Verteilung von x hat, beheben wir das zumindest mit einer gewissen Kalibrierung.
Mit einer Verschlechterung der Nichtantwort möchten wir uns auf viele Kovariaten X einstellen (einschließlich ihrer Interaktionen!). Schätzungen aus solchen großen Modellen werden ohne viele Daten und/oder Regularisierung instabil sein.
Wie Andrew über MRP und RPP schreibt:
5. die Multilevel Teil von MRP kommt, weil Sie sich auf viele Zellen in Ihrem Poststrat einstellen möchten
…
Es ist jedoch nicht wichtig, dass die theta_j mit mehrstufiger Regression geschätzt werden. Allgemeiner können wir jede regulierte Vorhersagemethode verwenden, die angemessene und stabile Schätzungen beruht und gleichzeitig eine potenziell große Anzahl von Prädiktoren aufzunehmen.
Somit, regulierte Vorhersage und Nachstratifizierung. RPP. Es klingt nicht so intestine wie MRP, aber es ist die allgemeinere Idee.
Wie Andrew über das Lasso schreibt:
Lasso („Die am wenigsten absolute Schrumpf- und Auswahlbetreiber“) ist ein Regularisierungsverfahren, das die Regressionskoeffizienten auf Null verkleinert… irgendwie dauerte die Stanford College of Offengeschlossener Nicht-Bayesianer, um so zu regulieren, wie Bayeser immer konnten-, aber ich machte unkontrollierte Regressionen mit vielen Prädiktoren an und wusste nicht, was man tun sollte…
„In den letzten Monaten wurde ich (Tibshirani) mit einem neuen Stück Arbeit (mit Richard Lockhart, Jonathan Taylor und Ryan Tibshirani) verzehrt, das endlich fertig ist. Hier ist die PapierDie Folien (einfacher zu lesen) und die R -Paket. ““
Frage 1: Diese Hyperlinks sind gebrochen. (Sie sind nicht mehr kaputt! Ich habe die richtigen Hyperlinks gefunden und bin reingegangen und hat sie aktualisiert. – AG)
Wie Andrew über den „Wetten auf Sparsity Prinzip“ schreibt„:
Spärliche Modelle können schneller zu berechnen, zu verstehen und stabilere Schlussfolgerungen zu ergeben.
Obwohl dieses „leichter zu verstehen“ eine Artwork falsch sein kann, wie Andrew sagt:
Lasso (oder Alternativen wie Hufeisen) sind in Ordnung, aber ich glaube nicht, dass sie Ihnen wirklich ein interpretierbares Modell geben. Oder ich sollte sagen, ja, sie geben Ihnen ein interpretierbares Modell, aber die Interpretierbarkeit ist irgendwie falsch, denn wenn Sie etwas andere Daten gesehen hätten, erhalten Sie ein anderes Modell. Die Interpretierbarkeit wird zum Lärmpreis gekauft – nicht in der Vorhersage, sondern im gewählten Modell.
Und:
In den meisten Einstellungen fällt es mir tatsächlich schwierig, mehr als einen Koeffizienten in einem Regressionsmodell direkt zu interpretieren.
Dasselbe.
Frage 2: OK, additionally sagen wir, dass ich die Interpretierbarkeitsmaterial zu vergessen habe, dass ich eine riesige reguläre Vorhersage und Publish -Stratifizierung (RPP) mache. Kennen Sie Papiere, die RPP mit Sparifizierung von Priors machen?
Implementierungszeit.
Beginnend mit dem Lasso: Tibshiranis’s’s Selektivinferenz R -Paket gibt ein logistisches Beispiel Hier (Unser Y ist auch binär). Ich erweiterte ihr Beispiel mit BRMs und Rstanarm mit Laplace Priors mit Skala 1/Lambda, siehe Esl S.72:
mod_rstanarm <- stan_glm( method = formula_all, knowledge = knowledge, household = binomial(), prior = laplace(0, 1.25) )
Hier sind meine Ergebnisse, um die Punktschätzungen zu vergleichen:
Frage 3: Warum gibt Stan hintere Verleih von Selektivinferenz als Lasso mehr ähnlich? Ist das oben erwartete Verhalten oder vermuten Sie, dass mein Code einen Fehler hat?
(Ich habe danach gefragt Hierin Andrews Publish über eine Inferenzfrage nach der Auswahl von Richard Artner.))
Sich von Lasso zu anderen Sparsifizierpriors bewegen, Piironen und Vehtari (2017) abschließen:
Der (regulierte) Hufeisen übertrifft Lasso durch konsequent in Bezug auf die prädiktive Genauigkeit… ein klarer Vorteil für Lasso ist dagegen, dass es sehr schneller ist
BRMs hörte sogar auf, Lasso in zu unterstützen 2023.
Am Ende, während diese Modifikationen des Hufeisenpopulationsmodells dazu beitragen können, dass sie in der Praxis normalerweise keine bessere Leistung erzielen als ein Cauchy -Populationsmodell oder das Binärmischungsmischungsmodell, die beide viel einfacher zu konfigurieren und genau aus dem Field zu entsprechen sind. Folglich ist es schwer, für den praktischen Nutzen des Hufeisenmodells zu streiten.
Additionally zurück zu Frage 2: Welche Sparsifizieren von Priors sollten wir für RPP verwenden?