Thomas Lumley schrieb ein Beitrag Über Ersetzen von LLMs durch Umfrageteilnehmer:
Verbinden wir es mit unseren Diskussionen.
Lassen:
- X = Was Lumley als „mikrodemografisch“ bezeichnet
- Y = Wahlwahl
Lumley beschreibt zunächst zwei Probleme, die wir beim Kalibrieren durch Nachstratifikation möglicherweise sehen könnten (siehe unsere Diskussion Hier):
- E (y | x)!
- P (x) Unbekannt „Wie viele Dominatoren mit hoher Metabolismus gibt es in der derzeitigen US-Wahlbevölkerung“
Lumley beschreibt dann diese beiden Probleme beim Befragen von LLMs:
- E (y | x)!
- P (x) unbekannt
Das Downside 2 bleibt additionally gleich. Und Downside 1 ist ähnlich: Wenn wir den Mittelwert von y nicht auf X abschätzen können, wird nach der Stratifizierung uns nicht garantiert eine gute Schätzung des Mittelwerts von Y garantiert.
In den Kommentaren diskutieren Joe Paxton und Lumley empirische Begründungen. Hat hier jemand überzeugende gesehen?
PS Ich benutze quadratische Klammern für Erwartungen für die Konsistenz mit meinen früheren Posts. E (y | x) ist eine ebenso gültige Notation.
PPS Bearbeiten: Siehe Jessica Hullmans Put up Bei einer anderen Verwendung von LLMs in Umfragen. Der Vorschlag dort:
Stichprobenmittelwert der menschlichen Reaktionen – Lambda (Stichprobenmittelwert von LLM -Antworten in Fällen mit menschlichen Reaktionen – Stichprobenmittelwert der LLM -Antworten auf Instanzen ohne menschliche Reaktionen)
Ich denke, das verwendet das LLM -Vorhersagen als Hilfsdaten In einem Umfrage -Regressionsschätzer? Siehe zB dem 3. Ausgabe von Sharon Lohrs Stichprobenbuch:
