Diese Woche zum 3. Mal, Dr. Arjun Potter und ich unterrichte einen einwöchigen Kurs über statistischen Workflow bei Die afrikanische Establishment für Wissenschaft und Technologie von Nelson Mandela (NM-Aist)eine öffentliche Postgraduierten -Forschungsuniversität in Arusha, Tansania, die 2009 gegründet wurde. Ich habe über die erste Iteration des Kurses gebloggt Hier. Und Hier sind die Kursmaterialien.

Unsere Fallstudie ist ein Experiment zum NM-Aist Campus Arjun Potter Und Charles Luchagula und Kollegen, um das zu studieren Auswirkungen von Dürre, Feuer und Pflanzenfresser auf das Wachstum verschiedener Acacia -Baumarten. Der Schwerpunkt liegt auf dem experimentellen Design und Modellieren.

Dies ist eine Weblog -Serie über Umfragen. Warum spreche ich additionally über Experimente? Nun, as Fienberg und Tanur (1987) sagte über die Verbindungen zwischen Umfragestichproben und Experimenten:

Es ist bekannt, dass die grundlegenden Konzepte bei der Gestaltung von Stichprobenstudien parallel zu denen für die Gestaltung randomisierter Experimente entsprechen.

Ihre Tabelle 1 zeigt einige dieser Parallelen:

Lassen Sie uns zwei davon diskutieren: Cut up-Plot/Cluster und Blockierung/Schichtung.

Interventionen auf Gruppenebene in Experimenten, Cluster in Umfragen

Das Manipulieren von Feuer ist schwierig. Die Forscher entschieden sich additionally, die kontrollierten Verbrennungen auf einer größeren Ebene zu machen, die sie als „Blöcke“ bezeichnen. Pflanzenfresser und Dürre wurden auf einer kleineren Ebene, die sie als „Nebenhandlungen“ bezeichnen, in Blöcken verschachtelt. Dies wird manchmal als „Cut up-Plots“ bezeichnet.

Interventionen auf Gruppenebene in Experimenten sind in Umfragen analog zu Cluster als Lumley 2010 erklärt (fett mein eigenes):

Cluster -Stichprobedh eine relativ geringe Anzahl von Gruppen von Menschen ist in großen Umfragen, die persönliche Interviews umfassen, quick universell. Im Gegensatz zu einer geschichteten Probenahme, die eine erhöhte Präzision für die gleiche Stichprobengröße ergibt, Die Cluster -Probenahme verringert die Präzision für eine bestimmte Stichprobengröße, kann jedoch die Stichprobengröße und -präzision für bestimmte Kosten erhöhen.

Wir haben dies im experimentellen Kontext gesehen: Die Wirkung des Feuers wird mit weniger Präzision als die Auswirkungen von Pflanzenfresser und Dürre geschätzt.

Wir haben dies im (quasi-) experimentellen Kontext in in in in in erwähnt Das Millennium Villages -Projekt: eine retrospektive, beobachtende Endliniebewertung: „Herausforderungen einer reduzierten statistischen Macht aufgrund von Interventionen auf Dorfebene“ (siehe Unser 2018er Papier im Lancet sowie Weblog -Beiträge von 2015Anwesend 2018Anwesend 2023).

Blockierung in Experimenten, Schichtung in Umfragen

Wenn wir Unterhandlungen direkt zu Pflanzenfresser und Dürre randomisieren, könnten wir Pech haben und alle Pflolen im Osten haben oder alle Dürre -Nebenhandlungen im Westen sind. Stattdessen haben wir innerhalb jedes Blocks zufällig, um vor dieser Unglücklichkeit zu schützen.

Die Blockierung in Experimenten ist analog zur Schichtung in Umfragen wie Lumley 2010 erklärt (fett mein eigenes):

Eine Möglichkeit, die Präzision zu erhöhen, ist eine geschichtete Probenahme, bei der die Bevölkerung in Gruppen aufgeteilt wird, die als Schichten bezeichnet werden und eine separate Wahrscheinlichkeitsprobe von jedem zeichnen. Die Schichtung stellt sicher, dass eine vorgegebene Anzahl von Beobachtungen aus jeder Schicht in der Probe landetanstatt zuzulassen, dass die Verteilung von Beobachtungen über die Schichten hinweg zufällig ist.

Umfragestatistiker: Welche Erkenntnisse haben Sie aus der experimentellen Designliteratur gewonnen?

[ad_2]

Erkenntnisse aus der Umsetzung von LLM-basierten Produkten in die Produktion

Was passiert, wenn Sie einen funktionierenden Chatbot, der bereits täglich Tausende von Kunden in vier verschiedenen Sprachen bedient, nehmen und versuchen, mithilfe großer Sprachmodelle ein noch besseres Erlebnis zu bieten? Gute Frage.

Es ist bekannt, dass die Bewertung und der Vergleich von LLMs schwierig ist. Benchmark-Datensätze sind schwer zu bekommen und Kennzahlen wie BLEU sind unvollkommen. Aber das sind weitgehend akademische Probleme: Wie gehen Branchendatenteams mit diesen Problemen um, wenn sie LLMs in Produktionsprojekte integrieren?

In meiner Arbeit als Conversational AI Engineer tue ich genau das. Und so landete ich kürzlich auf einer Information Science-Konferenz im Rampenlicht und hielt den (optimistisch betitelten) Vortrag „Keine Baseline? Keine Benchmarks? Kein Drawback!“ Der heutige Beitrag ist eine Zusammenfassung davon und enthält:

• Die Herausforderungen bei der Bewertung eines sich entwickelnden, LLM-gestützten PoC im Vergleich zu einem funktionierenden Chatbot
• Wie wir unterschiedliche Testarten in verschiedenen Phasen des PoC-to-Manufacturing-Prozesses einsetzen
• Praktische Vor- und Nachteile verschiedener Testarten

[ad_2]