Dieser Beitrag stammt von Lizzie. Ich dachte daran, diesen Beitrag auch zu nennen: Luchs, Hasen und die Nützlichkeit vieler Studien mit vielen Analysatoren, aber ich dachte, dass Schmear mehr als ich meine. Ich habe im letzten Herbst auch das Foto von Paris gemacht. Warum ein Foto von Paris? Warum nicht.
Bei einer Abenddiskussionsereignis kürzlich machte ich einen vorübergehenden Kommentar darüber, wie ich wünschte, die Ökologie habe sicherer gewusst, was die Dynamik der Lynx-Hare-Inhabitants verursacht (einschließlich ihrer magischen Lotka-Volterra-Zyklen). Quick sofort fegten mehrere Leute in das, wie konnte ich das denken, wenn wir es wissen. Und dann gingen sie zu jedem, um ein anderes mechanistisches Modell zu teilen (wenn Sie wollen), einschließlich:
– Mütterliche Effekte, so dass verängstigte Hasen (auch bekannt als Hasen) sich immer wieder intestine aus Luchs verstecken, nachdem die Luchsbevölkerungszahlen gesunken sind.
– Etwas mit Willow zu tun (die trophische Ebene unter den Hasen).
– Krankheit.
– Jemand erwähnte den Mond (aber dann schickte mir jemand später über Sonnenflecken, vielleicht struggle der Mond die Sonnenflecken falsch erinnert?).
– und (ich denke) mehr Hypothesen, an die ich mich jetzt nicht erinnern kann.
Ich struggle davon nicht überrascht. Ein Grund dafür ist, dass ich es schon einmal ausprobiert habe und einen ähnlichen Satz von versicherten und wild divergierenden Antworten erhalten habe. Das andere ist, dass mir ein unscharfes Feld zu sein scheint, in dem wir immer noch um allgemeine Theorien kämpfen und wie man aussortiert, was los ist. Ich denke gerne, wir machen es Fortschritte, aber ich bin mir ziemlich sicher, dass es derzeit langsam ist.
Das alles bringt mich vage zu einer kürzlich durchgeführten Arbeit, auf die ein Leser Andrew hingewiesen hat, und er zeigte mich dann darauf, ein neues Studium mit vielen Analysten von Gould und Kollegen (viele Kollegen!) ‚Gleiche Daten, verschiedene Analysten: Variation in den Effektgrößen aufgrund analytischer Entscheidungen in der Ökologie und der Evolutionsbiologie. ‚
Wie der Titel vorschlägt, gibt das Papier den gleichen Daten und Forschungsfragen an eine Reihe von Groups (die sich dafür angemeldet haben und Co-Autoren für ihre Arbeit sein) und sieht dann, wie unterschiedlich die „Antworten“ sind. Ich sage ‚Antworten‘, weil ein Schmerzpunkt in dieser Artwork von Studie offensichtlich darin besteht, zu entscheiden, was ich aus einer Analyse extrahieren und eine Antwort hält. Die Autoren versuchten im Voraus darüber nachzudenken, als sie ihre Studie vorberegten, aber ich struggle erstaunt darüber, wie schmerzhaft ich sowohl das Vorhandensein der Voranmeldung-oder, genauer gesagt, festgestellt habe: die kontinuierlichen Nebenbalken für „Abweichungen von der Voranmeldung“-und das Ausstellen dessen, was die Autoren selbst versuchten, mir zu sagen. Bevor ich zu letzterem komme, hier ist meine Lieblingsabweichung:
Einige Analysten hatten Schwierigkeiten, unsere Anweisungen zu implementieren, um die Vorhersagen außerhalb der Stichprobe abzuleiten, und in einigen Fällen (insbesondere für die Eukalyptus Daten) haben sie Vorhersagen mit unplausibel extremen Werten eingereicht. Wir waren der Ansicht, dass diese Werte falsch waren und somit die konservative Entscheidung getroffen haben, Vorhersagen außerhalb der Stichprobe auszuschließen, bei denen die Schätzungen> 3 Standardabweichungen vom Mittelwert aus dem vollständigen Datensatz für die Analyse zur Analyse waren.
Ich habe das Papier nur überflogen, aber ich denke, die Zusammenfassung erfasst einige von dem, was mich verwirrt hat:
Für beide Datensätze fanden wir erhebliche Variationen in den Strukturen der variablen Auswahl und zufälligen Effekte zwischen den Analysen sowie in den Bewertungen der Analysemethoden durch Peer-Rezensenten, fanden jedoch keine starke Beziehung zwischen diesen und der Abweichung vom metaanalytischen Mittelwert. Mit anderen Worten, Analysen mit Ergebnissen, die weit vom Mittelwert entfernt waren, hatten nicht mehr oder weniger unterschiedliche unterschiedliche variable Sätze, verwenden zufällige Effekte in ihren Modellen oder empfangen schlechte Peer -Opinions als die Analysen, die Ergebnisse fanden, die nahe am Mittelwert waren.
Dies führte mich einen kurzen Weg, um einige zu überfliegen Andere Studien mit vielen Analysten oder Standpunkte (und die Faith, die man innerhalb zitiert hat). Am Ende des Weges wurde mir klar, dass diese Studien nicht einfach versuchen, auf ein potenzielles Maß an Variation in den Antworten aufzunehmen, die von verschiedenen Groups erhalten wurden, die dieselben Daten für dieselbe Frage verwenden, aber etwas mehr.
Einige schlagen vor, dass dies eine neue Artwork sein sollte, Wissenschaft zu machen – als ob dies uns mehr Vertrauen in die Antworten gibt, während andere (einschließlich Gould et al.) etwas anderes: Versuch herauszufinden, welche Arten von Analysen bessere Antworten geben. Die Autoren sagen nicht eindeutig, dass sie dies tun (zumindest kein schnelles Skim), aber warum sonst so viel von dem Papier Peer -Bewertungen der Analysen oder Dissektionen darüber enthalten, ob das Vorhandensein von „zufälligen Effekten“ eher ähnliche Antworten liefert (ich hatte das Gefühl, dass es jemanden gibt, der entweder hierarchische Modelle „besser“ sind oder das diese und andere Analyse ansonsten hält).
Bei einem dieser Ziele möchte ich viel mehr als eine dieser Studien anbieten. Für den ersteren („Lassen Sie uns dies in die Artwork und Weise hinzufügen, wie wir Wissenschaft machen“), wollte ich weitere Informationen darüber, wie genau die Autoren den wissenschaftlichen Fortschritt denken, effektiv, wenn Sie mir sagen, dass dies die Wissenschaft verbessern wird. In letzterem (‚Welcher Weg ist besser?‘) Wollte ich offensichtlich simulierte Daten, wo wir herausfinden konnten, welche Methoden der Wahrheit näher kamen, weil wir tatsächlich die Wahrheit kennen würden.
Dies brachte mich dazu, darüber nachzudenken, was meine Kollegen neulich über die Herausforderung halten würden, Daten für eine Manysten-Ökologiestudie zu simulieren. Ich frage mich, ob einige brorsten würden, dass wir nicht genug wissen, um solche Daten zu simulieren, aber wenn das stimmt, denke ich, dass wir ein echtes Drawback haben. Und die Herausforderung, Ökologen zu bitten, Daten zu simulieren, um dann für eine Studie mit vielen Analysten zu vergeben, scheint mir vielleicht ein besserer Ort zu fokussieren, um unsere Bemühungen zu konzentrieren, wenn wir die Ökologie verbessern möchten, als mehr Menschen zu bitten, viele Analystenstudien zu verschiedenen Datensätzen zu machen (ferner würde ich mehr an einer vielen Analyse-Studien zu simulierten Daten interessiert).
Ich denke, der Wert von Studien mit vielen Analysten liegt anderswo. Erstens, um die Variation zu zeigen (in diesem Fall brauchen wir nicht so viele von ihnen) und dann vielleicht bessere Modelle für bestimmte Anwendungen zu erhalten. Hier fiel mir ein der Kirschblütenwettbewerb Ich laufe mit Jonathan Auerbach und David Kepplinger ist eine Artwork vieler Analystenstudie, aber in einem ganz anderen Geist. Wir suchen nach prädiktiven Modellen! Wir sind nicht durch die Variation der Artwork und Weise beunruhigt, wie ich glaube, ich sollte von einigen der vielen Analystenstudien, die ich gelesen habe (überfrohen).
In der Tat der interessanteste Teil für mich von Gould et al. Conflict die Diskussion, bei der Probleme aufgeworfen wurden, ob die Forschungsfragen, die den Groups gestellt wurden, zu vage waren oder ob die Leser von dieser Variation überhaupt überrascht sein sollten. Sie schreiben:
Wir erkennen an, dass einige Forscher im Rahmen einer soliden und praktischen wissenschaftlichen Praxis seit langem ein gesundes Maß an Skepsis einzelner Studien aufrechterhalten haben, und es ist möglich, dass diese Forscher unsere Ergebnisse weder überrascht noch besorgt sein werden. Wir bezweifeln jedoch, dass viele Forscher sich der potenziellen Probleme der analytischen Flexibilität ausreichend bewusst sind, um angemessen skeptisch zu sein. Ich hoffe, dass unsere Arbeit zu Gesprächen in der Ökologie, der Evolutionsbiologie und anderen Disziplinen darüber führt, wie sie mit der Heterogenität in Ergebnissen am besten konfrontiert werden können, die auf analytische Entscheidungen zurückzuführen sind.
Ich sehe ihren Standpunkt, aber dann frage ich mich, wie intestine sie zum Gespräch hinzugefügt wurden, wenn ich keine Ahnung habe, warum sie so viele Exams durchgeführt haben oder was ihre Frage genau struggle. Ich denke auch, dass ein solches Gespräch mit einer soliden Grundlage sowohl in der Artwork und Weise, wie die Wissenschaft funktioniert (wer weiß, die Theorien und Ideen gibt, von denen keine wirklich erwähnt wurde) und wie Statistiken funktioniert. Beide Bereiche sollten allen Wissenschaftlern eine gute Portion Skepsis geben. Dafür brauchen wir additionally wirklich viele Analystenstudien? Ich würde hoffen, dass sie etwas mehr anbieten.
Drei Seitennotizen:
1) Diese Arbeit erinnert mich an die Debatte darüber, ob der Vogel Parus Main Dies struggle aufgrund der Nebel mit seiner Caterpillar -Nahrungsressource mit anthropogener Erwärmung zurückgegangen (der Höhepunkt der Raupenhäufigkeit ging schneller als Vogel -Fortpflanzungs -Timing. Diese Vögel verwenden Raupen, um Nestlinge zu füttern). Das niederländische Workforce sagte es struggle in ihren Vögeln passiertdas britische Workforce sagte, es struggle es nicht in ihren Wäldern passiert, Aber wenn ich in einem hierarchischen Modell zusammen an ihnen gearbeitet habe, sahen sie mir gleich aus (siehe Interaktionen 221 für Holländer und 180 für Großbritannien in Abb. 1B Hier). Und dann Dieses Papier kam heraus, nachdem das niederländische Workforce mehr Daten hatte.
2) Ein weiterer großer Take-Residence für mich aus der Diskussion über Gould et al. struggle eine Suche nach einer einfachen Antwort, wie dieses Chaos behoben werden kann, anstatt zu erkennen, dass es niemand oder einfache Sache gibt, das dies beheben würde, wie dies oft in diesem Weblog erwähnt wurde.
3) Ich struggle auch so etwas beunruhigt, wie diese Papiere an das Modell Mittelwert und Modellvergleich zu denken schienen, aber ich werde das für einen anderen Beitrag retten.