Alexander Trevelyan schreibt:
Ich habe mich gefreut, dass Sie sich einen Second Zeit genommen haben, auf die Probleme hinweisen mit der Kaltwasserstudie, die kürzlich die Runde machte. Ich schreibe gelegentlich über verschiedene meiner Meinung nach fragwürdige Praktiken bei der Berichterstattung über klinische Studien, wobei es oft um irreführende statistische Methoden/Berichte geht. Ich bin Physiker und kein Statistiker – ich warfare in einer Gruppe, die gemeinsame Treffen mit Raghu Parthasarathys Labor in Oregon hatte –, aber ich habe kürzlich versucht, mein Verständnis für die Statistik klinischer Studien zu verfeinern.
Letzte Woche wurde das Alzheimer-Medikament Leqembi (Lecanemab) von der FDA zugelassen, was insgesamt in Ordnung zu sein scheint, aber es entfachte erneut eine Debatte über die Charakterisierung des Medikaments, das im Vergleich zu einem Placebo eine „27-prozentige Verlangsamung des kognitiven Abbaus“ bewirkt; siehe hier. Diese Zahl von 27 % wurde beispielsweise vom NIH NIA in einer Erklärung über die Versprechen des Medikaments angepriesen.
Hier ist additionally mein Drawback, zu dem ich gerne Ihre Meinung hören würde (da dieses Medikament bei Alzheimer eine ziemlich große Sache ist und ziemlich umstritten warfare): Die Zahl 27 % ist ein einfacher prozentualer Unterschied, der berechnet wurde, indem zuerst die Änderung des Ausgangswerts für die Placebo- und Behandlungsgruppen im CDR-SB-Take a look at ermittelt wurde (siehe erstes Panel von Abbildung 2 im NEJM-Artikel) und dann der letzte Datenpunkt für jede Gruppe verwendet wurde, um die relative Änderung zwischen Placebo und Behandlung zu berechnen. Kommt Ihnen das genauso verrückt vor wie mir?
Erstens lag der absolute Unterschied in der Zielmetrik unter 3 %. Zweitens erscheint es ein bisschen … seltsam, einen prozentualen Unterschied für eine Menge zu berechnen, die wir neu skaliert haben, um bei Null zu beginnen. Ich bin darauf aufmerksam geworden, weil eine kleinere Organisation – die derzeit von so ziemlich jeder Bundesbehörde mit drei Buchstaben untersucht wird, die man sich vorstellen kann – gerade die Ergebnisse ihrer jüngsten klinischen Studie veröffentlicht hat. Diese hatte ein sehr kleines N und keine Fehlerbalken, aber eine von ihnen angepriesene Untergruppe schwankte um Null herum und sie behaupteten einen „200 % Unterschied!“ zwischen der Placebo- und der Behandlungsgruppe (die Rohdatenpunkte waren eine Veränderung von +0,6 und -0,6).
okay, ich klicke mich durch und schaue mal rein…
Meine erste Reaktion ist, dass es schwer ist, einen wissenschaftlichen Artikel aus einem unbekannten Fachgebiet zu lesen! Viele Themenkonzepte sind mir unbekannt, außerdem ist das Format anders als bei den Artikeln, die ich normalerweise lese, sodass es mir schwerfällt, den Textual content zu überfliegen und zum Kern der Sache zu gelangen.
Aber, okay, das ist eigentlich nicht so schwer zu lesen. Ich bin hier im Abschnitt „Methoden und Ergebnisse“ der Zusammenfassung: Sie hatten 1800 Alzheimer-Patienten, die Hälfte erhielt eine Behandlung und die andere Hälfte ein Placebo, und ihr Ergebnis ist die Änderung der Punktzahl im „Scientific Dementia Score–Sum of Packing containers (CDR-SB; Bereich 0 bis 18, wobei höhere Punktzahlen eine größere Beeinträchtigung anzeigen)“. Ich hoffe, sie passen die Punktzahl vor dem Take a look at an, sonst sind sie wegwerfen Informationen, aber in diesem Fall ist die Stichprobengröße so groß, dass dies kein großes Drawback sein sollte. Wir sollten ein ungefähres Gleichgewicht zwischen den beiden Gruppen erhalten.
Hier ist jedenfalls das Ergebnis: „Der mittlere CDR-SB-Rating zu Beginn betrug in beiden Gruppen ungefähr 3,2. Die bereinigte mittlere Veränderung nach kleinsten Quadraten gegenüber dem Ausgangswert nach 18 Monaten betrug 1,21 mit Lecanemab und 1,66 mit Placebo.“ In beiden Gruppen ging es additionally schlechter. Das ist traurig, aber ich schätze, das warfare zu erwarten. Und ich schätze, so haben sie die 27 % Verlangsamung erreicht: Der durchschnittliche Rückgang in der Kontrollgruppe betrug 1,66, der durchschnittliche Rückgang in der Behandlungsgruppe 1,21, man nimmt 1 – 1,21/1,66 = 0,27, additionally eine 27 %ige Verlangsamung des kognitiven Rückgangs.
Kommen wir nun zum Abschnitt mit der statistischen Analyse des Hauptartikels: Es gibt jede Menge schreckliches Zeug mit Signifikanztests und Alphawerten, aber das kann ich alles ignorieren. Das Muster in den Daten scheint klar zu sein. Abbildung 2 zeigt zeitliche Traits für Durchschnittswerte. Ich würde auch gerne Verläufe für einzelne Personen sehen. Insgesamt scheint die Aussage „eine durchschnittliche Verlangsamung des kognitiven Abbaus um 27 %“ angesichts der in dem Artikel gezeigten Daten jedoch durchaus vernünftig.
Ich habe das Obige an Trevelyan geschickt, der antwortete:
Interessant, aber jetzt mache ich mir Sorgen, dass ich vielleicht zu viel Zeit mit dem Hintergrund verbringe und nicht genug Zeit darauf verwende, mein Hauptanliegen klarer zu machen. Ich habe keine Probleme mit der Berechnung des prozentualen Unterschieds an sich, sondern eher damit, was er darstellen soll (d. h. den Behandlungseffekt). Wie Sie bemerkt haben und was leider der Stand der Technik ist, gehen die Kurven bei der Alzheimer-Behandlung immer nach unten – aber das muss nicht der Fall sein! Der heilige Gral ist etwas, das die Behandlungskurve nach oben gehen lässt! Was bei mir vor allem die Alarmglocken schrillen ließ, warfare, dass das „andere Unternehmen“, auf das ich mich bezog, behauptet, mit seinem Medikament eine Verbesserung und eine damit verbundene Verlangsamung des kognitiven Abbaus um 200 % (!) beobachtet zu haben. In ihrem Fall wurde das Placebo um 0,6 Punkte schlechter und die Behandlung um 0,6 Punkte besser, additionally 200 %! Aber ihre Behandlung hätte 10 Punkte besser und das Placebo 10 Punkte schlechter werden können, und das sind auch 200 %! Oder vielleicht 0,000001 Punkte besser gegenüber 0,000001 Punkten schlechter – wieder 200 %.
Ich denke, meine allgemeine Sorge lautet: „Warum verwenden wir eine Metrik, die bei völlig vernünftigen (wenn auch derzeit erstrebenswerten) Behandlungsergebnissen auf so offensichtliche Weise zusammenbrechen kann?“
Siehe hier für Daten von „anderen Unternehmen“, wenn Sie neugierig sind (scrollen Sie nach unten zur leichten Untergruppe, pfui).
Und hier ist ein Diagramm von Matthew Schrag, einem Alzheimerforscher und Datendetektiv, das die Änderung der Metrik neu skaliert und die absolute Änderung im CDR-SB-Take a look at zeigt. Das innere Diagramm zeigt das Diagramm aus dem Originalpapier; das größere Diagramm ist neu skaliert:
Meine Antwort: Ich bin mir nicht sicher. Ich verstehe Ihren grundsätzlichen Standpunkt, aber wenn Sie einen Wert von 0-18 haben und dieser von 3,2 auf 4,8 steigt, scheint das eine bedeutsame Veränderung zu sein, oder? Sie sagen nicht, dass sie den kognitiven Verfall gestoppt haben, sondern nur, dass sie ihn um 27 % verlangsamt haben.
PS Ich habe mit jemandem gesprochen, der auf diesem Gebiet arbeitet und der sagt, dass quick jeder in der Gemeinschaft skeptisch ist, was die angeblichen großen Vorteile von Lecanemab angeht, und dass auch die allgemeine Sorge besteht, dass die dafür aufgewendeten Mittel besser für direkte Dienstleistungen eingesetzt werden könnten. Das soll nicht heißen, dass die Skeptiker unbedingt Recht haben – ich weiß nichts über all das! –, sondern nur darauf hinweisen, dass es hier eine Menge Kontroversen gibt.