Gehirn-Laptop-Schnittstellen (BCIs) haben endlich ihren „Grundmodell“-Second. Zyphra, ein Forschungslabor, das sich auf Großmodelle konzentriert, wurde kürzlich veröffentlicht ZUNAein 380M-Parameter-Grundlagenmodell speziell für EEG-Signale. ZUNA ist ein Masked-Diffusion-Auto-Encoder, der für die Kanalauffüllung und Superauflösung für jedes Elektrodenlayout entwickelt wurde. Diese Model enthält Gewichte unter einer Apache-2.0-Lizenz und einen MNE-kompatiblen Inferenzstapel.
Das Drawback mit „spröden“ EEG-Modellen
Seit Jahrzehnten kämpfen Forscher mit dem „Wilden Westen“ der EEG-Daten. Unterschiedliche Datensätze verwenden eine unterschiedliche Anzahl von Kanälen und inkonsistente Elektrodenpositionen. Die meisten Deep-Studying-Modelle werden auf festen Kanalmontagen trainiert und schlagen daher fehl, wenn sie auf neue Datensätze oder Aufnahmebedingungen angewendet werden. Darüber hinaus werden EEG-Messungen häufig durch Störungen durch Elektrodenverschiebungen oder Bewegungen des Probanden beeinträchtigt.
ZUNAs 4D-Architektur: Räumliche Intelligenz
ZUNA löst das Generalisierbarkeitsproblem, indem Gehirnsignale als räumlich fundierte Daten behandelt werden. Anstatt ein festes Raster anzunehmen, injiziert ZUNA eine räumlich-zeitliche Struktur über ein 4D-Rotationspositionskodierung (4D RoPE).
Das Modell tokenisiert das Mehrkanal-EEG in kurze Zeitfenster von 0,125 Sekunden oder 32 Proben. Jeder Token wird einer 4D-Koordinate zugeordnet: seiner 3D-Kopfhautposition (x, y, z) und seinem groben Zeitindex
Diffusion als generativer Motor
ZUNA verwendet einen Diffusionsansatz, da EEG-Signale kontinuierlich und reellwertig sind. Das Modell kombiniert einen Diffusionsdecoder mit einem Encoder, der Signalinformationen in einem latenten Engpass speichert.
Während des Trainings verwendete Zyphra ein schweres Channel-Dropout-Ziel. Sie ließen zufällig 90 % der Kanäle fallen und ersetzten sie durch Nullen im Encoder-Eingang. Das Modell wurde dann damit beauftragt, diese „maskierten“ Signale aus den Informationen in den verbleibenden 10 % der Kanäle zu rekonstruieren. Dies zwang das Modell dazu, tiefe kanalübergreifende Korrelationen und eine leistungsstarke interne Darstellung der Gehirnaktivität zu erlernen.
Die riesige Datenpipeline: 2 Millionen Stunden
Die Datenqualität ist das Herzstück jedes Basismodells. Zyphra hat ein harmonisiertes Korpus aus 208 öffentlichen Datensätzen zusammengestellt. Diese umfangreiche Sammlung umfasst:
- 2 Millionen Kanalstunden von EEG-Aufzeichnungen.
- Über 24 Millionen nicht überlappende 5-Sekunden-Samples.
- Eine große Auswahl an Kanalanzahlen von 2 Zu 256 professional Aufnahme.
Die Vorverarbeitungspipeline standardisierte alle Signale auf eine gemeinsame Abtastrate von 256 Hz. Sie benutzten MNE-Python Hochpassfilter anzuwenden 0,5 Hz und ein adaptiver Sperrfilter zur Entfernung von Leitungsrauschen. Anschließend wurden die Signale auf den Z-Rating normalisiert, um einen Mittelwert von Null und eine Einheitsvarianz sicherzustellen und gleichzeitig die räumliche Struktur beizubehalten.
Benchmarks: Den sphärischen Spline töten
Der Branchenstandard zum Ausfüllen fehlender EEG-Daten gilt seit Jahren sphärische Spline-Interpolation. Während Splines zur Erfassung lokaler Glätte nützlich sind, verfügen sie über keine „erlernte Priorität“ und versagen, wenn die Lücken zwischen den Sensoren zu groß werden.
ZUNA übertrifft durchweg die sphärische Spline-Interpolation in mehreren Benchmarks, einschließlich des ANPHY-Sleep-Datensatzes und des BCI2000-Motorbilddatensatzes. Bei höheren Abbrecherquoten vergrößert sich der Leistungsunterschied deutlich. In extremen 90-%-Dropout-Szenarien – im Wesentlichen 10-faches Upsampling – behält ZUNA eine hohe Rekonstruktionsgenauigkeit bei, während Spline-Methoden stark nachlassen.
Wichtige Erkenntnisse
- Universelle Verallgemeinerung: ZUNA ist ein 380M-Parameter Modell, das mit jedem EEG-System funktioniert, unabhängig von der Anzahl oder Place der Elektroden. Im Gegensatz zu früheren KI-Modellen, die auf feste Layouts beschränkt waren, lässt es sich auf verschiedene Datensätze und neuartige Kanalpositionen verallgemeinern.
- Raumzeitliche 4D-Intelligenz: Das Modell verwendet a 4D-Rotationspositionskodierung (4D RoPE) System zur Kartierung von Gehirnsignalen im 3D-Raum (x, y, z) und in der Zeit
- Überlegene Kanalrekonstruktion: Durch die Ausbildung zum Autoencoder mit maskierter DiffusionZUNA übertrifft die herkömmliche sphärische Spline-Interpolation deutlich. Es zeichnet sich durch eine „Superauflösung“ aus und behält auch bei bis zu 1000 m eine hohe Genauigkeit bei 90 % der Signale des Gehirns fehlen oder sind beschädigt.
- Massiver Trainingsumfang: Das Modell wurde auf einem harmonisierten Korpus trainiert 208 Datensätzeinsgesamt ca 2 Millionen Kanalstunden Und 24 Millionen einzigartige 5-Sekunden-Samples. Diese Skala ermöglicht das Erlernen tiefer kanalübergreifender Korrelationen, die mit einfacheren geometrischen Methoden nicht möglich sind.
Schauen Sie sich das an Papier, Technische Particulars, Repo Und Modellgewichte. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.
