Gehirn-Laptop-Schnittstellen (BCIs) haben endlich ihren „Grundmodell“-Second. Zyphra, ein Forschungslabor, das sich auf Großmodelle konzentriert, wurde kürzlich veröffentlicht ZUNAein 380M-Parameter-Grundlagenmodell speziell für EEG-Signale. ZUNA ist ein Masked-Diffusion-Auto-Encoder, der für die Kanalauffüllung und Superauflösung für jedes Elektrodenlayout entwickelt wurde. Diese Model enthält Gewichte unter einer Apache-2.0-Lizenz und einen MNE-kompatiblen Inferenzstapel.

Das Drawback mit „spröden“ EEG-Modellen

Seit Jahrzehnten kämpfen Forscher mit dem „Wilden Westen“ der EEG-Daten. Unterschiedliche Datensätze verwenden eine unterschiedliche Anzahl von Kanälen und inkonsistente Elektrodenpositionen. Die meisten Deep-Studying-Modelle werden auf festen Kanalmontagen trainiert und schlagen daher fehl, wenn sie auf neue Datensätze oder Aufnahmebedingungen angewendet werden. Darüber hinaus werden EEG-Messungen häufig durch Störungen durch Elektrodenverschiebungen oder Bewegungen des Probanden beeinträchtigt.

ZUNAs 4D-Architektur: Räumliche Intelligenz

ZUNA löst das Generalisierbarkeitsproblem, indem Gehirnsignale als räumlich fundierte Daten behandelt werden. Anstatt ein festes Raster anzunehmen, injiziert ZUNA eine räumlich-zeitliche Struktur über ein 4D-Rotationspositionskodierung (4D RoPE).

Das Modell tokenisiert das Mehrkanal-EEG in kurze Zeitfenster von 0,125 Sekunden oder 32 Proben. Jeder Token wird einer 4D-Koordinate zugeordnet: seiner 3D-Kopfhautposition (x, y, z) und seinem groben Zeitindex

Diffusion als generativer Motor

ZUNA verwendet einen Diffusionsansatz, da EEG-Signale kontinuierlich und reellwertig sind. Das Modell kombiniert einen Diffusionsdecoder mit einem Encoder, der Signalinformationen in einem latenten Engpass speichert.

Während des Trainings verwendete Zyphra ein schweres Channel-Dropout-Ziel. Sie ließen zufällig 90 % der Kanäle fallen und ersetzten sie durch Nullen im Encoder-Eingang. Das Modell wurde dann damit beauftragt, diese „maskierten“ Signale aus den Informationen in den verbleibenden 10 % der Kanäle zu rekonstruieren. Dies zwang das Modell dazu, tiefe kanalübergreifende Korrelationen und eine leistungsstarke interne Darstellung der Gehirnaktivität zu erlernen.

Die riesige Datenpipeline: 2 Millionen Stunden

Die Datenqualität ist das Herzstück jedes Basismodells. Zyphra hat ein harmonisiertes Korpus aus 208 öffentlichen Datensätzen zusammengestellt. Diese umfangreiche Sammlung umfasst:

• 2 Millionen Kanalstunden von EEG-Aufzeichnungen.
• Über 24 Millionen nicht überlappende 5-Sekunden-Samples.
• Eine große Auswahl an Kanalanzahlen von 2 Zu 256 professional Aufnahme.

Die Vorverarbeitungspipeline standardisierte alle Signale auf eine gemeinsame Abtastrate von 256 Hz. Sie benutzten MNE-Python Hochpassfilter anzuwenden 0,5 Hz und ein adaptiver Sperrfilter zur Entfernung von Leitungsrauschen. Anschließend wurden die Signale auf den Z-Rating normalisiert, um einen Mittelwert von Null und eine Einheitsvarianz sicherzustellen und gleichzeitig die räumliche Struktur beizubehalten.

Benchmarks: Den sphärischen Spline töten

Der Branchenstandard zum Ausfüllen fehlender EEG-Daten gilt seit Jahren sphärische Spline-Interpolation. Während Splines zur Erfassung lokaler Glätte nützlich sind, verfügen sie über keine „erlernte Priorität“ und versagen, wenn die Lücken zwischen den Sensoren zu groß werden.

ZUNA übertrifft durchweg die sphärische Spline-Interpolation in mehreren Benchmarks, einschließlich des ANPHY-Sleep-Datensatzes und des BCI2000-Motorbilddatensatzes. Bei höheren Abbrecherquoten vergrößert sich der Leistungsunterschied deutlich. In extremen 90-%-Dropout-Szenarien – im Wesentlichen 10-faches Upsampling – behält ZUNA eine hohe Rekonstruktionsgenauigkeit bei, während Spline-Methoden stark nachlassen.

Wichtige Erkenntnisse

• Universelle Verallgemeinerung: ZUNA ist ein 380M-Parameter Modell, das mit jedem EEG-System funktioniert, unabhängig von der Anzahl oder Place der Elektroden. Im Gegensatz zu früheren KI-Modellen, die auf feste Layouts beschränkt waren, lässt es sich auf verschiedene Datensätze und neuartige Kanalpositionen verallgemeinern.
• Raumzeitliche 4D-Intelligenz: Das Modell verwendet a 4D-Rotationspositionskodierung (4D RoPE) System zur Kartierung von Gehirnsignalen im 3D-Raum (x, y, z) und in der Zeit
• Überlegene Kanalrekonstruktion: Durch die Ausbildung zum Autoencoder mit maskierter DiffusionZUNA übertrifft die herkömmliche sphärische Spline-Interpolation deutlich. Es zeichnet sich durch eine „Superauflösung“ aus und behält auch bei bis zu 1000 m eine hohe Genauigkeit bei 90 % der Signale des Gehirns fehlen oder sind beschädigt.
• Massiver Trainingsumfang: Das Modell wurde auf einem harmonisierten Korpus trainiert 208 Datensätzeinsgesamt ca 2 Millionen Kanalstunden Und 24 Millionen einzigartige 5-Sekunden-Samples. Diese Skala ermöglicht das Erlernen tiefer kanalübergreifender Korrelationen, die mit einfacheren geometrischen Methoden nicht möglich sind.

---

Schauen Sie sich das an Papier, Technische Particulars, Repo Und Modellgewichte. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Einführung

Stellen Sie sich vor, Sie stehen am Rande eines dichten Waldes, jeder Weg führt in eine andere Richtung, und Ihr Ziel ist es, den vielversprechendsten Weg zu einem verborgenen Schatz zu finden. Dieses Szenario spiegelt den faszinierenden Ansatz von Tree of Ideas in AI wider. schnelles Engineering. So wie Sie verschiedene Wege abwägen, ermöglicht die Tree of Ideas-Technik der KI, mehrere Argumentationslinien gleichzeitig zu erkunden und sich zu verzweigen, um die beste Lösung zu finden. Diese progressive Methode verwandelt traditionelles lineares Denken in eine dynamische Erkundung von Möglichkeiten und verändert damit die Artwork und Weise, wie wir mit KI interagieren. Tauchen Sie in diesen Artikel ein, um zu erfahren, wie diese Methode die Problemlösung und Kreativität revolutionieren könnte und Ihnen neue Möglichkeiten bietet, die Leistungsfähigkeit von künstliche Intelligenz.

Überblick

• Verstehen Sie, wie die „Tree of Ideas“-Technik die Problemlösung durch KI durch die Erkundung mehrerer Denkpfade verbessert.
• Erfahren Sie, wie Sie die Tree of Ideas-Methode mit Python und der API von OpenAI implementieren.
• Entdecken Sie, wie Verzweigungsstrukturen in der KI die Kreativität fördern und die Entscheidungsfindung verbessern können.
• Gewinnen Sie Einblicke in die praktische Anwendung des Gedankenbaums im kreativen Schreiben, in der Geschäftsstrategie und in der wissenschaftlichen Forschung.
• Identifizieren Sie Herausforderungen, die mit dem Tree-of-Ideas-Ansatz verbunden sind, einschließlich der Rechenkomplexität und der Stability zwischen Erkundung und Nutzung.

Was ist der Gedankenbaum?

Was ist Tree of Ideas? Tree of Ideas ist ein fortgeschrittenes schnelles Engineering Technik, die KI-Modelle dazu anregt, mehrere Denkpfade gleichzeitig zu erkunden. ToT erzeugt im Gegensatz zu herkömmlichen Methoden, die einem linearen Denkprozess folgen, eine verzweigte Gedankenstruktur und ermöglicht so eine gründlichere Problemlösung und kreativeres Denken.

Wie funktioniert es?

Stellen Sie sich einen Baum vor, bei dem jeder Zweig eine andere Argumentationslinie darstellt. Die ToT-Methode funktioniert folgendermaßen:

• Mehrere erste Gedanken generieren.
• Teilen Sie jeden Gedanken in mehrere kleinere Gedanken auf.
• Das Potenzial jeder Branche einschätzen.
• Entfernen weniger wahrscheinlicher Pfade.
• Ständig die praktischsten Möglichkeiten prüfen und weiterentwickeln.

Diese Methode ähnelt der Artwork und Weise, wie Menschen Probleme lösen, indem sie normalerweise mehrere Optionen abwägen, bevor sie sich für die beste entscheiden.

Voraussetzungen und Einrichtung

Für den effektiven Einsatz der Tree of Ideas-Technik ist es wichtig, über die richtigen Instruments und die richtige Umgebung zu verfügen, einschließlich der erforderlichen Bibliotheken, eines API-Schlüssels und eines grundlegenden Verständnisses der Codestruktur, um diese erweiterte Immediate-Engineering-Methode vollständig nutzen zu können.

!pip set up openai --upgrade

Importieren von Bibliotheken

import os
from openai import OpenAI
import openai
import time
import random
from IPython.show import Markdown, show

Festlegen der API-Schlüsselkonfiguration

Um die Tree-of-Ideas-Technik mit einem KI-Modell zu verwenden, konfigurieren Sie Ihren OpenAI-API-Schlüssel sicher, um eine nahtlose Kommunikation zu ermöglichen und sich auf die Entwicklung technischer Strategien zu konzentrieren.

os.environ("OPENAI_API_KEY")= “Your open-API-Key”
import random
class TreeOfThoughts:
def __init__(self, immediate, max_depth=3, branch_factor=3):
self.immediate = immediate
self.max_depth = max_depth
self.branch_factor = branch_factor
self.tree = {"root": ()}
def generate_thought(self, parent_thought):
# Simulate AI producing a thought based mostly on the mother or father
return f"Thought associated to: {parent_thought}"
def evaluate_thought(self, thought):
# Simulate evaluating the promise of a thought
return random.random()
def expand_tree(self, node="root", depth=0):
if depth >= self.max_depth:
return
if node not in self.tree:
self.tree(node) = ()
for _ in vary(self.branch_factor):
new_thought = self.generate_thought(node)
rating = self.evaluate_thought(new_thought)
self.tree(node).append((new_thought, rating))
if rating > 0.7:  # Solely increase promising ideas
self.expand_tree(new_thought, depth + 1)
def best_path(self):
path = ("root")
present = "root"
whereas present in self.tree and self.tree(present):
best_thought = max(self.tree(present), key=lambda x: x(1))
present = best_thought(0)
path.append(present)
return path
def remedy(self):
self.expand_tree()
return self.best_path()
# Instance utilization
tot = TreeOfThoughts("Remedy the local weather disaster")
solution_path = tot.remedy()
print("Finest resolution path:", " -> ".be part of(solution_path))

Dieser Code bietet eine vereinfachte Model der Tree-of-Ideas-Technik. Echte Ersetzungen der Platzhalterfunktionen würden komplexere Auswertungsprozesse und echte KI-Modellinteraktionen umfassen.

Testen des Codes mit ChatGPT

Testen wir diesen Code mit Chatgpt:

import openai
import time

class TreeOfThoughts:
    def __init__(self, immediate, max_depth=3, branch_factor=3, api_key=None):
        self.immediate = immediate
        self.max_depth = max_depth
        self.branch_factor = branch_factor
        self.tree = {"root": ()}
        openai.api_key = api_key

    def generate_thought(self, parent_thought):
        immediate = f"Based mostly on the thought '{parent_thought}', generate a brand new thought or concept:"
        response= consumer.chat.completions.create(
            messages=(
                {"function": "system", "content material": "You're a useful assistant."},
                {"function": "person", "content material": immediate}
            ),
            mannequin="gpt-3.5-turbo",
        )

        return response.decisions(0).message.content material.strip()

    def evaluate_thought(self, thought):
        immediate = f"On a scale of 0 to 1, how promising is that this thought for fixing the issue '{self.immediate}'? Thought: '{thought}'nJust reply with a quantity between 0 and 1."
        response= consumer.chat.completions.create(
            messages=(
                {"function": "system", "content material": "You're a useful assistant."},
                {"function": "person", "content material": immediate}
            ),
            mannequin="gpt-3.5-turbo",
        )
        strive:
            rating = float(response.decisions(0).message.content material.strip())
            return max(0, min(rating, 1))  # Guarantee rating is between 0 and 1
        besides ValueError:
            return 0.5  # Default rating if parsing fails

    def expand_tree(self, node="root", depth=0):
        if depth >= self.max_depth:
            return

        if node not in self.tree:
            self.tree(node) = ()

        for _ in vary(self.branch_factor):
            new_thought = self.generate_thought(node)
            rating = self.evaluate_thought(new_thought)
            self.tree(node).append((new_thought, rating))

            if rating > 0.7:  # Solely increase promising ideas
                self.expand_tree(new_thought, depth + 1)

            time.sleep(1)  # To keep away from hitting API price limits

    def best_path(self):
        path = ("root")
        present = "root"
        whereas present in self.tree and self.tree(present):
            best_thought = max(self.tree(present), key=lambda x: x(1))
            present = best_thought(0)
            path.append(present)
        return path

    def remedy(self):
        self.expand_tree()
        return self.best_path()

# Instance utilization
api_key = key
tot = TreeOfThoughts("How can we scale back plastic waste in oceans?", api_key=api_key)
solution_path = tot.remedy()


# Create a markdown string
markdown_text = "### Finest Answer Path:n"
for step in solution_path:
    markdown_text += f"- {step}n"

# Show the markdown
show(Markdown(markdown_text))

Vorteile des Gedankenbaums

• Verbesserte Problemlösung: Durch die Mehrwegeerkundung von ToT können Lösungen ermittelt werden, die bei linearen Techniken möglicherweise übersehen werden.
• Verbesserte Kreativität: Durch die verzweigte Struktur wird vielfältiges und kreatives Denken gefördert.
• Bessere Entscheidungsfindung: Die Bewertung mehrerer Optionen führt zu fundierteren Entscheidungen.
• Anpassungsfähigkeit: ToT kann für zahlreiche Aufgaben verwendet werden, beispielsweise zur Lösung komplexer Probleme und zum kreativen Schreiben.
• Transparenz: Der Denkprozess der KI ist dank der Baumstruktur clear.

Praktische Anwendungen: Anwendungen in der realen Welt

• Kreatives Schreiben: Erwägen Sie die Verwendung von ToT, um einzigartige Ideen für Wendungen in der Geschichte zu entwickeln. Jeder Zweig kann für einen bestimmten Handlungsverlauf stehen, sodass Sie mehrere Möglichkeiten untersuchen können, bevor Sie sich für die faszinierendste entscheiden.
• Geschäftsstrategie: ToT könnte bei der Bewertung mehrerer Markteintrittsstrategien während der Entwicklung eines Geschäftsplans hilfreich sein, indem Variablen wie Ressourcen, Wettbewerb und potenzielle Hindernisse für jede Strategie berücksichtigt werden.
• Wissenschaftliche Forschung: Mithilfe von ToT könnten Forscher möglicherweise mehrere Hypothesen gleichzeitig erstellen und bewerten, was zu bahnbrechenden Entdeckungen führen könnte.

Herausforderungen

Tree of Ideas bietet faszinierende Möglichkeiten, ist jedoch nicht ohne Schwierigkeiten:

• Rechenkomplexität: Das Erkunden mehrerer Möglichkeiten kann viele Ressourcen erfordern.
• Evaluationskriterien: Es ist wichtig, praktische Maßstäbe für das „Versprechen“ zu definieren.
• Das richtige Gleichgewicht zwischen Exploration und Ausbeutung finden: Zwischen dem Abbrechen von Zweigen und dem Weiterforschen ist die Grenze schmal.

Die Zukunft von Immediate Engineering

Methoden wie Tree of Ideas werden von entscheidender Bedeutung sein, um das volle Potenzial dieser leistungsstarken Modelle im Zuge der Entwicklung der KI zum Leben zu erwecken. Durch den Einsatz immer fortschrittlicherer Techniken des Immediate Engineering können wir die Grenzen der KI-Fähigkeiten erweitern und komplexere, originellere und erfolgreichere Lösungen für anspruchsvolle Probleme entwickeln.

Abschluss

Tree of Ideas ist eine wichtige Entwicklung im Bereich des Immediate Engineering. Durch die Nachahmung menschlicher Denkprozesse schafft dieser Ansatz neue Möglichkeiten für Kreativität und Problemlösung, die durch KI unterstützt werden. Wir können in Zukunft mit noch bemerkenswerteren KI-Fähigkeiten rechnen, wenn wir diese Strategie weiter verbessern und weiterentwickeln. Sie können viel über die Zukunft der Mensch-KI-Zusammenarbeit lernen, indem Sie die Tree of Ideas-Technik untersuchen, unabhängig davon, ob Sie Fanatic, Forscher oder Entwickler sind. Warum versuchen Sie es dann nicht? Die kreativen Lösungen, die vor Ihnen entstehen, könnten Sie überraschen!

Häufig gestellte Fragen