Das Identifizieren einer fehlerhaften Turbine in einem Windpark, wofür die Analyse Hunderter Signale und Millionen Datenpunkte erforderlich sein kann, gleicht der Suche nach der Nadel im Heuhaufen.
Ingenieure optimieren dieses komplexe Drawback häufig mithilfe von Deep-Studying-Modellen, die Anomalien in den von jeder Turbine im Laufe der Zeit wiederholt durchgeführten Messungen (sogenannte Zeitreihendaten) erkennen können.
Da Hunderte von Windturbinen jede Stunde Dutzende von Signalen aufzeichnen, ist das Trainieren eines Deep-Studying-Modells zur Analyse von Zeitreihendaten jedoch kostspielig und mühsam. Erschwerend kommt hinzu, dass das Modell nach der Bereitstellung möglicherweise neu trainiert werden muss und den Windparkbetreibern möglicherweise die erforderliche Fachkompetenz im Bereich maschinelles Lernen fehlt.
In einer neuen Studie haben MIT-Forscher herausgefunden, dass Giant Language Fashions (LLMs) das Potenzial haben, effizientere Anomaliedetektoren für Zeitreihendaten zu sein. Wichtig dabei ist, dass diese vortrainierten Modelle sofort einsatzbereit sind.
Die Forscher entwickelten ein Framework namens SigLLM, das eine Komponente enthält, die Zeitreihendaten in textbasierte Eingaben umwandelt, die ein LLM verarbeiten kann. Ein Benutzer kann diese aufbereiteten Daten in das Modell einspeisen und es auffordern, mit der Erkennung von Anomalien zu beginnen. Das LLM kann auch verwendet werden, um zukünftige Zeitreihendatenpunkte als Teil einer Anomalieerkennungs-Pipeline vorherzusagen.
Zwar konnten LLMs modernste Deep-Studying-Modelle bei der Anomalieerkennung nicht schlagen, sie schnitten aber genauso intestine ab wie einige andere KI-Ansätze. Wenn Forscher die Leistung von LLMs verbessern können, könnte dieses Framework Technikern helfen, potenzielle Probleme bei Geräten wie Schwermaschinen oder Satelliten zu erkennen, bevor sie auftreten, ohne dass ein teures Deep-Studying-Modell trainiert werden muss.
„Da dies nur die erste Iteration ist, haben wir nicht erwartet, dass wir gleich beim ersten Versuch dorthin gelangen, aber diese Ergebnisse zeigen, dass es hier eine Möglichkeit gibt, LLMs für komplexe Aufgaben zur Anomalieerkennung zu nutzen“, sagt Sarah Alnegheimish, eine Doktorandin der Elektrotechnik und Informatik (EECS) und Hauptautorin von ein Paper zu SigLLM.
Zu ihren Co-Autoren gehören Linh Nguyen, eine EECS-Studentin, Laure Berti-Equille, Forschungsleiterin am französischen Nationalen Forschungsinstitut für nachhaltige Entwicklung, und der Hauptautor Kalyan Veeramachaneni, ein leitender Wissenschaftler im Labor für Informations- und Entscheidungssysteme. Die Forschungsarbeit wird auf der IEEE-Konferenz für Datenwissenschaft und fortgeschrittene Analytik vorgestellt.
Eine Standardlösung
Große Sprachmodelle sind autoregressiv, was bedeutet, dass sie verstehen können, dass die neuesten Werte in sequenziellen Daten von vorherigen Werten abhängen. Beispielsweise können Modelle wie GPT-4 das nächste Wort in einem Satz anhand der vorhergehenden Wörter vorhersagen.
Da Zeitreihendaten sequenziell sind, dachten die Forscher, dass die autoregressive Natur von LLMs sie möglicherweise intestine geeignet macht, um Anomalien in dieser Artwork von Daten zu erkennen.
Sie wollten jedoch eine Technik entwickeln, die auf Feinabstimmung verzichtet, additionally einen Prozess, bei dem Ingenieure ein allgemeines LLM anhand einer kleinen Menge aufgabenspezifischer Daten neu trainieren, um es zu einem Experten für eine bestimmte Aufgabe zu machen. Stattdessen setzen die Forscher ein fertiges LLM ein, ohne zusätzliche Trainingsschritte.
Doch bevor sie es einsetzen konnten, mussten sie Zeitreihendaten in textbasierte Eingaben umwandeln, die das Sprachmodell verarbeiten konnte.
Dies wurde durch eine Reihe von Transformationen erreicht, die die wichtigsten Teile der Zeitreihe erfassen und gleichzeitig Daten mit der geringsten Anzahl von Token darstellen. Token sind die grundlegenden Eingaben für ein LLM, und mehr Token erfordern mehr Berechnungen.
„Wenn Sie bei diesen Schritten nicht sehr sorgfältig vorgehen, kann es passieren, dass wichtige Datenteile abgeschnitten werden und die Informationen verloren gehen“, sagt Alnegheimish.
Nachdem die Forscher herausgefunden hatten, wie sich Zeitreihendaten transformieren lassen, entwickelten sie zwei Ansätze zur Anomalieerkennung.
Ansätze zur Anomalieerkennung
Beim ersten Verfahren, das sie „Prompter“ nennen, speisen sie die aufbereiteten Daten in das Modell ein und fordern es auf, anomale Werte zu lokalisieren.
„Wir mussten mehrere Iterationen durchführen, um die richtigen Eingabeaufforderungen für eine bestimmte Zeitreihe herauszufinden. Es ist nicht leicht zu verstehen, wie diese LLMs die Daten aufnehmen und verarbeiten“, fügt Alnegheimish hinzu.
Beim zweiten Ansatz, Detector genannt, verwenden sie das LLM als Prognoseinstrument, um den nächsten Wert aus einer Zeitreihe vorherzusagen. Die Forscher vergleichen den vorhergesagten Wert mit dem tatsächlichen Wert. Eine große Diskrepanz deutet darauf hin, dass der tatsächliche Wert wahrscheinlich eine Anomalie ist.
Mit Detector wäre das LLM Teil einer Pipeline zur Anomalieerkennung, während Prompter die Aufgabe selbst erledigen würde. In der Praxis schnitt Detector besser ab als Prompter, der viele Fehlalarme erzeugte.
„Ich denke, mit dem Prompter-Ansatz haben wir den LLM-Studenten zu viele Hürden auferlegt. Wir haben ihnen ein schwierigeres Drawback gestellt“, sagt Veeramachaneni.
Als sie beide Ansätze mit aktuellen Techniken verglichen, übertraf Detector die transformerbasierten KI-Modelle bei sieben der elf ausgewerteten Datensätze, obwohl für das LLM weder Coaching noch Feinabstimmung erforderlich struggle.
In Zukunft könnte ein LLM seine Vorhersagen auch mit Erklärungen in einfacher Sprache versehen, sodass ein Bediener besser verstehen könnte, warum ein LLM einen bestimmten Datenpunkt als anomal identifiziert hat.
Moderne Deep-Studying-Modelle schnitten jedoch deutlich besser ab als LLMs. Dies zeigt, dass noch viel zu tun ist, bevor ein LLM zur Anomalieerkennung eingesetzt werden kann.
„Was muss passieren, damit es so intestine abschneidet wie diese hochmodernen Modelle? Das ist die Millionenfrage, die uns derzeit beschäftigt. Ein LLM-basierter Anomaliedetektor muss für uns ein Wendepunkt sein, damit sich dieser Aufwand lohnt“, sagt Veeramachaneni.
In Zukunft möchten die Forscher prüfen, ob sich die Leistung durch Feinabstimmung verbessern lässt. Dies würde allerdings zusätzlichen Zeit- und Kostenaufwand sowie Fachwissen für die Schulung erfordern.
Ihre LLM-Ansätze benötigen zwischen 30 Minuten und zwei Stunden, um Ergebnisse zu liefern. Daher ist die Steigerung der Geschwindigkeit ein Schlüsselbereich zukünftiger Arbeiten. Die Forscher möchten LLMs auch untersuchen, um zu verstehen, wie sie Anomalien erkennen, in der Hoffnung, einen Weg zu finden, ihre Leistung zu steigern.
„Wenn es um komplexe Aufgaben wie die Erkennung von Anomalien in Zeitreihen geht, sind LLMs wirklich eine gute Wahl. Vielleicht können mit LLMs auch andere komplexe Aufgaben bewältigt werden?“, sagt Alnegheimish.
Diese Forschung wurde von SES SA, Iberdrola und ScottishPower Renewables sowie Hyundai Motor Firm unterstützt.