In Teil 3.1 Wir haben begonnen, zu diskutieren, wie die Zeitreihendaten in Pattern-, Saisonalitäts- und Restkomponenten zerlegt werden. Da es sich um eine glättungsbasierte Technik handelt, müssen wir für STL eine harte Schätzung des Traits und der Saisonalität benötigen, um eine Glättung durchzuführen.

Zu diesem Zweck haben wir eine grobe Schätzung eines Traits berechnet, indem wir ihn unter Verwendung der zentrierten Transferring -Durchschnittsmethode berechnet haben, und dann mit diesem anfänglichen Pattern die anfängliche Saisonalität berechnet. (Eine detaillierte Mathematik wird in erörtert Teil 3.1)

In diesem Teil implementieren wir die LOESS (lokal geschätzte Streuplot -Glättung) Methode Als nächstes den letzten Pattern und die saisonalen Komponenten der Zeitreihe.

Am Ende von Teil 3.1 haben wir folgende Daten:

Da wir die zentrierte saisonale Komponente haben, besteht der nächste Schritt darin, dies von der ursprünglichen Zeitreihe abzuziehen, um die deseasonalisierte Serie zu erhalten.

Wir haben die Serie von Desesta -Werten erhalten und wissen, dass dies sowohl Pattern- als auch Restkomponenten enthält.

Jetzt wenden wir Löss (lokal geschätzte Streuplot -Glättung) in dieser descesaison -Serie an.

Hier wollen wir das Konzept und die Mathematik hinter der Lösungstechnik verstehen. Zu diesem Zweck betrachten wir einen einzelnen Datenpunkt aus der deseasonalisierten Serie und implementieren Sie die Lösungslösungen Schritt für Schritt und beobachten, wie sich der Wert ändert.

---

Bevor wir die Mathematik hinter der Löss verstehen, versuchen wir zu verstehen, was tatsächlich im Lösungs -Glättungsprozess getan wird.

Losse ist der Prozess ähnlich wie die einfache lineare Regression, aber der einzige Unterschied besteht darin, dass wir den Punkten Gewichte zuweisen, so dass die Punkte, die dem Zielpunkt näher sind, mehr Gewicht und weiter vom Zielpunkt entfernt werden.

Wir können es eine gewichtete einfache lineare Regression nennen.

Hier ist der Zielpunkt der Punkt, an dem die Lösungsglättung durchgeführt wird, und in diesem Prozess wählen wir einen Alpha -Wert, der zwischen 0 und 1 liegt.

Meistens verwenden wir 0,3 oder 0,5 als Alpha -Wert.

Nehmen wir beispielsweise an, Alpha = 0,3, was bedeutet, dass 30% der Datenpunkte in dieser Regression verwendet werden. Wenn wir 100 Datenpunkte haben, werden in diesem Glättungsprozess 15 Punkte vor dem Zielpunkt und 15 Punkte nach dem Zielpunkt (einschließlich Zielpunkt) verwendet.

Gleich wie bei einer einfachen linearen Regression passen wir in diesem Glättungsprozess eine Linie mit zusätzlichen Gewichten an die Datenpunkte.

Wir fügen den Datenpunkten Gewichte hinzu, da es der Linie hilft, sich an das lokale Verhalten der Daten anzupassen und Schwankungen oder Ausreißer zu ignorieren, da wir versuchen, die Trendkomponente in diesem Prozess abzuschätzen.

Jetzt haben wir die Idee, dass wir im Lösungsglättungsprozess eine Zeile passen, die am besten zu den Daten passt, und von diesem, dem wir den geglätteten Wert am Zielpunkt berechnen.

Als nächstes werden wir Loess -Glättung implementieren, indem wir als Beispiel einen einzelnen Punkt annehmen.

---

Versuchen wir zu verstehen, was tatsächlich in der Lösungsglättung getan wird, indem wir als Beispiel einen einzigen Punkt annehmen.

Betrachten Sie den 01.08.2010, hier beträgt der desesseinalisierte Wert 14751.02.

Um die Mathematik hinter LOESS leicht zu verstehen, sollten wir eine Zeitspanne von fünf Punkten betrachten.

Hier bedeutet die Spannweite von fünf Punkten, die Punkte, die dem Zielpunkt (1-8-2010) in der Nähe des Zielpunkts am nächsten sind.

Um im August 2010 Lösungsglättung zu demonstrieren, haben wir die Werte von Juni 2010 bis Oktober 2010 berücksichtigt.

Hier stammen die Indexwerte (ab Null) aus den Originaldaten.

Der erste Schritt bei der Loess -Glättung besteht darin, dass wir die Abstände zwischen dem Zielpunkt und den benachbarten Punkten berechnen.

Wir berechnen diesen Abstand basierend auf den Indexwerten.

Wir haben die Abstände berechnet und der maximale Abstand vom Zielpunkt ist ‚2‘.

Der nächste Schritt bei der Glättung von Lösern besteht nun darin, die Tricube -Gewichte zu berechnen. Los weist jedem Punkt auf der Grundlage der skalierten Abstände Gewichte zu.

Hier sind die Tricube -Gewichte für 5 Punkte (0,00, 0,66, 1,00, 0,66, 0,00).

Nachdem wir die Tricube -Gewichte berechnet haben, besteht der nächste Schritt darin, eine gewichtete einfache lineare Regression durchzuführen.

Die Formeln sind ähnlich wie SLR, wobei die üblichen Durchschnittswerte durch gewichtete Durchschnittswerte ersetzt werden.

Hier ist die vollständige Schritt -für -Schritt -Mathematik zur Berechnung des loess -geglätteten Wertes bei t = 7.

Hier beträgt die Schätzung des Lösungstrends im August 2010 14212,96, was geringer ist als der sessichtisierte Wert von 14751.02.

Wenn wir in unserem 5-Punkte-Fenster die Werte der benachbarten Monate sehen, können wir feststellen, dass die Werte abnehmen und der Wert im August wie ein plötzlicher Sprung aussieht.

LOESS versucht, eine Zeile anzupassen, die am besten zu den Daten passt, die den zugrunde liegenden lokalen Pattern darstellen. Es glättet scharfe Spikes oder Dips und gibt uns ein echtes lokales Verhalten der Daten.

---

So berechnet Löss den geglätteten Wert für einen Datenpunkt.

Für unseren Datensatz, wenn wir die STL -Dekomposition mit Python implementieren, kann der Alpha -Wert zwischen 0,3 und 0,5 basierend auf der Anzahl der Punkte im Datensatz liegen.

Wir können auch verschiedene Alpha -Werte ausprobieren und sehen, welche die Daten am besten darstellen, und wählen Sie die entsprechenden aus.

Dieser Vorgang wird für jeden Punkt in den Daten wiederholt.

Sobald wir die loess -geglättete Trendkomponente erhalten haben, wird sie von der Originalserie abgezogen, um Saisonalität und Rauschen zu isolieren.

Als nächstes folgen wir den gleichen Lösungsglättungsverfahren über saisonale Unterserien wie alle Januarare, Februars usw. (wie in Teil 3.1), um loess -geglättete saisonale Komponente zu erhalten.

Nachdem wir sowohl den loess geglätteten Pattern als auch die Saisonalitätskomponenten erhalten haben, subtrahieren wir sie von Originalserien, um den Relaxation zu erhalten.

Danach wird der gesamte Vorgang wiederholt, um die Komponenten weiter zu verfeinern, die loess -glättete Saisonalität wird von der Originalserie abgezogen, um einen loess -geglätteten Pattern zu finden, und dieser neue Lösungsstrend wird von der Originalserie abgehoben, um die Loess Smoothed Saisonalität zu finden.

Dies können wir als eine Iteration bezeichnen, und nach mehreren Iterationsrunden (10-15) werden die drei Komponenten stabilisiert und es gibt keine weitere Änderung und STL gibt den endgültigen Pattern, die Saisonalität und die Restkomponenten zurück.

Dies passiert, wenn wir den folgenden Code verwenden, um die STL -Dekoration auf dem Datensatz anzuwenden, um die drei Komponenten zu erhalten.

import pandas as pd
import matplotlib.pyplot as plt
from statsmodels.tsa.seasonal import STL

# Load the dataset
df = pd.read_csv("C:/RSDSELDN.csv", parse_dates=('Observation_Date'), dayfirst=True)
df.set_index('Observation_Date', inplace=True)
df = df.asfreq('MS')  # Guarantee month-to-month frequency

# Extract the time collection
collection = df('Retail_Sales')

# Apply STL decomposition
stl = STL(collection, seasonal=13)
end result = stl.match()

# Plot and save STL elements
fig, axs = plt.subplots(4, 1, figsize=(10, 8), sharex=True)

axs(0).plot(end result.noticed, coloration='sienna')
axs(0).set_title('Noticed')

axs(1).plot(end result.development, coloration='goldenrod')
axs(1).set_title('Pattern')

axs(2).plot(end result.seasonal, coloration='darkslategrey')
axs(2).set_title('Seasonal')

axs(3).plot(end result.resid, coloration='rebeccapurple')
axs(3).set_title('Residual')

plt.suptitle('STL Decomposition of Retail Gross sales', fontsize=16)
plt.tight_layout()

plt.present()

Datensatz: In diesem Weblog werden öffentlich verfügbare Daten von Fred (Wirtschaftsdaten der Federal Reserve) verwendet. Die Serie Voraussetzungen für den Einzelhandel: Kaufhäuser (RSDSELD) wird vom US Census Bureau veröffentlicht und kann zur Analyse und Veröffentlichung mit angemessenem Zitat verwendet werden.

Offizielles Zitat:
US Census Bureau, Voraussetzungen für den Einzelhandel: Kaufhäuser (Rsdseld), abgerufen von Fred, Federal Reserve Financial institution of St. Louis; https://fred.stlouisfed.org/collection/rsdseld7. Juli 2025.

Hinweis: Alle Bilder, sofern nicht anders angegeben, werden vom Autor.

Ich hoffe, Sie haben eine grundlegende Vorstellung davon, wie die STL -Zersetzung funktioniert, von der Berechnung des anfänglichen Traits und der Saisonalität bis hin zur Suche nach endgültigen Komponenten mithilfe von Loess -Glättung.

Als nächstes in der Serie diskutieren wir ‚Stationarität einer Zeitreihe ‚ ausführlich.

Danke fürs Lesen!

In den meisten meiner letzten Artikel ging es darum, herauszufinden, wie sicher ein Modell bei seinen Vorhersagen ist. Wenn wir die Unsicherheit von Vorhersagen kennen, können wir fundierte Entscheidungen treffen. Ich habe Ihnen gezeigt, wie wir die konforme Vorhersage verwenden können, um die Unsicherheit eines Modells zu quantifizieren. Ich habe über konforme Vorhersageansätze für Klassifizierungs- und Regressionsprobleme geschrieben.

Bei diesen Ansätzen gehen wir davon aus, dass die Reihenfolge der Beobachtung keine Rolle spielt, unsere Daten additionally austauschbar sind. Dies ist für Klassifizierungs- und Regressionsprobleme sinnvoll. Die Annahme gilt jedoch nicht für Zeitreihenprobleme. Dabei enthält die Reihenfolge der Beobachtungen oft wichtige Informationen, wie zum Beispiel Traits…

Zeitfolgen Prognosen sind in verschiedenen Bereichen allgegenwärtig, beispielsweise im Einzelhandel, im Finanzwesen, in der Fertigung, im Gesundheitswesen und in den Naturwissenschaften. Im Einzelhandel wurde beispielsweise beobachtet, dass Verbesserung der Genauigkeit der Nachfrageprognose kann die Lagerkosten deutlich senken und den Umsatz steigern. Deep-Studying-Modelle (DL) haben sich zu einem beliebten Ansatz für die Vorhersage umfangreicher, multivariater Zeitreihendaten entwickelt, da sie sich in einer Vielzahl von Umgebungen als intestine erwiesen haben (z. B. haben DL-Modelle in den USA gute Ergebnisse erzielt). M5-Wettbewerb).

Gleichzeitig gab es schnelle Fortschritte bei großen Basissprachenmodellen, die für Aufgaben der Verarbeitung natürlicher Sprache (NLP) verwendet werden, wie z Übersetzung, durch Abruf erweiterte GenerierungUnd Code-Vervollständigung. Diese Modelle werden auf große Mengen trainiert textuell Daten aus verschiedenen Quellen wie z gemeinsames Kriechen und Open-Supply-Code, der es ihnen ermöglicht, Muster in Sprachen zu identifizieren. Das macht sie sehr mächtig Nullschuss Werkzeuge; zum Beispiel, wenn es mit dem Abrufen gepaart istSie können Fragen zu aktuellen Ereignissen beantworten und diese zusammenfassen.

Obwohl DL-basierte Prognostiker weitgehend übertreffend traditionelle Methoden und Fortschritte Reduzierung der Schulungs- und InferenzkostenSie stehen vor Herausforderungen: Die meisten DL-Architekturen erfordern lange und aufwändige Schulungs- und Validierungszyklen bevor ein Kunde das Modell anhand einer neuen Zeitreihe testen kann. Im Gegensatz dazu kann ein Basismodell für Zeitreihenprognosen ohne zusätzliche Schulung gute, sofort einsatzbereite Prognosen für noch nicht sichtbare Zeitreihendaten liefern, sodass sich Benutzer auf die Verfeinerung von Prognosen für die eigentliche nachgelagerte Aufgabe konzentrieren können Einzelhandelsnachfrageplanung.

Zu diesem Zweck in „Ein reines Decoder-Grundmodell für die Zeitreihenvorhersage”, akzeptiert bei ICML 2024, Wir stellen TimesFM vor, ein einzelnes Prognosemodell, das auf einem großen Zeitreihenkorpus von 100 Milliarden realen Zeitpunkten vorab trainiert wurde. Im Vergleich zu den neuesten großen Sprachmodellen (LLMs) ist TimesFM viel kleiner (200 Mio. Parameter), dennoch zeigen wir, dass seine Zero-Shot-Leistung selbst in solchen Maßstäben bei einer Vielzahl unbekannter Datensätze verschiedener Domänen und zeitlicher Granularitäten nahe an der liegt hochmoderne überwachte Ansätze, die explizit auf diesen Datensätzen trainiert werden. Um auf das Modell zuzugreifen, besuchen Sie bitte unsere Umarmendes Gesicht Und GitHub Repos.

Ein reines Decoder-Grundmodell für die Zeitreihenvorhersage

LLMs werden in der Regel in a ausgebildet Nur Decoder Mode, die drei Schritte umfasst. Zunächst wird der Textual content in Teilwörter, sogenannte Token, zerlegt. Anschließend werden die Token in den Stacked Causal eingespeist Transformator Schichten, die eine Ausgabe entsprechend jedem Eingabe-Token erzeugen (sie können sich nicht um zukünftige Token kümmern). Schließlich entspricht die Ausgabe dem ichDer -te Token fasst alle Informationen der vorherigen Token zusammen und sagt die (ich+1)-tes Token. Während der Inferenz generiert das LLM die Ausgabe Token für Token. Wenn beispielsweise die Frage „Was ist die Hauptstadt von Frankreich?“ gestellt wird, generiert es möglicherweise das Token „Die“, dann die Bedingung „Was ist die Hauptstadt von Frankreich? Die“, um das nächste Token „Hauptstadt“ zu generieren, und so weiter, bis die vollständige Antwort generiert wird: „Die Hauptstadt von Frankreich ist Paris“.

Ein Basismodell für die Zeitreihenvorhersage sollte sich an variable Kontextlängen (was wir beobachten) und Horizontlängen (was wir das Modell abfragen, um es vorherzusagen) anpassen und gleichzeitig über genügend Kapazität verfügen, um alle Muster aus einem großen Datensatz vor dem Coaching zu kodieren. Ähnlich wie bei LLMs verwenden wir gestapelte Transformatorschichten (Selbstaufmerksamkeit und Feedforward Schichten) als Hauptbausteine ​​für das TimesFM-Modell. Im Kontext der Zeitreihenvorhersage behandeln wir einen Patch (eine Gruppe aneinandergrenzender Zeitpunkte) als ein Token, das durch eine aktuelle Zeit populär gemacht wurde Langfristige PrognosearbeitDie Aufgabe besteht dann darin, die (ich+1)-ter Patch der gegebenen Zeitpunkte ich-ter Ausgang am Ende der gestapelten Transformatorschichten.

Es gibt jedoch einige wesentliche Unterschiede zu Sprachmodellen. Erstens brauchen wir eine mehrschichtiges Perzeptron Block mit Restverbindungen, um einen Patch von Zeitreihen in ein Token umzuwandeln, das zusammen mit in die Transformatorschichten eingegeben werden kann Positionskodierungen (SPORT). Dazu verwenden wir einen Restblock ähnlich unserer vorherigen Arbeit in Langfristige Prognosen. Zweitens kann am anderen Ende ein Ausgabetoken des gestapelten Transformators verwendet werden, um eine längere Länge aufeinanderfolgender Zeitpunkte als die Eingabe-Patch-Länge vorherzusagen, dh die Ausgabe-Patch-Länge kann größer als die Eingabe-Patch-Länge sein.

Stellen Sie sich eine Zeitreihe mit einer Länge von 512 Zeitpunkten vor, die zum Trainieren eines TimesFM-Modells mit einer Eingabe-Patch-Länge von 32 und einer Ausgabe-Patch-Länge von 128 verwendet wird. Während des Trainings wird das Modell gleichzeitig darauf trainiert, die ersten 32 Zeitpunkte zur Vorhersage der nächsten 128 zu verwenden Zeitpunkte, die ersten 64 Zeitpunkte zur Vorhersage der Zeitpunkte 65 bis 192, die ersten 96 Zeitpunkte zur Vorhersage der Zeitpunkte 97 bis 224 und so weiter. Angenommen, das Modell erhält während der Inferenz eine neue Zeitreihe der Länge 256 und wird damit beauftragt, die nächsten 256 Zeitpunkte in der Zukunft vorherzusagen. Das Modell generiert zunächst die zukünftigen Vorhersagen für die Zeitpunkte 257 bis 384 und bedingt dann die anfängliche Eingabe der Länge von 256 plus die generierte Ausgabe, um die Zeitpunkte 385 bis 512 zu generieren. Andererseits, wenn in unserem Modell die Länge des Ausgabe-Patches entsprach der Eingabe-Patch-Länge von 32, dann müssten wir für die gleiche Aufgabe acht Generierungsschritte statt nur der beiden oben genannten durchlaufen. Dies erhöht die Wahrscheinlichkeit, dass sich mehr Fehler ansammeln, und daher sehen wir in der Praxis, dass eine längere Ausgabe-Patch-Länge zu einer besseren Leistung für Prognosen über einen längeren Zeitraum führt

TimesFM-Architektur.

Daten vor dem Coaching

So wie LLMs mit mehr Token besser werden, benötigt TimesFM eine große Menge legitimer Zeitreihendaten, um zu lernen und sich zu verbessern. Wir haben viel Zeit damit verbracht, unsere Trainingsdatensätze zu erstellen und zu bewerten, und Folgendes hat unserer Meinung nach am besten funktioniert:

Ergebnisse der Zero-Shot-Bewertung

Wir evaluieren TimesFM Zero-Shot anhand von Daten, die während des Trainings nicht gesehen wurden, unter Verwendung beliebter Zeitreihen-Benchmarks. Wir beobachten, dass TimesFM besser abschneidet als die meisten statistischen Methoden wie ARIMA, ETS und kann mit leistungsstarken DL-Modellen wie vergleichbar sein oder diese sogar übertreffen DeepAR, PatchTST das battle explizit ausgebildet auf der Zielzeitreihe.

Wir haben das genutzt Monash-Prognosearchiv um die Out-of-the-Field-Leistung von TimesFM zu bewerten. Dieses Archiv enthält Zehntausende Zeitreihen aus verschiedenen Bereichen wie Verkehr, Wetter und Nachfrageprognosen, die Frequenzen von wenigen Minuten bis hin zu jährlichen Daten abdecken. In Anlehnung an die vorhandene Literatur untersuchen wir die mittlerer absoluter Fehler (MAE) entsprechend skaliert damit es über die Datensätze gemittelt werden kann. Wir sehen, dass Zero-Shot (ZS) TimesFM besser ist als die meisten überwachten Ansätze, einschließlich neuerer Deep-Studying-Modelle. Wir vergleichen auch TimesFM mit GPT-3.5 für die Prognose mithilfe einer speziellen Eingabetechnik, die von lmtime(ZS). Wir zeigen, dass TimesFM eine bessere Leistung als llmtime(ZS) erbringt, obwohl es um Größenordnungen kleiner ist.

Geometrisches Mittel (GM, und Warum wir das tun) der skalierten MAE (je niedriger, desto besser) von TimesFM(ZS) im Vergleich zu anderen überwachten und Zero-Shot-Ansätzen für Monash-Datensätze.

Die meisten Monash-Datensätze haben einen kurzen oder mittleren Horizont, d. h. die Vorhersagedauer ist nicht zu lang. Wir testen TimesFM auch anhand beliebter Benchmarks für langfristige Prognosen im Vergleich zu einer aktuellen, hochmodernen Basislinie. PatchTST (und andere Basislinien für langfristige Prognosen). In der nächsten Abbildung zeichnen wir die MAE auf ETT Datensätze für die Aufgabe, 96 und 192 Zeitpunkte in der Zukunft vorherzusagen. Die Metrik wurde im letzten Testfenster jedes Datensatzes berechnet (wie von der Noch Zeit Papier). Wir sehen, dass TimesFM nicht nur die Leistung von llmtime(ZS) übertrifft, sondern auch mit der des überwachten PatchTST-Modells übereinstimmt, das explizit auf die jeweiligen Datensätze trainiert wurde.

Letztes Fenster MAE (je niedriger, desto besser) von TimesFM(ZS) im Vergleich zu lmtime(ZS) und Langhorizont-Prognosebasislinien auf ETT-Datensätzen.

Abschluss

Wir trainieren ein Decoder-only-Basismodell für die Zeitreihenprognose mithilfe eines großen Vortrainingskorpus von 100 Milliarden realen Zeitpunkten, von denen der Großteil aus Suchinteresse-Zeitreihendaten aus Google Developments und Seitenaufrufen von Wikipedia besteht. Wir zeigen, dass selbst ein relativ kleines vortrainiertes Modell mit 200 Millionen Parametern, das unsere TimesFM-Architektur verwendet, bei einer Vielzahl öffentlicher Benchmarks aus verschiedenen Bereichen und mit unterschiedlicher Granularität eine beeindruckende Zero-Shot-Leistung zeigt.

Danksagung

Diese Arbeit ist das Ergebnis einer Zusammenarbeit mehrerer Personen aus Google Analysis und Google Cloud, darunter (in alphabetischer Reihenfolge): Abhimanyu Das, Weihao Kong, Andrew Leach, Mike Lawrence, Alex Martin, Rajat Sen, Yang Yang, Skander Hannachi, Ivan Kusnezow und Yichen Zhou.