Erfahren Sie, wie Sie probabilistische Prognosen auswerten und wie CRPS mit anderen Kennzahlen zusammenhängt
Wenn ich Sie fragen würde, wie man ein Regressionsproblem auswertet, würden Sie wahrscheinlich eine ganze Reihe nennen Bewertungsmetrikenwie MSE, MAE, RMSE, MAPE usw. Gemeinsam ist diesen Metriken, dass sie sich auf Punktvorhersagen konzentrieren.
Die State of affairs ändert sich ein wenig, wenn wir unsere Modelle so trainieren möchten, dass sie sich auf die Vorhersage von Verteilungen statt auf einen einzelnen Punkt konzentrieren. In diesem Fall müssen wir andere Metriken verwenden, die in Information Science-Blogbeiträgen nicht so häufig behandelt werden.
Das letzte Mal habe ich nachgesehen in Quantilverlust (auch bekannt als Pinball-Verlust). Dieses Mal werde ich Sie durch eine andere Metrik führen, die zur Bewertung probabilistischer Prognosen verwendet wird – den Steady Ranked Chance Rating (CRPS).
Das erste Konzept ist einfach, aber es ist trotzdem wichtig, sicherzustellen, dass wir auf derselben Seite stehen. Probabilistische Prognosen bieten eine Verteilung möglicher Ergebnisse. Beispielsweise würden Punktprognosen für morgen eine Temperatur von genau 23 °C vorhersagen, während ein Wahrscheinlichkeitsmodell eine 70-prozentige Wahrscheinlichkeit voraussagt, dass die Temperatur zwischen 20 °C und 25 °C liegen wird.