Sollten Sie Ihren Regenschirm schnappen, bevor Sie aus der Tür gehen? Die vorherige Überprüfung der Wettervorhersage ist nur dann hilfreich, wenn diese Prognose korrekt ist.
Räumliche Vorhersageprobleme wie Wettervorhersage oder Luftverschmutzungsschätzung beinhalten die Vorhersage des Werts einer Variablen an einem neuen Ort, der auf bekannten Werten an anderen Orten basiert. Wissenschaftler verwenden in der Regel bewährte Validierungsmethoden, um zu bestimmen, wie viel sie diesen Vorhersagen vertrauen soll.
MIT -Forscher haben jedoch gezeigt, dass diese populären Validierungsmethoden bei räumlichen Vorhersageaufgaben ziemlich schlecht scheitern können. Dies könnte dazu führen, dass jemand glaubt, dass eine Prognose genau ist oder dass eine neue Vorhersagemethode wirksam ist, wenn dies in der Realität nicht der Fall ist.
Die Forscher entwickelten eine Technik zur Beurteilung der Vorhersage-Validations-Methoden und verwendeten sie, um zu beweisen, dass zwei klassische Methoden bei räumlichen Problemen im Wesentlichen falsch sein können. Sie stellten dann fest, warum diese Methoden ausfallen können, und erstellten eine neue Methode, um die für räumlichen Vorhersagen verwendeten Datenarten zu verarbeiten.
In Experimenten mit realen und simulierten Daten lieferte ihre neue Methode genauere Validierungen als die beiden häufigsten Techniken. Die Forscher bewerteten jede Methode anhand von realistischen räumlichen Problemen, einschließlich der Vorhersage der Windgeschwindigkeit am Chicago O-Hare Airport und der Vorhersage der Lufttemperatur an fünf US-U-Bahn-Standorten.
Ihre Validierungsmethode könnte auf eine Reihe von Problemen angewendet werden, von der Unterstützung von Klimaforschern, die die Meeresoberflächentemperaturen vorhersagen, bis hin zur Unterstützung von Epidemiologen bei der Schätzung der Auswirkungen der Luftverschmutzung auf bestimmte Krankheiten.
„Hoffentlich wird dies zu verlässlicheren Bewertungen führen, wenn Menschen neue prädiktive Methoden entwickeln und besser verstehen, wie intestine Methoden abschneiden“, sagt Tamara Broderick, Affiliate Professor in der MIT -Abteilung für Elektrotechnik und Informatik (ECECS) (EECS) des MIT -Abteilung für Elektrotechnik und Informatik (EWG), die (EWG) Affiliate Professor (EECs) auftreten “, und das Verständnis, wie intestine Methoden vorliegen, wenn sich Menschen entwickeln, hoffentlich. , ein Mitglied des Labors für Informations- und Entscheidungssysteme sowie das Institut für Daten, Systeme und Gesellschaft sowie ein Tochterunternehmen des Labors der Informatik und des künstlichen Intelligenz -Labors (CSAIL).
Broderick wird an der verbunden Papier vom leitenden Autor und MIT Postdoc David R. Burt und EECS -Doktorand Yunyi Shen. Die Forschung wird auf der Internationalen Konferenz über künstliche Intelligenz und Statistik vorgestellt.
Bewertung von Validierungen
Brodericks Gruppe hat kürzlich mit Ozeanographen und atmosphärischen Wissenschaftlern zusammengearbeitet, um Vorhersagemodelle für maschinelle Lernen zu entwickeln, die für Probleme mit einer starken räumlichen Komponente verwendet werden können.
Durch diese Arbeit stellten sie fest, dass traditionelle Validierungsmethoden in räumlichen Einstellungen ungenau sein können. Diese Methoden halten eine geringe Anzahl von Trainingsdaten, die als Validierungsdaten bezeichnet werden, und verwenden sie, um die Genauigkeit des Prädiktors zu bewerten.
Um die Wurzel des Issues zu finden, führten sie eine gründliche Analyse durch und stellten fest, dass traditionelle Methoden Annahmen treffen, die für räumliche Daten unangemessen sind. Bewertungsmethoden beruhen auf Annahmen darüber, wie Validierungsdaten und die Daten, die man vorhersagen möchte, als Testdaten miteinander verbunden sind.
Traditionelle Methoden gehen davon aus, dass Validierungsdaten und Testdaten unabhängig und identisch verteilt sind, was impliziert, dass der Wert eines Datenpunkts nicht von den anderen Datenpunkten abhängt. In einer räumlichen Anwendung ist dies jedoch häufig nicht der Fall.
Beispielsweise kann ein Wissenschaftler Validierungsdaten von EPA -Luftverschmutzungssensoren verwenden, um die Genauigkeit einer Methode zu testen, die Luftverschmutzung in Erhaltungsgebieten vorhersagt. Die EPA -Sensoren sind jedoch nicht unabhängig – sie wurden auf der Grundlage der Lage anderer Sensoren angeordnet.
Darüber hinaus stammen die Validierungsdaten möglicherweise von EPA -Sensoren in der Nähe von Städten, während sich die Naturschutzgebiete in ländlichen Gebieten befinden. Da diese Daten von verschiedenen Orten stammen, haben sie wahrscheinlich unterschiedliche statistische Eigenschaften, sodass sie nicht identisch verteilt sind.
„Unsere Experimente haben gezeigt, dass Sie im räumlichen Fall einige wirklich falsche Antworten erhalten, wenn diese Annahmen durch die Validierungsmethode zusammenbrechen“, sagt Broderick.
Die Forscher mussten eine neue Annahme finden.
Speziell räumlich
Wenn Sie speziell über einen räumlichen Kontext nachdenken, in dem Daten aus verschiedenen Orten gesammelt werden, haben sie eine Methode entwickelt, bei der Validierungsdaten und Testdaten im Raum reibungslos variieren.
Zum Beispiel ist es unwahrscheinlich, dass Luftverschmutzung zwischen zwei Nachbarhäusern dramatisch verändert wird.
„Diese Regelmäßigkeitsannahme ist für viele räumliche Prozesse angemessen und ermöglicht es uns, eine Möglichkeit zu erstellen, räumliche Prädiktoren im räumlichen Bereich zu bewerten. Nach unserem Kenntnisstand hat niemand eine systematische theoretische Bewertung dessen durchgeführt, was schief gelaufen ist, um einen besseren Ansatz zu finden “, sagt Broderick.
Um ihre Bewertungstechnik zu verwenden, würde man ihren Prädiktor, die Orte, die sie vorhersagen möchten, und deren Validierungsdaten eingeben und dann den Relaxation automatisch erledigt. Am Ende schätzt es, wie genau die Prognose des Prädiktors für den fraglichen Standort sein wird. Die effektive Bewertung ihrer Validierungstechnik conflict jedoch eine Herausforderung.
„Wir bewerten keine Methode, sondern bewerten eine Bewertung. Wir mussten additionally zurücktreten, sorgfältig nachdenken und über die entsprechenden Experimente kreativ werden, die wir verwenden konnten “, erklärt Broderick.
Zunächst entwarfen sie mehrere Assessments mit simulierten Daten, die unrealistische Aspekte aufwiesen, es ihnen jedoch ermöglichten, die Schlüsselparameter sorgfältig zu steuern. Anschließend erstellten sie realistischere, semi-simulierte Daten, indem sie reale Daten geändert haben. Schließlich verwendeten sie reale Daten für mehrere Experimente.
Die Verwendung von drei Arten von Daten aus realistischen Problemen, beispielsweise der Vorhersage des Preises einer Wohnung in England, basierend auf ihrer Lage und der Vorhersage der Windgeschwindigkeit, ermöglichte es ihnen, eine umfassende Bewertung durchzuführen. In den meisten Experimenten conflict ihre Technik genauer als beide herkömmlichen Methoden, mit denen sie sie verglichen haben.
In Zukunft planen die Forscher, diese Techniken anzuwenden, um die Quantifizierung der Unsicherheit in räumlichen Umgebungen zu verbessern. Sie möchten auch andere Bereiche finden, in denen die Regelmäßigkeit die Leistung von Prädiktoren verbessern könnte, beispielsweise mit Zeitreihendaten.
Diese Forschung wird teilweise von der Nationwide Science Basis und dem Workplace of Naval Analysis finanziert.