Die Vorhersage mehrerer Zeitreihen kann schnell zu einer komplizierten Aufgabe werden. Traditionelle Ansätze erfordern entweder ein separates Modell professional Serie (z. B. SARIMA) oder dass alle Serien korreliert sind (z. B. VARMA). Neuronale Netze bieten einen flexiblen Ansatz, der Multiserienprognosen mit einem einzigen Modell unabhängig von der Serienkorrelation ermöglicht.

Darüber hinaus ermöglicht dieser Ansatz die einfache Integration exogener Variablen und die Vorhersage mehrerer Zeitschritte in die Zukunft, was zu einer leistungsstarken Gesamtlösung führt, die in einer Vielzahl von Fällen intestine funktioniert.

In diesem Artikel zeigen wir, wie Sie die Datenfensterung durchführen, die erforderlich ist, um unsere Daten von einer Zeitreihe in ein überwachtes Lernformat sowohl für eine univariate als auch für eine multivariate Zeitreihe umzuwandeln. Sobald unsere Daten transformiert wurden, zeigen wir, wie man sowohl ein Deep Neural Community als auch LSTM trainiert, um multivariate Vorhersagen zu erstellen.

Untersuchung unserer Daten

Wir werden mit einem Datensatz arbeiten, der die tägliche Durchschnittstemperatur und Luftfeuchtigkeit in Delhi, Indien, zwischen 2013 und 2016 erfasst. Diese Daten sind auf Kaggle verfügbar und für die Nutzung unter der lizenziert CC0: Public Area was es excellent macht…

Neuronale Netzwerke haben die Artwork und Weise, wie Ingenieure Robotersteuerungen entwickeln, grundlegend verändert und anpassungsfähigere und effizientere Maschinen hervorgebracht. Dennoch sind diese gehirnähnlichen maschinellen Lernsysteme ein zweischneidiges Schwert: Ihre Komplexität macht sie leistungsstark, aber sie macht es auch schwierig zu garantieren, dass ein Roboter, der von einem neuronalen Netzwerk angetrieben wird, seine Aufgabe sicher erfüllt.

Die traditionelle Methode zur Überprüfung von Sicherheit und Stabilität sind Techniken, die als Ljapunow-Funktionen bezeichnet werden. Wenn Sie eine Ljapunow-Funktion finden, deren Wert kontinuierlich abnimmt, können Sie sicher sein, dass unsichere oder instabile Situationen, die mit höheren Werten verbunden sind, niemals eintreten werden. Bei Robotern, die von neuronalen Netzwerken gesteuert werden, ließen sich frühere Ansätze zur Überprüfung von Ljapunow-Bedingungen jedoch nicht intestine auf komplexe Maschinen skalieren.

Forscher des Laptop Science and Synthetic Intelligence Laboratory (CSAIL) des MIT und anderer Institute haben nun neue Techniken entwickelt, die Ljapunow-Berechnungen in komplexeren Systemen streng zertifizieren. Ihr Algorithmus sucht und verifiziert effizient eine Ljapunow-Funktion und bietet damit eine Stabilitätsgarantie für das System. Dieser Ansatz könnte möglicherweise einen sichereren Einsatz von Robotern und autonomen Fahrzeugen, einschließlich Flugzeugen und Raumfahrzeugen, ermöglichen.

Um frühere Algorithmen zu übertreffen, fanden die Forscher eine kostengünstige Abkürzung für den Trainings- und Verifizierungsprozess. Sie generierten kostengünstigere Gegenbeispiele – beispielsweise widersprüchliche Daten von Sensoren, die den Controller hätten verwirren können – und optimierten dann das Robotersystem, um diese zu berücksichtigen. Das Verständnis dieser Randfälle half den Maschinen, den Umgang mit schwierigen Umständen zu erlernen, wodurch sie unter einer größeren Bandbreite von Bedingungen sicher arbeiten konnten als bisher möglich. Dann entwickelten sie eine neuartige Verifizierungsformulierung, die die Verwendung eines skalierbaren neuronalen Netzwerkverifizierers, α,β-CROWN, ermöglicht, um strenge Worst-Case-Szenario-Garantien über die Gegenbeispiele hinaus zu bieten.

„Wir haben einige beeindruckende empirische Leistungen bei KI-gesteuerten Maschinen wie Humanoiden und Roboterhunden gesehen, aber diesen KI-Controllern fehlen die formalen Garantien, die für sicherheitskritische Systeme entscheidend sind“, sagt Lujie Yang, Doktorand für Elektrotechnik und Informatik (EECS) am MIT und CSAIL-Mitarbeiter, der zusammen mit dem Forscher Hongkai Dai SM ’12, PhD ’16 am Toyota Analysis Institute, Co-Leiter eines neuen Papiers über das Projekt ist. „Unsere Arbeit schließt die Lücke zwischen diesem Leistungsniveau von neuronalen Netzwerkcontrollern und den Sicherheitsgarantien, die für den Einsatz komplexerer neuronaler Netzwerkcontroller in der realen Welt erforderlich sind“, bemerkt Yang.

Für eine digitale Demonstration simulierte das Group, wie sich eine Quadrotor-Drohne mit Lidar-Sensoren in einer zweidimensionalen Umgebung stabilisieren würde. Ihr Algorithmus führte die Drohne erfolgreich in eine stabile Schwebeposition, wobei er nur die begrenzten Umgebungsinformationen nutzte, die die Lidar-Sensoren lieferten. In zwei weiteren Experimenten ermöglichte ihr Ansatz den stabilen Betrieb zweier simulierter Robotersysteme unter einem größeren Spektrum von Bedingungen: ein umgekehrtes Pendel und ein pfadverfolgendes Fahrzeug. Diese Experimente sind zwar bescheiden, aber relativ komplexer als das, was die Neighborhood für die Verifizierung neuronaler Netze zuvor hätte tun können, insbesondere weil sie Sensormodelle beinhalteten.

„Anders als bei üblichen Problemen des maschinellen Lernens erfordert die rigorose Verwendung neuronaler Netze als Ljapunow-Funktionen die Lösung schwieriger globaler Optimierungsprobleme, und daher ist die Skalierbarkeit der entscheidende Engpass“, sagt Sicun Gao, außerordentlicher Professor für Informatik und Ingenieurwissenschaften an der College of California in San Diego, der an dieser Arbeit nicht beteiligt conflict. „Die aktuelle Arbeit leistet einen wichtigen Beitrag, indem sie algorithmische Ansätze entwickelt, die viel besser auf die besondere Verwendung neuronaler Netze als Ljapunow-Funktionen in Steuerungsproblemen zugeschnitten sind. Sie erreicht eine beeindruckende Verbesserung der Skalierbarkeit und der Qualität der Lösungen gegenüber bestehenden Ansätzen. Die Arbeit eröffnet spannende Richtungen für die weitere Entwicklung von Optimierungsalgorithmen für neuronale Ljapunow-Methoden und die rigorose Verwendung von Deep Studying in der Steuerung und Robotik im Allgemeinen.“

Der Stabilitätsansatz von Yang und ihren Kollegen hat potenziell weitreichende Anwendungsmöglichkeiten, bei denen die Gewährleistung der Sicherheit von entscheidender Bedeutung ist. Er könnte dazu beitragen, eine ruhigere Fahrt für autonome Fahrzeuge wie Flugzeuge und Raumfahrzeuge zu gewährleisten. Ebenso könnten Drohnen, die Waren ausliefern oder verschiedene Gelände kartieren, von solchen Sicherheitsgarantien profitieren.

Die hier entwickelten Techniken sind sehr allgemein gehalten und nicht nur auf die Robotik beschränkt. Dieselben Techniken könnten in Zukunft möglicherweise auch bei anderen Anwendungen hilfreich sein, etwa in der Biomedizin und der industriellen Verarbeitung.

Während die Technik in Bezug auf die Skalierbarkeit eine Verbesserung gegenüber früheren Arbeiten darstellt, untersuchen die Forscher, wie sie in Systemen mit höheren Dimensionen besser funktionieren kann. Sie möchten auch Daten berücksichtigen, die über Lidar-Messwerte hinausgehen, wie Bilder und Punktwolken.

In der zukünftigen Forschungsrichtung möchte das Group die gleichen Stabilitätsgarantien für Systeme bieten, die sich in unsicheren Umgebungen befinden und Störungen ausgesetzt sind. Wenn eine Drohne beispielsweise einer starken Windböe ausgesetzt ist, möchten Yang und ihre Kollegen sicherstellen, dass sie trotzdem stabil fliegt und die gewünschte Aufgabe erfüllt.

Außerdem wollen sie ihre Methode auf Optimierungsprobleme anwenden, bei denen das Ziel darin besteht, die Zeit und Distanz zu minimieren, die ein Roboter braucht, um eine Aufgabe zu erledigen und dabei stabil zu bleiben. Sie planen, ihre Technik auf Humanoide und andere reale Maschinen auszudehnen, bei denen ein Roboter stabil bleiben muss, während er Kontakt mit seiner Umgebung hält.

Russ Tedrake, Toyota-Professor für EECS, Luft- und Raumfahrt und Maschinenbau am MIT, Vizepräsident für Robotikforschung am TRI und CSAIL-Mitglied, ist leitender Autor dieser Forschungsarbeit. Der Beitrag wird auch dem Doktoranden Zhouxing Shi von der College of California in Los Angeles und dem außerordentlichen Professor Cho-Jui Hsieh sowie dem Assistenzprofessor Huan Zhang von der College of Illinois Urbana-Champaign zugeschrieben. Ihre Arbeit wurde teilweise von Amazon, der Nationwide Science Basis, dem Workplace of Naval Analysis und dem AI2050-Programm von Schmidt Sciences unterstützt. Der Beitrag der Forscher wird auf der Worldwide Convention on Machine Studying 2024 vorgestellt.

Gepostet von Mónica Ribero Díaz, Forschungswissenschaftlerin, Google Analysis

Differenzierte Privatsphäre (DP) ist eine Eigenschaft randomisierter Mechanismen, die den Einfluss der Informationen einzelner Benutzer bei der Verarbeitung und Analyse von Daten begrenzen. DP bietet eine robuste Lösung, um den wachsenden Bedenken hinsichtlich des Datenschutzes Rechnung zu tragen und Technologien zu ermöglichen über Branchen und staatliche Anwendungen (z. B. die US-Volkszählung), ohne die Identität einzelner Benutzer zu gefährden. Mit zunehmender Akzeptanz ist es wichtig, die potenziellen Risiken der Entwicklung von Mechanismen mit fehlerhaften Implementierungen zu identifizieren. Forscher haben kürzlich Fehler in den mathematischen Beweisen privater Mechanismen und ihrer Implementierungen gefunden. Zum Beispiel, Forscher verglichen sechs SVT-Varianten (Sparse Vector Approach) und stellte fest, dass nur zwei der sechs tatsächlich die geltend gemachte Datenschutzgarantie erfüllten. Selbst wenn mathematische Beweise korrekt sind, ist der Code, der den Mechanismus implementiert, anfällig für menschliches Versagen.

Allerdings ist eine praktische und effiziente DP-Prüfung vor allem aufgrund der inhärenten Zufälligkeit der Mechanismen und der probabilistischen Natur der getesteten Garantien eine Herausforderung. Darüber hinaus gibt es eine Reihe von Garantiearten (z. B. reine DP, ungefährer DP, Rényi DPUnd konzentriertes DP), und diese Vielfalt trägt zur Komplexität der Formulierung des Prüfungsproblems bei. Darüber hinaus ist das Debuggen mathematischer Beweise und Codebasen angesichts der Menge der vorgeschlagenen Mechanismen eine schwierige Aufgabe. Während advert hoc Obwohl Testtechniken unter bestimmten Annahmen von Mechanismen existieren, wurden nur wenige Anstrengungen unternommen, um ein erweiterbares Software zum Testen von DP-Mechanismen zu entwickeln.

Zu diesem Zweck in „DP-Auditorium: Eine umfangreiche Bibliothek zur Prüfung der differenziellen Privatsphäre“, stellen wir vor Open-Supply-Bibliothek zur Prüfung von DP-Garantien mit nur Black-Field-Zugriff auf einen Mechanismus (dh ohne Kenntnis der internen Eigenschaften des Mechanismus). DP-Auditorium ist in Python implementiert und bietet eine versatile Schnittstelle, die es Beiträgen ermöglicht, seine Testfunktionen kontinuierlich zu verbessern. Wir stellen außerdem neue Testalgorithmen vor, die eine Divergenzoptimierung über Funktionsräume für Rényi DP, reines DP und angenähertes DP durchführen. Wir zeigen, dass DP-Auditorium Verstöße gegen DP-Garantien effizient identifizieren kann, und schlagen vor, welche Exams am besten geeignet sind, um bestimmte Fehler im Rahmen verschiedener Datenschutzgarantien zu erkennen.

DP-Garantien

Die Ausgabe eines DP-Mechanismus ist eine Stichprobe aus einer Wahrscheinlichkeitsverteilung (M (D)), das eine mathematische Eigenschaft erfüllt, die die Vertraulichkeit von Benutzerdaten gewährleistet. Eine DP-Garantie ist daher eng mit Eigenschaften zwischen Paaren von Wahrscheinlichkeitsverteilungen verbunden. Ein Mechanismus ist differenziell privat, wenn die Wahrscheinlichkeitsverteilungen bestimmt werden durch M auf Datensatz D und ein benachbarter Datensatz D‘die sich nur um einen Datensatz unterscheiden, sind nicht zu unterscheiden unter einer gegebenen Divergenzmetrik.

Zum Beispiel die Klassik ungefährer DP Die Definition besagt, dass ein Mechanismus ungefähr DP mit Parametern ist (ε, δ), wenn die Hockeyschläger-Divergenz der Ordnung e^εzwischen M(D) Und M(D‘), ist höchstens δ. Reiner DP ist ein Sonderfall des ungefähren DP, bei dem δ = 0. Abschließend wird ein Mechanismus betrachtet Rényi DP mit Parametern (𝛼, ε) wenn die Rényi-Divergenz der Ordnung 𝛼ist höchstens ε (Wo ε ist ein kleiner positiver Wert). In diesen drei Definitionen ε ist nicht austauschbar, vermittelt aber intuitiv das gleiche Konzept; größere Werte von ε bedeuten größere Abweichungen zwischen den beiden Verteilungen oder weniger Privatsphäre, da die beiden Verteilungen leichter zu unterscheiden sind.

DP-Auditorium

DP-Auditorium besteht aus zwei Hauptkomponenten: Eigenschaftstestern und Datensatzfindern. Eigenschaftstester nehmen Stichproben aus einem Mechanismus, der an bestimmten Datensätzen als Eingabe ausgewertet wird, und zielen darauf ab, Verstöße gegen die Datenschutzgarantie in den bereitgestellten Datensätzen zu identifizieren. Datensatzfinder schlagen Datensätze vor, bei denen die Datenschutzgarantie möglicherweise versagt. Durch die Kombination beider Komponenten ermöglicht DP-Auditorium (1) das automatisierte Testen verschiedener Mechanismen und Datenschutzdefinitionen und (2) die Erkennung von Fehlern in Mechanismen zum Schutz der Privatsphäre. Wir implementieren verschiedene personal und nicht personal Mechanismen, einschließlich einfacher Mechanismen, die den Mittelwert von Datensätzen berechnen, und komplexerer Mechanismen, wie z. B. verschiedene SVT- und Gradientenabstieg Mechanismusvarianten.

Immobilientester feststellen, ob Beweise vorliegen, die die Hypothese widerlegen, dass eine gegebene Divergenz zwischen zwei Wahrscheinlichkeitsverteilungen vorliegt, P Und Qist durch ein vorgegebenes Finances begrenzt, das durch die zu prüfende DP-Garantie bestimmt wird. Sie berechnen eine Untergrenze aus Stichproben von P Und Q, Zurückweisen der Eigenschaft, wenn der untere Grenzwert die erwartete Divergenz überschreitet. Es werden keine Garantien gegeben, wenn das Ergebnis tatsächlich begrenzt ist. Um eine Reihe von Datenschutzgarantien zu testen, stellt DP-Auditorium drei neuartige Tester vor: (1) HockeyStickPropertyTester, (2) RényiPropertyTester und (3) MMDPropertyTester. Im Gegensatz zu anderen Ansätzen sind diese Tester nicht auf explizite Histogrammnäherungen der getesteten Verteilungen angewiesen. Sie stützen sich auf Variationsdarstellungen der Hockeyschläger-Divergenz, der Rényi-Divergenz und maximale mittlere Abweichung (MMD), die die Schätzung von Divergenzen durch Optimierung über Funktionsräume ermöglichen. Als Foundation setzen wir um HistogramPropertyTester, ein häufig verwendeter ungefährer DP-Tester. Während unsere drei Tester einen ähnlichen Ansatz verfolgen, konzentrieren wir uns der Kürze halber in diesem Beitrag auf den HockeyStickPropertyTester.

Gegeben zwei benachbarte Datensätze, D Und D‘der HockeyStickPropertyTester findet eine Untergrenze,^δ für die Hockeyschläger-Divergenz zwischen M(D) Und M(D‘), das mit hoher Wahrscheinlichkeit gilt. Die Hockeyschläger-Divergenz erzwingt die beiden Verteilungen M(D) Und M(D‘) unterliegen einer ungefähren DP-Garantie. Wenn additionally eine Datenschutzgarantie behauptet, dass die Hockeyschläger-Divergenz höchstens besteht δUnd^δ > δdann ist die Divergenz mit hoher Wahrscheinlichkeit höher als versprochen D Und D‘ und der Mechanismus kann die gegebene ungefähre DP-Garantie nicht erfüllen. Die Untergrenze^δ wird als empirisches und handhabbares Gegenstück zu einer Variationsformulierung der Hockeyschläger-Divergenz berechnet (siehe das Papier für mehr Particulars). Die Genauigkeit von^δ steigt mit der Anzahl der aus dem Mechanismus entnommenen Proben, nimmt jedoch ab, wenn die Variationsformulierung vereinfacht wird. Um dies sicherzustellen, gleichen wir diese Faktoren aus^δ ist sowohl genau als auch einfach zu berechnen.

Datensatzfinder verwenden Black-Field-Optimierung Datensätze zu finden D Und D‘ die maximieren^δeine Untergrenze für den Divergenzwert δ. Beachten Sie, dass Black-Field-Optimierungstechniken speziell für Situationen konzipiert sind, in denen die Ableitung von Gradienten für eine Zielfunktion unpraktisch oder sogar unmöglich sein kann. Diese Optimierungstechniken schwanken zwischen Explorations- und Ausbeutungsphasen, um die Type der Zielfunktion abzuschätzen und Bereiche vorherzusagen, in denen das Ziel optimale Werte haben kann. Im Gegensatz dazu ist ein vollständiger Explorationsalgorithmus wie der Rastersuchmethodedurchsucht den gesamten Raum benachbarter Datensätze D Und D‘. DP-Auditorium implementiert verschiedene Datensatz-Finder über die Open-Supply-Black-Field-Optimierungsbibliothek Wesir.

Um vorhandene Komponenten auf einem neuen Mechanismus auszuführen, muss der Mechanismus lediglich als Python-Funktion definiert werden, die ein Datenarray entgegennimmt D und eine gewünschte Anzahl von Proben N vom berechneten Mechanismus ausgegeben werden soll D. Darüber hinaus bieten wir versatile Wrapper für Tester und Datensatzsucher, die es Praktikern ermöglichen, ihre eigenen Take a look at- und Datensatzsuchalgorithmen zu implementieren.

Wichtigste Ergebnisse

Wir bewerten die Wirksamkeit des DP-Auditoriums anhand von fünf privaten und neun nichtprivaten Mechanismen mit unterschiedlichen Ausgaberäumen. Für jeden Eigenschaftstester wiederholen wir den Take a look at zehnmal an festen Datensätzen mit unterschiedlichen Werten von ε, und geben Sie an, wie oft jeder Tester Datenschutzfehler identifiziert. Obwohl kein Tester die anderen durchweg übertrifft, identifizieren wir Fehler, die bei früheren Techniken (HistogramPropertyTester) übersehen würden. Beachten Sie, dass der HistogramPropertyTester nicht auf SVT-Mechanismen anwendbar ist.

Häufigkeit, mit der jeder Eigenschaftstester die Datenschutzverletzung für die getesteten nichtprivaten Mechanismen findet. Die Mechanismen NonDPLaplaceMean und NonDPGaussianMean sind fehlerhafte Implementierungen von Laplace Und Gauß Mechanismen zur Berechnung des Mittelwerts.

Wir analysieren auch die Implementierung von a DP-Gradientenabstiegsalgorithmus (DP-GD) in TensorFlow, das Gradienten der Verlustfunktion für personal Daten berechnet. Um die Privatsphäre zu wahren, verwendet DP-GD einen Clipping-Mechanismus, um die Daten einzuschränken l2-Norm der Steigungen um einen Wert G, gefolgt von der Hinzufügung von Gauß-Rauschen. Diese Implementierung geht fälschlicherweise davon aus, dass das hinzugefügte Rauschen eine Größenordnung von hat Gwährend in Wirklichkeit die Skala ist sGWo S ist ein positiver Skalar. Diese Diskrepanz führt zu einer ungefähren DP-Garantie, die nur für Werte von gilt S größer oder gleich 1.

Wir bewerten die Wirksamkeit von Eigenschaftstestern bei der Erkennung dieses Fehlers und zeigen, dass HockeyStickPropertyTester und RényiPropertyTester eine überlegene Leistung bei der Identifizierung von Datenschutzverletzungen aufweisen und MMDPropertyTester und HistogramPropertyTester übertreffen. Bemerkenswert ist, dass diese Tester den Fehler auch bei Werten von erkennen S bis zu 0,6. Es lohnt sich, das hervorzuheben S = 0,5 entspricht a häufiger Fehler In der Literatur geht es darum, dass bei der Berücksichtigung des Datenschutzbudgets ein Faktor zwei fehlt ε. DP-Auditorium behebt diesen Fehler erfolgreich, wie unten gezeigt. Weitere Einzelheiten finden Sie in Abschnitt 5.6 Hier.

Geschätzte Abweichungen und Testschwellenwerte für verschiedene Werte von S beim Testen von DP-GD mit dem HistogramPropertyTester (hyperlinks) und der HockeyStickPropertyTester (Rechts).

Geschätzte Abweichungen und Testschwellenwerte für verschiedene Werte von S beim Testen von DP-GD mit dem RényiPropertyTester (hyperlinks) und der MMDPropertyTester (Rechts)

Um Dataset-Finder zu testen, berechnen wir die Anzahl der untersuchten Datensätze, bevor wir eine Datenschutzverletzung feststellen. Im Durchschnitt werden die meisten Fehler in weniger als 10 Aufrufen von Dataset-Findern entdeckt. Randomisierte Methoden und Explorations-/Ausbeutungsmethoden sind beim Auffinden von Datensätzen effizienter als die Rastersuche. Weitere Einzelheiten finden Sie im Papier.

Abschluss

DP ist eines der leistungsstärksten Frameworks für den Datenschutz. Die ordnungsgemäße Implementierung von DP-Mechanismen kann jedoch eine Herausforderung darstellen und anfällig für Fehler sein, die mit herkömmlichen Unit-Take a look at-Methoden nicht einfach erkannt werden können. Ein einheitlicher Testrahmen kann Prüfern, Regulierungsbehörden und Wissenschaftlern dabei helfen, sicherzustellen, dass personal Mechanismen tatsächlich privat sind.

DP-Auditorium ist ein neuer Ansatz zum Testen von DP durch Divergenzoptimierung über Funktionsräume. Unsere Ergebnisse zeigen, dass diese Artwork der funktionsbasierten Schätzung bisherige Black-Field-Zugriffstester durchweg übertrifft. Abschließend zeigen wir, dass diese funktionsbasierten Schätzer im Vergleich zur Histogrammschätzung eine bessere Entdeckungsrate von Datenschutzfehlern ermöglichen. Von Open Sourcing Im DP-Auditorium wollen wir einen Commonplace für Finish-to-Finish-Exams neuer differenziell privater Algorithmen etablieren.

Danksagungen

Die hier beschriebene Arbeit wurde gemeinsam mit Andrés Muñoz Medina, William Kong und Umar Syed durchgeführt. Wir danken Chris Dibak und Vadym Doroshenko für die hilfreiche technische Unterstützung und Schnittstellenvorschläge für unsere Bibliothek.