Ich habe das Konzept des föderierten Lernens (FL) durch a Comedian von Google im Jahr 2019. Es struggle ein brillanter Artikel und hat hervorragend erklärt, wie Produkte verbessert werden können, ohne Benutzerdaten in die Cloud zu senden. In letzter Zeit wollte ich die technische Seite dieses Bereichs genauer verstehen. Trainingsdaten sind zu einem so wichtigen Intestine geworden, da sie für die Erstellung guter Modelle unerlässlich sind. Viele davon bleiben jedoch ungenutzt, weil sie fragmentiert, unstrukturiert oder in Silos eingeschlossen sind.

Als ich anfing, dieses Gebiet zu erkunden, fand ich das Blumenrahmenum die unkomplizierteste und anfängerfreundlichste Artwork zu sein, in FL durchzustarten. Es ist Open Supply, die Dokumentation ist klar und die Group ist sehr aktiv und hilfsbereit. Dies ist einer der Gründe für mein erneutes Interesse an diesem Bereich.

Dieser Artikel ist der erste Teil einer Reihe, in der ich mich eingehender mit föderiertem Lernen befasse. Dabei gehe ich darauf ein, was es ist, wie es implementiert wird, welche offenen Probleme es mit sich bringt und warum es in datenschutzrelevanten Umgebungen wichtig ist. In den nächsten Teilen werde ich tiefer auf die praktische Umsetzung mit dem eingehen Blume diskutieren Sie den Datenschutz beim föderierten Lernen und untersuchen Sie, wie sich diese Ideen auf fortgeschrittenere Anwendungsfälle übertragen lassen.

Wenn zentralisiertes maschinelles Lernen nicht superb ist

Wir wissen, dass KI-Modelle auf großen Datenmengen basieren, doch viele der nützlichsten Daten sind sensibel, verteilt und schwer zugänglich. Denken Sie an Daten in Krankenhäusern, Telefonen, Autos, Sensoren und anderen Edge-Systemen. Datenschutzbedenken, lokale Regeln, begrenzter Speicher und Netzwerkbeschränkungen machen die Übertragung dieser Daten an einen zentralen Ort sehr schwierig oder sogar unmöglich. Dadurch bleiben große Mengen wertvoller Daten ungenutzt. Im Gesundheitswesen ist dieses Downside besonders sichtbar. Krankenhäuser erzeugen jedes Jahr Dutzende Petabytes an Daten, Studien gehen jedoch davon aus, dass es bis zu 10 Petabytes an Daten sind 97 % dieser Daten bleiben ungenutzt.

Traditionelles maschinelles Lernen geht davon aus, dass alle Trainingsdaten an einem Ort gesammelt werden können, normalerweise auf einem zentralen Server oder Rechenzentrum. Dies funktioniert, wenn Daten frei verschoben werden können, funktioniert jedoch nicht, wenn die Daten privat oder geschützt sind. In der Praxis hängt ein zentralisiertes Coaching auch von stabiler Konnektivität, ausreichender Bandbreite und geringer Latenz ab, was in verteilten oder Edge-Umgebungen nur schwer zu gewährleisten ist.

In solchen Fällen gibt es zwei häufige Möglichkeiten. Eine Möglichkeit besteht darin, die Daten überhaupt nicht zu nutzen, was bedeutet, dass wertvolle Informationen in Silos eingeschlossen bleiben.

Die andere Möglichkeit besteht darin, jede lokale Entität ein Modell anhand ihrer eigenen Daten trainieren zu lassen und nur das weiterzugeben, was das Modell lernt, während die Rohdaten niemals ihren ursprünglichen Speicherort verlassen. Diese zweite Possibility bildet die Grundlage des föderierten Lernens, das es Modellen ermöglicht, aus verteilten Daten zu lernen, ohne diese zu verschieben. Ein bekanntes Beispiel ist Google Gboard auf Androidwo Funktionen wie die Vorhersage des nächsten Wortes und Intelligentes Verfassen laufen auf Hunderten Millionen Geräten.

Föderiertes Lernen: Das Modell auf die Daten übertragen

Föderiertes Lernen kann als eine kollaborative Einrichtung für maschinelles Lernen betrachtet werden, bei der das Coaching stattfindet, ohne dass Daten an einem zentralen Ort gesammelt werden. Bevor wir uns ansehen, wie es unter der Haube funktioniert, sehen wir uns einige Beispiele aus der Praxis an, die zeigen, warum dieser Ansatz in Umgebungen mit hohem Risiko wichtig ist, die sich über Bereiche vom Gesundheitswesen bis hin zu sicherheitsrelevanten Umgebungen erstrecken.

Gesundheitspflege

Im Gesundheitswesen wird föderiertes Lernen frühzeitig ermöglicht COVID-Screening durch Kuriale KIein System, das in mehreren NHS-Krankenhäusern unter Verwendung routinemäßiger Vitalparameter und Bluttests trainiert wird. Da Patientendaten nicht zwischen Krankenhäusern ausgetauscht werden konnten, wurde die Schulung lokal an jedem Standort durchgeführt und es wurden nur Modellaktualisierungen ausgetauscht. Das resultierende globale Modell ließ sich besser verallgemeinern als Modelle, die in einzelnen Krankenhäusern trainiert wurden, insbesondere wenn es an unbekannten Standorten evaluiert wurde.

Medizinische Bildgebung

Föderiertes Lernen wird auch in der medizinischen Bildgebung untersucht. Forscher am UCL und am Moorfields Eye Hospital nutzen es dazu Feinabstimmung großer Imaginative and prescient Basis-Modelle bei Scans empfindlicher Augen das lässt sich nicht zentralisieren.

Verteidigung

Über das Gesundheitswesen hinaus wird föderiertes Lernen auch in anderen Bereichen eingesetzt sicherheitsrelevante Bereiche wie Verteidigung und Luftfahrt. Dabei werden Modelle auf verteilte physiologische und betriebliche Daten trainiert, die lokal bleiben müssen.

Verschiedene Arten des Federated Studying

Auf einer übergeordneten Ebene kann Federated Studying basierend auf einigen gängigen Typen gruppiert werden wer die Kunden sind Und wie die Daten aufgeteilt werden.

• Geräteübergreifendes vs. siloübergreifendes föderiertes Lernen

Geräteübergreifendes föderiertes Lernen Die Nutzung vieler Purchasers, die bis zu Millionen umfassen können, wie persönliche Geräte oder Telefone, umfasst jeweils eine kleine Menge lokaler Daten und eine unzuverlässige Konnektivität. Zu einem bestimmten Zeitpunkt nimmt jedoch nur ein kleiner Bruchteil der Geräte an einer bestimmten Runde teil. Google Gboard ist ein typisches Beispiel für dieses Setup.

Siloübergreifend föderiertes Lernen, auf der anderen Seite, Beteiligt ist eine viel kleinere Anzahl von Kunden, in der Regel Organisationen wie Krankenhäuser oder Banken. Jeder Consumer verfügt über einen großen Datensatz und verfügt über stabile Rechenleistung und Konnektivität. Die meisten realen Anwendungsfälle in Unternehmen und im Gesundheitswesen sehen aus wie siloübergreifendes, föderiertes Lernen.

• Horizontales vs. vertikales föderiertes Lernen

Horizontales föderiertes Lernen beschreibt, wie Daten auf mehrere Purchasers aufgeteilt werden. In diesem Fall teilen sich alle Purchasers den gleichen Characteristic-Area, aber jeder enthält unterschiedliche Samples. Beispielsweise können mehrere Krankenhäuser dieselben medizinischen Variablen erfassen, jedoch für unterschiedliche Patienten. Dies ist die häufigste Type des föderierten Lernens.

Vertikales föderiertes Lernen wird verwendet, wenn Purchasers denselben Entitätssatz teilen, aber über unterschiedliche Funktionen verfügen. Beispielsweise verfügen möglicherweise ein Krankenhaus und ein Versicherungsanbieter über Daten zu denselben Personen, jedoch mit unterschiedlichen Attributen. Das Coaching erfordert in diesem Fall eine sichere Koordination, da sich die Characteristic-Räume unterscheiden, und dieser Aufbau ist weniger verbreitet als horizontales föderiertes Lernen.

Diese Kategorien schließen sich gegenseitig nicht aus. Ein reales System wird oft mit beiden Achsen beschrieben, zum Beispiel a Siloübergreifendes, horizontales föderiertes Lernen aufstellen.

Wie Federated Studying funktioniert

Federated Studying folgt einem einfachen, wiederholten Prozess, der von einem zentralen Server koordiniert und von mehreren Purchasers ausgeführt wird, die Daten lokal speichern, wie im Diagramm unten dargestellt.

Das Coaching im föderierten Lernen erfolgt durch Wiederholung Verbundlernrunden. In jeder Runde wählt der Server eine kleine zufällige Teilmenge von Purchasers aus, sendet ihnen die aktuellen Modellgewichte und wartet auf Aktualisierungen. Jeder Consumer trainiert das Modell lokal mit stochastischer Gradientenabstiegnormalerweise für mehrere lokale Epochen in eigenen Stapeln, und gibt nur die aktualisierten Gewichte zurück. Auf hoher Ebene folgt es den folgenden fünf Schritten:

1. Initialisierung

Auf dem Server wird ein globales Modell erstellt, das als Koordinator fungiert. Das Modell kann zufällig initialisiert werden oder in einem vorab trainierten Zustand beginnen.

2. Modellverteilung

In jeder Runde wählt der Server eine Reihe von Purchasers aus (basierend auf Zufallsstichproben oder einer vordefinierten Strategie), die am Coaching teilnehmen, und sendet ihnen die aktuellen globalen Modellgewichte. Bei diesen Purchasers kann es sich um Telefone, IoT-Geräte oder einzelne Krankenhäuser handeln.

3. Lokale Ausbildung

Jeder ausgewählte Consumer trainiert das Modell dann lokal mit seinen eigenen Daten. Die Daten verlassen nie den Kunden und alle Berechnungen erfolgen auf dem Gerät oder innerhalb einer Organisation wie einem Krankenhaus oder einer Financial institution.

4. Modellaktualisierungskommunikation

Nach dem lokalen Coaching senden Purchasers nur die aktualisierten Modellparameter (z. B. Gewichtungen oder Gradienten) an den Server zurück, während Rohdaten jederzeit geteilt werden.

5. Aggregation

Der Server aggregiert die Consumer-Updates, um ein neues globales Modell zu erstellen. Während Föderierte Mittelwertbildung (Fed Avg) ist ein gängiger Ansatz für die Aggregation, Es werden auch andere Strategien verwendet. Das aktualisierte Modell wird dann an die Purchasers zurückgesendet und der Vorgang wiederholt sich bis zur Konvergenz.

Federated Studying ist ein iterativer Prozess und jeder Durchgang durch diese Schleife wird als Runde bezeichnet. Das Coaching eines föderierten Modells erfordert normalerweise viele Runden, manchmal Hunderte, abhängig von Faktoren wie Modellgröße, Datenverteilung und dem zu lösenden Downside.

Mathematische Instinct hinter Federated Averaging

Der oben beschriebene Workflow kann auch formeller geschrieben werden. Die Abbildung unten zeigt das Unique Föderierte Mittelwertbildung (Fed Avg) Algorithmus von Googles bahnbrechendes Papier. Dieser Algorithmus wurde später zum Hauptbezugspunkt und zeigte, dass föderiertes Lernen in der Praxis funktionieren kann. Diese Formulierung wurde heute tatsächlich zum Bezugspunkt für die meisten föderierten Lernsysteme.

Der ursprüngliche Federated Averaging-Algorithmus, der die Server-Consumer-Trainingsschleife und die gewichtete Aggregation lokaler Modelle zeigt.
Das Herzstück von Federated Averaging ist der Aggregationsschritt, bei dem der Server das globale Modell aktualisiert, indem er einen gewichteten Durchschnitt der lokal trainierten Clientmodelle ermittelt. Dies kann wie folgt geschrieben werden:

Diese Gleichung macht deutlich, wie jeder Kunde zum globalen Modell beiträgt. Kunden mit mehr lokalen Daten haben einen größeren Einfluss, während Kunden mit weniger Stichproben proportional weniger beitragen. In der Praxis ist diese einfache Idee der Grund, warum Fed Avg zur Standardbasis für föderiertes Lernen wurde.

Eine einfache NumPy-Implementierung

Schauen wir uns ein Minimalbeispiel an, bei dem fünf Kunden ausgewählt wurden. Der Einfachheit halber gehen wir davon aus, dass jeder Kunde das lokale Coaching bereits abgeschlossen hat und seine aktualisierten Modellgewichte zusammen mit der Anzahl der verwendeten Proben zurückgegeben hat. Anhand dieser Werte berechnet der Server eine gewichtete Summe, die das neue globale Modell für die nächste Runde erzeugt. Dies spiegelt direkt die Fed-Durchschnittsgleichung wider, ohne dass Schulungen oder kundenseitige Particulars eingeführt werden müssen.

import numpy as np

# Consumer fashions after native coaching (w_{t+1}^ok)
client_weights = (
    np.array((1.0, 0.8, 0.5)),     # consumer 1
    np.array((1.2, 0.9, 0.6)),     # consumer 2
    np.array((0.9, 0.7, 0.4)),     # consumer 3
    np.array((1.1, 0.85, 0.55)),   # consumer 4
    np.array((1.3, 1.0, 0.65))     # consumer 5
)

# Variety of samples at every consumer (n_k)
client_sizes = (50, 150, 100, 300, 4000)

# m_t = whole variety of samples throughout chosen shoppers S_t
m_t = sum(client_sizes) # 50+150+100+300+400

# Initialize international mannequin w_{t+1}
w_t_plus_1 = np.zeros_like(client_weights(0))

# FedAvg aggregation:

# w_{t+1} = sum_{ok in S_t} (n_k / m_t) * w_{t+1}^ok
# (50/1000) * w_1 + (150/1000) * w_2 + ...

for w_k, n_k in zip(client_weights, client_sizes):
    w_t_plus_1 += (n_k / m_t) * w_k

print("Aggregated international mannequin w_{t+1}:", w_t_plus_1)
-------------------------------------------------------------
Aggregated international mannequin w_{t+1}: (1.27173913 0.97826087 0.63478261)

Wie die Aggregation berechnet wird

Um die Dinge ins rechte Licht zu rücken: Wir können den Aggregationsschritt auf nur zwei Kunden erweitern und sehen, wie die Zahlen übereinstimmen.

Herausforderungen in föderierten Lernumgebungen

Föderiertes Lernen bringt seine eigenen Herausforderungen mit sich. Eines der Hauptprobleme bei der Implementierung besteht darin, dass die Daten zwischen den Purchasers häufig nicht-IID (nicht unabhängig und identisch verteilt) sind. Dies bedeutet, dass verschiedene Purchasers möglicherweise sehr unterschiedliche Datenverteilungen sehen, was wiederum das Coaching verlangsamen und das globale Modell instabiler machen kann. Beispielsweise können Krankenhäuser in einer Föderation unterschiedliche Bevölkerungsgruppen versorgen, die unterschiedlichen Mustern folgen können.

Föderierte Systeme können alles umfassen, von einigen wenigen Organisationen bis hin zu Millionen von Geräten, und die Verwaltung von Beteiligung, Abbrüchen und Aggregation wird mit zunehmender Systemgröße schwieriger.

Während föderiertes Lernen die Rohdaten lokal hält, löst es keine vollständige Lösung Privatsphäre von allein. Bei Modellaktualisierungen können immer noch personal Informationen verloren gehen, wenn sie nicht geschützt sind. Daher sind häufig zusätzliche Datenschutzmethoden erforderlich. Endlich, Kommunikation kann eine Quelle von Engpässen sein. Da Netzwerke langsam oder unzuverlässig sein können und das Senden häufiger Updates kostspielig sein kann.

Fazit und wie es weitergeht

In diesem Artikel haben wir verstanden, wie föderiertes Lernen auf hohem Niveau funktioniert, und sind auch eine einfache Numpy-Implementierung durchgegangen. Anstatt jedoch die Kernlogik von Hand zu schreiben, gibt es Frameworks wie Flower, die eine einfache und versatile Möglichkeit zum Aufbau föderierter Lernsysteme bieten. Im nächsten Teil nutzen wir Flower, um die schwere Arbeit für uns zu erledigen, damit wir uns auf das Modell und die Daten konzentrieren können und nicht auf die Mechanismen des föderierten Lernens. Wir werden auch einen Blick darauf werfen föderierte LLMswo Modellgröße, Kommunikationskosten und Datenschutzbeschränkungen noch wichtiger werden.

---

Hinweis: Alle Bilder wurden, sofern nicht anders angegeben, vom Autor erstellt.

Föderierte Lernen (FL) trainieren wir AI -Modelle. Anstatt alle Ihre sensiblen Daten an einen zentralen Standort zu senden, hält FL die Daten dort, wo sie sich befinden, und teilen nur Modellaktualisierungen. Dies bewahrt die Privatsphäre und ermöglicht es KI, näher an den Daten zu rennen, wo die Daten generiert werden.

Bei Berechnung und Daten auf vielen Geräten entstehen jedoch neue Sicherheitsherausforderungen. Angreifer können sich dem Trainingsprozess anschließen und auf subtile Weise beeinflussen, was zu einer erneuten Genauigkeit, voreingenommenen Outputs oder versteckten Hinterhalten im Modell führt.

In diesem Projekt haben wir untersucht, wie wir solche Angriffe in FL erkennen und mildern können. Zu diesem Zweck haben wir einen Multi -Node -Simulator erstellt, mit dem Forscher und Fachleute der Industrie Angriffe reproduzieren und die Verteidigung effizienter testen können.

Warum ist das wichtig

• Ein nichttechnisches Beispiel: Denken Sie an ein gemeinsames Rezeptbuch, zu dem Köche aus vielen Eating places beitragen. Jeder Koch aktualisiert einige Rezepte mit eigenen Verbesserungen. Ein unehrlicher Koch konnte absichtlich die falschen Zutaten hinzufügen, um das Gericht zu sabotieren oder leise einen speziellen Geschmack einfügen, den nur sie wissen, wie man repariert. Wenn niemand die Rezepte sorgfältig überprüft, könnten alle zukünftigen Gäste in allen Eating places ruinierte oder manipulierte Mahlzeiten enden.
• Ein technisches Beispiel: Das gleiche Konzept erscheint in FL als Datenvergiftung (Manipulation Coaching Beispiele) und Modellvergiftung (Änderung der Gewichtsaktualisierungen). Diese Angriffe sind besonders schädlich, wenn die Föderation über nicht IID -Datenverteilungen, unausgeglichene Datenpartitionen oder verspätete Kunden verfügt. Zeitgenössische Verteidigung wie z. Multi KrumAnwesend Mitgeschnittenen Mittelwert Und Dividieren und erobern kann in bestimmten Szenarien immer noch scheitern.

Erstellen des Multi -Knoten -FL -Angriffssimulators

Um die Widerstandsfähigkeit des Federated-Lernens gegen reale Bedrohungen zu bewerten, haben wir einen Multi-Knoten-Angriffssimulator über dem erstellt Skala -System Fedn Framework. Dieser Simulator ermöglicht es, Angriffe zu reproduzieren, Abwehrkräfte zu testen und Experimente mit Hunderten oder sogar Tausenden von Kunden in einer kontrollierten Umgebung zu skalieren.

Schlüsselfunktionen:

• Versatile Bereitstellung: Läuft verteilte FL -Jobs mit Kubernetes, Helm und Docker.
• Realistische Dateneinstellungen: Unterstützt IID/Nicht-IID-Etikettenverteilungen, unausgewogene Datenpartitionen und verspätet bei den Shoppers.
• Angriffsinjektion: Beinhaltet die Implementierung gemeinsamer Vergiftungsangriffe (Label Flipping, wenig reicht aus) und ermöglicht es, neue Angriffe mit Leichtigkeit zu definieren.
• Verteidigungsbenchmarking: Integriert vorhandene Aggregationsstrategien (Fedavg, Trimmed Imply, Multi-Krum, Divide und Eroberung) und ermöglicht das Experimentieren und Testen einer Reihe von Verteidigungsstrategien und Aggregationsregeln.
• Skalierbares Experimentieren: Simulationsparameter wie die Anzahl der Shoppers, die böswillige Freigabe und die Teilnahmemuster können von einer einzelnen Konfigurationsdatei eingestellt werden.

Verwendung Fedns Architektur bedeutet, dass die Simulationen von der robusten Schulungsorchestrierung und dem Kundenmanagement profitieren und die visuelle Überwachung über die ermöglichen Studio -Weboberfläche.

Es ist auch wichtig zu beachten, dass das Fedn -Framework unterstützt Serverfunktionen. Diese Funktion ermöglicht es, neue Aggregationsstrategien zu implementieren und sie mit dem Angriffssimulator zu bewerten.

Um mit dem ersten Beispielprojekt mit Fedn zu beginnen, Hier ist der QuickStart Information.

Der Fedn -Rahmen ist für alle akademischen und Forschungsprojekte sowie für Industrieprüfung und Versuche kostenlos.

Der Angriffssimulator ist verfügbar und als Open -Supply -Software program bereit.

Die Angriffe, die wir studiert haben

• Beschriftung Flipping (Datenvergiftung) – Bösartige Kunden drehen Etiketten in ihren lokalen Datensätzen auf, wie z. B. „Katze“ in „Hund“, um die Genauigkeit zu verringern.
• Wenig ist genug (Modellvergiftung) – Angreifer nehmen kleine, aber gezielte Anpassungen ihrer Modellaktualisierungen vor, um die globale Modellausgabe auf ihre eigenen Ziele zu verändern. In dieser These haben wir die Kleine angewendet, die jede dritte Runde ausreicht.

Jenseits der Angriffe – Verständnis für unbeabsichtigte Auswirkungen

Während sich diese Studie auf absichtliche Angriffe konzentriert, ist sie gleichermaßen wertvoll, um die Auswirkungen marginaler Beiträge zu verstehen, die durch Misskonfigurationen oder Gerätefehlfunktionen in großen Verbänden verursacht werden.

In unserem Rezeptbeispiel kann selbst ein ehrlicher Koch versehentlich die falsche Zutat verwenden, da sein Ofen gebrochen ist oder seine Skala ungenau ist. Der Fehler ist unbeabsichtigt, aber er verändert das gemeinsame Rezept immer noch auf eine Weise, die schädlich sein könnte, wenn sie von vielen Mitwirkenden wiederholt werden.

In Cross-System- oder Flotten-Lern-Setups, bei denen Tausende oder Millionen heterogener Geräte zu einem gemeinsamen Modell beitragen, können fehlerhafte Sensoren, veraltete Konfigurationen oder instabile Verbindungen die Modellleistung auf ähnliche Weise wie böswillige Angriffe beeinträchtigen. Das Studium der Belastbarkeit der Angriffe zeigt auch, wie die Aggregationsregeln für solch unbeabsichtigte Lärm sturdy werden können.

Minderungsstrategien erklärt

In FL entscheiden die Aggregationsregeln, wie Sie Modellaktualisierungen von Kunden kombinieren. Robuste Aggregationsregeln zielen darauf ab, den Einfluss von Ausreißern zu verringern, sei es durch böswillige Angriffe oder fehlerhafte Geräte. Hier sind die Strategien, die wir getestet haben:

• Fedavg (Grundlinie) – Durchschnittlich alle Aktualisierungen ohne Filterung. Sehr anfällig für Angriffe.

• MEGEL (TRMEAN) – Sortiert jeden Parameter über Shoppers hinweg und verwirft dann die höchsten und niedrigsten Werte vor der Mittelung. Reduziert excessive Ausreißer, kann aber subtile Angriffe verpassen.
• Multi Krum – bewertet jedes Replace, indem es an seinen nächsten Nachbarn im Parameterraum liegt und nur diejenigen mit der kleinsten Gesamtentfernung behält. Sehr empfindlich auf die Anzahl der ausgewählten Aktualisierungen (Okay).
• EE beschnittene Mittelwert (neu entwickelt) – Eine adaptive Model von TRMEAN, die Epsilon -Grasping -Planung verwendet, um zu entscheiden, wann verschiedene Shopper -Teilmengen getestet werden sollen. Widerstandsfähiger gegen sich ändernde Kundenverhalten, verspätete Ankünfte und Nicht -IID -Verteilungen.

In diesem Beitrag präsentierten Tabellen und Handlungen wurden ursprünglich vom Scaleout -Group entworfen.

Experimente

In 180 Experimenten haben wir verschiedene Aggregationsstrategien unter verschiedenen Angriffstypen, böswilligen Kundenverhältnissen und Datenverteilungen bewertet. Für weitere Particulars lesen Sie bitte die Vollständige These hier .

Die obige Tabelle zeigt eine der Experimentenreihen mit einem Label-Flipping-Angriff mit nicht-IID-Etiketten verteilt und teilweise unausgeglichener Datenpartitionen. Die Tabelle zeigt Testgenauigkeit Und Testverlust AUCberechnet über alle teilnehmenden Shoppers. Die Ergebnisse jeder Aggregationsstrategie werden in zwei Zeilen gezeigt, die den beiden entsprechen Spätpolitik (Gutartige Kunden, die aus der 5. Runde teilnehmen oder schädliche Kunden, die aus der 5. Runde teilnehmen). Spalten trennen die Ergebnisse in den drei böswilligen Proportionen und ergeben sechs Experimentkonfigurationen professional Aggregationsstrategie. Das beste Ergebnis in jeder Konfiguration wird in angezeigt deutlich.

Während die Tabelle eine relativ homogene Reaktion in allen Verteidigungsstrategien zeigt, bieten die einzelnen Diagramme eine völlig andere Ansicht. Obwohl eine Föderation ein gewisses Maß an Genauigkeit erreichen kann, ist es gleichermaßen wichtig, die Kundenbeteiligung zu untersuchen – insbesondere, die Kunden erfolgreich zur Schulung beigetragen haben und die als böswillig abgelehnt wurden. Die folgenden Grundstücke veranschaulichen die Teilnahme der Kunden unter verschiedenen Verteidigungsstrategien.

Mit 20% böswilligen Kunden unter einem Label-Flipper-Angriff auf nicht-iid, teilweise unausgewogene Daten, beschnittene Mittelwert (Fig. 1) Die Gesamtgenauigkeit aufrechterhalten, aber keinen Kunden vollständig von Beitrag zu tragen. Während die Koordinatentrennung die Auswirkungen böswilliger Updates verringerte, fiel es die Parameter einzeln, anstatt ganze Kunden auszuschließen, wodurch sowohl gutartige als auch böswillige Teilnehmer während des gesamten Trainings in der Aggregation bleiben können.

In einem Szenario mit 30% verspäteten böswilligen Kunden und nicht-IID-Daten, Multi-Krum (nicht iid, unausgeglichene DatenAbb. 2) Wählte fälschlicherweise ein böswilliges Replace von Runde 5 aus. Hohe Datenheterogenität ließen gutartige Aktualisierungen weniger ähnlich erscheinen, sodass das böswillige Replace als eines der zentralsten und anhaltendsten in einem Drittel des aggregierten Modells für den Relaxation des Trainings anhält.

Warum wir adaptive Aggregationsstrategien brauchen

Bestehende robuste Aggregationsregeln beruhen im Allgemeinen auf statischen Schwellenwerten, um zu entscheiden, welches Shopper -Replace in die Aggregation des neuen globalen Modells einbezogen wird. Dies unterstreicht einen Mangel der aktuellen Aggregationsstrategien, mit denen sie für spät teilnehmende Kunden, Nicht-IID-Datenverteilungen oder Datenvolumen-Ungleichgewichte zwischen Kunden anfällig werden können. Diese Erkenntnisse haben uns dazu veranlasst, EE-miteinander verbundene Mittelwert zu entwickeln (EE-T-TRMean).

EE-T-TRMEAN: Eine Epsilon Grasping Aggregationsstrategie

EE-T-TRMEAN bauen auf dem klassischen Mittelwert auf, fügt jedoch eine Exploration vs. Exploitation, Epsilon Grasping-Schicht für die Kundenauswahl hinzu.

• Explorationsphase: Alle Kunden dürfen einen Beitrag leisten und eine normale mittlere Aggregationsrunde wird ausgeführt.
• Ausbeutungsphase: Die Kunden, die am wenigsten geschnitten wurden, werden in der Ausbeutungsphase über ein durchschnittliches Rating -System aufgenommen, das auf früheren Runden basiert, die daran teilgenommen haben.
• Der Schalter zwischen den beiden Phasen wird durch die Epsilon-Grasping-Richtlinie mit einem verfallenen Epsilon und einer Alpha-Rampe gesteuert.

Jeder Kunde verdient eine Punktzahl, die darauf basiert, ob seine Parameter in jeder Runde das Trimmen überleben. Im Laufe der Zeit wird der Algorithmus zunehmend die Kunden mit höchster Punktzahl bevorzugen, während sie gelegentlich andere untersuchen, um Verhaltensänderungen zu erkennen. Dieser adaptive Ansatz ermöglicht es EE-T-TRMean, die Widerstandsfähigkeit in Fällen zu erhöhen, in denen die Datenheterogenität und die böswillige Aktivität hoch sind.

In einem Label-Flipping-Szenario mit 20% böswilligen Kunden und verspäteten gutartigen Tischern auf nicht-iid, teilweise unausgeglichenen Daten, EE-T-TRMEAN (Abb. 3) Wechselte zwischen Explorations- und Nutzungsphasen, die allen Kunden zulassen und dann selektiv die niedrigen Bewertungen blockieren. Während es aufgrund der Datenheterogenität (immer noch viel besser als die bekannten Strategien) gelegentlich einen gutartigen Kunden ausschloss, identifizierte und minimierte es die Beiträge böswilliger Kunden während des Trainings erfolgreich. Diese einfache, aber leistungsstarke Änderung verbessert die Beiträge des Kunden. Die Literatur berichtet, dass die Genauigkeit des Modells, solange die Mehrheit der Kunden ehrlich ist, zuverlässig ist.