Eine von MIT-Forschern entwickelte neue Methode kann eine datenschutzschonende Trainingsmethode für künstliche Intelligenz um etwa 81 Prozent beschleunigen. Dieser Fortschritt könnte es einer breiteren Palette ressourcenbeschränkter Edge-Geräte wie Sensoren und Smartwatches ermöglichen, genauere KI-Modelle bereitzustellen und gleichzeitig die Sicherheit der Benutzerdaten zu gewährleisten.
Die MIT-Forscher steigerten die Effizienz einer Technik namens „Federated Studying“, bei der ein Netzwerk verbundener Geräte zum Trainieren eines gemeinsamen KI-Modells zusammenarbeiten.
Beim föderierten Lernen wird das Modell von einem zentralen Server an drahtlose Geräte übertragen. Jedes Gerät trainiert das Modell anhand seiner lokalen Daten und überträgt dann Modellaktualisierungen zurück an den Server. Die Daten werden sicher aufbewahrt, da sie auf jedem Gerät verbleiben.
Aber nicht alle Geräte im Netzwerk verfügen über genügend Kapazität, Rechenleistung und Konnektivität, um das Modell zeitnah zu speichern, zu trainieren und mit dem Server hin und her zu übertragen. Dadurch kommt es zu Verzögerungen, die die Trainingsleistung verschlechtern.
Die MIT-Forscher entwickelten eine Technik, um diese Speicherbeschränkungen und Kommunikationsengpässe zu überwinden. Ihre Methode ist für den Umgang mit einem heterogenen Netzwerk drahtloser Geräte mit unterschiedlichen Einschränkungen konzipiert.
Dieser neue Ansatz könnte den Einsatz von KI-Modellen in anspruchsvollen Anwendungen mit strengen Sicherheits- und Datenschutzstandards, etwa im Gesundheitswesen und im Finanzwesen, praktikabler machen.
„Bei dieser Arbeit geht es darum, KI auf kleine Geräte zu bringen, auf denen es derzeit nicht möglich ist, solche leistungsstarken Modelle auszuführen. Wir tragen diese Geräte in unserem täglichen Leben mit uns herum. Wir brauchen KI, um auf diesen Geräten laufen zu können, nicht nur auf riesigen Servern und GPUs, und diese Arbeit ist ein wichtiger Schritt, um dies zu ermöglichen“, sagt Irene Tenison, Absolventin der Elektrotechnik und Informatik (EECS) und Hauptautorin von a Papier über diese Technik.
Zu ihren Co-Autoren gehören Anna Murphy ’25, eine Ingenieurin für maschinelles Lernen am Lincoln Laboratory; Charles Beauville, Gaststudent der Ecole Polytechnique Fédérale de Lausanne (EPFL) in der Schweiz und Ingenieur für maschinelles Lernen bei Flower Labs; und die leitende Autorin Lalana Kagal, eine leitende Forschungswissenschaftlerin am Pc Science and Synthetic Intelligence Laboratory (CSAIL) am MIT. Die Forschungsergebnisse werden auf der IEEE Worldwide Joint Convention on Neural Networks vorgestellt.
Reduzierung der Verzögerungszeit
Viele föderierte Lernansätze gehen davon aus, dass alle Geräte im Netzwerk über genügend Speicher verfügen, um das vollständige KI-Modell zu trainieren, und über eine stabile Konnektivität, um Aktualisierungen schnell an den Server zurückzusenden.
Diese Annahmen greifen jedoch bei einem Netzwerk heterogener Geräte wie Smartwatches, drahtlosen Sensoren und Mobiltelefonen zu kurz. Diese Edge-Geräte verfügen über begrenzten Speicher und Rechenleistung und sind häufig mit zeitweiligen Netzwerkkonnektivitäten konfrontiert.
Der zentrale Server wartet normalerweise auf den Empfang von Modellaktualisierungen von allen Geräten und ermittelt dann den Durchschnitt, um die Trainingsrunde abzuschließen. Dieser Vorgang wiederholt sich, bis das Coaching abgeschlossen ist.
„Diese Verzögerungszeit kann den Trainingsvorgang verlangsamen oder sogar zum Scheitern bringen“, sagt Tenison.
Um diese Einschränkungen zu überwinden, haben die MIT-Forscher ein neues Framework namens FTTE (Federated Tiny Coaching Engine) entwickelt, das den von jedem Mobilgerät benötigten Speicher- und Kommunikationsaufwand reduziert.
Ihr Rahmen umfasst drei Hauptinnovationen.
Anstatt das gesamte Modell an alle Geräte zu senden, sendet FTTE stattdessen eine kleinere Teilmenge der Modellparameter, wodurch der Speicherbedarf für jedes Gerät reduziert wird. Parameter sind interne Variablen, die das Modell während des Trainings anpasst.
FTTE verwendet ein spezielles Suchverfahren, um Parameter zu identifizieren, die die Genauigkeit des Modells maximieren und gleichzeitig ein bestimmtes Speicherbudget einhalten. Dieses Restrict wird basierend auf dem Gerät mit der höchsten Speicherbeschränkung festgelegt.
Zweitens aktualisiert der Server das Modell mithilfe eines asynchronen Ansatzes. Anstatt auf Antworten von allen Geräten zu warten, sammelt der Server eingehende Aktualisierungen, bis eine feste Kapazität erreicht ist, und fährt dann mit der Trainingsrunde fort.
Drittens gewichtet der Server Aktualisierungen von jedem Gerät basierend darauf, wann er sie erhalten hat. Auf diese Weise tragen ältere Updates nicht so viel zum Trainingsprozess bei. Diese veralteten Daten können das Modell behindern, den Trainingsprozess verlangsamen und die Genauigkeit verringern.
„Wir verwenden diesen semi-asynchronen Ansatz, weil wir die leistungsschwächsten Geräte in den Trainingsprozess einbeziehen wollen, damit sie ihre Daten zum Modell beitragen können, aber wir wollen nicht, dass die leistungsstärkeren Geräte im Netzwerk lange Zeit untätig bleiben und Ressourcen verschwenden“, sagt Tenison.
Beschleunigung erreichen
Die Forscher testeten ihr Framework in Simulationen mit Hunderten heterogenen Geräten und einer Vielzahl von Modellen und Datensätzen. Im Durchschnitt ermöglichte FTTE einen um 81 Prozent schnelleren Abschluss des Schulungsverfahrens als standardmäßige föderierte Lernansätze.
Ihre Methode reduzierte den Speicheraufwand auf dem Gerät um 80 Prozent und die Kommunikationsnutzlast um 69 Prozent und erreichte dabei nahezu die Genauigkeit anderer Techniken.
„Da wir möchten, dass das Modell so schnell wie möglich trainiert, um die Batterielebensdauer dieser ressourcenbeschränkten Geräte zu schonen, müssen wir bei der Genauigkeit einen Kompromiss eingehen. Bei einigen Anwendungen könnte jedoch ein kleiner Rückgang der Genauigkeit akzeptabel sein, insbesondere da unsere Methode so viel schneller arbeitet“, sagt sie.
FTTE zeigte außerdem eine effektive Skalierbarkeit und lieferte höhere Leistungssteigerungen für größere Gerätegruppen.
Zusätzlich zu diesen Simulationen testeten die Forscher FTTE an einem kleinen Netzwerk realer Geräte mit unterschiedlichen Rechenkapazitäten.
„Nicht jeder hat das neueste Apple iPhone. In vielen Entwicklungsländern verfügen die Benutzer beispielsweise möglicherweise über weniger leistungsstarke Mobiltelefone. Mit unserer Technik können wir die Vorteile des föderierten Lernens in diese Umgebungen bringen“, sagt sie.
In Zukunft wollen die Forscher untersuchen, wie ihre Methode genutzt werden könnte, um die personalisierte Leistung von KI-Modellen auf jedem Gerät zu steigern, anstatt sich auf die durchschnittliche Leistung des Modells zu konzentrieren. Sie wollen auch größere Experimente auf realer {Hardware} durchführen.
Diese Arbeit wurde teilweise durch ein Takeda-Doktorandenstipendium finanziert.