Bild vom Autor

# Einführung

Letzten Monat starrte ich auf meinen Kontoauszug und versuchte herauszufinden, wohin mein Geld eigentlich floss. Tabellenkalkulationen fühlten sich umständlich an. Bestehende Apps sind wie Blackboxen und das Schlimmste ist, dass sie verlangen, dass ich meine sensiblen Finanzdaten auf einen Cloud-Server hochlade. Ich wollte etwas anderes. Ich wollte einen KI-Datenanalysten, der meine Ausgaben analysieren, ungewöhnliche Transaktionen erkennen und mir klare Erkenntnisse liefern kann – und das alles, während meine Daten zu 100 % lokal bleiben. Additionally habe ich eins gebaut.

Was als Wochenendprojekt begann, entwickelte sich zu einem tiefen Einblick in die Vorverarbeitung realer Daten, praktisches maschinelles Lernen und die Leistungsfähigkeit von Native große Sprachmodelle (LLMs). In diesem Artikel werde ich Ihnen zeigen, wie ich mithilfe von eine KI-gestützte Finanzanalyse-App erstellt habe Python mit „Vibe Coding“. Unterwegs lernen Sie viele praktische Konzepte kennen, die auf jedes Information-Science-Projekt anwendbar sind, unabhängig davon, ob Sie Verkaufsprotokolle, Sensordaten oder Kundenfeedback analysieren.

Am Ende werden Sie verstehen:

• So erstellen Sie eine robuste Datenvorverarbeitungspipeline, die chaotische, reale CSV-Dateien verarbeitet
• So wählen Sie Modelle für maschinelles Lernen aus und implementieren sie, wenn Sie nur über begrenzte Trainingsdaten verfügen
• So entwerfen Sie interaktive Visualisierungen, die tatsächlich Benutzerfragen beantworten
• So integrieren Sie ein lokales LLM, um Erkenntnisse in natürlicher Sprache zu generieren, ohne die Privatsphäre zu beeinträchtigen

Der vollständige Quellcode ist verfügbar unter GitHub. Fühlen Sie sich frei, es zu forken, zu erweitern oder als Ausgangspunkt für Ihren eigenen KI-Datenanalysten zu verwenden.

Abb. 1: App-Dashboard mit Ausgabenaufschlüsselung und KI-Einblicken | Bild vom Autor

# Das Downside: Warum ich das gebaut habe

Die meisten persönlichen Finanz-Apps haben einen grundlegenden Fehler: Ihre Daten unterliegen Ihrer Kontrolle. Sie laden Kontoauszüge bei Diensten hoch, die Ihre Informationen speichern, verarbeiten und möglicherweise monetarisieren. Ich wollte ein Werkzeug, das:

1. Lassen Sie mich Daten sofort hochladen und analysieren
2. Alles lokal verarbeitet – keine Cloud, keine Datenlecks
3. Bereitstellung KI-gestützter Erkenntnisse, nicht nur statischer Diagramme

Dieses Projekt wurde zu meinem Instrument, um mehrere Konzepte zu erlernen, die jeder Datenwissenschaftler kennen sollte, wie den Umgang mit inkonsistenten Datenformaten, die Auswahl von Algorithmen, die mit kleinen Datensätzen arbeiten, und die Entwicklung datenschutzschützender KI-Funktionen.

# Projektarchitektur

Bevor wir uns mit dem Code befassen, finden Sie hier eine Projektstruktur, die zeigt, wie die Teile zusammenpassen:

undertaking/   
  ├── app.py              # Primary Streamlit app
  ├── config.py           # Settings (classes, Ollama config)
  ├── preprocessing.py    # Auto-detect CSV codecs, normalize information
  ├── ml_models.py        # Transaction classifier + Isolation Forest anomaly detector
  ├── visualizations.py   # Plotly charts (pie, bar, timeline, heatmap)
  ├── llm_integration.py  # Ollama streaming integration
  ├── necessities.txt    # Dependencies
  ├── README.md           # Documentation with "deep dive" classes
  └── sample_data/
    ├── sample_bank_statement.csv
    └── sample_bank_format_2.csv

Wir werden uns den Aufbau jeder Ebene Schritt für Schritt ansehen.

# Schritt 1: Aufbau einer robusten Datenvorverarbeitungspipeline

Die erste Lektion, die ich gelernt habe, warfare, dass reale Daten chaotisch sind. Verschiedene Banken exportieren CSVs in völlig unterschiedlichen Formaten. Chase Financial institution verwendet „Transaktionsdatum“ und „Betrag“. Financial institution of America verwendet die Spalten „Datum“, „Zahlungsempfänger“ und „Soll“https://www.kdnuggets.com/„Kredit“. Moniepoint und OPay haben jeweils ihre eigenen Stile.

Eine Vorverarbeitungspipeline muss diese Unterschiede automatisch verarbeiten.

// Automatische Erkennung von Spaltenzuordnungen

Ich habe ein Mustervergleichssystem erstellt, das Spalten unabhängig von Namenskonventionen identifiziert. Mithilfe regulärer Ausdrücke können wir unklare Spaltennamen auf Standardfelder abbilden.

import re

COLUMN_PATTERNS = {
    "date": (r"date", r"trans.*date", r"posting.*date"),
    "description": (r"description", r"memo", r"payee", r"service provider"),
    "quantity": (r"^quantity$", r"transaction.*quantity"),
    "debit": (r"debit", r"withdrawal", r"expense"),
    "credit score": (r"credit score", r"deposit", r"revenue"),
}

def detect_column_mapping(df):
    mapping = {}
    for area, patterns in COLUMN_PATTERNS.gadgets():
        for col in df.columns:
            for sample in patterns:
                if re.search(sample, col.decrease()):
                    mapping(area) = col
                    break
    return mapping

Die wichtigste Erkenntnis: Design für Unterschiede, nicht für bestimmte Formate. Dieser Ansatz funktioniert für jede CSV-Datei, die gängige Finanzbegriffe verwendet.

// Normalisierung auf ein Standardschema

Sobald Spalten erkannt werden, werden wir normalisieren alles in eine einheitliche Struktur. Beispielsweise müssen Banken, die Soll- und Gutschriften aufteilen, in einer einzigen Betragsspalte zusammengefasst werden (negativ für Ausgaben, positiv für Einnahmen):

if "debit" in mapping and "credit score" in mapping:
    debit = df(mapping("debit")).apply(parse_amount).abs() * -1
    credit score = df(mapping("credit score")).apply(parse_amount).abs()
    normalized("quantity") = credit score + debit

Schlüssel zum Mitnehmen: Normalisieren Sie Ihre Daten so schnell wie möglich. Es vereinfacht alle folgenden Vorgänge, wie Function-Engineering, Modellierung durch maschinelles Lernen und Visualisierung.

Abb. 2: Der Vorverarbeitungsbericht zeigt, was die Pipeline erkannt hat, und gibt Benutzern Transparenz | Bild vom Autor

# Schritt 2: Auswählen von Modellen für maschinelles Lernen für begrenzte Daten

Die zweite große Herausforderung sind begrenzte Trainingsdaten. Benutzer laden ihre eigenen Aussagen hoch und es gibt keinen umfangreichen beschrifteten Datensatz zum Trainieren eines Deep-Studying-Modells. Wir brauchen Algorithmen, die mit kleinen Stichproben intestine funktionieren und mit einfachen Regeln erweitert werden können.

// Transaktionsklassifizierung: Ein hybrider Ansatz

Anstelle von reinem maschinellem Lernen habe ich ein Hybridsystem aufgebaut:

1. Regelbasierter Abgleich für sichere Fälle (z. B. Schlüsselwörter wie „WALMART“ → Lebensmittel)
2. Musterbasierter Fallback für mehrdeutige Transaktionen

SPENDING_CATEGORIES = {
    "groceries": ("walmart", "costco", "entire meals", "kroger"),
    "eating": ("restaurant", "starbucks", "mcdonald", "doordash"),
    "transportation": ("uber", "lyft", "shell", "chevron", "fuel"),
    # ... extra classes
}

def classify_transaction(description, quantity):
    for class, key phrases in SPENDING_CATEGORIES.gadgets():
        if any(kw in description.decrease() for kw in key phrases):
            return class
    return "revenue" if quantity > 0 else "different"

Dieser Ansatz funktioniert sofort ohne Trainingsdaten und ist für Benutzer leicht zu verstehen und anzupassen.

// Anomalieerkennung: Warum Isolation Forest?

Um ungewöhnliche Ausgaben zu erkennen, brauchte ich einen Algorithmus, der Folgendes konnte:

1. Arbeiten Sie mit kleinen Datensätzen (im Gegensatz zu tiefes Lernen)
2. Machen Sie keine Annahmen über die Datenverteilung (im Gegensatz zu statistischen Methoden wie dem Z-Rating allein).
3. Stellen Sie schnelle Vorhersagen für eine interaktive Benutzeroberfläche bereit

Isolationswald von scikit-lernen hat alle Kriterien erfüllt. Es isoliert Anomalien durch zufällige Partitionierung der Daten. Da es nur wenige und unterschiedliche Anomalien gibt, sind zur Isolierung weniger Aufteilungen erforderlich.

from sklearn.ensemble import IsolationForest

detector = IsolationForest(
    contamination=0.05,  # Anticipate ~5% anomalies
    random_state=42
)
detector.match(options)
predictions = detector.predict(options)  # -1 = anomaly

Ich habe dies auch mit einfachen Z-Rating-Prüfungen kombiniert, um offensichtliche Ausreißer zu erkennen. A Z-Rating beschreibt die Place eines Rohwerts in Bezug auf seinen Abstand vom Mittelwert, gemessen in Standardabweichungen:
(
z = frac{x – mu}{sigma}
)
Der kombinierte Ansatz erkennt mehr Anomalien als jede der beiden Methoden allein.

Schlüssel zum Mitnehmen: Manchmal übertreffen einfache, intestine ausgewählte Algorithmen komplexe Algorithmen, insbesondere wenn Sie nur über begrenzte Daten verfügen.

Abb. 3: Der Anomaliedetektor markiert ungewöhnliche Transaktionen, die in der Zeitleiste auffallen | Bild vom Autor

# Schritt 3: Entwerfen von Visualisierungen, die Fragen beantworten

Visualisierungen sollten Fragen beantworten und nicht nur Daten anzeigen. Ich habe verwendet Plotly für interaktive Diagramme, da es Benutzern ermöglicht, die Daten selbst zu erkunden. Hier sind die Designprinzipien, denen ich gefolgt bin:

1. Einheitliche Farbkodierung: Rot für Ausgaben, Grün für Einnahmen
2. Kontext durch Vergleich: Zeigen Sie Einnahmen und Ausgaben nebeneinander an
3. Progressive Offenlegung: Zeigen Sie zuerst eine Zusammenfassung an und lassen Sie die Benutzer dann einen Drilldown durchführen

Die Ausgabenaufschlüsselung verwendet beispielsweise ein Donut-Diagramm mit einem Loch in der Mitte für ein übersichtlicheres Erscheinungsbild:

import plotly.specific as px

fig = px.pie(
    category_totals,
    values="Quantity",
    names="Class",
    gap=0.4,
    color_discrete_map=CATEGORY_COLORS
)

Streamlit erleichtert das Hinzufügen dieser Diagramme st.plotly_chart() und ein reaktionsfähiges Dashboard erstellen.

Abb. 4: Mehrere Diagrammtypen bieten Benutzern unterschiedliche Perspektiven auf dieselben Daten | Bild vom Autor

# Schritt 4: Integration eines lokalen großen Sprachmodells für Einblicke in natürliche Sprachen

Das letzte Stück bestand darin, für Menschen lesbare Erkenntnisse zu generieren. Ich habe mich für die Integration entschieden Ollamaein Software zum lokalen Ausführen von LLMs. Warum vor Ort statt anrufen OpenAI oder Claude?

1. Datenschutz: Bankdaten verlassen nie den Automaten
2. Kosten: Unbegrenzte Abfragen, keine API-Gebühren
3. Geschwindigkeit: Keine Netzwerklatenz (obwohl die Generierung noch einige Sekunden dauert)

// Streaming für eine bessere Benutzererfahrung

Es kann mehrere Sekunden dauern, bis LLMs eine Antwort generieren. Streamlit zeigt Token an, sobald sie eintreffen, sodass sich die Wartezeit kürzer anfühlt. Hier ist eine einfache Implementierung mit requests mit Streaming:

import requests
import json

def generate(self, immediate):
    response = requests.submit(
        f"{self.base_url}/api/generate",
        json={"mannequin": "llama3.2", "immediate": immediate, "stream": True},
        stream=True
    )
    for line in response.iter_lines():
        if line:
            information = json.masses(line)
            yield information.get("response", "")

In Streamlit können Sie dies mit anzeigen st.write_stream().

st.write_stream(llm.get_overall_insights(df))

// Immediate Engineering für Finanzdaten

Der Schlüssel zu einer nützlichen LLM-Ausgabe ist eine strukturierte Eingabeaufforderung, die tatsächliche Daten enthält. Zum Beispiel:

immediate = f"""Analyze this monetary abstract:
- Complete Revenue: ${revenue:,.2f}
- Complete Bills: ${bills:,.2f}
- Prime Class: {top_category}
- Largest Anomaly: {anomaly_desc}

Present 2-3 actionable suggestions based mostly on this information."""

Dadurch erhält das Modell konkrete Zahlen, mit denen es arbeiten kann, was zu relevanteren Erkenntnissen führt.

Abb. 5: Die Add-Schnittstelle ist einfach; Wählen Sie eine CSV-Datei und lassen Sie die KI den Relaxation erledigen | Bild vom Autor

// Ausführen der Anwendung

Der Einstieg ist unkompliziert. Sie müssen Python installiert haben und dann Folgendes ausführen:

pip set up -r necessities.txt

# Optionally available, for AI insights
ollama pull llama3.2

streamlit run app.py

Laden Sie eine beliebige Financial institution-CSV-Datei hoch (die App erkennt das Format automatisch) und innerhalb von Sekunden sehen Sie ein Dashboard mit kategorisierten Transaktionen, Anomalien und KI-generierten Erkenntnissen.

# Abschluss

Dieses Projekt hat mich gelehrt, dass der Aufbau von etwas Funktionalem erst der Anfang ist. Das wirkliche Lernen geschah, als ich fragte, warum jedes Stück funktioniert:

• Warum Spalten automatisch erkennen? Weil reale Daten nicht Ihrem Schema folgen. Der Aufbau einer flexiblen Pipeline erspart stundenlanges manuelles Aufräumen.
• Warum Isolationswald? Weil kleine Datensätze speziell für sie entwickelte Algorithmen benötigen. Sie brauchen nicht immer tiefes Lernen.
• Warum lokale LLMs? Weil Datenschutz und Kosten bei der Produktion eine Rolle spielen. Das lokale Ausführen von Modellen ist jetzt praktisch und leistungsstark.

Diese Lektionen gelten weit über die persönlichen Finanzen hinaus, unabhängig davon, ob Sie Verkaufsdaten, Serverprotokolle oder wissenschaftliche Messungen analysieren. Die gleichen Prinzipien der robusten Vorverarbeitung, der pragmatischen Modellierung und der datenschutzbewussten KI kommen Ihnen bei jedem Datenprojekt zugute.

Der vollständige Quellcode ist auf GitHub verfügbar. Teilen Sie es, erweitern Sie es und machen Sie es zu Ihrem eigenen. Wenn du damit etwas Cooles baust, würde ich gerne davon hören.

// Referenzen

Shittu Olumid ist ein Software program-Ingenieur und technischer Autor, der sich leidenschaftlich dafür einsetzt, modernste Technologien zu nutzen, um fesselnde Erzählungen zu erschaffen, mit einem scharfen Blick fürs Element und einem Gespür für die Vereinfachung komplexer Konzepte. Sie können Shittu auch auf finden Twitter.

Liquid AI und Apollo: Deine non-public AI ist verdammt

Ich glaube, es gibt einen KI-Assistenten, der Ihr Web aktiviert und Ihre Daten in Echtzeit verarbeitet. Es ist genau das, was Liquid AI mit sich bringt Grundlagenmodelle (LFMs) und Apollo-appen.

Die letzte Era von LFM2 wurde von Grund auf entwickelt, um den Standort vor Ort zu schützen und zu nutzen, ohne die Batterie oder den Akku aufzuladen.

Liquid AI hat sich von Anfang an auf die große AI-Klasse konzentriert. Es ist für Sie ein enormer Vorteil, wenn Sie einen enormen Modellierungsaufwand erzielen, da Sie so schnell wie möglich arbeiten können. Supereffektive KI-Modellierer können direkt über Ihr Telefon erworben werden.

Das bedeutet, dass Sie mit dem Kopieren von Code oder dem Videoclip-Syftet ein kleines privates LLM- und Mobilgerät haben.

Dies führt dazu, dass die Funktionsfähigkeit des Geräts bei kompakter Größe nicht gewährleistet ist:

Textbearbetning und Språkstöd – Bis über 50 Jahre alt, nur wenige Textnachrichten oder ähnliches ab sofort verfügbar. Der Pilz schnappte sich nicht mehr, nachdem ich direkt am Telefon gesessen hatte.

Multimodaler Enter – Du kannst schreiben, oder Bilder für die Interaktion mit AI:n. Appen förstår din fråga oavsett hur du ställer the.

iOS: App Retailer

Android: Google Play Retailer

Um das AI-Modell Ihres Kindes zu starten, müssen Sie es erst nach der Set up starten.

Liquid Basis Fashions (LFMs) – Aktualisierte Model:

LFM2-2.6B: Ein höchst effektives Testmodell, das für den Einsatz auf einem einzigen Gerät optimiert ist.

LFM2-VL-3B: Ein effektives Imaginative and prescient-Language-Modell, das für Edge Computing entwickelt wurde.

LFM2-VL: Ein grundlegendes, effektives Modell für Imaginative and prescient-Language-Supporter.

LFM2-Audio: Ein Finish-to-Finish-Audiogrundmodell.

LFM2-8B-A1B: Ein effektives Expertenmischungsmodell für den Einsatz auf einem Server.

LFM2-7B: Ein effektives Testmodell, das nicht mehr benötigt wird.

Weitere Informationen:

1. Liquid AI: Erstellen Sie effiziente Allzweck-KI in jeder Größenordnung
2. Wir stellen vor: LFM2: Die schnellste On-System Basis
3. Wir stellen vor: Liquid Nanos – bahnbrechende Leistung auf Alltagsgeräten
4. Liquid AI Kochbuch
5. Flüssige KI – Huggingface
6. Apollo AI auf Android: Sichere, non-public, schnelle KI für alle

WhatsApp testet eine Funktion „Superior Chat Privateness“, die in seiner neuesten iOS -Beta entdeckt wurde und die zusätzliche Sicherheit für smart Gespräche in Einzel- und Gruppen -Chats hinzufügen soll.

Zuerst gemeldet von Wabetainfo Nach dem Erkennen der Beta, die über die Beta versteckt ist TestflugDas Function zielt darauf ab, eine „neue Ebene der Privatsphäre und Sicherheit“ bereitzustellen und Chat -Inhalten für andere zu erschweren.

Die Chats mit aktiviertem Datenschutz sind mit spezifischen Einschränkungen ausgestattet: Sie können nicht exportiert werden, in ihnen geteilte Medien werden nicht automatisch in der Fotobibliothek des Geräts gespeichert, und die Meta -KI -Funktionen sind für diese Konversation vollständig deaktiviert.

Diese Fähigkeit wird sowohl für Einzel- als auch für Gruppendiskussionen entwickelt und bietet den Benutzern eine stärkere Kontrolle über wichtige Nachrichten, die sich mit sensiblen Themen befassen und vorhandene Optionen wie das Verschwinden von Nachrichten ergänzen.

Die Aktivierung fortschrittlicher Privatsphäre wird elective und pro-chat-Foundation verwaltet. Wenn ein Benutzer die Funktion für ein Gespräch anbietet, erhalten andere Teilnehmer eine Benachrichtigung.

Unabhängig davon hat WhatsApp kürzlich seine iOS -App aktualisiert, sodass Benutzer iOS 18.2 oder später als Standardanwendung für Anrufe und Nachrichten auf ihrem iPhone festlegen können. Die App ist kostenlos für die kostenlos erhältlich App Retailer.

Ausgewähltes Bildnachweis

Sprachmodelle (LMs), die darauf trainiert werden, das nächste Wort aus einem eingegebenen Textual content vorherzusagen, sind die Schlüsseltechnologie für viele Anwendungen (1, 2). In GboardLMs werden verwendet, um das Tipperlebnis der Benutzer zu verbessern, indem sie Funktionen wie unterstützen Vorhersage des nächsten Wortes (NWP), Intelligentes Verfassen, smarter Abschluss Und Anregung, Zum Tippen schieben, Und Korrekturlesen. Die Bereitstellung von Modellen auf den Geräten der Benutzer statt auf Unternehmensservern bietet Vorteile wie eine geringere Latenz und einen besseren Datenschutz für die Modellnutzung. Während das Coaching von Modellen auf dem Gerät direkt aus Benutzerdaten die Dienstprogrammleistung für Anwendungen wie NWP und effektiv verbessert Intelligente TextauswahlDer Schutz der Privatsphäre der Benutzerdaten für das Modelltraining ist wichtig.

Gboard-Funktionen, die auf geräteinternen Sprachmodellen basieren.

In diesem Weblog diskutieren wir, wie jahrelange Forschungsfortschritte seit der Proof-of-Idea-Entwicklung von das personal Coaching von Gboard-LMs vorantreiben föderiertes Lernen (FL) im Jahr 2017 und formell unterschiedliche Privatsphäre (DP) Garantien im Jahr 2022. FL ermöglicht Mobiltelefonen das gemeinsame Erlernen eines Modells und behält dabei alle Trainingsdaten auf dem Gerät DP Bietet ein quantifizierbares Maß für die Datenanonymisierung. Formal wird DP oft charakterisiert durch (ε, δ), wobei kleinere Werte stärkere Garantien darstellen. Es wird davon ausgegangen, dass Modelle für maschinelles Lernen (ML) vorhanden sind angemessene DP-Garantien für ε=10 und starke DP-Garantien für ε=1 Wann δ ist klein.

Ab heute werden alle NWP-LMs für neuronale Netzwerke in Gboard mit FL mit formalen DP-Garantien trainiert, und alle zukünftigen Markteinführungen von Gboard-LMs, die auf Benutzerdaten trainiert werden, erfordern DP. Diese über 30 On-System-LMs von Gboard werden in über 7 Sprachen und über 15 Ländern eingeführt und erfüllen (ɛ, δ)-DP-Garantien für kleine δ von 10^-10 und ɛ zwischen 0,994 und 13,69. Nach unserem besten Wissen ist dies der größte bekannte Einsatz von DP auf Benutzerebene in der Produktion bei Google oder anderswo und das erste Mal, dass eine starke DP-Garantie besteht ɛ < 1 wird für Modelle angekündigt, die direkt auf Benutzerdaten trainiert werden.

Datenschutzgrundsätze und -praktiken in Gboard

In „Privates föderiertes Lernen in Gboard“, wir diskutierten, wie unterschiedlich Datenschutzgrundsätze spiegeln sich derzeit in Serienmodellen wider, darunter:

• Transparenz und Benutzerkontrolle: Wir legen offen, welche Daten verwendet werden, zu welchem ​​Zweck sie verwendet werden, wie sie in verschiedenen Kanälen verarbeitet werden und wie Gboard-Benutzer dies problemlos tun können konfigurieren die Datennutzung in Lernmodellen.
• Datenminimierung: FL aggregiert sofort nur gezielte Updates, die ein bestimmtes Modell verbessern. Sichere Aggregation (SecAgg) ist eine Verschlüsselungsmethode, die zusätzlich gewährleistet, dass nur auf aggregierte Ergebnisse der kurzlebigen Aktualisierungen zugegriffen werden kann.
• Datenanonymisierung: DP wird vom Server angewendet, um zu verhindern, dass Modelle die eindeutigen Informationen in den Trainingsdaten einzelner Benutzer speichern.
• Überprüfbarkeit und Überprüfbarkeit: Wir haben die wichtigsten algorithmischen Ansätze und die Datenschutzbuchhaltung in Open-Supply-Code veröffentlicht (TFF-Aggregator, TFP DPQuery, DP-BuchhaltungUnd FL-System).

Eine kurze Geschichte

In den letzten Jahren hat sich FL zur Standardtrainingsmethode entwickelt Gboard-LMs auf dem Gerät aus Benutzerdaten. Im Jahr 2020 wird ein DP-Mechanismus eingeführt Clips und fügt Rauschen hinzu an Modellaktualisierungen gewöhnt struggle verhindern das Auswendiglernen für die Ausbildung des spanischen LM in Spanien, das endliche DP-Garantien erfüllt (Stufe 3 beschrieben in „Wie man ML DP-fy“ Führung). Im Jahr 2022 mit Hilfe der DP-Observe-The-Regularized-Chief (DP-FTRL)-Algorithmusdas spanische LM wurde das erste produktive neuronale Netzwerk, das direkt auf Benutzerdaten trainiert wurde, mit angekündigt eine formale DP-Garantie von (ε=8,9, δ=10^-10)-DP (entspricht dem gemeldeten ρ=0,81 Null-konzentrierte-differenzielle Privatsphäre) und erfüllt daher angemessene Datenschutzgarantien (Rang 2).

Standardmäßig differenzierter Datenschutz beim föderierten Lernen

In „Föderiertes Lernen von Gboard-Sprachmodellen mit differenzieller Privatsphäre„Wir haben angekündigt, dass alle NWP-LMs für neuronale Netzwerke in Gboard über DP-Garantien verfügen und dass alle zukünftigen Markteinführungen von Gboard-LMs, die auf Benutzerdaten trainiert werden, DP-Garantien erfordern. DP wird in FL durch die Anwendung der folgenden Vorgehensweisen aktiviert:

• Trainieren Sie das Modell vorab mit dem mehrsprachig C4 Datensatz.
• Finden Sie mithilfe von Simulationsexperimenten an öffentlichen Datensätzen ein großes DP-Rausch-Sign-Verhältnis, das einen hohen Nutzen ermöglicht. Durch Erhöhen der Anzahl der Shoppers, die zu einer Modellaktualisierungsrunde beitragen, wird der Datenschutz verbessert und gleichzeitig das Rauschverhältnis für einen guten Nutzen konstant gehalten, bis das DP-Ziel erreicht ist oder das vom System und der Bevölkerungsgröße zulässige Most erreicht ist.
• Konfigurieren Sie den Parameter, um die Häufigkeit, mit der jeder Kunde beitragen kann (z. B. alle paar Tage), basierend auf dem Berechnungsbudget und der geschätzten Bevölkerung einzuschränken das FL-System.
• Laufen DP-FTRL Coaching mit Einschränkungen hinsichtlich des Umfangs der Aktualisierungen professional Gerät, die entweder über ausgewählt werden adaptives Clippingoder auf Erfahrungsbasis festgelegt.

SecAgg kann zusätzlich angewendet werden, indem das übernommen wird Fortschritte bei der Verbesserung der Berechnung und Kommunikation für Skalen und Empfindlichkeit.

Föderiertes Lernen mit differenzieller Privatsphäre und (SecAgg).

Meldung von DP-Garantien

Die DP-Garantien der eingeführten Gboard NWP LMs werden im Balkendiagramm unten visualisiert. Der X-Achse zeigt LMs, die nach Sprachgebietsschema gekennzeichnet und auf entsprechende Populationen trainiert sind; Die j-Achse zeigt die ε Wert wann δ ist auf einen kleinen Wert von 10 festgelegt^-10 für (ε, δ)-DP (weniger ist besser). Der Nutzen dieser Modelle ist entweder deutlich besser als bei früheren nicht-neuronalen Modellen in der Produktion oder vergleichbar mit früheren LMs ohne DP, gemessen anhand von Benutzerinteraktionsmetriken während A/B-Assessments. Durch die Anwendung der Finest Practices wird beispielsweise die DP-Garantie des spanischen Modells in Spanien verbessert ε=8,9 Zu ε=5,37. SecAgg wird außerdem zum Coaching des spanischen Modells in Spanien und des englischen Modells in den USA verwendet. Weitere Einzelheiten zu den DP-Garantien finden Sie in der Anhang im Anschluss an die Richtlinien dargelegt In „Wie man ML DP-fy macht“.

Auf dem Weg zu stärkeren DP-Garantien

Der ε~10 DP-Garantien vieler eingeführter LMs werden bereits berücksichtigt vernünftig für ML-Modelle in der Praxis, während die Reise von DP FL in Gboard weitergeht, um das Tipperlebnis des Benutzers zu verbessern und gleichzeitig den Datenschutz zu schützen. Wir freuen uns, bekannt geben zu können, dass zum ersten Mal Produktions-LMs für Portugiesisch in Brasilien und Spanisch in Lateinamerika trainiert und mit einer DP-Garantie von gestartet werden ε ≤ 1, was erfüllt Starke Datenschutzgarantien der Stufe 1. Insbesondere die (ε=0,994, δ=10^-10)-DP-Garantie wird durch Ausführen der erweiterten Funktion erreicht Matrixfaktorisierung DP-FTRL (MF-DP-FTRL)-Algorithmus, wobei mehr als 12.000 Geräte an jeder Trainingsrunde der Servermodellaktualisierung teilnehmen, die größer ist als der Gemeinsame Einstellung von über 6500 Gerätenund eine sorgfältig konfigurierte Richtlinie, die jeden Kunden darauf beschränkt, höchstens zweimal an den insgesamt 2000 Trainingsrunden in 14 Tagen in der großen portugiesischen Benutzergruppe Brasiliens teilzunehmen. Unter Verwendung einer ähnlichen Einstellung wurde der es-US-spanische LM in einer großen Inhabitants aus mehreren Ländern Lateinamerikas trainiert, um Folgendes zu erreichen:ε=0,994, δ=10^-10)-DP. Der ε Das ≤ 1 es-US-Modell verbesserte den Nutzen in vielen Ländern erheblich und wurde in Kolumbien, Ecuador, Guatemala, Mexiko und Venezuela eingeführt. Für die kleinere Bevölkerung in Spanien wird die DP-Garantie von es-ES LM verbessert ε=5,37 Zu ε=3,42 durch nur Ersetzen DP-FTRL mit MF-DP-FTRL ohne die Anzahl der teilnehmenden Geräte in jeder Runde zu erhöhen. Weitere technische Particulars finden Sie im Colab für die Datenschutzbuchhaltung.

DP-Garantien für Gboard NWP LMs (der violette Balken stellt den ersten es-ES-Begin von ε=8,9 dar; cyanfarbene Balken stellen Datenschutzverbesserungen für Modelle dar, mit denen trainiert wurde MF-DP-FTRL; Ebenen stammen aus „Wie man ML DP-fy macht“ Führung; en-US* und es-ES* werden zusätzlich mit SecAgg trainiert).

Diskussion und nächste Schritte

Unsere Erfahrung legt nahe, dass DP in der Praxis durch die Mitgestaltung von Systemalgorithmen unter Berücksichtigung der Kundenbeteiligung erreicht werden kann und dass bei großen Bevölkerungsgruppen sowohl der Datenschutz als auch der Nutzen stark sein können Und Die Beiträge einer großen Anzahl von Geräten werden aggregiert. Kompromisse zwischen Datenschutz, Nutzen und Berechnung können verbessert werden durch Verwendung öffentlicher DatenDie neuer MF-DP-FTRL-Algorithmus, und Verschärfung der Buchhaltung. Mit diesen Techniken ist eine starke DP-Garantie möglich ε ≤ 1 ist möglich, aber immer noch eine Herausforderung. Aktive Forschung zur empirischen Datenschutzprüfung (1, 2) deutet darauf hin, dass DP-Modelle möglicherweise privater sind, als die DP-Garantien im schlimmsten Fall vermuten lassen. Während wir die Grenzen der Algorithmen immer weiter ausdehnen, stellt sich die Frage, welcher Dimension der Datenschutz-Nützlichkeits-Berechnung Priorität eingeräumt werden sollte?

Wir arbeiten aktiv an allen Datenschutzaspekten von ML, einschließlich der Erweiterung von DP-FTRL auf verteiltes DP und sich verbessern Überprüfbarkeit und Überprüfbarkeit. Vertrauenswürdige Ausführungsumgebung eröffnet die Möglichkeit, die Modellgröße bei nachweisbarer Privatsphäre deutlich zu vergrößern. Das Kürzliche Durchbruch bei großen LMs (LLMs) motiviert uns dazu überdenken die Verwendung von öffentlich Informationen in privaten Schulungen und weitere zukünftige Interaktionen zwischen LLMs, On-System-LMs und Gboard-Produktion.

Danksagungen

Die Autoren danken Peter Kairouz, Brendan McMahan und Daniel Ramage für ihr frühes Suggestions zum Blogbeitrag selbst, Shaofeng Li und Tom Small für ihre Hilfe bei den animierten Figuren und den Groups bei Google, die beim Algorithmusdesign und der Infrastrukturimplementierung geholfen haben und Produktionswartung. Die folgenden Mitarbeiter tragen direkt zu den präsentierten Ergebnissen bei:

Forschung und Algorithmenentwicklung: Galen Andrew, Stanislav Chiknavaryan, Christopher A. Choquette-Choo, Arun Ganesh, Peter Kairouz, Ryan McKenna, H. Brendan McMahan, Jesse Rosenstock, Timon Van Overveldt, Keith Rush, Shuang Track, Thomas Steinke, Abhradeep Guha Thakurta, Om Thakkar und Yuanbo Zhang.

Infrastruktur, Produktion und Führungsunterstützung: Mingqing Chen, Stefan Dierauf, Billy Dou, Hubert Eichner, Zachary Garrett, Jeremy Gillula, Jianpeng Hou, Hui Li, Xu Liu, Wenzhi Mao, Brett McLarnon, Mengchen Pei, Daniel Ramage, Swaroop Ramaswamy, Haicheng Solar, Andreas Terzis, Yun Wang, Shanshan Wu, Yu Xiao und Shumin Zhai.