Die in diesem Artikel verwendeten Daten sind unter a lizenziert Inventive Commons -Lizenz und ist für den kommerziellen Gebrauch gestattet

Bei all der Aufregung und Energie um AI ist es leicht, alle grundlegenden Mathematik und Technologie aus den Augen zu verlieren, die es zum Leben erwecken. Als Fachmann in diesem Bereich können Sie Ihr Verständnis dieser zugrunde liegenden Techniken erheblich verbessern oder erneuern, indem Sie ein Modell ohne Verwendung von Bibliotheken für maschinelles Lernen wie Sklearn, Tensorflow, Pytorch und vielem mehr kodieren.

Dies hat mich dazu inspiriert, eine neue Serie namens DIY AI zu gründen. Wir werden in verschiedene maschinenlernende Modelle eintauchen und sie von Grund auf aufbauen. Am Ende jedes Artikels strebe ich an den Leser, dass der Leser ein äußerst ausführliches und grundlegendes Verständnis der Modelle verabreicht, die wir täglich als Datenfachleute erstellen und verwenden. Lassen Sie uns die Dinge mit beginnen Mehrere lineare Regression.

Die Statue kann in Weimar gefunden werden – parken Sie ein der Ilm (aber Shakespeare spricht offensichtlich nicht)

Willkommen im neunten Beitrag in meiner Serie „Plotly with Code“! Wenn Sie den ersten verpasst haben, können Sie ihn im Hyperlink unten überprüfen oder meine durchsuchen „Ein Beitrag, um sie alle zu regieren“ Um die gesamte Serie oder andere Themen zu verfolgen, über die ich zuvor geschrieben habe.

Eine kurze Zusammenfassung, warum ich diese Serie schreibe

Mein Go-to-Instrument zum Erstellen von Visualisierungen ist plottisch. Es ist unglaublich intuitiv, von Schichten von Spuren bis hin zu Interaktivität. Während sich Plotly bei der Funktionalität auszeichnet, wird sie jedoch nicht mit einer „Datenjournalismus“ -Schabrate ausgestattet, die polierte Diagramme direkt außerhalb der Field bietet.

Hier kommt diese Serie ins Spiel-ich werde teilen, wie man Plotlys Diagramme in schlanke, professionelle Charts umwandelt, die…

Komplexe neuronale Netzwerkewie Großsprachmodelle (LLMs) leiden ziemlich oft unter Interpretierbarkeit Herausforderungen. Einer der wichtigsten Gründe für solche Schwierigkeiten ist Überlagerung – Ein Phänomen des neuronalen Netzwerks mit weniger Dimensionen als die Anzahl der Funktionen, die es darstellen muss. Beispielsweise muss ein Spielzeug -LLM mit 2 Neuronen 6 verschiedene Sprachmerkmale darstellen. Infolgedessen stellen wir häufig fest, dass ein einzelnes Neuron für mehrere Merkmale aktiviert werden muss. Eine detailliertere Erklärung und Definition der Überlagerung finden Sie in meinem vorherigen Weblog -Beitrag: „Überlagerung: Was es schwierig macht, neuronales Netzwerk zu erklären“.

In diesem Weblog -Beitrag gehen wir noch einen Schritt weiter: Versuchen wir, einige FSUperponiertenfunktionen zu entwirren. Ich werde eine Methodik vorstellen, die genannt wird Spärlicher Autoencoder Um das komplexe neuronale Netzwerk, insbesondere LLM, in interpretierbare Merkmale zu zersetzen, mit einem Spielzeugbeispiel für Sprachmerkmale.

A Spärlicher AutoencoderEs ist per Definition ein AutoCodierer mit Sparsity, der absichtlich in den Aktivierungen seiner verborgenen Schichten eingeführt wird. Mit einer ziemlich einfachen Struktur und einem leichten Trainingsprozess soll ein komplexes neuronales Netzwerk zerlegt und die Merkmale auf interpretierbare und verständliche und verständlicher für den Menschen aufdeckt.

Stellen wir uns vor, Sie haben ein geschultes neuronales Netzwerk. Der Autocoder ist nicht Teil des Trainingsprozesses des Modells selbst, sondern ein Put up-hoc-Analyse-Device. Das ursprüngliche Modell verfügt über eigene Aktivierungen, und diese Aktivierungen werden anschließend gesammelt und dann als Eingabedaten für den spärlichen Autoencoder verwendet.

Zum Beispiel nehmen wir an, dass Ihr ursprüngliches Modell ein neuronales Netzwerk mit einer versteckten Schicht von 5 Neuronen ist. Außerdem haben Sie einen Trainingsdatensatz mit 5000 Proben. Sie müssen alle Werte der 5-dimensionalen Aktivierung der versteckten Schicht für alle Ihre 5000 Trainingsproben sammeln, und sie sind nun die Eingabe für Ihren spärlichen Autocoder.

Der Autocoder lernt dann eine neue, spärliche Darstellung aus diesen Aktivierungen. Die Encoder -Aktivierung bildet die ursprünglichen MLP -Aktivierungen in einen neuen Vektorraum mit höheren Darstellungsdimensionen. Wenn wir auf mein vorheriges 5-Neuron-einfaches Beispiel zurückblicken, können wir es in Betracht ziehen, es mit 20 Funktionen in einen Vektorraum zuzuordnen. Hoffentlich erhalten wir einen spärlichen Autoencoder, der die ursprünglichen MLP -Aktivierungen effektiv in eine Darstellung zerlegen, die leichter zu interpretieren und zu analysieren zu werden.

Sparsity ist ein wichtiger im Autoencoder, da es für den Autocoder notwendig ist, Merkmale mit mehr „Freiheit“ als in einem dichten, überlappenden Raum zu entwirren. Ohne Existenz von Sparsity wird der Autocoder wahrscheinlich der Autocoder möglicherweise nur ein Trivial lernen Komprimierung ohne aussagekräftige Merkmalsbildung.

Sprachmodell

Lassen Sie uns jetzt unser Spielzeugmodell erstellen. Ich bitte die Leser zu bemerken, dass dieses Modell in der Praxis nicht realistisch und sogar ein bisschen albern ist, aber es reicht aus, um zu zeigen, wie wir spärliche Autoencoder aufbauen und einige Funktionen erfassen.

Angenommen, wir haben jetzt ein Sprachmodell erstellt, das eine bestimmte versteckte Schicht hat, deren Aktivierung drei Dimensionen hat. Nehmen wir auch an, wir haben die folgenden Token: „Katze“, „Pleased Cat“, „Canine“, „Energetic Canine“, „nicht Katze“, „nicht Hund“, „Roboter“ und „AI -Assistent“ in der Trainingsdatensatz und sie haben die folgenden Aktivierungswerte.

information = torch.tensor((
# Cat classes
(0.8, 0.3, 0.1, 0.05),  # "cat"
(0.82, 0.32, 0.12, 0.06),  # "pleased cat" (much like "cat")
# Canine classes
(0.7, 0.2, 0.05, 0.2),  # "canine"
(0.75, 0.3, 0.1, 0.25),  # "loyal canine" (much like "canine")
# "Not animal" classes
(0.05, 0.9, 0.4, 0.4),  # "not cat"
(0.15, 0.85, 0.35, 0.5),  # "not canine"
# Robotic and AI assistant (extra distinct in 4D house)
(0.0, 0.7, 0.9, 0.8),  # "robotic"
(0.1, 0.6, 0.85, 0.75)  # "AI assistant"
), dtype=torch.float32)

Bau des AutoCoders

Wir erstellen jetzt den AutoCodierer mit dem folgenden Code:

class SparseAutoencoder(nn.Module):
def __init__(self, input_dim, hidden_dim):
tremendous(SparseAutoencoder, self).__init__()
self.encoder = nn.Sequential(
nn.Linear(input_dim, hidden_dim),
nn.ReLU()
)
self.decoder = nn.Sequential(
nn.Linear(hidden_dim, input_dim)
)
def ahead(self, x):
encoded = self.encoder(x)
decoded = self.decoder(encoded)
return encoded, decoded

Gemäß dem obigen Code sehen wir, dass der Encoder eine einzige vollständig verbundene lineare Schicht hat, wodurch die Eingabe zu einer versteckten Darstellung mit abgebildet ist hidden_dim und es geht dann zu einer Relu -Aktivierung. Der Decoder verwendet nur eine lineare Schicht, um die Eingabe zu rekonstruieren. Beachten Sie, dass das Fehlen einer Relu-Aktivierung im Decoder für unseren spezifischen Rekonstruktionsfall beabsichtigt ist, da die Rekonstruktion realbewertete und potenziell damaging Daten enthalten könnte. Ein Relu würde im Gegenteil die Ausgabe zwingen, nicht negativ zu bleiben, was für unseren Wiederaufbau nicht wünschenswert ist.

Wir trainieren das Modell mit dem folgenden Code. Hier hat die Verlustfunktion zwei Teile: den Wiederaufbauverlust, die Genauigkeit der Rekonstruktion der Eingabedaten durch den AutoCodierer und einen Sparsity -Verlust (mit Gewicht), der die Sparsity -Formulierung im Encoder fördert.

# Coaching loop
for epoch in vary(num_epochs):
optimizer.zero_grad()
# Ahead go
encoded, decoded = mannequin(information)
# Reconstruction loss
reconstruction_loss = criterion(decoded, information)
# Sparsity penalty (L1 regularization on the encoded options)
sparsity_loss = torch.imply(torch.abs(encoded))
# Complete loss
loss = reconstruction_loss + sparsity_weight * sparsity_loss
# Backward go and optimization
loss.backward()
optimizer.step()

Jetzt können wir das Ergebnis sehen. Wir haben den Ausgangswert des Encoders jeder Aktivierung der ursprünglichen Modelle aufgetragen. Erinnern Sie sich daran, dass die Enter -Token „Katze“, „Pleased Cat“, „Canine“, „Energetic Canine“, „Not Cat“, „No Canine“, „Roboter“ und „AI Assistant“ sind.

Obwohl das Originalmodell mit einer sehr einfachen Architektur ohne tiefe Überlegungen entworfen wurde, hat der Autocoder immer noch sinnvolle Merkmale dieses trivialen Modells erfasst. Gemäß der obigen Handlung können wir mindestens vier Merkmale beobachten, die vom Encoder gelernt zu werden.

Geben Sie das erste Merkmal 1 an. Dieses Feautre hat große Aktivierungswerte auf den 4 folgenden Token: „Katze“, „Pleased Cat“, „Canine“ und „Energetic Canine“. Das Ergebnis deutet darauf hin, dass Function 1 etwas mit „Tieren“ oder „Haustieren“ bezogen kann. Function 2 ist auch ein interessantes Beispiel, das auf zwei Token „Roboter“ und „AI Assistant“ aktiviert wird. Wir vermuten, dass dieses Function etwas mit „künstlichem und Robotik“ zu tun hat, was auf das Verständnis des Modells zu technologischen Kontexten hinweist. Function 3 hat Aktivierung auf 4 Token: „Nicht Katze“, „nicht Hund“, „Roboter“ und „AI Assistant“ und dies ist möglicherweise ein Merkmal „kein Tier“.

Leider ist das Originalmodell kein echtes Modell, das auf realer Textual content ausgebildet ist, sondern künstlich mit der Annahme gestaltet wurde, dass ähnliche Token eine gewisse Ähnlichkeit im Aktivierungsvektorraum aufweisen. Die Ergebnisse liefern jedoch immer noch interessante Einblicke: Es gelang dem spärlichen Autocoder, einige bedeutungsvolle, menschlich-freundliche Merkmale oder reale Konzepte zu zeigen.

Das einfache Ergebnis in diesem Weblog-Beitrag deutet darauf hin: Ein spärlicher Autocoder kann effektiv dazu beitragen, hochrangige, interpretierbare Funktionen aus komplexen neuronalen Netzwerken wie LLM zu erhalten.

Für Leser, die sich für eine reale Implementierung von spärlichen Autoencodern interessieren, empfehle ich dies Artikelwo ein Autocoder geschult wurde, um ein echtes großes Sprachmodell mit 512 Neuronen zu interpretieren. Diese Studie bietet eine echte Anwendung spärlicher Autoencoder im Zusammenhang mit der Interpretierbarkeit von LLM.

Schließlich stelle ich hier diesen Google Colab zur Verfügung Notizbuch für meine in diesem Artikel erwähnte detaillierte Implementierung.

Joyful Lunar New 12 months, meine Freunde!

Im letzten Artikel habe ich den Workflow -Framework von Llamaindex eingeführt.

Heute werde ich Ihnen zeigen Openai SwarmVerwenden Sie als Beispiel mit einem Kundendienst -Chatbot -Projekt.

Erinnerst du dich an das von OpenAI vor nicht allzu langer Zeit veröffentlichte Schwarm -Framework? Das größte Merkmal sind Agenten und Übergabe.

Die Agenten sind unkompliziert: Sie verwenden eine Reihe spezifischer Befehle und Instruments, um Aufgaben zu erledigen. Es ist wie ein LLM -Funktionsaufruf in ein ordentliches Paket.

Und Übergaben sind unterschiedlich. Sie ermöglichen es einem Agenten, die Arbeit an einen anderen Agenten zu übergeben, der auf dem Kontext des aktuellen Gesprächs nahtlos geleitet wird und die Agenten ohne Schluckauf zusammenarbeiten lassen.

Warum das wichtig ist

Nach sechs Jahren in Information Science verbrachte ich viel Zeit damit, ML -Modelle für die Arbeit zu codieren und zu bauen. Aber als es um mein persönliches Portfolio ging, zögerte ich, es zu bauen.

Ich dachte, ich würde fortgeschrittene Entrance-Finish-Fähigkeiten müssten, um etwas Beeindruckendes zu schaffen. Aber dann habe ich festgestellt, wie zugänglich es ist, heute interaktive Webanwendungen zu erstellen, insbesondere mit Instruments wie der API von ChatGPT, Gradio Und Straffung.

Mit nur grundlegenden Python -Kenntnissen und minimalen Software program -Engineering -Fähigkeiten kann jeder etwas Wirkungsvolles schaffen – wie aufregend!

In diesem Tutorial zeige ich Ihnen, wie ich einen KI-angetriebenen Python-Tipps-Generator mit nur: Simply:

• 5 Codeblöcke und
• $ 0,01 in API -Kosten,
• Alles in 20 Minuten!

Ich habe die App dann weiter mit einem immediate Engineering verfeinert, um sie als Internet -App bereitzustellen. Sie können sich das Endprodukt ansehen Hier.

Lassen Sie uns eintauchen und anfangen zu bauen!

• Erstellen Sie eine neue virtuelle Umgebung und installieren Sie die erforderlichen Bibliotheken: Verwenden…