Bild vom Autor

# Einführung

Täglich zeichnen Kundendienstzentren Tausende von Gesprächen auf. In diesen Audiodateien verbergen sich Goldminen an Informationen. Sind die Kunden zufrieden? Welche Probleme werden am häufigsten erwähnt? Wie verändern sich Emotionen während eines Anrufs?
Die manuelle Analyse dieser Aufzeichnungen ist eine Herausforderung. Mit moderner künstlicher Intelligenz (KI) können wir jedoch Anrufe automatisch transkribieren, Emotionen erkennen und wiederkehrende Themen extrahieren – alles offline und mit Open-Supply-Instruments.

In diesem Artikel werde ich Sie durch ein komplettes Projekt zur Analyse der Kundenstimmung führen. Sie erfahren, wie Sie:

• Audiodateien in Textual content umwandeln mit Flüstern
• Erkennen von Gefühlen (positiv, negativ, impartial) und Emotionen (Frustration, Zufriedenheit, Dringlichkeit)
• Themen automatisch extrahieren mit BERThema
• Ergebnisse in einem interaktiven Dashboard anzeigen

Das Beste daran ist, dass alles lokal läuft. Ihre sensiblen Kundendaten verlassen niemals Ihr Gerät.

Abb. 1: Dashboard-Übersicht mit Stimmungsanzeige, Emotionsradar und Themenverteilung

# Verstehen, warum lokale KI für Kundendaten wichtig ist

Cloudbasierte KI-Dienste wie OpenAIs API sind leistungsstark, bringen jedoch Bedenken mit sich, beispielsweise hinsichtlich des Datenschutzes, da Kundenanrufe oft persönliche Informationen enthalten; hohe Kosten, bei denen Sie einen Preis professional API-Aufruf zahlen, der sich bei großen Volumina schnell summiert; und Abhängigkeit von Web-Gebührenbeschränkungen. Durch die lokale Ausführung ist es einfacher, die Anforderungen an die Datenresidenz zu erfüllen.

Dieses lokale KI-Sprach-zu-Textual content-Tutorial behält alles auf Ihrer {Hardware}. Modelle werden einmal heruntergeladen und laufen dauerhaft offline.

Abb. 2: Übersicht über die Systemarchitektur, die zeigt, wie jede Komponente eine Aufgabe intestine bewältigt. Durch diesen modularen Aufbau ist das System leicht zu verstehen, zu testen und zu erweitern

// Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:

• Python 3.9+ ist auf Ihrem Pc installiert.
• Das hättest du tun sollen FFmpeg für die Audioverarbeitung installiert.
• Sie sollten über grundlegende Kenntnisse mit Python und den Konzepten des maschinellen Lernens verfügen.
• Für KI-Modelle benötigen Sie etwa 2 GB Speicherplatz.

// Einrichten Ihres Projekts

Klonen Sie das Repository und richten Sie Ihre Umgebung ein:

git clone https://github.com/zenUnicorn/Buyer-Sentiment-analyzer.git

Erstellen Sie eine virtuelle Umgebung:

Aktivieren (Home windows):

Aktivieren (Mac/Linux):

Abhängigkeiten installieren:

pip set up -r necessities.txt

Beim ersten Durchlauf werden KI-Modelle heruntergeladen (~1,5 GB insgesamt). Danach funktioniert alles offline.

Abb. 3: Terminal zeigt erfolgreiche Set up

# Audio mit Whisper transkribieren

Im Kundenstimmungsanalysator besteht der erste Schritt darin, gesprochene Wörter aus Anrufaufzeichnungen in Textual content umzuwandeln. Dies geschieht mit Whisper, einem von entwickelten automatischen Spracherkennungssystem (ASR). OpenAI. Schauen wir uns an, wie es funktioniert, warum es eine gute Wahl ist und wie wir es im Projekt verwenden.

Whisper ist ein Transformer-basiertes Encoder-Decoder-Modell, das auf 680.000 Stunden mehrsprachigem Audio trainiert wurde. Wenn Sie ihm eine Audiodatei zuführen, geschieht Folgendes:

• Neuabtastung des Audiosignals auf 16-kHz-Mono
• Erzeugt ein Mel-Spektrogramm – eine visuelle Darstellung der Frequenzen im Zeitverlauf – das als Foto des Klangs dient
• Teilt das Spektrogramm in 30-Sekunden-Fenster auf
• Leitet jedes Fenster durch einen Encoder, der versteckte Darstellungen erstellt
• Übersetzt diese Darstellungen Wort für Wort (oder Unterwort) in Textual content-Tokens

Stellen Sie sich das Mel-Spektrogramm als die Artwork und Weise vor, wie Maschinen Geräusche „sehen“. Die x-Achse stellt die Zeit dar, die y-Achse stellt die Frequenz dar und die Farbintensität zeigt die Lautstärke. Das Ergebnis ist ein hochpräzises Transkript, auch bei Hintergrundgeräuschen oder Akzenten.

Code-Implementierung

Hier ist die Kernlogik der Transkription:

import whisper

class AudioTranscriber:
    def __init__(self, model_size="base"):
        self.mannequin = whisper.load_model(model_size)
   
    def transcribe_audio(self, audio_path):
        outcome = self.mannequin.transcribe(
            str(audio_path),
            word_timestamps=True,
            condition_on_previous_text=True
        )
        return {
            "textual content": outcome("textual content"),
            "segments": outcome("segments"),
            "language": outcome("language")
        }

Der model_size Der Parameter steuert die Genauigkeit im Verhältnis zur Geschwindigkeit.

Für die meisten Anwendungsfälle gilt: base oder small bietet die beste Steadiness.

Abb. 4: Transkriptionsausgabe mit zeitgestempelten Segmenten

# Stimmungsanalyse mit Transformern

Mit extrahiertem Textual content analysieren wir die Stimmung mithilfe von Umarmende Gesichtstransformatoren. Wir verwenden CardiffNLPs RoBERTa Modell, trainiert auf Social-Media-Textual content, das sich perfekt für gesprächige Kundenanrufe eignet.

// Vergleich von Gefühl und Emotion

Die Stimmungsanalyse klassifiziert Texte als positiv, impartial oder negativ. Wir verwenden ein fein abgestimmtes RoBERTa-Modell, weil es den Kontext besser versteht als ein einfaches Key phrase-Matching.

Das Transkript wird tokenisiert und durch einen Transformer geleitet. Die letzte Ebene verwendet eine Softmax-Aktivierung, die Wahrscheinlichkeiten ausgibt, die sich auf 1 summieren. Wenn beispielsweise positiv 0,85, impartial 0,10 und negativ 0,05 ist, ist die Gesamtstimmung positiv.

• Gefühl: Gesamtpolarität (positiv, negativ oder impartial) zur Beantwortung der Frage: „Ist das intestine oder schlecht?“
• Emotion: Spezifische Gefühle (Wut, Freude, Angst) als Antwort auf die Frage: „Was genau fühlen sie?“

Wir erkennen beides für einen vollständigen Einblick.

// Code-Implementierung für die Stimmungsanalyse

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch.nn.purposeful as F

class SentimentAnalyzer:
    def __init__(self):
        model_name = "cardiffnlp/twitter-roberta-base-sentiment-latest"
        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
        self.mannequin = AutoModelForSequenceClassification.from_pretrained(model_name)
   
    def analyze(self, textual content):
        inputs = self.tokenizer(textual content, return_tensors="pt", truncation=True)
        outputs = self.mannequin(**inputs)
        possibilities = F.softmax(outputs.logits, dim=1)
       
        labels = ("adverse", "impartial", "constructive")
        scores = {label: float(prob) for label, prob in zip(labels, possibilities(0))}
       
        return {
            "label": max(scores, key=scores.get),
            "scores": scores,
            "compound": scores("constructive") - scores("adverse")
        }

Der compound Die Bewertung reicht von -1 (sehr negativ) bis +1 (sehr positiv), sodass sich Stimmungstrends im Zeitverlauf leicht verfolgen lassen.

// Warum einfache Lexikonmethoden vermeiden?

Traditionelle Ansätze wie VADER Zähle constructive und adverse Wörter. Allerdings fehlt ihnen oft der Kontext:

• „Das ist nicht intestine.“ Lexicon sieht „intestine“ als positiv an.
• Ein Transformator versteht Negation („nicht“) als negativ.

Transformatoren verstehen Beziehungen zwischen Wörtern und machen sie so für reale Texte weitaus genauer.

# Extrahieren von Themen mit BERTopic

Es ist nützlich, die Stimmung zu kennen, aber worüber reden Kunden? BERThema erkennt automatisch Themen im Textual content, ohne dass Sie sie vorab definieren müssen.

// So funktioniert BERTopic

• Einbettungen: Konvertieren Sie jedes Transkript mithilfe von in einen Vektor Satztransformatoren
• Dimensionsreduzierung: UMAP komprimiert diese Vektoren in einen niedrigdimensionalen Raum
• Clustering: HDBSCAN gruppiert ähnliche Transkripte
• Themenvertretung: Extrahieren Sie für jeden Cluster die relevantesten Wörter mit c-TF-IDF

Das Ergebnis ist eine Reihe von Themen wie „Abrechnungsprobleme“, „technischer Assist“ oder „Produktfeedback“. Im Gegensatz zu älteren Methoden wie Latente Dirichlet-Zuordnung (LDA)BERTopic versteht semantische Bedeutung. „Versandverzögerung“ und „verspätete Lieferung“ kommen zusammen, weil sie dieselbe Bedeutung haben.

Code-Implementierung

Aus matters.py:

from bertopic import BERTopic

class TopicExtractor:
    def __init__(self):
        self.mannequin = BERTopic(
            embedding_model="all-MiniLM-L6-v2",
            min_topic_size=2,
            verbose=True
        )
   
    def extract_topics(self, paperwork):
        matters, possibilities = self.mannequin.fit_transform(paperwork)
       
        topic_info = self.mannequin.get_topic_info()
        topic_keywords = {
            topic_id: self.mannequin.get_topic(topic_id)(:5)
            for topic_id in set(matters) if topic_id != -1
        }
       
        return {
            "assignments": matters,
            "key phrases": topic_keywords,
            "distribution": topic_info
        }

Notiz: Für die Themenextraktion sind mehrere Dokumente (mindestens 5–10) erforderlich, um sinnvolle Muster zu finden. Einzelne Anrufe werden mithilfe des angepassten Modells analysiert.

Abb. 5: Balkendiagramm zur Themenverteilung mit den Kategorien Abrechnung, Versand und technischer Assist

# Erstellen eines interaktiven Dashboards mit Streamlit

Rohdaten sind schwer zu verarbeiten. Wir haben eine gebaut Streamlit Armaturenbrett (app.py), mit dem Geschäftsanwender Ergebnisse erkunden können. Streamlit verwandelt Python-Skripte mit minimalem Code in Webanwendungen. Unser Dashboard bietet:

• Add-Schnittstelle für Audiodateien
• Echtzeitverarbeitung mit Fortschrittsanzeigen
• Interaktive Visualisierungen mit Plotly
• Drilldown-Funktion zur Untersuchung einzelner Anrufe

// Code-Implementierung für die Dashboard-Struktur

import streamlit as st

def principal():
    st.title("Buyer Sentiment Analyzer")
   
    uploaded_files = st.file_uploader(
        "Add Audio Information",
        sort=("mp3", "wav"),
        accept_multiple_files=True
    )
   
    if uploaded_files and st.button("Analyze"):
        with st.spinner("Processing..."):
            outcomes = pipeline.process_batch(uploaded_files)
       
        # Show outcomes
        col1, col2 = st.columns(2)
        with col1:
            st.plotly_chart(create_sentiment_gauge(outcomes))
        with col2:
            st.plotly_chart(create_emotion_radar(outcomes))

Streamlits Caching @st.cache_resource stellt sicher, dass Modelle einmal geladen werden und über Interaktionen hinweg bestehen bleiben, was für eine reaktionsfähige Benutzererfahrung von entscheidender Bedeutung ist.

Abb. 7: Vollständiges Dashboard mit Seitenleistenoptionen und mehreren Visualisierungsregisterkarten

// Hauptmerkmale

• Audio hochladen (oder Beispieltranskripte zum Testen verwenden)
• Transkript mit Stimmungshervorhebungen anzeigen
• Zeitleiste der Emotionen (wenn der Anruf lang genug ist)
• Themenvisualisierung mit interaktiven Plotly-Diagrammen

// Caching für Leistung

Streamlit führt das Skript bei jeder Interaktion erneut aus. Um die Wiederaufbereitung schwerer Modelle zu vermeiden, verwenden wir @st.cache_resource:

@st.cache_resource
def load_models():
    return CallProcessor()

processor = load_models()

// Echtzeitverarbeitung

Wenn ein Benutzer eine Datei hochlädt, zeigen wir während der Verarbeitung einen Spinner an und zeigen dann sofort die Ergebnisse an:

if uploaded_file:
    with st.spinner("Transcribing and analyzing..."):
        outcome = processor.process_file(uploaded_file)
    st.success("Performed!")
    st.write(outcome("textual content"))
    st.metric("Sentiment", outcome("sentiment")("label"))

# Wiederholung praktischer Lektionen

Audioverarbeitung: Von der Wellenform zum Textual content

Die Magie von Whisper liegt in der Umwandlung des Mel-Spektrogramms. Das menschliche Gehör ist logarithmisch, das heißt, wir können tiefe Frequenzen besser erkennen als hohe. Die Mel-Skala ahmt dies nach, sodass das Modell eher wie ein Mensch „hört“. Das Spektrogramm ist im Wesentlichen ein 2D-Bild (Zeit vs. Frequenz), das der Transformer-Encoder ähnlich wie einen Bildausschnitt verarbeitet. Aus diesem Grund kommt Whisper intestine mit lauten Audiosignalen zurecht; es sieht das ganze Bild.

// Transformatorausgänge: Softmax vs. Sigmoid

• Softmax (Stimmung): Erzwingt die Summe der Wahrscheinlichkeiten zu 1. Dies ist preferrred für sich gegenseitig ausschließende Klassen, da ein Satz normalerweise nicht sowohl positiv als auch negativ ist.
• Sigmoid (Emotionen): Behandelt jede Klasse unabhängig. Ein Satz kann gleichzeitig freudig und überraschend sein. Sigmoid ermöglicht diese Überlappung.

Die Auswahl der richtigen Aktivierung ist für Ihre Problemdomäne von entscheidender Bedeutung.

// Erkenntnisse mit Visualisierung vermitteln

Ein gutes Dashboard kann mehr als nur Zahlen anzeigen; es erzählt eine Geschichte. Plotly-Diagramme sind interaktiv; Benutzer können mit der Maus darüber fahren, um Particulars anzuzeigen, in Zeitbereiche hineinzoomen und auf Legenden klicken, um zwischen Datenreihen umzuschalten. Dadurch werden Rohanalysen in umsetzbare Erkenntnisse umgewandelt.

// Ausführen der Anwendung

Um die Anwendung auszuführen, befolgen Sie die Schritte vom Anfang dieses Artikels. Testen Sie die Sentiment- und Emotionsanalyse ohne Audiodateien:

Dadurch wird Beispieltext durch die NLP-Modelle (Pure Language Processing) geführt und die Ergebnisse im Terminal angezeigt.

Analysieren Sie eine einzelne Aufnahme:

python principal.py --audio path/to/name.mp3

Stapelverarbeitung eines Verzeichnisses:

python principal.py --batch information/audio/

Für das vollständige interaktive Erlebnis:

python principal.py --dashboard

Offen http://localhost:8501 in Ihrem Browser.

Abb. 8: Terminalausgabe, die eine erfolgreiche Analyse mit Sentiment-Scores zeigt

# Abschluss

Wir haben ein vollständiges, offlinefähiges System aufgebaut, das Kundenanrufe transkribiert, Stimmungen und Emotionen analysiert und wiederkehrende Themen extrahiert – alles mit Open-Supply-Instruments. Dies ist eine produktionsreife Grundlage für:

• Kundensupportteams identifizieren Schwachstellen
• Produktmanager sammeln Suggestions in großem Umfang
• Qualitätssicherung, Überwachung der Agentenleistung

Das Beste daran? Alles läuft lokal, respektiert die Privatsphäre der Benutzer und eliminiert API-Kosten.

Der vollständige Code ist auf GitHub verfügbar: Eine KI, die die Kundenstimmung analysiert. Klonen Sie das Repository, folgen Sie diesem lokalen KI-Sprach-zu-Textual content-Tutorial und beginnen Sie noch heute damit, Erkenntnisse aus Ihren Kundenanrufen zu gewinnen.

Shittu Olumid ist ein Software program-Ingenieur und technischer Autor, der sich leidenschaftlich dafür einsetzt, modernste Technologien zu nutzen, um fesselnde Erzählungen zu erschaffen, mit einem scharfen Blick fürs Element und einem Gespür für die Vereinfachung komplexer Konzepte. Sie können Shittu auch auf finden Twitter.

Proteine ​​sind weit mehr als nur Nährstoffe, die wir auf einem Lebensmitteletikett angeben. Sie sind in jeder Zelle unseres Körpers vorhanden und funktionieren wie die molekularen Maschinen der Natur. Sie gehen, strecken, beugen und beugen sich, um ihre Arbeit zu erledigen: Blut pumpen, Krankheiten bekämpfen, Gewebe aufbauen und viele andere Aufgaben erledigen, die für das Auge zu klein sind. Ihre Kraft beruht nicht nur auf der Kind, sondern auch auf der Artwork und Weise, wie sie sich bewegen.

Künstliche Intelligenz hat es Wissenschaftlern in den letzten Jahren ermöglicht, völlig neue Proteinstrukturen zu entwerfen, die es in der Natur nicht gibt und die auf bestimmte Funktionen zugeschnitten sind, etwa die Bindung an Viren oder die Nachahmung der mechanischen Eigenschaften von Seide für nachhaltige Materialien. Aber allein auf die Struktur zu entwerfen ist wie der Bau einer Autokarosserie ohne Kontrolle über die Leistung des Motors. Die subtilen Vibrationen, Verschiebungen und mechanischen Dynamiken eines Proteins sind für seine Funktionen ebenso entscheidend wie seine Kind.

Nun haben MIT-Ingenieure mit der Entwicklung eines KI-Modells namens VibeGen einen großen Schritt unternommen, um diese Lücke zu schließen. Wenn Vibe-Codierung es Programmierern ermöglicht, zu beschreiben, was sie wollen, und dann die KI die Software program generiert, macht VibeGen dasselbe für lebende Moleküle: Geben Sie die Vibe – das gewünschte Bewegungsmuster – an, und das Modell schreibt das Protein.

Das neue Modell ermöglicht es Wissenschaftlern, gezielt zu bestimmen, wie sich ein Protein als Reaktion auf seine Umgebung beugt, vibriert und zwischen seinen Formen wechselt, und eröffnet so neue Grenzen bei der Gestaltung der molekularen Mechanik. VibeGen baut auf einer Reihe von Fortschritten auf Bühler-Labor in der Agenten-KI für die Wissenschaft – Systeme, in denen mehrere KI-Modelle autonom zusammenarbeiten, um Probleme zu lösen, die für ein einzelnes Modell zu komplex sind.

„Die Essenz des Lebens auf grundlegender molekularer Ebene liegt nicht nur in der Struktur, sondern auch in der Bewegung“, sagt Markus Buehler, Jerry McAfee-Professor für Ingenieurwissenschaften in den Fachbereichen Bau- und Umweltingenieurwesen sowie Maschinenbau. „Von der Proteinfaltung bis zur Verformung von Materialien unter Belastung folgt alles den Grundgesetzen der Physik.“

Buehler und sein ehemaliger Postdoktorand Bo Ni erkannten einen dringenden Bedarf an dem, was sie als physikbewusste KI bezeichnen: Systeme, die in der Lage sind, über Bewegungen nachzudenken und nicht nur Momentaufnahmen der Molekülstruktur. „KI muss über die Analyse statischer Formen hinausgehen und verstehen, wie Struktur und Bewegung grundlegend miteinander verknüpft sind“, fügt Buehler hinzu.

Der neue Ansatz, beschrieben in einem Artikel vom 24. März in der Zeitschrift Gegenstand, nutzt generative KI, um Proteine ​​mit maßgeschneiderter Dynamik zu erzeugen.

KI trainieren, über Bewegung nachzudenken

Die Revolution in der KI-gesteuerten Proteinwissenschaft conflict überwiegend eine Revolution in der Struktur. Instruments wie AlphaFold lösten das jahrzehntealte Drawback der Vorhersage der dreidimensionalen Kind eines Proteins. Bestehende generative Modelle lernten, neue Formen von Grund auf zu entwerfen. Doch bei der Fokussierung auf den gefalteten Schnappschuss – das an Ort und Stelle eingefrorene Protein – ließ das Feld die Eigenschaft, die Proteine ​​zum Funktionieren bringt, weitgehend außer Acht: ihre Bewegung. „Die Strukturvorhersage conflict eine so große Herausforderung, dass sie die Aufmerksamkeit des Fachgebiets in Anspruch nahm“, sagt Buehler. „Aber die Kind eines Proteins ist nur ein Bild eines viel längeren Movies, und der Designraum erstreckt sich über Raum und Zeit, wo die Struktur auf einer viel breiteren Mannigfaltigkeit liegt.“ Wissenschaftler könnten ein Protein mit einer bestimmten Architektur entwerfen. Sie konnten noch nicht genau sagen, wie sich dieses Protein nach seiner Bildung bewegen, biegen oder vibrieren würde.

VibeGen macht etwas, was noch kein Protein-Design-Instrument zuvor geschafft hat. Es kehrt das traditionelle Drawback um. Anstatt zu fragen: „Welche Kind wird diese Sequenz ergeben?“ Es wird gefragt: „Welche Sequenz bewirkt, dass sich ein Protein genau auf diese Weise bewegt?“

Um VibeGen zu entwickeln, griffen Buehler und Ni auf eine Klasse von KI-Diffusionsmodellen zurück, die gleiche zugrunde liegende Technologie, die KI-Bildgeneratoren antreibt, die in der Lage sind, realistische Bilder aus reinem Rauschen zu erstellen. Im Fall von VibeGen beginnt das Modell mit einer zufälligen Sequenz von Aminosäuren und verfeinert diese Schritt für Schritt, bis es einer Sequenz entspricht, von der vorhergesagt wird, dass sie gezielt vibriert und sich beugt.

Das System funktioniert durch zwei kooperierende Agenten, die sich gegenseitig entwerfen und herausfordern. Ein „Designer“ schlägt Kandidatensequenzen vor, die auf ein Zielbewegungsprofil abzielen. Ein „Prädiktor“ bewertet diese Kandidaten und fragt, ob sie sich tatsächlich so bewegen, wie es der Designer beabsichtigt hat. Die beiden Modelle iterieren wie ein interner Dialog hin und her, bis sich das Design zu etwas stabilisiert, das dem Ziel entspricht. Durch die Angabe dieses Schwingungsfingerabdrucks als Design-Enter kehrt VibeGen die übliche Logik um: Dynamik wird zur Blaupause, und die Struktur folgt.

„Es ist ein kollaboratives System“, Ni sagt. „Der Designer schlägt vor, der Prädiktor kritisiert und das Design verbessert sich durch diese Spannung.“

Die meisten Sequenzen, die VibeGen produziert, sind völlig neu, nicht der Natur entlehnt und keine Variation von etwas, das die Evolution bereits geschaffen hat. Um zu bestätigen, dass die Entwürfe tatsächlich funktionieren, führte das Staff detaillierte physikbasierte Molekülsimulationen durch und die Proteine ​​verhielten sich genau wie beabsichtigt, indem sie sich in den von VibeGen angestrebten Mustern beugten und vibrierten.

Eines der auffälligsten Ergebnisse der Studie ist, dass viele verschiedene Proteinsequenzen und -faltungen dasselbe Schwingungsziel erfüllen können – eine Eigenschaft, die die Forscher als funktionelle Degeneration bezeichnen. Wo sich die Evolution auf eine Lösung konzentrierte, offenbart VibeGen eine ganze Familie von Alternativen: Proteine ​​mit unterschiedlichen Strukturen und Sequenzen, die sich dennoch auf die gleiche Weise bewegen. „Das deutet darauf hin, dass die Natur nur einen Bruchteil dessen erforscht hat, was möglich ist“, sagt Buehler. „Für jedes gegebene dynamische Verhalten kann es einen großen, ungenutzten Raum an realisierbaren Designs geben.“

Eine neue Grenze in der Molekulartechnik

Die Kontrolle der Proteindynamik könnte weitreichende Anwendungen haben. In der Medizin bergen Proteine, die auf Befehl ihre Kind ändern können, ein enormes Potenzial. Viele therapeutische Proteine ​​wirken, indem sie an ein Zielmolekül binden – ein Virus, eine Krebszelle, einen fehlzündenden Rezeptor. Wie intestine sie binden, hängt oft nicht nur von ihrer Kind ab, sondern auch davon, wie flexibel sie sich an ihr Ziel anpassen können. Ein mit Bewegung konstruiertes Protein könnte präziser greifen, unbeabsichtigte Wechselwirkungen reduzieren und letztendlich zu einem sichereren und wirksameren Medikament werden.

In der Materialwissenschaft, einem Forschungsgebiet von Buehler, beeinflussen mechanische Eigenschaften auf molekularer Ebene ihre Leistung. Biologische Materialien wie Seide und Kollagen erhalten ihre Stärke und Widerstandsfähigkeit durch die koordinierte Bewegung ihrer molekularen Bausteine. Die Entwicklung von Proteinen, die steifer, flexibler oder auf eine bestimmte Weise vibrieren, könnte zu neuen nachhaltigen Fasern, schlagfesten Materialien oder biologisch abbaubaren Alternativen zu erdölbasierten Kunststoffen führen.

Buehler sieht weitere Möglichkeiten: Strukturmaterialien für Gebäude oder Fahrzeuge mit proteinbasierten Komponenten, die sich nach mechanischer Belastung selbst heilen oder sich bei starker Belastung anpassen.

Indem es Forschern ermöglicht, Bewegung als direkten Designparameter anzugeben, behandelt VibeGen Proteine ​​weniger wie statische Formen, sondern eher wie programmierbare mechanische Geräte. Der Fortschritt verbindet künstliche Intelligenz, Medizin, synthetische Biologie und Materialtechnik – hin zu einer Zukunft, in der molekulare Maschinen mit der gleichen Präzision und Absichtlichkeit entworfen werden können wie Brücken, Motoren oder Mikrochips.

„VibeGen kann Neuland betreten und Proteindesigns vorschlagen, die über das Repertoire der Evolution hinausgehen und ausschließlich auf unsere Spezifikationen zugeschnitten sind. Es ist, als hätten wir eine neue kreative Maschine erfunden, die molekulare Maschinen nach Bedarf entwirft“, fügt Buehler hinzu.

Die Forscher planen, das Modell weiter zu verfeinern und ihre Entwürfe im Labor zu validieren. Sie hoffen auch, bewegungsbewusstes Design mit anderen KI-Instruments zu integrieren und so Systeme zu entwickeln, die Proteine ​​nicht nur dynamisch, sondern auch multifunktional gestalten können; Maschinen, die ihre Umgebung wahrnehmen, auf Signale reagieren und sich in Echtzeit anpassen.

Das Wort „Vibe“ kommt von Vibration, und Buehler sieht darin mehr als nur ein Wortspiel. „Wir haben ‚Vibe‘ in eine Metapher, ein Gefühl, etwas Subjektives verwandelt“, sagt er. „Aber für ein Protein ist die Schwingung die Physik. Es ist das tatsächliche Bewegungsmuster, das bestimmt, was das Molekül tun kann, die eigentliche Maschinerie des Lebens.“

Die Forschung wurde unterstützt von das US-Landwirtschaftsministerium, das MIT-IBM Watson AI Lab und die Generative AI Initiative des MIT.

Bild vom Autor

# Einführung

Wenn Sie Anwendungen mit großen Sprachmodellen (LLMs) erstellen, haben Sie wahrscheinlich schon einmal dieses Szenario erlebt, bei dem Sie eine Eingabeaufforderung ändern, sie ein paar Mal ausführen und die Ausgabe sich besser anfühlt. Aber ist es tatsächlich besser? Ohne objektive Kennzahlen stecken Sie in dem fest, was die Branche heute als „Vibe-Testing“ bezeichnet, was bedeutet, Entscheidungen auf der Grundlage Ihrer Instinct und nicht auf Grundlage von Daten zu treffen.

Die Herausforderung ergibt sich aus einem grundlegenden Merkmal von KI-Modellen: der Unsicherheit. Im Gegensatz zu herkömmlicher Software program, bei der dieselbe Eingabe immer dieselbe Ausgabe erzeugt, können LLMs unterschiedliche Reaktionen auf ähnliche Eingabeaufforderungen generieren. Dies macht herkömmliche Unit-Assessments wirkungslos und lässt Entwickler rätseln, ob ihre Änderungen wirklich die Leistung verbessert haben.

Dann kam Google Stax, ein neues experimentelles Toolkit von Google DeepMind Und Google Labs Entwickelt, um der KI-Bewertung Genauigkeit zu verleihen. In diesem Artikel werfen wir einen Blick darauf, wie Stax es Entwicklern und Datenwissenschaftlern ermöglicht, Modelle und Eingabeaufforderungen anhand ihrer eigenen benutzerdefinierten Kriterien zu testen und so subjektive Urteile durch wiederholbare, datengesteuerte Entscheidungen zu ersetzen.

# Google Stax verstehen

Stax ist ein Entwicklertool, das die Evaluierung generativer KI-Modelle und -Anwendungen vereinfacht. Betrachten Sie es als ein Check-Framework, das speziell für die besonderen Herausforderungen der Arbeit mit LLMs entwickelt wurde.

Im Kern löst Stax ein einfaches, aber kritisches Drawback: Woher wissen Sie, ob ein Modell oder eine Eingabeaufforderung für Ihren spezifischen Anwendungsfall besser ist als ein anderes? Anstatt sich auf allgemeine Kriterien zu verlassen, die möglicherweise nicht den Anforderungen Ihrer Anwendung entsprechen, können Sie mit Stax definieren, was „intestine“ für Ihr Projekt bedeutet, und es anhand dieser Requirements messen.

// Erkundung der wichtigsten Fähigkeiten

• Es hilft dabei, Ihre eigenen Erfolgskriterien zu definieren, die über allgemeine Kennzahlen wie Sprachkompetenz und Sicherheit hinausgehen
• Sie können verschiedene Eingabeaufforderungen verschiedener Modelle nebeneinander testen
• Sie können datengesteuerte Entscheidungen treffen, indem Sie gesammelte Leistungsmetriken visualisieren, einschließlich Qualität, Latenz und Token-Nutzung
• Es kann maßstabsgetreue Bewertungen mit Ihren eigenen Datensätzen durchführen

Stax ist flexibel und unterstützt nicht nur Googles Zwillinge Modelle aber auch GPT von OpenAI, Claude von Anthropic, Mistralund andere über API-Integrationen.

# Über Normal-Benchmarks hinausgehen

Allgemeine KI-Benchmarks erfüllen einen wichtigen Zweck, beispielsweise dabei, den Modellfortschritt auf hohem Niveau zu verfolgen. Sie berücksichtigen jedoch oft nicht die domänenspezifischen Anforderungen. Ein Modell, das sich beim Denken im offenen Bereich auszeichnet, könnte bei speziellen Aufgaben wie den folgenden schlecht abschneiden:

• Compliance-orientierte Zusammenfassung
• Analyse von Rechtsdokumenten
• Unternehmensspezifische Fragen und Antworten
• Einhaltung der Markenstimme

In der Lücke zwischen allgemeinen Benchmarks und realen Anwendungen bietet Stax einen Mehrwert. Es ermöglicht Ihnen, KI-Systeme anhand Ihrer Daten und Kriterien zu bewerten, nicht anhand abstrakter globaler Bewertungen.

# Erste Schritte mit Stax

// Schritt 1: Hinzufügen eines API-Schlüssels

Um Modellausgaben zu generieren und Auswertungen auszuführen, müssen Sie einen API-Schlüssel hinzufügen. Stax empfiehlt, mit a zu beginnen Gemini-API-Schlüsselda die integrierten Evaluatoren es standardmäßig verwenden. Sie können sie jedoch auch für die Verwendung anderer Modelle konfigurieren. Sie können Ihren ersten Schlüssel beim Onboarding oder später in den Einstellungen hinzufügen.

Um mehrere Anbieter zu vergleichen, fügen Sie Schlüssel für jedes Modell hinzu, das Sie testen möchten. Dies ermöglicht einen parallelen Vergleich ohne Werkzeugwechsel.

Einen API-Schlüssel erhalten

// Schritt 2: Erstellen eines Evaluierungsprojekts

Projekte sind der zentrale Arbeitsbereich in Stax. Jedes Projekt entspricht einem einzelnen Evaluierungsexperiment, beispielsweise dem Testen eines neuen System-Prompts oder dem Vergleich zweier Modelle.

Sie können zwischen zwei Projekttypen wählen:

Abbildung 1: Ein Flussdiagramm für einen Vergleich nebeneinander, das zeigt, wie zwei Modelle dieselben Eingabeaufforderungen erhalten und wie ihre Ausgaben in einen Evaluator fließen, der Vergleichsmetriken erstellt

// Schritt 3: Erstellen Sie Ihren Datensatz

Eine solide Bewertung beginnt mit Daten, die genau sind und Ihre realen Anwendungsfälle widerspiegeln. Stax bietet zwei Hauptmethoden an, um dies zu erreichen:

Possibility A: Manuelles Hinzufügen von Daten im Immediate Playground

Wenn Sie noch keinen Datensatz haben, erstellen Sie einen von Grund auf:

• Wählen Sie die Modelle aus, die Sie testen möchten
• Legen Sie eine Systemaufforderung fest (non-obligatory), um die Rolle der KI zu definieren
• Fügen Sie Benutzeraufforderungen hinzu, die echte Benutzereingaben darstellen
• Geben Sie menschliche Bewertungen ein (non-obligatory), um grundlegende Qualitätsbewertungen zu erstellen

Jede Eingabe, Ausgabe und Bewertung wird automatisch als Testfall gespeichert.

Possibility B: Hochladen eines vorhandenen Datensatzes
Für Groups mit Produktionsdaten laden Sie CSV-Dateien direkt hoch. Wenn Ihr Datensatz keine Modellausgaben enthält, klicken Sie auf „Ausgaben generieren“ und wählen Sie ein Modell aus, um diese zu generieren.

Finest Follow: Beziehen Sie Randfälle und widersprüchliche Beispiele in Ihren Datensatz ein, um umfassende Assessments sicherzustellen.

# Auswertung von KI-Ausgaben

// Durchführung einer manuellen Bewertung

Sie können menschliche Bewertungen zu einzelnen Ergebnissen direkt auf dem Spielplatz oder im Projekt-Benchmark abgeben. Obwohl die menschliche Bewertung als „Goldstandard“ gilt, ist sie langsam, teuer und schwer zu skalieren.

// Durchführen einer automatisierten Bewertung mit Autoratern

Um viele Ausgaben gleichzeitig zu bewerten, verwendet Stax LLM-als-Richter Auswertung, bei der ein leistungsstarkes KI-Modell die Ergebnisse eines anderen Modells anhand Ihrer Kriterien bewertet.

Stax enthält vorinstallierte Evaluatoren für gängige Metriken:

• Geläufigkeit
• Sachliche Konsistenz
• Sicherheit
• Anweisungen folgen
• Prägnanz

Die Stax-Bewertungsoberfläche zeigt eine Spalte mit Modellausgaben mit angrenzenden Bewertungsspalten von verschiedenen Evaluatoren sowie eine Schaltfläche „Bewertung ausführen“.

// Nutzung benutzerdefinierter Evaluatoren

Während vorinstallierte Evaluatoren einen hervorragenden Ausgangspunkt bieten, ist die Erstellung benutzerdefinierter Evaluatoren die beste Möglichkeit, zu messen, was für Ihren spezifischen Anwendungsfall wichtig ist.

Mit benutzerdefinierten Evaluatoren können Sie bestimmte Kriterien definieren, wie zum Beispiel:

• „Ist die Antwort hilfreich, aber nicht übermäßig vertraut?“
• „Enthält die Ausgabe personenbezogene Daten (PII)?“
• „Entspricht der generierte Code unserem internen Styleguide?“
• „Steht die Markenstimme im Einklang mit unseren Leitlinien?“

So erstellen Sie einen benutzerdefinierten Evaluator: Definieren Sie Ihre klaren Kriterien, schreiben Sie eine Eingabeaufforderung für das Richtermodell, die eine Bewertungscheckliste enthält, und testen Sie es anhand einer kleinen Stichprobe manuell bewerteter Ergebnisse, um eine Übereinstimmung sicherzustellen.

# Erkundung praktischer Anwendungsfälle

// Überprüfung von Anwendungsfall 1: Kundensupport-Chatbot

Stellen Sie sich vor, Sie erstellen einen Chatbot für den Kundensupport. Ihre Anforderungen könnten Folgendes umfassen:

• Professioneller Ton
• Präzise Antworten basierend auf Ihrer Wissensdatenbank
• Keine Halluzinationen
• Lösung gemeinsamer Probleme innerhalb von drei Börsen

Mit Stax würden Sie:

• Laden Sie einen Datensatz mit echten Kundenanfragen hoch
• Generieren Sie Antworten aus verschiedenen Modellen (oder verschiedenen Eingabeaufforderungsversionen)
• Erstellen Sie einen benutzerdefinierten Evaluator, der durch Professionalität und Genauigkeit punktet
• Vergleichen Sie die Ergebnisse nebeneinander, um den besten Leistungsträger auszuwählen

// Überprüfung von Anwendungsfall 2: Inhaltszusammenfassungstool

Für eine Anwendung zur Nachrichtenzusammenfassung ist Folgendes wichtig:

• Prägnanz (Zusammenfassungen unter 100 Wörtern)
• Sachliche Übereinstimmung mit dem Originalartikel
• Bewahrung wichtiger Informationen

Mit dem vorgefertigten Summarization High quality Evaluator von Stax erhalten Sie sofortige Messwerte, während benutzerdefinierte Evaluatoren bestimmte Längenbeschränkungen oder Markenanforderungen durchsetzen können.

Abbildung 2: Eine visuelle Darstellung des Stax-Schwungrads mit drei Phasen: Experiment (Testaufforderungen/Modelle), Evaluieren (Ausführen von Evaluatoren) und Analysieren (Metriken überprüfen und entscheiden).

# Ergebnisse interpretieren

Sobald die Auswertungen abgeschlossen sind, fügt Stax Ihrem Datensatz neue Spalten hinzu, die Bewertungen und Begründungen für jede Ausgabe anzeigen. Der Abschnitt „Projektmetriken“ bietet eine aggregierte Ansicht von:

• Menschliche Bewertungen
• Durchschnittliche Bewertung der Bewerter
• Inferenzlatenz
• Token zählt

Nutzen Sie diese quantitativen Daten, um:

• Iterationen vergleichen: Ist Immediate A durchweg besser als Immediate B?
• Wählen Sie zwischen Modellen: Ist das schnellere Modell den leichten Qualitätsverlust wert?
• Verfolgen Sie den Fortschritt: Verbessern Ihre Optimierungen tatsächlich die Leistung?
• Fehler identifizieren: Welche Eingaben führen durchweg zu schlechten Ergebnissen?

Abbildung 3: Eine Dashboard-Ansicht mit Balkendiagrammen, die zwei Modelle anhand mehrerer Metriken (Qualitätsfaktor, Latenz, Kosten) vergleichen.

# Implementierung von Finest Practices für effektive Bewertungen

1. Fangen Sie klein an und skalieren Sie dann: Sie benötigen nicht Hunderte von Testfällen, um einen Mehrwert zu erzielen. Ein Bewertungssatz mit nur zehn hochwertigen Eingabeaufforderungen ist unendlich wertvoller, als sich allein auf Vibe-Assessments zu verlassen. Beginnen Sie mit einem fokussierten Satz und erweitern Sie ihn, während Sie lernen.
2. Regressionstests erstellen: Ihre Bewertungen sollten Assessments beinhalten, die die bestehende Qualität schützen. Beispiel: „Immer gültiges JSON ausgeben“ oder „Niemals Mitbewerbernamen einbeziehen“. Dadurch wird verhindert, dass neue Änderungen das, was bereits funktioniert, zerstören.
3. Baue Herausforderungssets: Erstellen Sie Datensätze, die auf Bereiche abzielen, in denen Sie Ihre KI verbessern möchten. Wenn Ihr Modell mit komplexen Argumenten zu kämpfen hat, erstellen Sie ein Herausforderungsset speziell für diese Fähigkeit.
4. Geben Sie die menschliche Überprüfung nicht auf: Auch wenn sich automatisierte Auswertungen intestine skalieren lassen, bleibt es für die Entwicklung der Instinct von entscheidender Bedeutung, dass Ihr Group Ihr KI-Produkt nutzt. Verwenden Sie Stax, um überzeugende Beispiele aus menschlichen Assessments zu erfassen und sie in Ihre formalen Bewertungsdatensätze zu integrieren.

# Beantwortung häufig gestellter Fragen

1. Was ist Google STAX? Stax ist ein Entwicklertool von Google zur Evaluierung von LLM-basierten Anwendungen. Es hilft Ihnen, Modelle und Eingabeaufforderungen anhand Ihrer eigenen Kriterien zu testen, anstatt sich auf allgemeine Benchmarks zu verlassen.
2. Wie funktioniert Stax AI? Stax verwendet einen „LLM-as-Choose“-Ansatz, bei dem Sie Bewertungskriterien definieren und ein KI-Modell die Ergebnisse auf der Grundlage dieser Kriterien bewertet. Sie können vorgefertigte Evaluatoren verwenden oder benutzerdefinierte Evaluatoren erstellen.
3. Mit welchem ​​Software von Google können Einzelpersonen ihre Modelle für maschinelles Lernen erstellen? Während sich Stax eher auf die Bewertung als auf die Modellerstellung konzentriert, funktioniert es zusammen mit anderen Google-KI-Instruments. Zum Erstellen und Trainieren von Modellen verwenden Sie normalerweise TensorFlow oder Vertex AI. Stax hilft Ihnen dann bei der Bewertung der Leistung dieser Modelle.
4. Was ist Googles Äquivalent zu ChatGPT? Die primäre Konversations-KI von Google ist Gemini (ehemals Bard). Stax kann Ihnen dabei helfen, Eingabeaufforderungen für Gemini zu testen und zu optimieren und seine Leistung mit anderen Modellen zu vergleichen.
5. Kann ich KI anhand meiner eigenen Daten trainieren? Stax trainiert keine Modelle; es bewertet sie. Sie können jedoch Ihre eigenen Daten als Testfälle verwenden, um vorab trainierte Modelle zu bewerten. Zum Trainieren benutzerdefinierter Modelle auf Ihren Daten verwenden Sie Instruments wie Vertex AI.

# Abschluss

Die Ära des Vibe-Assessments geht zu Ende. Während die KI von experimentellen Demos zu Produktionssystemen übergeht, wird eine detaillierte Bewertung immer wichtiger. Google Stax bietet den Rahmen, um zu definieren, was „intestine“ für Ihren individuellen Anwendungsfall bedeutet, und die Instruments, um dies systematisch zu messen.

Indem Stax subjektive Urteile durch wiederholbare, datengesteuerte Bewertungen ersetzt, hilft es Ihnen:

• Versenden Sie KI-Funktionen mit Zuversicht
• Treffen Sie fundierte Entscheidungen zur Modellauswahl
• Schnellere Iteration bei Eingabeaufforderungen und Systemanweisungen
• Erstellen Sie KI-Produkte, die die Benutzeranforderungen zuverlässig erfüllen

Ganz gleich, ob Sie ein Datenwissenschaftler-Anfänger oder ein erfahrener ML-Ingenieur sind: Die Einführung strukturierter Bewertungspraktiken wird die Artwork und Weise, wie Sie mit KI bauen, verändern. Fangen Sie klein an, definieren Sie, worauf es für Ihre Anwendung ankommt, und lassen Sie sich bei Ihren Entscheidungen von Daten leiten.

Sind Sie bereit, über das Vibe-Testen hinauszugehen? Besuchen stax.withgoogle.com um das Software zu erkunden und der Group von Entwicklern beizutreten, die bessere KI-Anwendungen entwickeln.

// Referenzen

Shittu Olumid ist ein Software program-Ingenieur und technischer Autor, der sich leidenschaftlich dafür einsetzt, modernste Technologien zu nutzen, um fesselnde Erzählungen zu erschaffen, mit einem scharfen Blick fürs Element und einem Gespür für die Vereinfachung komplexer Konzepte. Sie können Shittu auch auf finden Twitter.

In der heutigen KI-gesteuerten Welt sind Schlagworte wie KI, Maschinelles Lernen (ML), Große Sprachmodelle (LLMs)Und Generative KI sind überall – werden aber oft missverstanden. Sie werden austauschbar verwendet, haben jedoch jeweils eine eigene Rolle und Wirkung.

In diesem Weblog werden wir sie nicht nur in Silos definieren. Stattdessen lassen wir sie gegeneinander antreten, klären, wie sie zusammenhängen, worin sie sich unterscheiden und welche davon für Ihr Unternehmen tatsächlich wichtig sind. Unterwegs werden wir reale Anwendungsfälle, Analogien und Beispiele aus Shaips Erfahrung einbeziehen, damit alles verständlich wird.

Beginnen Sie mit den Grundlagen: Die KI-Hierarchie

Denken Sie nach Künstliche Intelligenz als der breite Schirm, unter dem Maschinelles Lernen ist eine Teilmenge. Von ML erhalten wir LLMs und schließlich, Generative KI.

Hier ist eine kurze Aufschlüsselung:

KI vs. ML: Eltern vs. Wunderkind

Künstliche Intelligenz (KI) bezieht sich auf das breitere Feld des Baus von Maschinen, die die menschliche Intelligenz nachahmen – Planung, Argumentation und Entscheidungsfindung. Betrachten Sie die KI als die übergeordnete Disziplin – eine große Disziplin, die darauf abzielt, Maschinen dazu zu bringen, sich wie Menschen zu verhalten. Es reicht vom Schachspielen bis zum Erkennen von Gesichtern.

Maschinelles Lernen (ML) ist das Wunderkind. ML ist eine Methode, mit der Maschinen Muster aus Daten lernen, ohne explizit programmiert zu werden. So wird KI clever – ​​indem sie aus vergangenen Daten lernt.

Beispiel:

• KI: Ein selbstfahrendes Auto, das Imaginative and prescient, Entscheidungsfindung und Bewegungssteuerung nutzt.
• ML: Der Algorithmus, der dem Auto hilft, die beste Route basierend auf dem Verkehrsverlauf zu lernen.
• Fazit: ML ist ein Teilmenge der KI. Jede ML ist KI, aber nicht jede KI ist ML.

ML ist die Artwork und Weise, wie sich KI von einer regelbasierten Engine zu einem adaptiven System entwickelt.

ML vs. LLM: Allgemeines Lernen vs. Sprachbeherrschung

ML deckt ein breites Anwendungsspektrum ab – von der Betrugserkennung bis hin zu Vorschlägen, was als nächstes im Auge behalten werden sollte.

LLMs sind eine spezielle Artwork von ML-Modell, das auf großen Textmengen trainiert wird. Sie sind für sprachbasierte Aufgaben wie das Zusammenfassen, Übersetzen und Beantworten von Fragen konzipiert. Sie werden anhand umfangreicher Textdatensätze geschult, um menschenähnliche Sprache zu verstehen und zu erzeugen.

LLMs werden mithilfe von Deep Studying (einer Teilmenge von ML) und Transformatorarchitekturen erstellt. Sie konzentrieren sich speziell auf Sprachaufgaben wie Zusammenfassung, Stimmungsanalyse und Inhaltserstellung.

(Lesen Sie auch: Was ist multimodale Datenkennzeichnung? Vollständiger Leitfaden 2025)

Beispiel:

• ML: Vorhersage der Kundenabwanderung basierend auf Engagement-Daten.
• LLM: Einem Benutzer eine personalisierte E-Mail schreiben, in der er erklärt, warum er einen Rabatt erhält
• Fazit: LLMs sind sprachorientierte Kraftpakete, die auf ML basieren. Betrachten Sie sie als Sprachspezialisten innerhalb der KI-Familie.

LLMs sind die „Linguisten“ der ML-Welt.

LLM vs. generative KI: Struktur vs. Kreativität

Jetzt wird es saftig. Nicht alle LLMs sind generativ und nicht alle generativen KI-Modelle sind LLMs. Aber viele überschneiden sich.

Generative KI bezieht sich auf jedes Modell, das Originalinhalte produzieren kann. Dazu gehören Sprache, Bilder, Audio und sogar Code.

LLMs wie GPT-4 werden häufig für generative Aufgaben mit Textual content verwendet – aber nicht alle generativen Modelle sind LLMs.

Beispiel:

• LLM: Eine E-Mail verfassen oder einen Bericht zusammenfassen.
• Generative KI: Erstellen eines Produktmodellbilds oder eines synthetischen Voice-Overs für eine Anzeige.
• Fazit: Generative KI ist ein Funktion (Schaffung). LLMs sind ein bilden (Sprachmodell). Sie überschneiden sich, wenn ein LLM darauf ausgelegt ist, Sprache zu generieren.

LLMs = Sprachgenerierung. Generative KI = alle Arten der Inhaltsgenerierung.

(Lesen Sie auch: Human-in-the-Loop: Wie menschliches Fachwissen die generative KI verbessert)

Schneller Tech-Showdown: Wer macht was?

Hier ist ein direkter Vergleich von KI, ML, LLM und generativer KI in realen Anwendungsfällen:

of the Universe (hergestellt von einem der berühmtesten Sänger aller Zeiten) sagt Folgendes:

Dieses Lied ist unglaublich kraftvoll und erzählt davon, wie sich das Leben direkt vor Ihren Augen so schnell verändern kann.

In diesem Lied geht es um ein gebrochenes Herz und eine Liebesgeschichte. Es erinnert mich jedoch auch an viele Veränderungen, die mein Job als Knowledge Scientist in den letzten 10 Jahren meiner Karriere durchgemacht hat:

• Als ich anfing, Physik zu studieren, dachte ich nur an Optimus Prime, wenn jemand „Transformer“ sagte. Für mich drehte sich alles um maschinelles Lernen Lineare Regression, SVM, Random Forest usw… (2016)
• Als ich meinen Grasp in Massive Knowledge und Physik komplexer Systeme machte, hörte ich zum ersten Mal von „BERT“ und verschiedene Deep-Studying-Technologien, die damals sehr vielversprechend schienen. Die ersten GPT-Modelle kamen heraus und sie sahen sehr interessant aus, auch wenn niemand erwartet hatte, dass sie so leistungsfähig wären wie heute. (2018-2020)
• Schneller Vorlauf zu meinem Leben als Vollzeit-Datenwissenschaftler. Wenn Sie heute nicht wissen, wofür GPT steht, und es noch nie gelesen haben „Aufmerksamkeit ist alles, was Sie brauchen“ Ihre Chancen, ein Vorstellungsgespräch im Bereich Knowledge Science System Design zu bestehen, sind sehr gering. (2021 – heute)

Wenn Leute behaupten, dass sich die Werkzeuge und der Alltag einer Particular person, die mit Daten arbeitet, erheblich von der vor 10 (oder sogar 5) Jahren unterscheidet, stimme ich voll und ganz zu. Was Ich stimme nicht zu Damit verbunden ist die Idee, dass die in der Vergangenheit verwendeten Instruments gelöscht werden sollten, nur weil jetzt alles mit GPT, LLMs oder Agentic AI lösbar zu sein scheint.

Das Ziel dieses Artikels ist es, eine einzelne Aufgabe zu betrachten, nämlich Klassifizierung der Liebes-/Hass-/neutralen Absicht eines Tweets. Insbesondere werden wir es mit tun traditionelles maschinelles Lernen, Deep Studying, Und Große Sprachmodelle.

Wir werden dies praxisnah mit Python durchführen und beschreiben, warum und wann die einzelnen Ansätze verwendet werden sollten. Hoffentlich erfahren Sie nach diesem Artikel:

1. Der Werkzeuge Die in den frühen Tagen verwendeten Methoden sollten dennoch berücksichtigt, studiert und manchmal übernommen werden.
2. Latenz, Genauigkeit und Kosten sollte bei der Auswahl des besten Algorithmus für Ihren Anwendungsfall evaluiert werden
3. Änderungen in der Welt der Knowledge Scientists sind notwendig und sollten ohne Angst angenommen werden

Fangen wir an!

1. Der Anwendungsfall

Der Fall, mit dem wir uns befassen, ist etwas, das in Knowledge Science/KI-Anwendungen tatsächlich sehr verbreitet ist: Stimmungsanalyse. Das bedeutet, dass wir aus einem gegebenen Textual content das „Gefühl“ hinter dem Autor dieses Textes extrapolieren möchten. Dies ist sehr nützlich, wenn Sie das Suggestions zu einer bestimmten Rezension eines Objekts, eines Movies, eines von Ihnen empfohlenen Artikels usw. einholen möchten.

In diesem Blogbeitrag verwenden wir ein sehr „berühmtes“ Beispiel einer Sentimentanalyse: was das Gefühl hinter einem Tweet klassifiziert. Da ich mehr Kontrolle wollte, werden wir nicht mit organischen Tweets arbeiten, die aus dem Web stammen (wo die Bezeichnungen unsicher sind). Stattdessen verwenden wir Inhalte, die von generiert wurden Große Sprachmodelle das wir kontrollieren können.

Diese Technik ermöglicht es uns auch, den Schwierigkeitsgrad und die Vielfalt des Issues abzustimmen und zu beobachten, wie verschiedene Techniken reagieren.

• Einfacher Fall: Die Liebes-Tweets klingen wie Postkarten, die Hass-Tweets sind unverblümt und die neutralen Nachrichten handeln von Wetter und Kaffee. Wenn ein Modell hier Probleme hat, stimmt etwas anderes nicht.

• Schwierigerer Fall: immer noch Liebe, Hass, impartial, aber jetzt bringen wir Sarkasmus, gemischte Töne und subtile Hinweise ein, die Aufmerksamkeit auf den Kontext erfordern. Wir haben auch weniger Daten, um einen kleineren Datensatz zum Trainieren zu haben.

• Additional harter Koffer: Wir gehen zu fünf Emotionen über: Liebe, Hass, Wut, Ekel, Neid, daher muss das Modell umfangreichere, vielschichtigere Sätze analysieren. Darüber hinaus haben wir 0 Einträge zum Trainieren der Daten: Wir können kein Coaching durchführen.

Ich habe die Daten generiert und jede der Dateien in einem bestimmten öffentlichen Ordner abgelegt GitHub-Ordner Ich habe für dieses Projekt erstellt (Daten).

Unser Ziel ist es, ein intelligentes Klassifizierungssystem aufzubauen, das dies effizient erfassen kann Gefühl hinter den Tweets. Aber wie machen wir das? Lass es uns herausfinden.

2. Systemdesign

Ein Bild, dessen Betrachtung immer äußerst hilfreich ist, ist das Folgende:

Genauigkeit, kostenUnd Skala bilden in einem maschinellen Lernsystem ein Dreieck. Sie können nur zwei gleichzeitig vollständig optimieren.

Sie können ein sehr genaues Modell haben, das sich sehr intestine mit Millionen von Einträgen skalieren lässt, aber es wird nicht schnell sein. Sie können ein schnelles Modell haben, das mit Millionen von Einträgen skaliert, aber es wird nicht so genau sein. Sie können ein genaues und schnelles Modell erhalten, aber es lässt sich nicht sehr intestine skalieren.

Diese Überlegungen werden vom konkreten Downside abstrahiert, helfen aber dabei, welches ML-Systemdesign erstellt werden soll. Wir werden darauf zurückkommen.

Außerdem sollte die Leistung unseres Modells proportional zur Größe unseres Trainingssatzes sein. Im Allgemeinen versuchen wir zu vermeiden, dass der Trainingssatzfehler auf Kosten einer Erhöhung des Testsatzes (der berühmten) abnimmt Überanpassung).

Wir wollen nicht im Bereich der Unter- oder Überanpassung liegen. Lassen Sie mich erklären, warum.

Vereinfacht ausgedrückt liegt eine Unteranpassung vor, wenn Ihr Modell zu einfach ist, um das tatsächliche Muster in Ihren Daten zu erkennen. Es ist, als würde man versuchen, eine gerade Linie durch eine Spirale zu zeichnen. Überanpassung ist das Gegenteil. Das Modell lernt die Trainingsdaten, einschließlich des gesamten Rauschens, zu intestine, sodass es bei bereits gesehenen Daten intestine abschneidet, bei neuen Daten jedoch schlecht. Der Candy Spot ist der Mittelweg, bei dem Ihr Modell die Struktur versteht, ohne sie sich zu merken.

Auch hierauf kommen wir zurück.

3. Einfacher Fall: Traditionelles maschinelles Lernen

Wir beginnen mit dem freundlichsten Szenario: einem hochstrukturierten Datensatz von 1.000 Tweets, die wir generiert und gekennzeichnet haben. Die drei Klassen (positiv, impartial, negativ) sind absichtlich ausbalanciert, die Sprache ist sehr explizit und jede Zeile befindet sich in einer sauberen CSV-Datei.

Beginnen wir mit einem einfachen Import-Codeblock.

Mal sehen, wie der Datensatz aussieht:

Nun gehen wir davon aus, dass dies der Fall ist wird nicht skaliert für Millionen von Zeilen (da der Datensatz zu strukturiert ist, um vielfältig zu sein). Wir können jedoch eine sehr schnelle und genaue Methode für diesen kleinen und spezifischen Anwendungsfall entwickeln. Beginnen wir mit der Modellierung. Drei Hauptpunkte, die es zu beachten gilt:

1. Wir machen es Zug-/Testaufteilung mit 20 % des Datensatzes im Testsatz.
2. Wir werden a verwenden TF-IDF Ansatz, um die Einbettungen der Wörter zu erhalten. TF-IDF steht für Time period Frequency–Inverse Doc Frequency. Dabei handelt es sich um eine klassische Technik, die Textual content in Zahlen umwandelt, indem jedem Wort eine Gewichtung zugewiesen wird, die darauf basiert, wie wichtig es in einem Dokument im Vergleich zum gesamten Datensatz ist.
3. Wir werden diese Technik mit zwei ML-Modellen kombinieren: Logistische Regression Und Unterstützen Sie Vektormaschinenaus scikit-lernen. Die logistische Regression ist einfach und interpretierbar und wird häufig als solide Grundlage für die Textklassifizierung verwendet. Assist Vector Machines konzentrieren sich darauf, die beste Grenze zwischen Klassen zu finden und funktionieren normalerweise sehr intestine, wenn die Daten nicht zu verrauscht sind.

Und die Leistung ist bei beiden Modellen im Grunde perfekt.

In diesem sehr einfachen Fall, in dem wir über einen konsistenten Datensatz mit 1.000 Zeilen verfügen, ist ein herkömmlicher Ansatz ausreichend. Es sind keine Milliarden von Parametermodellen wie GPT erforderlich.

4. Harter Fall: Deep Studying

Der zweite Datensatz ist immer noch synthetisch, soll aber absichtlich stören. Die Etiketten bleiben Liebe, Hass und impartial, doch die Tweets basieren auf Sarkasmus, gemischtem Ton und hinterhältigen Komplimenten. Darüber hinaus ist der Trainingspool kleiner, während der Validierungsanteil groß bleibt, sodass die Modelle mit weniger Beweisen und mehr Mehrdeutigkeit arbeiten.

Jetzt, da wir diese Unklarheit haben, müssen wir die größeren Geschütze herausnehmen. Es gibt Deep-Studying-Einbettungsmodelle, die eine hohe Genauigkeit beibehalten und sich in diesen Fällen dennoch intestine skalieren lassen (denken Sie an das Dreieck und das Fehler-Komplexitäts-Diagramm!). Insbesondere lernen Deep-Studying-Einbettungsmodelle die Bedeutung von Wörtern aus ihrem Kontext, anstatt sie als isolierte Token zu behandeln.

Für diesen Blogbeitrag verwenden wir BERTeines der bekanntesten Einbettungsmodelle überhaupt. Importieren wir zunächst einige Bibliotheken:

… und einige Helfer.

Dank dieser Funktionen können wir unser Einbettungsmodell schnell im Vergleich zum TF-IDF-Ansatz bewerten.

Wie wir sehen können, ist das TF-IDF-Modell bei den positiven Etiketten extrem leistungsschwach, während es bei Verwendung des Einbettungsmodells (BERT) eine hohe Genauigkeit beibehält.

5. Additional harter Fall: LLM Agent

Okay, jetzt machen wir es SEHR schwierig:

1. Wir haben nur 100 Reihen.
2. Wir gehen davon aus Wir kennen die Etiketten nichtwas bedeutet, dass wir kein Modell für maschinelles Lernen trainieren können.
3. Wir haben fünf Schlagworte: Neid, Hass, Liebe, Ekel, Wut.

Da wir nichts trainieren können, unsere Klassifizierung aber dennoch durchführen möchten, müssen wir eine Methode anwenden, die die Klassifizierungen irgendwie bereits enthält. Große Sprachmodelle sind das beste Beispiel für eine solche Methode.

Beachten Sie, dass die Verwendung von LLMs für die anderen beiden Fälle so wäre, als würde man eine Fliege mit einer Kanone abschießen. Aber hier macht es durchaus Sinn: Die Aufgabe ist eine Herausforderung und wir haben keine Möglichkeit, irgendetwas Intelligentes zu tun, weil wir unser Modell nicht trainieren können (wir haben nicht den Trainingssatz).

In diesem Fall verfügen wir über Genauigkeit im großen Maßstab. Allerdings benötigt die API etwas Zeit, sodass wir ein bis zwei Sekunden warten müssen, bis die Antwort zurückkommt (Denken Sie an das Dreieck!).

Lassen Sie uns einige Bibliotheken importieren:

Und das ist der Klassifizierungs-API-Aufruf:

Und wir können sehen, dass das LLM eine erstaunliche Klassifizierungsarbeit leistet:

6. Schlussfolgerungen

Im letzten Jahrzehnt hat sich die Rolle des Datenwissenschaftlers ebenso dramatisch verändert wie die Technologie selbst. Dies könnte zu der Idee führen, einfach die leistungsstärksten verfügbaren Instruments zu verwenden, aber das ist in vielen Fällen NICHT der beste Weg.

Anstatt zuerst nach dem größten Modell zu greifen, haben wir ein Downside anhand einer einfachen Linse getestet: Genauigkeit, Latenz und Kosten.

Insbesondere haben wir Schritt für Schritt Folgendes getan:

• Wir haben unseren Anwendungsfall als Tweet-Sentiment-Klassifizierung definiert, mit dem Ziel, Liebe, Hass oder neutrale Absichten zu erkennen. Wir haben drei Datensätze mit zunehmendem Schwierigkeitsgrad entworfen: einen sauberen, einen sarkastischen und einen ohne Coaching.

• Wir haben den einfachen Fall mithilfe von TF-IDF mit logistischer Regression und SVM angegangen. Die Tweets waren klar und direkt und beide Modelle schnitten nahezu perfekt ab.

• Wir gingen zum schwierigen Fall über, wo Sarkasmus, gemischter Ton und subtiler Kontext die Aufgabe komplexer machten. Wir haben BERT-Einbettungen verwendet, um die Bedeutung einzelner Wörter zu erfassen.

• Schließlich haben wir für den besonders schwierigen Fall ohne Trainingsdaten ein großes Sprachmodell verwendet, um Emotionen direkt durch Zero-Shot-Lernen zu klassifizieren.

Jeder Schritt zeigte, wie das richtige Werkzeug vom Downside abhängt. Traditionelles ML ist schnell und zuverlässig, wenn die Daten strukturiert sind. Deep-Studying-Modelle helfen, wenn sich die Bedeutung zwischen den Zeilen verbirgt. LLMs sind leistungsstark, wenn Sie keine Bezeichnungen haben oder eine umfassende Verallgemeinerung benötigen.

7. Bevor Sie losfahren!

Nochmals vielen Dank für Ihre Zeit. Es bedeutet viel

Mein Identify ist Piero Paialunga und ich bin dieser Typ hier:

Ich komme ursprünglich aus Italien und habe einen Doktortitel. aus dem Universität von Cincinnatiund arbeite als Datenwissenschaftler bei The Commerce Desk in New York Metropolis. Ich schreibe darüber KI, maschinelles Lernen und die sich entwickelnde Rolle von Datenwissenschaftlern sowohl hier auf TDS als auch auf LinkedIn. Wenn Ihnen der Artikel gefallen hat und Sie mehr über maschinelles Lernen erfahren und meine Studien verfolgen möchten, können Sie:

A. Folge mir weiter Linkedinwo ich alle meine Geschichten veröffentliche
B. Folge mir weiter GitHubwo Sie meinen gesamten Code sehen können
C. Bei Fragen können Sie mir eine E-Mail senden an piero.paialunga@hotmail

Ich werde zeigen, wie man mithilfe eines einfachen PyTorch-Klassifikators ein Faltungs-Neuronales Netzwerk aufbauen kann, das in der Lage ist, zwischen Krebsarten zu unterscheiden. Die für das Coaching verwendeten Daten und Codes sind öffentlich verfügbar und das Coaching kann auf einem Personalcomputer, möglicherweise sogar auf einer CPU, durchgeführt werden.

Krebs ist eine unglückliche Nebenwirkung unserer Zellen, die im Laufe unseres Lebens Informationsfehler anhäufen, was zu einem unkontrollierten Wachstum führt. Als Forscher untersuchen wir die Muster dieser Fehler, um die Krankheit besser zu verstehen. Aus datenwissenschaftlicher Sicht ist das menschliche Genom eine etwa drei Milliarden Buchstaben lange Zeichenfolge mit den Buchstaben A, C, G, T (additionally 2 Bits an Informationen professional Buchstabe). Ein Kopierfehler oder ein externes Ereignis kann möglicherweise einen Buchstaben entfernen/einfügen/ändern, was zu einer Mutation und möglicherweise zu einer Störung der genomischen Funktion führen kann.

Einzelne Fehler führen jedoch quick nie zur Krebsentstehung. Der menschliche Körper verfügt über mehrere Mechanismen, um die Entstehung von Krebs zu verhindern, darunter spezielle Proteine ​​– die sogenannten Tumorsuppressoren. Eine Liste notwendiger Bedingungen – die sogenannten „Merkmale von Krebs“ Damit eine Zelle nachhaltig wachsen kann, müssen diese Voraussetzungen erfüllt sein.

Daher reichen Veränderungen an einzelnen Buchstaben der DNA meist nicht aus, um ein selbsttragendes proliferatives Wachstum auszulösen. Die überwiegende Mehrheit der mutationsvermittelten Krebsarten (im Gegensatz zum Beispiel zu anderen Krebsquellen). das HPV-Virus) weisen ebenfalls Änderungen bei der Kopiennummer (CN) auf. Hierbei handelt es sich um groß angelegte Ereignisse, bei denen oft Millionen von DNA-Basen gleichzeitig hinzugefügt oder entfernt werden.

Diese enormen Veränderungen in der Struktur des Genoms führen zum Verlust von Genen, die die Entstehung von Krebs verhindern würden, während sich gleichzeitig Gene ansammeln, die das Zellwachstum fördern. Durch die Sequenzierung der DNA dieser Zellen können wir diese Veränderungen identifizieren, die häufig in krebstypspezifischen Regionen auftreten. Werte für die Kopienzahl für jedes Allel können mithilfe von Sequenzierungsdaten abgeleitet werden Nummer kopieren Anrufer.

Bearbeitung der Kopiernummernprofile

Einer der Vorteile der Arbeit mit Copy Quantity (CN)-Profilen besteht darin, dass sie nicht biometrisch sind und daher ohne Zugriffsbeschränkungen veröffentlicht werden können. Dadurch können wir im Laufe der Zeit Daten aus mehreren Studien sammeln, um Datensätze ausreichender Größe zu erstellen. Allerdings sind die Daten aus verschiedenen Studien nicht immer direkt vergleichbar, da sie möglicherweise mit unterschiedlichen Technologien generiert werden, unterschiedliche Auflösungen haben oder auf unterschiedliche Weise vorverarbeitet werden.

Um die Daten zu gewinnen und gemeinsam zu verarbeiten und zu visualisieren, nutzen wir das Instrument CNSistententwickelt im Rahmen der Arbeit des Institut für Computational Most cancers Biology des Universitätsklinik, Köln, Deutschland.

Zuerst klonen wir das Repository und die Daten und stellen es auf die in diesem Textual content verwendete Model ein:

git clone (e mail protected):schwarzlab/cnsistent.git
cd cnsistent
git checkout v0.9.0

Da sich die von uns verwendeten Daten im Repository befinden (ca. 1 GB Daten), dauert der Obtain einige Minuten. Zum Klonen müssen sowohl Git als auch Git LFS auf dem System vorhanden sein.

Im Repository befindet sich eine Datei „necessities.txt“, die alle Abhängigkeiten auflistet, die mit pip installiert werden können set up -r necessities.txt.

(Es wird empfohlen, zunächst eine virtuelle Umgebung zu erstellen.) Sobald die Anforderungen installiert sind, kann CNSigent durch Ausführen installiert werden pip set up -e . im selben Ordner. Der -e Flag installiert das Paket aus seinem Quellverzeichnis, was für den Zugriff auf die Daten über die API erforderlich ist.

Das Repository enthält Rohdaten aus drei Datensätzen: TCGA, PCAWGUnd TRACERx. Diese müssen zunächst vorverarbeitet werden. Dies kann durch Ausführen des Skripts erfolgen bash ./scripts/data_process.sh.

Jetzt haben wir Datensätze verarbeitet und können sie mit der Datendienstprogrammbibliothek CNSigent laden:

import cns.data_utils as cdu
samples_df, cns_df = cdu.main_load("imp")
print(cns_df.head())

Erzeugt das folgende Ergebnis:

|    | sample_id   | chrom   |    begin |      finish |   major_cn |   minor_cn |
|---:|:------------|:--------|---------:|---------:|-----------:|-----------:|
|  0 | SP101724    | chr1    |        0 | 27256755 |          2 |          2 |
|  1 | SP101724    | chr1    | 27256755 | 28028200 |          3 |          2 |
|  2 | SP101724    | chr1    | 28028200 | 32976095 |          2 |          2 |
|  3 | SP101724    | chr1    | 32976095 | 33354394 |          5 |          2 |
|  4 | SP101724    | chr1    | 33354394 | 33554783 |          3 |          2 |

Diese Tabelle zeigt die Daten zur Kopienanzahl mit den folgenden Spalten:

• sample_id: die Kennung der Probe,
• chrom: das Chromosom,
• begin: die Startposition des Segments (0-indiziert einschließlich),
• finish: die Endposition des Segments (0-indiziert exklusiv),
• major_cn: die Anzahl der Kopien des Hauptallels (das größere der beiden),
• minor_cn: die Anzahl der Kopien des Nebenallels (das kleinere der beiden).

In der ersten Zeile sehen wir daher einen Abschnitt, der besagt, dass Probe SP101724 2 Kopien des Hauptallels und 2 Kopien des Nebenallels (insgesamt 4) im Bereich von Chromosom 1 von 0 bis 27,26 Megabase aufweist.

Der zweite von uns geladene Datenrahmen, „Samples_df“, enthält die Metadaten für die Samples. Für unsere Zwecke ist nur der Typ wichtig. Wir können die verfügbaren Typen untersuchen, indem wir Folgendes ausführen:

import matplotlib.pyplot as plt
type_counts = samples_df("kind").value_counts()
plt.determine(figsize=(10, 6))
type_counts.plot(type='bar')
plt.ylabel('Depend')
plt.xticks(rotation=90)

Im oben gezeigten Beispiel können wir ein potenzielles Downside mit den Daten beobachten – die Längen der einzelnen Segmente sind nicht einheitlich. Das erste Phase ist 27,26 Megabasen lang, während das zweite nur 0,77 Megabasen lang ist. Dies ist ein Downside für das neuronale Netzwerk, das erwartet, dass die Eingabe eine feste Größe hat.

Wir könnten technisch gesehen alle vorhandenen Haltepunkte nehmen und Segmente zwischen allen Haltepunkten im Datensatz erstellen, sogenannte minimale konsistente Segmentierung. Dies würde jedoch zu einer großen Anzahl von Segmenten führen – eine schnelle Überprüfung mit len(cns_df(“finish”).distinctive()) zeigt, dass es welche gibt 823652 einzigartige Haltepunkte.

Alternativ können wir CNSistent verwenden, um mithilfe eines Binning-Algorithmus eine neue Segmentierung zu erstellen. Dadurch werden Segmente einer festen Größe erstellt, die als Eingabe für das neuronale Netzwerk verwendet werden können. In unserer Arbeit haben wir 1–3 Megabase-Segmente ermittelt, um den besten Kompromiss zwischen Genauigkeit und Überanpassung zu erzielen. Wir erstellen zunächst die Segmentierung und wenden sie dann an, um neue CNS-Dateien mithilfe des folgenden Bash-Skripts zu erhalten:

threads=8
cns phase entire --out "./out/segs_3MB.mattress" --split 3000000 --remove gaps - filter 300000 
for dataset in TRACERx PCAWG TCGA_hg19; 
do 
 cns combination ./out/${dataset}_cns_imp.tsv - segments ./out/segs_3MB.mattress - out ./out/${dataset}_bin_3MB.tsv - samples ./out/${dataset}_samples.tsv - threads $threads
completed

Die Schleife verarbeitet jeden Datensatz separat und behält dabei die gleiche Segmentierung bei. Der--threadsFlag wird verwendet, um den Prozess zu beschleunigen, indem die Aggregation parallel ausgeführt wird und der Wert entsprechend der Anzahl der verfügbaren Kerne angepasst wird.

Der--remove gaps  --filter 300000Argumente entfernen Regionen mit geringer Kartierbarkeit (auch bekannt als: Lücken) und filtern Sie Segmente heraus, die kürzer als 300 KB sind. Der --split 3000000 Das Argument erstellt Segmente von 3 MB.

Nichtkleinzelliges Lungenkarzinom

In diesem Textual content konzentrieren wir uns auf die Klassifizierung des nichtkleinzelligen Lungenkarzinoms, das etwa 85 % aller Lungenkrebsarten ausmacht, insbesondere auf die Unterscheidung zwischen Adenokarzinom und Plattenepithelkarzinom. Es ist wichtig, zwischen den beiden zu unterscheiden, da ihre Behandlungsschemata unterschiedlich sein werden und neue Methoden Hoffnung auf einen nicht-invasiven Nachweis anhand von Blutproben oder Nasenabstrichen geben.

Wir werden die oben erzeugten Segmente verwenden und diese mithilfe einer bereitgestellten Dienstprogrammfunktion laden. Da wir zwischen zwei Krebsarten klassifizieren, können wir die Proben so filtern, dass sie nur die relevanten Arten enthalten. LUAD (Adenokarzinom) und LUSC (Plattenepithelkarzinom) und zeichnen Sie die erste Probe auf:

import cns
samples_df, cns_df = cdu.main_load("3MB")
samples_df = samples_df.question("kind in ('LUAD', 'LUSC')")
cns_df = cns.select_CNS_samples(cns_df, samples_df)
cns_df = cns.only_aut(cns_df)
cns.fig_lines(cns.cns_head(cns_df, n=3))

Haupt- und Nebenkopienummernsegmente in 3-MB-Bins für die ersten drei Beispiele. In diesem Fall stammen alle drei Proben aus der Multiregion-Sequenzierung desselben Patienten, was zeigt, wie heterogen die Proben sind Krebszellen können sich sogar innerhalb eines einzelnen Tumors befinden.

Modell eines Faltungs-Neuronalen Netzwerks

Zum Ausführen des Codes ist Python 3 mit erforderlich PyTorch 2+ installiert werden soll und eine Bash-kompatible Shell. Für ein schnelleres Coaching wird eine NVIDIA-GPU empfohlen, ist aber nicht notwendig.

Zuerst definieren wir ein Faltungs-Neuronales Netzwerk mit drei Schichten:

import torch.nn as nn

class CNSConvNet(nn.Module):
    def __init__(self, num_classes):
        tremendous(CNSConvNet, self).__init__()

        self.conv_layers = nn.Sequential(
            nn.Conv1d(in_channels=2, out_channels=16, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.MaxPool1d(kernel_size=2),
            nn.Conv1d(in_channels=16, out_channels=32, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.MaxPool1d(kernel_size=2),
            nn.Conv1d(in_channels=32, out_channels=64, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.MaxPool1d(kernel_size=2)
        )

        self.fc_layers = nn.Sequential(
            nn.LazyLinear(128),
            nn.ReLU(),
            nn.Dropout(0.5),
            nn.Linear(128, num_classes)
        )

    def ahead(self, x):
        x = self.conv_layers(x)
        x = x.view(x.measurement(0), -1) 
        x = self.fc_layers(x)
        return x

Dies ist ein Boilerplate-Deep-CNN mit 2 Eingangskanälen – einer für jedes Allel – und 3 Faltungsschichten unter Verwendung eines 1D-Kernels der Größe 3 und der ReLU-Aktivierungsfunktion. Auf die Faltungsschichten folgen maximale Pooling-Schichten mit einer Kernelgröße von 2. Faltung wird traditionell für verwendet Kantenerkennungwas für uns nützlich ist, da wir an Änderungen in der Kopienzahl, additionally den Kanten der Segmente, interessiert sind.

Die Ausgabe der Faltungsschichten wird dann abgeflacht und mit Dropout durch zwei vollständig verbundene Schichten geleitet. Der LazyLinearDie Schicht verbindet die Ausgabe von 64 gestapelten Kanälen in einer Schicht mit 128 Knoten, ohne dass berechnet werden muss, wie viele Knoten am Ende der Faltung vorhanden sind. Hier liegen die meisten unserer Parameter, daher wenden wir auch Dropout an, um eine Überanpassung zu verhindern.

Trainieren des Modells

Zuerst müssen wir von Datenrahmen in Torch-Tensoren konvertieren. Wir verwenden eine Hilfsfunktion bins_to_features, die ein 3D-Characteristic-Array im Format (Samples, Allele, Segmente) erstellt. Dabei teilen wir die Daten auch im Verhältnis 4:1 in Trainings- und Testsätze auf:

import torch
from torch.utils.knowledge import TensorDataset, DataLoader
from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split

# convert knowledge to options and labels
options, samples_list, columns_df = cns.bins_to_features(cns_df)

# convert knowledge to Torch tensors
X = torch.FloatTensor(options)
label_encoder = LabelEncoder()
y = torch.LongTensor(label_encoder.fit_transform(samples_df.loc(samples_list)("kind"))) 

# Take a look at/practice cut up
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

# Create dataloaders
train_loader = DataLoader(TensorDataset(X_train, y_train), batch_size=32, shuffle=True)
test_loader = DataLoader(TensorDataset(X_test, y_test), batch_size=32, shuffle=False)

Wir können das Modell nun mithilfe der folgenden Trainingsschleife mit 20 Epochen trainieren. Der Adam-Optimierer und der CrossEntropy-Verlust werden typischerweise für Klassifizierungsaufgaben verwendet, daher verwenden wir sie auch hier:

# setup the mannequin, loss, and optimizer
system = torch.system('cuda' if torch.cuda.is_available() else 'cpu')
mannequin = CNSConvNet(num_classes=len(label_encoder.classes_)).to(system)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(mannequin.parameters(), lr=0.001)

# Coaching loop
num_epochs = 20
for epoch in vary(num_epochs):
    mannequin.practice()
    running_loss = 0.0
    
    for inputs, labels in train_loader:
        inputs, labels = inputs.to(system), labels.to(system)
        
        # Clear gradients
        optimizer.zero_grad()
        
        # Ahead move
        outputs = mannequin(inputs)
        loss = criterion(outputs, labels)
        
        # Backward move and optimize
        loss.backward()
        optimizer.step()
        
        running_loss += loss.merchandise()
    
    # Print statistics
    print(f'Epoch {epoch+1}/{num_epochs}, Loss: {running_loss/len(train_loader):.4f}')

Damit ist die Schulung abgeschlossen. Anschließend können wir das Modell bewerten und die Verwirrungsmatrix ausdrucken:

import numpy as np
from sklearn.metrics import confusion_matrix
import seaborn as sns

# Loop over batches within the check set and gather predictions
mannequin.eval()
y_true = ()
y_pred = ()
with torch.no_grad():
    for inputs, labels in test_loader:
        inputs, labels = inputs.to(system), labels.to(system)
        outputs = mannequin(inputs)
        y_true.lengthen(labels.cpu().numpy())
        y_pred.lengthen(outputs.argmax(dim=1).cpu().numpy())
        _, predicted = torch.max(outputs.knowledge, 1)

# Calculate accuracy and confusion matrix
accuracy = (np.array(y_true) == np.array(y_pred)).imply()
cm = confusion_matrix(y_true, y_pred)

# Plot the confusion matrix
plt.determine(figsize=(3, 3), dpi=200)
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', xticklabels=label_encoder.classes_, yticklabels=label_encoder.classes_)
plt.xlabel('Predicted')
plt.ylabel('True')
plt.title('Confusion Matrix, accuracy={:.2f}'.format(accuracy))
plt.savefig("confusion_matrix.png", bbox_inches='tight')

Der Trainingsvorgang dauert auf einer NVIDIA RTX 4090-GPU insgesamt etwa 7 Sekunden.

Abschluss

Wir haben einen effizienten und genauen Klassifikator des Lungenkrebs-Subtyps anhand von Kopienzahldaten entwickelt. Wie wir gezeigt habenlassen sich solche Modelle intestine auf neue Studien und Sequenzdatenquellen übertragen.

KI im Massenmaßstab wird oft unter anderem damit gerechtfertigt, dass „Lösung für Krebs„Aber wie in diesem Artikel, erfüllen kleine Modelle mit klassischen Ansätzen meist ihren Zweck intestine. Manche streiten sogar dass das eigentliche Hindernis des maschinellen Lernens in der Biologie und Medizin nicht darin besteht, Probleme zu lösen, sondern darin, tatsächlich etwas für die Patienten zu bewirken.

Dennoch konnte maschinelles Lernen zumindest die meisten Probleme lösen ein großes Rätsel der Computerbiologie, Neubelebung des Fokus auf maschinelles Lernen bei Krebs. Mit etwas Glück können wir das nächste Jahrzehnt vielleicht als die Zeit betrachten, in der wir den Krebs endlich „gelöst“ haben.

Bonus: Cell2Sentence

Die grundlegenden Modelle von heute enthalten als Teil ihres Trainingssatzes häufig Informationen darüber, welche Gene bei welchen Krebsarten eine hohe Kopienzahl aufweisen. Dies führte jedoch zur Entwicklung LLM-basierter Ansätze, wie z Cell2SentenceDabei wird ein Datensatz in eine natürliche Sprache konvertiert und an ein LLM übermittelt.

Diesen Ansatz können wir hier nutzen. Zuerst konvertieren wir eine zufällige LUSC-Stichprobe in eine Rangliste von Genen, basierend auf ihrem Kopienzahlwert:

import cns
import cns.data_utils as cdu
samples_df, cns_df = cdu.main_load("COSMIC")
cns_df = cns.add_total_cn(cns_df)
lusc_df = cns.select_cns_by_type(cns_df, samples_df, "LUSC")
lusc_one_df = cns.cns_head(lusc_df, 1)
rank_list = lusc_one_df.sort_values(by="total_cn", ascending=False)("title").to_list()

Dann konvertieren wir die Liste der Gene in eine Abfrage in natürlicher Sprache:

question = "Under is an inventory of COSMIC {gene_names} ordered by descending whole copy quantity in a cell. Your process is to determine the most cancers kind of that pattern.nn"
question += "{gene_names}: " + " ".be part of(rank_list) + "nn"
question += "Reply:"
print(question)

Das an ChatGPT 5 übermittelte Modell identifiziert den LUSC-Krebs korrekt:

Based mostly on the gene copy-number profile you listed, the strongest clue is the large amplification of 11q13 (CCND1, FADD) along with SOX2, PIK3CA, TP63, EGFR, FGFR1, MYC, CCND1/CCND2/CCND3, CDK6, CDK4. This can be a very attribute sample of squamous cell carcinoma of the lung (LUSC):
CCND1 amplification is among the most frequent occasions in LUSC.
SOX2 amplification (3q26) is a defining driver of lung squamous carcinoma, not often seen in adenocarcinoma.
TP63 amplification is once more extremely particular to squamous tumors.
Co-amplifications of PIK3CA, FGFR1, EGFR, MYC match this profile.
The broad set of genes amplified (many regulators of squamous differentiation and RTK/RAS/PI3K signaling) displays typical copy-number–pushed LUSC biology.
In contrast, lung adenocarcinomas normally present KRAS, EGFR, ALK, ROS1, MET exon 14, ERBB2 level mutations/fusions and have fewer widespread squamous-type CNAs.
Reply: Lung squamous cell carcinoma (LUSC).

Die Generierung dieser Ausgabe für eine Stichprobe dauert jedoch länger als die Klassifizierung des gesamten Datensatzes mit unserem Modell und die Klassifizierung unseres gesamten Datensatzes würde etwa 200 $ an API-Gebühren kosten.

Während KI-Modelle im Rampenlicht stehen, bleiben traditionelle statistische Modelle äußerst wertvolle Werkzeuge für die Nachfrageprognose

11 Min. Lektüre

·

Vor 12 Stunden

Hallo Medium-Leser!

Heute tauchen wir ein Prognosetechniken angewendet auf Bedarfsplanung, Ein Bereich, in den ich aufgrund meines Provide-Chain-Hintergrunds und meiner Leidenschaft für Datenwissenschaft stark investiere. Kürzlich habe ich mich über dieses Thema informiert und mir Bücher und Artikel dazu noch einmal angeschaut Bedarfsprognose um Ihnen neue Erkenntnisse zu liefern.

Lassen Sie mich zum Auftakt ein zum Nachdenken anregendes Zitat eines britischen Statistikers mit Ihnen teilen George EP-Field:

„Alle Modelle sind falsch, aber einige sind nützlich.“

Wenn Sie über dieses Zitat nachdenken, fragen Sie sich vielleicht: Warum sollte man sich überhaupt die Mühe machen, die Zukunft vorherzusagen, wenn kein Modell jemals ganz genau sein kann? Stellen Sie sich das wie eine Wettervorhersage vor: Sie hilft uns, vorauszuplanen. Soll ich morgen einen Regenschirm mitbringen? Sollte ich Sonnencreme auftragen? Sollte ich vor einem Hurrikan Schutz suchen? Prognosen sind zwar unvollkommen, helfen uns aber dabei, bessere Entscheidungen zu treffen.

In Bedarfsplanunges ist nicht anders. Bedarfsplaner und andere Stakeholder des Unternehmens nutzen Prognosen, um zukünftige Bedürfnisse zu antizipieren und anzupassen…

Eine eingehende Auseinandersetzung mit aktuellen Themen rund um KI, Urheberrecht und die wahre Bedeutung von „Honest Use“.

Wenn Sie dies hier lesen, sind Sie Teil des Ökosystems der Inhaltsersteller: entweder als Mitautor, Gelegenheitsnutzer oder Medium-Abonnent. Sie helfen dabei, das System am Laufen zu halten, was bedeutet, dass Sie am Thema des heutigen Beitrags beteiligt sind, in dem es um Urheberrechtsfragen und generative KI geht.

Ich beobachte dieses Thema schon seit einiger Zeit mit Interesse. Als Autor und als jemand, der täglich mit der „Era KI“ arbeitet, liegt es in meinem persönlichen und beruflichen Interesse, dies zu tun. Natürlich ist das Urheberrecht nicht das einzige rechtliche und ethische Downside im Zusammenhang mit der Era KI, und auch nicht die erste Technologie, die derartige Bedenken aufkommen lässt. Sie hat jedoch die öffentliche Aufmerksamkeit in einem völlig neuen Ausmaß erregt, weshalb ich mich heute damit befasse.

Beginnen wir mit den wichtigsten Interessenvertretern und kritischen Fragen. Bisher waren die lautstärksten Interessenvertreter im Diskurs über generative KI und Urheberrecht:

• Erbauer von Generative-AI-Modellen,
• Konsumenten der Ergebnisse solcher Modelle,
• und Inhaltsproduzenten, deren geistiges Eigentum möglicherweise auf dem … eines Modells landet.

Warum die Interpretierbarkeit von Modellen wichtig ist

Kürzlich stieß ich auf ein On-line-Buch, in dem verschiedene Instruments beschrieben werden, die zur Interpretierbarkeit von Machine-Studying-Modellen verwendet werden können (https://christophm.github.io/interpretable-ml-book/). Die Idee, dass Machine-Studying-Modelle keine Blackbox sein sollten und erklärt werden können, faszinierte mich und ich beschloss, mich intensiv mit diesem Thema zu befassen. Früher, wenn ich mit der Arbeit an einem neuen Machine-Studying-Projekt begann, folgte ich immer demselben Verfahren: das Drawback identifizieren, …