# Einführung

Die meisten Groups stellen fest, dass sie eine benötigen Characteristic-Retailer auf die harte Tour. Ein Betrugsmodell arbeitet im Pocket book und bringt nonetheless und leise die Produktion zum Erliegen. Ein Supportmitarbeiter gibt eine allgemeine Antwort, da er keine Ahnung hat, wer der Benutzer ist. Eine Empfehlungspipeline dupliziert dieselbe Berechnung der „30-Tage-Ausgaben“ für drei Jobs, und zwei davon sind anderer Meinung.

Ein Characteristic Retailer ist das Teil davon Infrastruktur das behebt diese Probleme. Es definiert Funktionen einmal, speichert sie in zwei Formen (eine zum Coaching, eine zum Servieren) und hält beide synchron. Wir werden ein Minimalmodell von Grund auf neu bauen Pythonverwenden DuckDB, Parkett, RedisUnd FastAPI. Dann schauen wir uns an, wie KI-Anwendungen das verändern, wofür wir sie tatsächlich nutzen.

Der vollständige Code ist kurz genug, dass wir jede Komponente durchgehen können.

# Was ein Characteristic Retailer tatsächlich löst

Der klassische Pitch ist der Trainings-Serving-Skew: Das SQL, das Ihren Trainingssatz erstellt hat, ist nicht derselbe Codepfad, der bei der Inferenz ausgeführt wird, sodass die Werte abweichen. Dieses Downside ist actual und die Trennung von Offline und On-line ist die Standardlösung.

Das moderne Spielfeld ist breiter. Giant Language Mannequin (LLM)-Agenten und Retrieval-Augmented Era (RAG)-Pipelines benötigen einen strukturierten Benutzerkontext zur Inferenzzeit, bei jeder Anfrage, in weniger als 10 ms. Ein LLM hat keine Erinnerung daran, wer der Benutzer ist. Wenn wir eine personalisierte Ausgabe wünschen, müssen wir die Planstufe des Benutzers, die letzte Aktivität und den Kontostatus in die Eingabeaufforderung einfügen, und wir brauchen ein System, das diese Werte schnell und konsistent zurückgeben kann. Genau das bieten uns der On-line-Store und die Abruf-API eines Characteristic-Shops.

Deshalb bauen wir für beides. Die gleichen fünf Komponenten behandeln den Anwendungsfall des prädiktiven maschinellen Lernens und den LLM-Kontext-Anwendungsfall.

# Die fünf Komponenten

• Eine Characteristic-Registrierung, die Options als Code definiert.
• Ein Offline-Store auf Parquet, abgefragt mit DuckDB, für Schulungen und Auffüllungen.
• Ein On-line-Store auf Redis für Nachschlagevorgänge mit geringer Latenz.
• Eine Materialisierungspipeline, die die neuesten Werte von offline nach on-line überträgt.
• Ein FastAPI-Dienst, der eine typisierte Abruf-API verfügbar macht.

# Laufbeispiel: Ein personalisierter LLM-Empfehler

Wir betreiben einen Streamingdienst. Wenn ein Benutzer die App öffnet, generiert ein LLM eine kurze, personalisierte Nachricht „Was Sie als Nächstes ansehen sollten“. Das LLM benötigt drei Dinge über den Benutzer:

Das Wesen ist user_id. Wir werden diese drei Funktionen registrieren, materialisieren und sie dem LLM auf Anfrage zur Verfügung stellen.

// 1. Definieren der Characteristic Registry

Eine Registrierung ist lediglich ein Ort, an dem Options einmalig mit ihrer Entität, ihrem Dtype und ihrer Quelle deklariert werden. Wir verwenden eine Datenklasse.

from dataclasses import dataclass
from typing import Literal

@dataclass(frozen=True)
class Characteristic:
    title: str
    entity: str
    dtype: Literal("int", "float", "str")
    supply: str  # path to a Parquet file or a SQL view

REGISTRY: dict(str, Characteristic) = {
    "user_segment": Characteristic("user_segment", "user_id", "str", "information/user_segment.parquet"),
    "watch_count_30d": Characteristic("watch_count_30d", "user_id", "int", "information/watch_count_30d.parquet"),
    "last_genre": Characteristic("last_genre", "user_id", "str", "information/last_genre.parquet"),
}

Den vollständigen Code finden Sie hier Hier.

Wenn Sie es ausführen, wird in der Ausgabe Folgendes angezeigt:

Registered options:
user_segment  entity=user_id  dtype=str  supply=information/user_segment.parquet
watch_count_30d  entity=user_id  dtype=int  supply=information/watch_count_30d.parquet
last_genre  entity=user_id  dtype=str  supply=information/last_genre.parquet

Das ist der Vertrag. Jede andere Komponente liest aus REGISTRYsodass das Umbenennen eines Options, das Ändern seines D-Typs oder das Verweisen auf eine neue Quelle an einer Stelle erfolgt. In Produktionssystemen wäre dies der Fall YAML oder ein in ein Git-Repository eingechecktes Python-Modul mit Codeüberprüfung bei jeder Änderung.

// 2. Aufbau des Offline-Retailers mit DuckDB und Parquet

Der Offline-Store speichert den vollständigen Verlauf jedes Merkmalswerts. Wir verwenden Parquet-Dateien als Speicherschicht und DuckDB als Abfrage-Engine. DuckDB liest Parquet direkt, was bedeutet, dass keine separate Datenbank ausgeführt werden muss.

Hier ist ein Beispiel des Codes:

import duckdb
import pandas as pd

def get_historical_features(
    entity_df: pd.DataFrame, options: record(str)
) -> pd.DataFrame:
    con = duckdb.join()
    con.register("entities", entity_df)
    base = "SELECT * FROM entities"
    for fname in options:
        f = REGISTRY(fname)
        src = f.supply.change("'", "''")
        con.execute(f"CREATE VIEW {fname}_src AS SELECT * FROM '{src}'")
        base = f"""
            SELECT t.*, s.{fname}
            FROM ({base}) t
            ASOF LEFT JOIN {fname}_src s
              ON t.user_id = s.user_id
             AND t.event_timestamp >= s.event_timestamp
        """
    return con.execute(base).df()

Den vollständigen Code finden Sie hier Hier.

Wenn Sie es ausführen, wird in der Ausgabe Folgendes angezeigt:

Der AsOf beitreten ist der Level-in-Time-Be part of. Für jede Entitätszeile wird der aktuellste Featurewert ausgewählt, bei dem der Zeitstempel des Options beim oder vor dem Ereigniszeitstempel liegt. Dadurch wird Leckage verhindert – wenn eine Trainingszeile mit einem Merkmalswert erstellt wird, der zu dem Zeitpunkt, für den wir die Vorhersage treffen, noch nicht vorhanden conflict.

Level-in-Time-Joins sind immer noch die richtige Antwort für jedes Modell, das wir trainieren oder verfeinern möchten. Für einen reinen Inferenzzeit-LLM-Anwendungsfall rufen wir diese Funktion möglicherweise nie auf. Wir wollen weiterhin den Offline-Retailer, da dort Backfills, Bewertungsdatensätze und Audits herkommen.

// 3. Einrichten des On-line-Retailers auf Redis

Der On-line-Store speichert nur den neuesten Wert professional Entität. Redis ist die Standardwahl, da Hash-Suchvorgänge weniger als eine Millisekunde dauern.

import json
import fakeredis  # use redis.Redis() in opposition to an actual server in manufacturing

r = fakeredis.FakeRedis(decode_responses=True)

def write_online(entity: str, entity_id: str, values: dict) -> None:
    r.hset(
        f"{entity}:{entity_id}",
        mapping={okay: json.dumps(v) for okay, v in values.gadgets()},
    )

def read_online(entity: str, entity_id: str, options: record(str)) -> dict:
    uncooked = r.hmget(f"{entity}:{entity_id}", options)
    return {f: json.masses(v) if v else None for f, v in zip(options, uncooked)}

Den vollständigen Code finden Sie hier Hier.

Wenn Sie es ausführen, wird in der Ausgabe Folgendes angezeigt:

read_online -> {'user_segment': 'power_user', 'watch_count_30d': 47, 'last_genre': 'documentary'}
lacking key -> {'user_segment': None}

Die Schlüsselform ist entity:entity_id. Der Wert ist ein Hash mit einem Feld professional Characteristic. Eine Single HMGET gibt alle von uns gewünschten Funktionen in einem Rundlauf zurück. Auf einer lokalen Redis-Instanz mit drei Funktionen ist dies in deutlich unter 1 ms erledigt.

// 4. Ausführen der Materialisierungspipeline

Durch die Materialisierung werden Werte von offline nach on-line verschoben. In einem realen System läuft dies nach einem Zeitplan (Airflow, Cron, ein Streaming-Job). Hier ist es eine Funktion.

def materialize(options: record(str)) -> None:
    by_entity: dict(str, dict) = {}
    for fname in options:
        f = REGISTRY(fname)
        src = f.supply.change("'", "''")
        df = duckdb.sql(f"""
            SELECT {f.entity}, {fname}
            FROM '{src}'
            QUALIFY ROW_NUMBER() OVER (
                PARTITION BY {f.entity}
                ORDER BY event_timestamp DESC
            ) = 1
        """).df()
        for _, row in df.iterrows():
            by_entity.setdefault(row(f.entity), {})(fname) = row(fname)
    for entity_id, values in by_entity.gadgets():
        write_online("user_id", entity_id, values)

Den vollständigen Code finden Sie hier Hier.

Wenn Sie es ausführen, wird in der Ausgabe Folgendes angezeigt:

user_id:8a2f -> {'user_segment': 'power_user', 'watch_count_30d': 47, 'last_genre': 'documentary'}
user_id:b13c -> {'user_segment': 'informal', 'watch_count_30d': 5, 'last_genre': 'thriller'}

Der QUALIFY Die Klausel behält die neueste Zeile professional Entität bei. Wir gruppieren alle Funktionen für denselben Benutzer in einem Redis-Schreibvorgang, um Roundtrips zu vermeiden. Führen Sie dies mit der Kadenz aus, die jede Funktion benötigt: stündlich für watch_count_30dnahezu in Echtzeit für last_genretäglich für user_segment. Die Registrierung ist der richtige Ort, um diesen Rhythmus in einer realen Implementierung zu kodieren.

// 5. Offenlegung des FastAPI Retrieval Service

Der Abrufdienst ist die Produktionsfläche. Es ist das, was die LLM-Anwendung aufruft.

f = resp.json()("options")
print("nPrompt the LLM would obtain:")
print(
    f"  System: You advocate reveals for a streaming service.n"
    f"  Person context: section={f('user_segment')}, "
    f"watched {f('watch_count_30d')} titles in final 30 days, "
    f"final style watched: {f('last_genre')}.n"
    f"  Activity: recommend 3 titles in a pleasant, brief message."
)

Den vollständigen Code finden Sie hier Hier.

Wenn Sie es ausführen, wird in der Ausgabe Folgendes angezeigt:

POST /get-online-features -> 200
physique: {'user_id': '8a2f', 'options': {'user_segment': 'power_user', 'watch_count_30d': 47, 'last_genre': 'documentary'}}
Immediate the LLM would obtain:
  System: You advocate reveals for a streaming service.
  Person context: section=power_user, watched 47 titles in final 30 days, final style watched: documentary.
  Activity: recommend 3 titles in a pleasant, brief message.

Der Characteristic Retailer ist der Teil, der „Benutzer 8a2f“ in einen strukturierten Kontext umwandelt, den das LLM verwenden kann.

# Wo der Characteristic Retailer endet und die Vektordatenbank beginnt

Eine Vektordatenbank (Tannenzapfen, Weben, pgvector) ist kein Characteristic Retailer, auch wenn beide bei der Schlussfolgerung vor einem Modell stehen. Sie lösen verschiedene Retrieval-Probleme.

Ein echter LLM-Stack nutzt beides. Die Vektordatenbank gibt die drei ähnlichsten vergangenen Betrachtungssitzungen zurück. Der Characteristic Retailer gibt das Phase des Benutzers und die letzten Zählungen zurück. Die Eingabeaufforderung kombiniert sie.

# Gängige Anti-Patterns

Einige Muster, die wir immer wieder beobachten, scheitern:

• Rechenfunktionen innerhalb des Modelldienstes. Die gleiche Logik landet im Trainingsnotizbuch und in der API, und die beiden Definitionen weichen innerhalb eines Quartals voneinander ab.
• Den On-line-Store als Quelle der Wahrheit betrachten. Redis verliert Daten bei einem fehlerhaften Neustart. Der Offline-Store ist kanonisch; Der On-line-Store ist ein Cache.
• Überspringen der Registrierung. Drei Groups definieren unabhängig voneinander active_user und die Dashboards stimmen nicht mehr mit dem Modell überein.
• Eine Vektordatenbank als Characteristic Retailer bezeichnen. Es können keine strukturierten Suchvorgänge mit Entitätsschlüssel durchgeführt werden, und eine Eingabeaufforderung, die beides benötigt, wird ohnehin mit zwei Systemen verbunden sein.
• Auffüllen ohne Level-in-Time-Joins. Das Trainingsset sieht großartig aus, das Serienmodell sieht kaputt aus und die Lücke ist das Leck.

# Vergleich mit Feast, Tecton und Databricks

Unsere ca. 200 Linien erledigen die gleiche Aufgabe im Miniaturformat.

Fest ist der naheliegendste Vergleich, wenn wir nach dem gleichen Muster weitergehen wollen: selbst gehostet. Tecton Und Datenbausteine sind die verwalteten Pfade und verfügen über explizite LLM-Funktionen (Tectons Characteristic Retrieval API für LLMs, Databricks Characteristic Serving für zusammengesetzte generative KI-Systeme). Die Wahl zwischen ihnen hängt hauptsächlich davon ab, wie viel wir selbst betreiben möchten und ob der Relaxation unseres Stacks bereits in Databricks lebt.

# Abschluss

Ein funktionierender Characteristic Retailer besteht aus fünf Komponenten: einer Registrierung, einem Offline-Retailer, einem On-line-Retailer, einem Materialisierungsschritt und einer Abruf-API. Wenn wir es einmal bauen, erfahren wir, warum die Produktionssysteme so aussehen, wie sie aussehen. Es zeigt auch, wo sich das Design für KI ändert: Der On-line-Abrufpfad ist die Oberfläche, auf die das LLM trifft, Level-in-Time-Joins sind wichtig, wenn wir trainieren oder auswerten, und die Vektordatenbank befindet sich neben dem Characteristic Retailer und nicht darin.

Sobald wir diese Teile haben, ist der Austausch unserer Minimalversion gegen Feast, Tecton oder Databricks größtenteils eine Migration der Registrierung. Die Kind des Methods bleibt gleich.

Nate Rosidi ist Datenwissenschaftler und in der Produktstrategie tätig. Er ist außerdem außerordentlicher Professor für Analytik und Gründer von StrataScratch, einer Plattform, die Datenwissenschaftlern hilft, sich mit echten Interviewfragen von High-Unternehmen auf ihre Interviews vorzubereiten. Nate schreibt über die neuesten Developments auf dem Karrieremarkt, gibt Ratschläge zu Vorstellungsgesprächen, stellt Knowledge-Science-Projekte vor und behandelt alles rund um SQL.

Der KI-App-Builder integriert Website positioning, KI-Suchoptimierung und Stay-SEMrush-Intelligenz in sein Produkt und löst so ein Auffindbarkeitsproblem, das immer schwieriger wird, als die meisten Entwickler erkennen

Der schwierigste Teil bei der Entwicklung eines Produkts besteht nicht mehr darin, es zu bauen. Es wird gefunden, und dieses Downside wird schneller schwieriger, als den meisten Bauherren bewusst ist.

Warum Auffindbarkeit das neue Schlachtfeld ist

Die Suche, wie sie seit zwei Jahrzehnten existiert, ist fragmentiert. Eine Analyse von Seer Interactive vom November 2025, die 25,1 Millionen Impressionen bei mehr als 3.000 Suchanfragen untersuchte, ergab, dass 58 % der Google-Suchanfragen mittlerweile ohne einen einzigen Klick auf eine Web site enden. Bei Suchanfragen, bei denen die KI-Übersichten von Google erscheinen, die mittlerweile bei mehr als 27 % aller Suchanfragen vorhanden sind, gegenüber weniger als 4 % im Januar 2025, sind die organischen Klickraten um 61 % gesunken.

Gleichzeitig öffnet sich ein anderer Kanal. Eine SE-Rating-Studie, die den Verkehr auf quick 64.000 Web sites verfolgt, ergab, dass der Verweisverkehr auf KI-Plattformen zwischen 2024 und 2025 um das Siebenfache gestiegen ist. Das Volumen ist im Vergleich zur herkömmlichen Suche immer noch gering, aber die Qualität ist beeindruckend: Besucher, die über KI-Plattformen kommen, verbringen 68 % mehr Zeit auf Web sites als Besucher über die organische Suche, was darauf hindeutet, dass sie vorab qualifizierter ankommen und in ihrer Entscheidungsfindung weiter fortgeschritten sind. Die Disziplin der Optimierung speziell für diesen Kanal, bekannt als Generative Motoroptimierungoder GEO – hat sich zu einer eigenständigen Praxis für Marken entwickelt, die sichtbar bleiben möchten, während KI die Artwork und Weise verändert, wie Menschen Produkte entdecken.

Die Implikation für App-Entwickler ist direkt. Die Indexierung durch Google ist weniger wichtig, wenn weniger Nutzer über Google klicken. Das Erscheinen in KI-generierten Antworten wird zu einer sinnvollen Various. Die meisten auf KI-Plattformen basierenden Apps waren für beide Kanäle strukturell unsichtbar. Lovable hat gerade versucht, das zu ändern.

Vom Second der Veröffentlichung an gefunden

Am 13. Mai 2026 hat Lovable, der KI-App-Builder mit einem Wert von 6,6 Milliarden US-Greenback, der von mehr als 8 Millionen Entwicklern weltweit genutzt wird, Website positioning, KI-Suchoptimierung und Stay-SEMrush-Intelligenz in den Kern seines Produkts integriert. Apps werden jetzt mit bereits vorhandenen technischen Grundlagen für die Auffindbarkeit ausgeliefert und nicht als Downside nach dem Begin abgetan.

Das Rückgrat des Updates ist eine architektonische Änderung. Neue Apps auf Lovable laufen jetzt auf TanStack Begin, einem Full-Stack-React-Framework, das vollständiges HTML auf dem Server rendert, bevor es jemals den Browser erreicht. Zuvor lieferten Lovable-Apps eine leere HTML-Shell für Suchcrawler, Inhalte erschienen erst, nachdem JavaScript auf der Clientseite ausgeführt wurde, was bedeutete, dass Seiten tage- oder wochenlang in der Warteschlange für die Indexierung standen, Metadaten oft vollständig fehlten und Social-Share-Hyperlinks zu leeren Vorschaukarten führten.

Beim serverseitigen Rendering verschwindet diese Warteschlange. Google, Bing und Suchcrawler erhalten bei der ersten Anfrage die vollständig ausgefüllte Seite, Inhalte, Titel, Beschreibungen und strukturierte Daten. Bei neuen Apps geschieht dies automatisch und ist in jedem Plan kostenlos, auch kostenlos.

Bestehende Apps, die auf Lovables bisherigem React- und Tailwind-CSS-Stack basieren, werden separat, aber genauso automatisch gehandhabt. Die Plattform hat Pre-Rendering auf alle bereitgestellten öffentlichen URLs angewendet: Statische HTML-Snapshots, die anstelle der leeren Hülle an Suchmaschinen und Crawler geliefert werden, während das Erlebnis für menschliche Besucher genau so bleibt, wie es conflict. Keine Migration, keine manuelle Arbeit, kein Choose-in. Es ist bereits in allen vorhandenen Apps verfügbar. Auch die sozialen Vorschauen wurden verbessert – freigegebene Hyperlinks auf LinkedIn, Slack, WhatsApp und X generieren jetzt einzigartige Vorschaukarten professional Seite.

KI-Suchsichtbarkeit, strukturiert in

Neben der herkömmlichen Suche strukturiert Lovable Apps jetzt so, dass sie von KI-gestützten Suchtools gelesen werden können. Jede veröffentlichte App stellt KI-Crawlern automatisch eine saubere Markdown-Model jeder Seite zur Verfügung – eine Ebene, die Inhalte ohne zusätzliche Konfiguration maschinenlesbar macht. Die Plattform prüft im Rahmen ihrer Website positioning-Überprüfung auch auf semantische HTML- und JSON-LD-strukturierte Daten, deckt etwaige Lücken auf und ermöglicht Entwicklern, diese mit einem Klick zu beheben. Apps können auch mit einer llms.txt-Datei eingerichtet werden, einem Manifest, das den KI-Instruments signalisiert, was eine Web site enthält, das die Website positioning-Überprüfung markiert und bei Fehlen generieren kann.

Wie Lovable CMO Cecilia Stallsmith es in der Ankündigung ausdrückte: „Früher waren Auffindbarkeit und Markensichtbarkeit ein Marketingproblem, das man später abgeben konnte. Aber in einer Welt, in der es nur noch sehr wenige Wettbewerbsgräben gibt, gibt es kein Später mehr.“

Ein SEMrush-Forschungspartner, integriert in den Chat

Die auffälligste Ergänzung ist eine Stay-SEMrush-Integration, die direkt in den Builder-Chat eingebettet ist. SEMrush, die Search-Intelligence-Plattform von Adobe, liefert einen Datensatz mit 28 Milliarden Schlüsselwörtern, 43 Billionen Backlinks und Profilen von 808 Millionen Domains in 32 Regionen. Diese Datenbank steht jetzt jedem Lovable-Benutzer zur Verfügung, ohne dass ein SEMrush-Konto erforderlich ist.

Der Arbeitsablauf ist gesprächig. Fragen Sie den Builder: „Auf welche Key phrases soll ich abzielen?“ Und es liefert reale Suchvolumenzahlen, Wettbewerbslücken und Site visitors-Schätzungen, die aus Stay-SEMrush-Daten stammen. Der Builder reagiert dann auf diese Antworten: Wenn SEMrush ein Key phrase mit hohem Volumen entdeckt, für das die App kein Rating erzielt, kann Lovable mithilfe regulärer Construct-Credit im selben Gespräch eine optimierte Zielseite, einen Titel, eine Meta-Beschreibung und H1 generieren und bereitstellen, die die Recherche widerspiegeln. SEMrush-Daten sind bis zum 15. August 2026 ohne zusätzliche Kosten verfügbar.

Führen Sie eine vollständige Website positioning-Überprüfung durch und beheben Sie das Downside mit einem Klick

Jede App kann jetzt zu jedem Zeitpunkt des Entwicklungszyklus eine On-Demand-Website positioning- und KI-Suchüberprüfung durchführen. Die Prüfung umfasst Leistung, Metadatenqualität, Überschriftenstruktur, Bild-Alternativtext, kanonische Tags, Open Graph-Tags, robots.txt und Sitemap-Standing. Die Ergebnisse werden nach Auswirkung geordnet, die meisten werden mit einem einzigen Klick mithilfe regulärer Construct-Credit gelöst und die Überprüfung selbst ist für alle Pläne, einschließlich unveröffentlichter Projekte, kostenlos. Die Einrichtung der Google Search Console und die benutzerdefinierte Domainverwaltung sind in derselben Registerkarte integriert.

Verfügbar für jeden Bauherrn und jeden Plan

Alle Funktionen der Discovery-Suite, serverseitiges Rendering für neue Apps, automatisches Pre-Rendering für bestehende, die SEMrush-Chat-Integration und die On-Demand-Website positioning-Überprüfung, werden auf jeder Lovable-Stufe ausgeliefert, auch kostenlos. Es gibt kein Auffindbarkeits-Improve und es muss kein separates Produkt erworben werden.

Auf einer Plattform, die jeden Tag mehr als 200.000 neue Projekte hervorbringt, verändert die Festlegung der Auffindbarkeit als integrierte Standardeinstellung die Wirtschaftlichkeit dessen, was es bedeutet, auf Lovable zu versenden. Aber es signalisiert auch etwas umfassenderes. Da sich die Suche auf herkömmliche Ergebnisse, KI-Übersichten und KI-Chat-Instruments verteilt, reicht es für KI-Builder-Plattformen nicht mehr aus, nur über die Erstellungsgeschwindigkeit zu konkurrieren. Die Plattformen, die die nächste Section definieren, werden diejenigen sein, die ihren Benutzern dabei helfen, in der gesamten Section aufzutreten. Lovable hat diese Wette gerade explizit gemacht.

Characteristic Engineering ist die Grundlage leistungsstarker Systeme für maschinelles Lernen. Der traditionelle Prozess ist jedoch oft manuell, zeitaufwändig und abhängig von Domänenexpertise. Es ist zwar effektiv, kann jedoch tiefere Signale übersehen, die in unstrukturierten Daten wie Textual content, Protokollen und Benutzerinteraktionen verborgen sind.

Große Sprachmodelle ändern dies, indem sie Maschinen helfen, Sprache zu verstehen, Bedeutung zu extrahieren und automatisch umfangreichere Funktionen zu generieren. Dieser Wandel eröffnet neue Möglichkeiten zum Aufbau intelligenterer ML-Pipelines. Dieser Artikel bietet eine praktische Anleitung zum Characteristic Engineering mit LLMs.

Was ist Characteristic Engineering mit LLMs?

Beim Characteristic-Engineering mit LLMs werden große Sprachmodelle verwendet, um Eingabefunktionen zu entwickeln und zu ändern, die für maschinelle Lernsysteme erforderlich sind. Ihr System extrahiert semantische Bedeutung und strukturierte Signale aus Rohdaten durch die Anwendung von LLMs, anstatt nur manuelle Transformationen zu verwenden.

Der neue Ansatz des Characteristic Engineering ermöglicht es Ingenieuren, Modelle für maschinelles Lernen mithilfe verschiedener Methoden zu entwickeln, die sowohl numerische Transformationen als auch kontextbasierte Darstellungen umfassen.

Characteristic Engineering mit LLMs nutzt vorab trainierte Sprachmodelle, um Roheingaben in strukturierte hochdimensionale Darstellungen umzuwandeln, die den Modellen helfen, eine bessere Leistung zu erzielen. Die Modelle nutzen den Kontext, um Beziehungen zwischen Elementen zu bestimmen und gleichzeitig Merkmale zu erstellen, die eine Bedeutung über statistische Muster hinaus ausdrücken.

Wie es sich vom traditionellen Characteristic Engineering unterscheidet

Beim herkömmlichen Characteristic-Engineering werden Regeln erstellt und Aggregations- und Transformationsmethoden zum Erstellen von Options verwendet. LLM-basiertes Characteristic-Engineering extrahiert Bedeutungs- und Benutzerabsichten sowie Beziehungsdaten, die bei der manuellen Codierung nicht erfasst werden können.

Der Wandel: Von manuellen Funktionen zu semantischen Funktionen

Maschinelles Lernen entwickelt Modelle durch die Verwendung handgefertigter Funktionen, darunter One-Scorching-Vektoren und TF-IDF sowie standardisierte numerische Werte. Manuelle Funktionen unterliegen Einschränkungen, da sie den Kontext nicht berücksichtigen, spezielles Wissen erfordern und subtile Unterschiede nicht berücksichtigen. Die TF-IDF-Methode behandelt Wörter als separate Einheiten, was zum Verlust von Wortbeziehungen und emotionaler Bedeutung führt.

• Einschränkungen traditioneller Methoden: Die manuelle Erstellung von Options erfordert permanente Systemverbindungen und spezifische Fachkenntnisse. Das System berücksichtigt weder Allgemeinwissen noch komplexe Zusammenhänge. Ein Bag-of-Phrases-Modell erfordert mehr Wissen als „kaltes Essen“, um unfavourable Gefühle zu erkennen. Die Personalabteilung muss viel Zeit aufwenden, um alle Ausnahmesituationen zu erkennen.
• Rolle von LLMs im Kontext: LLMs funktionieren in ihrem jeweiligen Kontext durch LLMs, die ihr Coaching aus umfangreichen Textdatenbanken nutzen, um Wissen zu erwerben und Muster zu erkennen. Das System versteht den Sprachkontext durch sein vorhandenes Weltwissen und die Fähigkeit, verborgene Botschaften zu verstehen. Das System extrahiert semantische Merkmale aus Daten über LLMs, die automatische Merkmale erstellen, die Datenelemente wie Stimmung sowie Themen- und Risikokategorien identifizieren.
• Warum dieser Wandel wichtig ist: Die Bedeutung dieses Übergangs ergibt sich aus seiner Fähigkeit zu zeigen, dass semantische Merkmale bei der Bewältigung komplizierter Aufgaben bessere Ergebnisse liefern als von Menschen erstellte Merkmale. Das System benötigt für seinen Betrieb weniger Characteristic-Heuristiken, was zu schnelleren Testprozessen führt.

Kerntechniken im Characteristic Engineering mit LLMs

In diesem Abschnitt werden die wichtigsten Methoden anhand von Codebeispielen veranschaulicht. Wir generieren kleine Beispieldaten und zeigen, wie Options abgeleitet werden.

Einbettungen als Options

LLMs erzeugen dichte semantische Vektoren aus Textual content. Die extrahierten Einbettungen fungieren als numerische Merkmale, die es dem Modell ermöglichen, Bedeutungen zu verstehen, die über die grundlegenden Worthäufigkeiten hinausgehen. Wir können ein Transformatormodell verwenden, um durch Satzkodierung 384-dimensionale Satzeinbettungen zu erstellen.

from sentence_transformers import SentenceTransformer 


mannequin = SentenceTransformer('all-MiniLM-L6-v2') 
sentences = ("I really like machine studying", "The film was implausible") 
embeddings = mannequin.encode(sentences) 

print("Embeddings form:", embeddings.form)

Ausgabe:

Embeddings form: (2, 384) 

Die Ausgabeform (2, 384) zeigt zwei Sätze, die in 384-dimensionalen dichten Vektoren abgebildet sind (einer professional Satz). Die Vektoren repräsentieren semantische Eigenschaften des Textes, einschließlich verwandter Bedeutungen und emotionaler Ausdrücke.

Wann sollten Einbettungen im Vergleich zu herkömmlichen Funktionen verwendet werden:

from sklearn.feature_extraction.textual content import TfidfVectorizer


docs = (
    "The cat sat on the mat",
    "The canine ate the cat",
)

# Conventional TF-IDF: sparse bag-of-words
tfidf = TfidfVectorizer()
X_tfidf = tfidf.fit_transform(docs)

# LLM embeddings: dense semantic options
X_emb = mannequin.encode(docs)

print("TF-IDF function form:", X_tfidf.form)
print("LLM embedding function form:", X_emb.form)

Ausgabe:

TF-IDF function form: (2, 6) 
LLM embedding function form: (2, 384)

Der TF-IDF Merkmale erzeugen eine (2×6) dünn besetzte Matrix, die sechs eindeutige Terme enthält, während die LLM-Einbettungen als (2×384) dichte Vektoren vorliegen. Die Einbettungen stellen die Bedeutung von Wörtern in ihrem Kontext dar, da sie am Beispiel von „Katze“ und „Hund“ zeigen, wie Synonyme zueinander in Beziehung stehen. Verwenden Sie semantische Funktionen aus Einbettungen, während herkömmliche Funktionen für einfache numerische Daten und hochfrequente kategoriale Daten funktionieren, die eine spärliche Codierung erfordern.

Wir können den LLM veranlassen, bestimmte strukturierte Informationen aus Textual content zu extrahieren. Die Modellausgaben können in Options analysiert werden.

from transformers import pipeline


critiques = (
    "The cellphone battery lasts all day and efficiency is easy",
    "The laptop computer overheats and may be very sluggish",
)

extractor = pipeline("text2text-generation", mannequin="google/flan-t5-base")

immediate = """
Extract options: sentiment, product_issue, efficiency

Textual content: The laptop computer overheats and may be very sluggish
"""

end result = extractor(immediate, max_length=50)

print(end result(0)("generated_text"))

Ausgabe:

sentiment: unfavourable, product_issue: overheating, efficiency: sluggish 

Wir verwenden die LLM-Eingabeaufforderung, die besagt „Extrahieren Sie die Stimmung (positiv/negativ), das Thema und die Dringlichkeit (niedrig/mittel/hoch) aus dieser Rezension.“ Das Modell gibt strukturierte Options als JSON-ähnliches Wörterbuch zurück. Die Merkmale Stimmung, Betreff und Dringlichkeit liegen nun als separate Spalten vor, die wir in unser Klassifikationssystem eingeben können

Ein JSON-Schema kann in einem Aufruf erzwungen werden, sodass konsistente Ausgaben gewährleistet sind. Zum Beispiel:

immediate = """
Extract in JSON format:

{
    "sentiment": "",
    "problem": "",
    "efficiency": ""
}

Textual content: The cellphone battery lasts all day and efficiency is easy
"""

end result = extractor(immediate, max_length=100)

print(end result(0)("generated_text"))

Ausgabe:

{ 
"sentiment": "constructive", 
"problem": "none", 
"efficiency": "easy" 
}

Generierung semantischer Merkmale

LLMs generieren neue beschreibende Attribute, die sowohl auf einzelne Zeilen als auch auf einzelne Datenwerte angewendet werden können.

information = (
    {"evaluation": "Nice digicam high quality however battery drains quick"},
    {"evaluation": "Reasonably priced and sturdy, good for each day use"},
)

immediate = """
Generate a brand new function referred to as 'user_intent' from this evaluation:

Evaluate: Nice digicam high quality however battery drains quick
"""

end result = extractor(immediate, max_length=50)
print(end result(0)("generated_text"))

Ausgabe:

user_intent: photography-focused however involved about battery 

Das LLM extrahiert durch die Analyse des Textes die Absicht des Benutzers aus der Rezension. Das System wandelt unverarbeiteten Textual content in strukturierte Funktionen um, die die Präferenz des Benutzers für Kameras und seine Bedenken hinsichtlich der Akkulaufzeit zeigen. Das System ermöglicht Benutzern das Hinzufügen neuer Spalten, die das Modellverständnis der Benutzeraktivitätsmuster verbessern.

Kontextbewusste Characteristic-Erstellung

LLMs können Textmerkmale generieren, wenn sie ihr Wissen nutzen, um den Wert eines Merkmals in bestimmten Situationen zu analysieren. Das LLM verwendet Postleitzahleninformationen, um das entsprechende geografische Gebiet zu erläutern.

immediate = """ 

Infer buyer kind: 
Evaluate: Reasonably priced and sturdy, good for each day use 

""" 

end result = extractor(immediate, max_length=50) 
print(end result(0)('generated_text'))

Ausgabe:

customer_type: budget-conscious sensible person 

Das LLM verwendet Kundenbewertungsinformationen, um zu bestimmen, zu welcher Kundengruppe der Rezensent gehört. Das System wandelt den eingegebenen Textual content in ein standardisiertes Etikett um, das die beiden Hauptpräferenzen des Benutzers für erschwingliche und langlebige Produkte anzeigt. Das System ermöglicht Benutzern die Implementierung einer neuen Funktion, die es Modellen ermöglicht, Benutzer anhand ihrer Verhaltensmuster und spezifischen Vorlieben zu kategorisieren.

Hybride Characteristic-Räume (multimodale Pipelines)

Kombinieren von Tabellen, Textual content und Einbettungen

Wir beginnen mit numerischen Merkmalen und semantischen Merkmalen, die wir zu einem Hybridvektor kombinieren.

import pandas as pd
import numpy as np


df = pd.DataFrame({
    "worth": (1000, 500),
    "ranking": (4.5, 3.0),
    "evaluation": (
        "Wonderful efficiency and battery life",
        "Sluggish and heats up rapidly",
    ),
})

embeddings = mannequin.encode(df("evaluation").tolist())

final_features = np.hstack((
    df(("worth", "ranking")).values,
    embeddings,
))

print("Last function form:", final_features.form)

Ausgabe:

Last function form: (2, 386) 

Der vollständige Datensatz enthält jetzt 2 Zeilen mit 386 Options. Die ursprünglichen Tabellendaten (Preis Und Bewertung) wird mit Texteinbettungen aus den Rezensionen kombiniert. Das System entwickelt erweiterte Funktionen durch die Kombination von strukturierten Daten und semantischen Textinformationen, was zu einer besseren Modellleistung führt.

Multimodale Characteristic-Pipelines

Wir beginnen mit numerischen Merkmalen und semantischen Merkmalen, die wir zu einem Hybridvektor kombinieren.

def feature_pipeline(row): 

   embedding = mannequin.encode((row('evaluation')))(0) 
   return checklist(row(('worth', 'ranking'))) + checklist(embedding) 

options = df.apply(feature_pipeline, axis=1) 
print(options.iloc(0)(:5))

Ausgabe:

(1000, 4.5, 0.023, -0.045, 0.067) 

Der vollständige Datensatz enthält jetzt 2 Zeilen mit 386 Options. Die ursprünglichen tabellarischen Daten (Preis und Bewertung) werden mit Texteinbettungen aus den Bewertungen kombiniert. Das System entwickelt erweiterte Funktionen durch die Kombination von strukturierten Daten und semantischen Textinformationen, was zu einer besseren Modellleistung führt.

Finish-to-Finish-Fluss (Daten → LLM → Funktionen → Modell)

In diesem Abschnitt gehen wir die Workflow-Demonstration durch, bei der Transformers zum Extrahieren von Options für die Verwendung mit einem einfachen Klassifikator verwendet wird. Betrachten Sie beispielsweise eine Stimmungsklassifizierungsaufgabe. Dazu nehmen wir zunächst einen Beispieldatensatz.

import pandas as pd


df = pd.DataFrame({
    "evaluation": (
        "Superb product, supply was tremendous quick and packaging was excellent",
        "Horrible high quality, broke after one use and assist was unhelpful",
        "Good worth for cash, does what it guarantees",
        "The product is okay, not nice however not unhealthy both",
        "Wonderful efficiency, exceeded my expectations fully",
        "Very sluggish supply and the product high quality is disappointing",
        "I really like the design and construct high quality, extremely advisable",
        "Waste of cash, stopped working inside two days",
        "Respectable product for the value, however could possibly be improved",
        "Customer support was useful however the product is common",
        "Unbelievable expertise, will certainly purchase once more",
        "The merchandise arrived late and was broken",
        "Fairly good total, happy with the acquisition",
        "Not well worth the worth, high quality feels low-cost",
        "Completely शानदार product, very pleased with it",
        "Works effective however nothing distinctive",
        "Horrible expertise, I desire a refund",
        "The options are helpful and efficiency is easy",
        "Mediocre high quality, anticipated higher at this worth",
        "Excellent construct high quality and quick efficiency",
        "Product is ok, supply took too lengthy",
        "Liked it, precisely what I wanted",
        "It’s okay, does the job however has some points",
        "Worst buy ever, fully ineffective",
        "Excellent high quality and fast supply",
        "Common product, nothing particular",
        "Extremely sturdy and dependable, nice purchase",
        "Poor packaging and broken merchandise obtained",
        "Glad with the acquisition, first rate efficiency",
        "Not pleased with the product, high quality is subpar",
    ),
    "label": (
        1, 0, 1, 1, 1,
        0, 1, 0, 1, 1,
        1, 0, 1, 0, 1,
        1, 0, 1, 0, 1,
        0, 1, 1, 0, 1,
        1, 1, 0, 1, 0,
    ),
})

Jetzt machen wir uns daran, eine Agentenpipeline zu erstellen, die beim Characteristic-Engineering für eine bestimmte Aufgabe hilft. In diesem Fall wird die Stimmungsanalyse durchgeführt.

from transformers import pipeline
from sentence_transformers import SentenceTransformer

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

import numpy as np


# Step 1: Initialize fashions
llm = pipeline("text2text-generation", mannequin="google/flan-t5-base")
embedder = SentenceTransformer("all-MiniLM-L6-v2")


# Step 2: Characteristic Extraction Agent
def extract_features(textual content):
    immediate = f"Extract sentiment (constructive/unfavourable): {textual content}"
    end result = llm(immediate, max_length=20)(0)("generated_text")

    return 1 if "constructive" in end result.decrease() else 0


# Step 3: Construct Characteristic Set
df("sentiment_feature") = df("evaluation").apply(extract_features)

embeddings = embedder.encode(df("evaluation").tolist())

X = np.hstack((
    df(("sentiment_feature")).values,
    embeddings
))

y = df("label")


# Step 4: Practice Mannequin
X_train, X_test, y_train, y_test = train_test_split(
    X,
    y,
    test_size=0.2
)

mannequin = LogisticRegression()
mannequin.match(X_train, y_train)


# Step 5: Consider
accuracy = mannequin.rating(X_test, y_test)

print("Mannequin Accuracy:", accuracy)

Ausgabe:

Mannequin Accuracy: 0.95 

Dies zeigt den kompletten Systembetrieb, der von Anfang bis Ende funktioniert. Der LLM Extrahiert eine Stimmungsfunktion aus jeder Bewertung, die mit Einbettungen kombiniert wird, um umfassendere Eingaben zu erstellen. Der Agentic Characteristic Engineering-Prozess dieses Programs ermöglicht es dem Modell, Textual content besser zu verstehen, was zu einer höheren Genauigkeit bei der Stimmungsvorhersage führt.

Anwendungen aus der Praxis

Die Anwendung von LLMs im Characteristic Engineering führt zu Veränderungen, die sich auf verschiedene Branchen auswirken. Die Lösung zeigt die Fähigkeit, Aufgaben in verschiedenen Einsatzbereichen auszuführen.

• Klassifizierung und NLP-Systeme: LLMs liefern erweiterte Textelemente, die Stimmungsanalysen, Chatbot-Entwicklung und Dokumentklassifizierungsaufgaben in Klassifizierungs- und NLP-Systemen unterstützen.
• Tabellarisches maschinelles Lernen: LLMs ermöglichen es allen Arten von Aufgaben, Vorteile aus ihren Fähigkeiten zu ziehen. Die LLM-Technologie wandelt unstrukturierte Daten aus Nebenquellen in nutzbare Funktionen um, die ein tabellarisches Modell verstehen kann.
• Domänenspezifische Anwendungsfälle: LLM-Funktionen haben modern Anwendungen in verschiedenen Bereichen gefunden, darunter Finanzen, Gesundheitswesen, Versicherungen und weitere Branchen. Das LLM-System in der Versicherungspreisgestaltung ermöglicht es Versicherungsmathematikern, automatische Funktionen zu erstellen, für die zuvor menschliche Spezialisten erforderlich waren. Das LLM-System verwendet Fahrzeugmodellbeschreibungen, um Risikobewertungen zu ermitteln, die Fahrzeuge als „Boy-Racer“-Modelle kennzeichnen.

Einschränkungen und Herausforderungen

Characteristic Engineering mit LLMs bietet Benutzern Vorteile, schafft jedoch mehrere Hindernisse, die gelöst werden müssen. Der Implementierungsprozess erfordert, dass alle Teammitglieder die bestehenden Einschränkungen verstehen. Dazu gehören:

• Zuverlässigkeit und Reproduzierbarkeit: Die Ausgaben von LLM-Systemen weisen ein inkonsistentes Verhalten auf, da Modelländerungen und geringfügige sofortige Änderungen eine neue Modellbewertung erfordern. Um eine konstante Leistung zu erzielen, benötigt das System eine sofortige Protokollierung und Nulltemperatureinstellungen. Organisationen stehen bei der LLM-Bereitstellung vor Herausforderungen, da sie zwei Aspekte bewältigen müssen, darunter API-Zugänglichkeit und Versionskontrolle.
• Voreingenommenheit und Interpretierbarkeit: Die Merkmale von LLM-Systemen sind schwer zu verstehen, da ihre dichten Einbettungen als LLM-Kernkomponenten fungieren. Das System könnte durch seine Betriebsabläufe zu einer auf Trainingsdaten basierenden Verzerrung führen. Ein LLM generiert ein Merkmal, das das Wort „Arzt“ implizit mit einem bestimmten Geschlecht verbindet. Der Prüfungsprozess muss Merkmale untersuchen, um ihre Equity festzustellen.
• Übermäßiges Vertrauen in LLM-Funktionen: LLMs bieten eine vollständige Automatisierung, die durch ihre Fassade der Zuverlässigkeit zu gefährlichen Ergebnissen führt. LLMs generieren irrelevante Funktionen, wenn Benutzer falsche Eingabeaufforderungen geben. Die LLM-Funktionen sollten als ergänzende Instruments fungieren, die Benutzer zusammen mit den Hauptdomänenfunktionen anwenden sollten.

Abschluss

Der Bereich der maschinellen Lernentwicklung erfährt durch den Einsatz von Characteristic Engineering mit LLMs einen großen Wandel. Der Schwerpunkt des Prozesses verlagert sich nun von der manuellen Datentransformationsarbeit hin zur Erstellung automatisierter Funktionen durch semantisches Verständnis. Diese Methode ermöglicht es Forschern, neue Methoden zur Analyse komplexer und unorganisierter Datensätze zu entwickeln.

Der Prozess erfordert eine präzise Umsetzung und gründliche Bewertungs- und Validierungsverfahren, um erfolgreich zu sein. LLM-Fähigkeiten in Kombination mit menschlichem Fachwissen ermöglichen es Praktikern, KI-Systeme zu entwickeln, die leistungsfähiger, skalierbarer und effektiver arbeiten.

Häufig gestellte Fragen

Hallo! Ich bin Vipin, ein leidenschaftlicher Fanatic für Datenwissenschaft und maschinelles Lernen mit fundierten Kenntnissen in Datenanalyse, Algorithmen für maschinelles Lernen und Programmierung. Ich verfüge über praktische Erfahrung in der Modellerstellung, der Verwaltung unübersichtlicher Daten und der Lösung realer Probleme. Mein Ziel ist es, datengesteuerte Erkenntnisse anzuwenden, um praktische Lösungen zu schaffen, die zu Ergebnissen führen. Ich bin bestrebt, meine Fähigkeiten in einer kollaborativen Umgebung einzubringen und gleichzeitig weiterhin in den Bereichen Knowledge Science, maschinelles Lernen und NLP zu lernen und mich weiterzuentwickeln.

Bild vom Herausgeber

# Einführung in Function Shops

Function-Shops sind keine Nischeninfrastruktur mehr, sondern ein wichtiges Frontend, das dabei hilft, die Grenzen von Datenpipelines zu erweitern, insbesondere bei solchen, die maschinelles Lernen und andere KI-Systeme beinhalten. Sie sind in diesem Jahr zu einem Pattern geworden, vor allem aufgrund der Branchenverlagerung vom experimentellen Aufbau von Modellen für maschinelles Lernen hin zur Notwendigkeit, skalierbare KI-gestützte Lösungen, Produkte und Dienstleistungen zu implementieren.

In diesem Artikel werden Function Shops sanft vorgestellt und ihre Ursprünge, Hauptmerkmale, Gründe für ihre aktuelle Bedeutung und derzeit beliebte Instruments beschrieben.

# Den Ursprüngen und der Entwicklung von Function Shops nachgehen

Der Begriff „Function Retailer“ wurde geprägt von Uber im Jahr 2017, um das zu vereinfachen, was sie als „Datenpipeline-Dschungel“ bezeichneten, und um Function-Governance und -Konsistenz durchzusetzen. Als Ergebnis erstellten sie ein zentrales Repository zum Speichern, Teilen und Wiederverwenden von Funktionen über mehrere Machine-Studying-Modelle und -Projekte hinweg, wobei gleichzeitig die Konsistenz zwischen Trainings- und Produktionsdaten gewahrt bleibt.

Nicht lange danach, im Jahr 2019, wurde der erste Drittanbieter-Function-Retailer-Anbieter auf Unternehmensebene gegründet, Tectonwurde von denselben ehemaligen Uber-Ingenieuren gegründet, die zum internen Function-Retailer von Uber beigetragen haben. Ihr Ziel warfare es, kommerzielle Function-Retailer-Lösungen auf den gesamten Unternehmensmarkt zu bringen, und die Einführung ihres Produkts erfolgte im Jahr 2020. Etwa zur gleichen Zeit entstanden cloudnative Function-Retailer-Lösungen auf großen Plattformen wie Amazon Net Providers (AWS), Google CloudUnd Microsoft Azure. Diese verwalteten Dienste, die in der Regel eng in ihre jeweiligen Machine-Studying-Frameworks integriert sind, haben sich seitdem bis heute weiterentwickelt und ausgereift.

Aber was genau ist ein Function Retailer? Es kann als zentralisierte Plattform oder System definiert werden, in der alle Datenfunktionen definiert und verwaltet werden, die nicht mit einem einzelnen, spezifischen Datensatz, sondern mit einer gesamten Domäne des maschinellen Lernens – einer Reihe von Modellen unter denselben übergeordneten Geschäftszielen – oder einer Organisation verbunden sind. In einem Function Retailer werden Options deklarativ beschrieben, indem ihre Geschäftssemantik, Quelldaten, Transformationslogik, zugehörige Metadaten und ihre Verfügbarkeit für Offline-Coaching und On-line-Modellinferenz oder -Bereitstellung angegeben werden.

Function-Shops können daher als eine angesehen werden einzige Quelle der Wahrheit für Funktionen innerhalb einer (normalerweise geschäftsorientierten) Domäne. Die Wiederverwendung von Funktionen, die Durchsetzung der Konsistenz zwischen Modelltraining und -bereitstellung sowie die Grundlagen für die Steuerung, Überwachung und Skalierung maschineller Lernvorgänge sind weitere charakteristische Merkmale – Merkmalewenn Sie so wollen – moderner Function-Retailer-Systeme.

In einem Function Retailer werden Options deklarativ beschrieben, indem ihre Geschäftssemantik, Quelldaten, Transformationslogik, zugehörige Metadaten und ihre Verfügbarkeit für Offline-Coaching und On-line-Modellinferenz oder -Bereitstellung angegeben werden.

# Funktionsspeicher anhand eines Beispiels verstehen

Um die Schlüsselkonzepte und Funktionen rund um Function Shops besser zu verstehen, betrachten wir ein Beispielszenario eines E-Commerce-Unternehmens, das eine Reihe von Modellen für maschinelles Lernen zur Betrugserkennung erstellt.

Mit Unterstützung des vertrauenswürdigen Cloud-Anbieters des Unternehmens wurde ein Function Retailer entwickelt, um die relevanten Funktionen zu definieren und zu verwalten, die in den Betrugserkennungsmodellen des Unternehmens gemeinsam genutzt werden. Zu diesen relevanten Merkmalen gehören unter anderem: die Anzahl der initiierten Benutzertransaktionen in den letzten 24 Stunden, der durchschnittliche Transaktionsbetrag in der letzten Woche, die Anzahl der vom Benutzer im letzten Monat verwendeten unterschiedlichen Zahlungsmethoden und die seit der letzten Transaktion des Benutzers verstrichene Zeit.

Schauen wir uns nun eine dieser Funktionen genauer an, um besser zu verstehen, was ein Function Retailer dazu zu sagen hat. Betrachten Sie die Beispielfunktion user_transaction_count_24h:

• Geschäftssemantik: Diese Funktion beschreibt für einen bestimmten Benutzer die Anzahl der initiierten Transaktionen in den letzten 24 Stunden.
• Quelldaten: Die Funktion wird aus Daten im abgeleitet transactions Tabelle – eine Ereignistabelle mit Spalten für user_id, transaction_timestampsUnd standing.
• Transformationslogik: Um es zu erhalten, ist eine Zählung der Transaktionen mit erforderlich initiated Standing nach eindeutig gruppiert user_id wird über ein rollierendes Fenster berechnet, das sich über 24 Stunden erstreckt.
• Zugehörige Metadaten:
• Eigentümer: Betrugs-Machine-Studying-Staff.
• Typ: integer.
• Fenster: 24h.
• Frische-SLA (Service Stage Settlement): 5 Minuten.
• Verfügbarkeit: Verfügbar für Offline-Schulungen und On-line-Bereitstellung.

Wichtig ist, dass sich das Aktualitäts-SLA darauf bezieht, wie aktuell ein Merkmalswert sein muss, damit er für die Verwendung durch das Modell als gültig gilt. Dabei handelt es sich um einen Function-Retailer-Mechanismus, der die Zuverlässigkeit und Konsistenz des Verhaltens von Modellen für maschinelles Lernen gewährleistet.

Beispielhafte Function-Spezifikationen in einem Function-Retailer | Bild vom Autor

# Entdecken Sie den Hype um den Function Retailer 2026 und beliebte Instruments

Es gibt verschiedene Gründe, warum Function Shops derzeit zu einem wichtigen Datenwissenschafts- und KI-Pattern geworden sind, obwohl es sich nicht um ein völlig neues Paradigma handelt. Hier sind einige davon:

• Mit dem Aufstieg von Agentische KIDer Wert von Function-Shops hat sich vervielfacht, da sie die hochwertigen Echtzeit-Datenfunktionen bereitstellen, die hochmoderne KI-Agenten benötigen, um komplexe, mehrstufige Aufgaben selbst auszuführen.
• Unternehmen erkennen zunehmend die Bedeutung der Dateninfrastruktur anstelle isoliert aufgebauter Modelle für maschinelles Lernen. Function Shops sind der Klebstoff und die Grundlage für diesen Wandel.
• Function-Shops tragen dazu bei, Doppelarbeit durch Information-Engineering-Groups zu vermeiden und machen die Wiederverwendung kuratierter und produktionsbereiter Options zur neuen Norm.
• Function Shops orientieren sich an neuen, strengeren KI-Vorschriften, was Aspekte wie Zentralisierung und Angleichung an Transparenzstandards betrifft.
• Für domänenspezifische Ziele und KPIs wie Hyperpersonalisierung (in Branchen wie dem Einzelhandel) erweitern Function Shops die Grenzen der Analyse in Echtzeit.
• Im Hinblick auf die Kosten tragen Function Shops dazu bei, steigende Infrastrukturkosten und -effizienz zu bewältigen, indem sie redundante Datenverarbeitung verhindern und dadurch den Rechenaufwand reduzieren.

Zu den beliebtesten Function-Retailer-Instruments, die von vielen Unternehmen zur Nutzung moderner KI-Anwendungen eingesetzt werden, gehören:

1. Fest: Ein Open-Supply-Retailer, ideally suited für Groups mit ausreichenden technischen Ressourcen, die eine Anbieterbindung vermeiden möchten.
2. Tecton (Databricks): Tecton wurde kürzlich von Databricks übernommen und ist eine vollständig verwaltete, skalierbare Lösung für Unternehmen, die sich ideally suited für die Verwaltung komplexer Echtzeit-Datenpipelines eignet.
3. Google Cloud Vertex AI Function Retailer: Es zeichnet sich durch seine Integration mit aus Google BigQuery und modernste generative KI-Modelle.
4. Amazon SageMaker Function Retailer: Eng in AWS integriert, unterstützt es auf elegante Weise den Funktionsabruf sowohl im Batch- als auch im Echtzeit-Modellinferenzverfahren.

# Abschließende Bemerkungen

Function-Shops haben heutzutage im Zuge der neuesten KI-Fortschritte und der steigenden organisatorischen Anforderungen, mit den kontinuierlichen Fortschritten und sich entwickelnden Zielen und Bedürfnissen Schritt zu halten, stark an Bedeutung gewonnen. Dieser Artikel soll eine sanfte Einführung in Function Shops bieten und umreißen, was sie sind, ihre Eigenschaften, Entwicklung und herausragenden Instruments.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.

Bild von Editor

# Einführung

In jedem Projekt für maschinelles Lernen kann die Function -Auswahl Ihr Modell erstellen oder brechen. Die Auswahl der optimalen Untergruppe von Merkmalen reduziert das Rauschen, verhindert die Überanpassung, verbessert die Interpretierbarkeit und verbessert häufig die Genauigkeit. Bei zu vielen irrelevanten oder redundanten Variablen werden Modelle aufgebläht und schwieriger zu trainieren. Mit zu wenig riskieren sie kritische Signale.

Um diese Herausforderung anzugehen, haben wir mit drei beliebten Function -Auswahltechniken in einem echten Datensatz experimentiert. Ziel conflict es zu bestimmen, welcher Ansatz das beste Gleichgewicht zwischen Leistung, Interpretierbarkeit und Effizienz bieten würde. In diesem Artikel teilen wir unsere Erfahrungen mit drei Function -Auswahltechniken und zeigen, welche für unseren Datensatz am besten geeignet ist.

# Warum Function -Auswahl anwesend ist

Beim Erstellen von Modellen für maschinelles Lernen, insbesondere bei hochdimensionalen Datensätzen, tragen nicht alle Funktionen gleichermaßen bei. Ein schlankerer, informativerer Eingabetaste bietet mehrere Vorteile:

• Reduzierte Überanpassung – Die Beseitigung irrelevanter Variablen hilft Modellen, die Verallgemeinerungen besser auf unsichtbare Daten zu verallgemeinern.
• Schnelleres Coaching – Weniger Funktionen bedeuten schnelleres Coaching und niedrigere Rechenkosten.
• Bessere Interpretierbarkeit – Mit einem kompakten Satz von Prädiktoren ist es einfacher zu erklären, welche Modellentscheidungen vorantreiben.

# Der Datensatz

Für dieses Experiment haben wir den Diabetes-Datensatz aus Scikit-Study verwendet. Es enthält 442 Patientenaufzeichnungen mit 10 Basismerkmalen wie Physique Mass Index (BMI), Blutdruck, mehreren Serummessungen und Alter. Die Zielvariable ist ein quantitatives Maß für das Fortschreiten der Krankheit ein Jahr nach dem Ausgangswert.

Laden wir den Datensatz und bereiten Sie ihn vor:

import pandas as pd
from sklearn.datasets import load_diabetes

# Load dataset
information = load_diabetes(as_frame=True)
df = information.body

X = df.drop(columns=('goal'))
y = df('goal')

print(df.head())

Hier, X enthält die Merkmale und y Enthält das Ziel. Wir haben jetzt alles bereit, verschiedene Function -Auswahlmethoden anzuwenden.

# Filtermethode

Filtermethoden Rang oder beseitigt Merkmale, die auf statistischen Eigenschaften basieren, anstatt ein Modell zu trainieren. Sie sind einfach, schnell und geben einen schnellen Weg, um offensichtliche Entlassungen zu entfernen.

Für diesen Datensatz haben wir nach stark korrelierten Merkmalen geprüft und eine überschrittene Korrelationsschwelle von 0,85 überschritten.

import numpy as np

corr = X.corr()
threshold = 0.85
higher = corr.abs().the place(np.triu(np.ones(corr.form), ok=1).astype(bool))
to_drop = (col for col in higher.columns if any(higher(col) > threshold))
X_filter = X.drop(columns=to_drop)
print("Remaining options after filter:", X_filter.columns.tolist())

Ausgabe:

Remaining options after filter: ('age', 'intercourse', 'bmi', 'bp', 's1', 's3', 's4', 's5', 's6')

Es wurden nur eine redundante Funktion entfernt, sodass der Datensatz 9 der 10 Prädiktoren behielt. Dies zeigt, dass der Diabetes -Datensatz hinsichtlich der Korrelation relativ sauber ist.

# Wrapper -Methode

Wrapper -Methoden Bewerten Sie Untergruppen von Funktionen, indem Sie tatsächlich Schulungsmodelle trainieren und die Leistung überprüfen. Eine beliebte Technik ist Rekursive Merkmalsiminierung (RFE).

RFE beginnt mit allen Funktionen, passt zu einem Modell, richtet sie nach Bedeutung und beseitigt rekursiv die am wenigsten nützlichen, bis die gewünschte Anzahl von Funktionen verbleibt.

from sklearn.linear_model import LinearRegression
from sklearn.feature_selection import RFE

lr = LinearRegression()
rfe = RFE(lr, n_features_to_select=5)
rfe.match(X, y)

selected_rfe = X.columns(rfe.support_)
print("Chosen by RFE:", selected_rfe.tolist())

Chosen by RFE: ('bmi', 'bp', 's1', 's2', 's5')

RFE ausgewählte 5 von 10 Funktionen ausgewählte Funktionen. Der Kompromiss ist, dass dieser Ansatz rechenintensiver ist, da mehrere Runden der Modellanpassung erforderlich sind.

# Embedded -Methode

Eingebettete Methoden Integrieren Sie die Function -Auswahl in den Modelltrainingsprozess. Lasso Regression (L1 -Regularisierung) ist ein klassisches Beispiel. Es bestraft Function -Gewichte und schrumpft weniger wichtige auf Null.

from sklearn.linear_model import LassoCV

lasso = LassoCV(cv=5, random_state=42).match(X, y)

coef = pd.Sequence(lasso.coef_, index=X.columns)
selected_lasso = coef(coef != 0).index
print("Chosen by Lasso:", selected_lasso.tolist())

Chosen by Lasso: ('age', 'intercourse', 'bmi', 'bp', 's1', 's2', 's4', 's5', 's6')

Lasso behielt 9 Funktionen und beseitigte eine, die wenig Vorhersagekraft beischloss. Im Gegensatz zu Filtermethoden basierte diese Entscheidung jedoch auf der Modellleistung und nicht nur auf der Korrelation.

# Ergebnisse Vergleich

Um jeden Ansatz zu bewerten, haben wir ein lineares Regressionsmodell in den ausgewählten Function -Units trainiert. Wir verwendeten eine 5-fache Kreuzvalidierung und die gemessene Leistung unter Verwendung von R²-Rating und mittlerem Quadratfehler (MSE).

from sklearn.model_selection import cross_val_score, KFold
from sklearn.linear_model import LinearRegression

# Helper analysis perform
def evaluate_model(X, y, mannequin):
    cv = KFold(n_splits=5, shuffle=True, random_state=42)
    r2_scores = cross_val_score(mannequin, X, y, cv=cv, scoring="r2")
    mse_scores = cross_val_score(mannequin, X, y, cv=cv, scoring="neg_mean_squared_error")
    return r2_scores.imply(), -mse_scores.imply()

# 1. Filter Methodology outcomes
lr = LinearRegression()
r2_filter, mse_filter = evaluate_model(X_filter, y, lr)

# 2. Wrapper (RFE) outcomes
X_rfe = X(selected_rfe)
r2_rfe, mse_rfe = evaluate_model(X_rfe, y, lr)

# 3. Embedded (Lasso) outcomes
X_lasso = X(selected_lasso)
r2_lasso, mse_lasso = evaluate_model(X_lasso, y, lr)

# Print outcomes
print("=== Outcomes Comparability ===")
print(f"Filter Methodology   -> R2: {r2_filter:.4f}, MSE: {mse_filter:.2f}, Options: {X_filter.form(1)}")
print(f"Wrapper (RFE)   -> R2: {r2_rfe:.4f}, MSE: {mse_rfe:.2f}, Options: {X_rfe.form(1)}")
print(f"Embedded (Lasso)-> R2: {r2_lasso:.4f}, MSE: {mse_lasso:.2f}, Options: {X_lasso.form(1)}")

=== Outcomes Comparability ===
Filter Methodology   -> R2: 0.4776, MSE: 3021.77, Options: 9
Wrapper (RFE)   -> R2: 0.4657, MSE: 3087.79, Options: 5
Embedded (Lasso)-> R2: 0.4818, MSE: 2996.21, Options: 9

Die Filtermethode hat nur ein redundantes Merkmal entfernt und eine gute Basisleistung erbracht. Der Wrapper (RFE) hat den Merkmal in zwei Hälften geschnitten, aber die Genauigkeit leicht reduziert. Das eingebettete (lasso) behielt 9 Funktionen und lieferte die beste R² und die niedrigste MSE. Insgesamt bot Lasso das beste Gleichgewicht zwischen Genauigkeit, Effizienz und Interpretierbarkeit.

# Abschluss

Die Auswahl der Merkmale ist nicht nur ein Vorverarbeitungsschritt, sondern eine strategische Entscheidung, die den Gesamterfolg einer Pipeline für maschinelles Lernen prägt. Unser Experiment verstärkte, dass einfache Filter und erschöpfende Verpacker zwar ihren Platz haben, eingebettete Methoden wie Lasso oft den Candy Spot liefern.

Auf dem Diabetes -Datensatz wurde die Lasso -Regularisierung zum klaren Gewinner. Es hat uns geholfen, ein schnelleres, genaueres und interpretierbareres Modell zu erstellen, ohne die starken Berechnung von Wrapper -Methoden oder die Übereinführung von Filtern.

Für die Praktizierenden lautet der Imbiss: Verlassen Sie sich nicht blind auf eine einzige Methode. Beginnen Sie mit schnellen Filtern, um offensichtliche Entlassungen zu beschneiden, versuchen Sie Wrapper, wenn Sie eine umfassende Erkundung benötigen, aber in Betracht ziehen immer eingebettete Methoden wie Lasso für ein praktisches Gleichgewicht.

Jayita Gulati ist ein Fanatic und technische Schriftsteller für maschinelles Lernen, der von ihrer Leidenschaft für den Aufbau maschineller Lernmodelle angetrieben wird. Sie hat einen Grasp -Abschluss in Informatik an der Universität von Liverpool.

Bild von Autor | Chatgpt

# Einführung

Function Engineering wird aus gutem Grund als „Kunst“ von Information Science bezeichnet – erfahrene Datenwissenschaftler entwickeln diese Instinct, um aussagekräftige Merkmale zu entdecken, aber dieses Wissen ist schwierig, über Groups hinweg zu teilen. Sie sehen häufig Junior -Datenwissenschaftler, die stundenlange Brainstorming -potenzielle Merkmale ausgeben, während ältere Leute die gleichen Analysemuster in verschiedenen Projekten wiederholen.

Hier ist die Sache, die die meisten Datenteams begegnen: Function Engineering benötigt sowohl Area -Experience als auch statistische Instinct, aber der gesamte Prozess bleibt von Projekt zu Projekt ziemlich manuell und inkonsistent. Ein leitender Datenwissenschaftler könnte sofort feststellen, dass die Marktkapitios die Leistung der Sektor vorhersagen könnten, während jemand, der neuer für das Group ist, diese offensichtlichen Transformationen vollständig verpassen könnte.

Was wäre, wenn Sie AI verwenden könnten, um sofortige strategische Function -Engineering -Empfehlungen zu generieren? Dieser Workflow befasst sich mit einem echten Skalierungsproblem: Das Umwandeln individueller Know-how in teamweite Intelligenz durch automatisierte Analyse, die Merkmale vorschlägt, die auf statistischen Mustern, Domänenkontext und Geschäftslogik basieren.

# Der KI -Vorteil im Function Engineering

Die meisten Automatisierung konzentrieren sich auf Effizienz – beschleunigen sich wiederholende Aufgaben und die Reduzierung der Handarbeit. Dieser Workflow zeigt jedoch eine Datenwissenschaft in Aktion. Anstatt menschliches Know -how zu ersetzen, verstärkt es die Mustererkennung über verschiedene Bereiche hinweg und erlebte die Ebenen.

Auf dem Aufbau der visuellen Workflow -Stiftung von N8N zeigen wir Ihnen, wie Sie LLMs für intelligente Function -Vorschläge integrieren. Während die traditionelle Automatisierung sich wiederholende Aufgaben erledigt, befasst sich die KI-Integration mit den kreativen Teilen der Datenwissenschaft-erzeugt Hypothesen, die Identifizierung von Beziehungen und die Vorschlag von domänenspezifischen Transformationen.

Hier glänzt N8N wirklich: Sie können verschiedene Technologien reibungslos verbinden. Kombinieren Sie die Datenverarbeitung, die KI -Analyse und die professionelle Berichterstattung, ohne zwischen Instruments zu wechseln oder eine komplexe Infrastruktur zu verwalten. Jeder Workflow wird zu einer wiederverwendbaren Intelligenz -Pipeline, die Ihr gesamtes Group ausführen kann.

# Die Lösung: eine 5-Knoten-AI-Analyse-Pipeline

Unser intelligenter Function Engineering Workflow verwendet fünf verbundene Knoten, die Datensätze in strategische Empfehlungen verwandeln:

• Manueller Auslöser – Startet die On-Demand-Analyse für jeden Datensatz
• HTTP -Anfrage – Greifen Sie Daten von öffentlichen URLs oder APIs zu
• Codeknoten – führt eine umfassende statistische Analyse und Mustererkennung durch
• Grundlegende LLM -Kette + Openai – Generiert kontextbezogene Function -Engineering -Strategien
• HTML -Knoten – Erstellt professionelle Berichte mit AI-generierten Erkenntnissen

# Erstellen des Workflows: Schritt-für-Schritt-Implementierung

// Voraussetzungen

// Schritt 1: Importieren und konfigurieren Sie die Vorlage

1. Laden Sie die Workflow -Datei herunter
2. Öffnen Sie N8N und klicken Sie auf „Aus der Datei importieren“
3. Wählen Sie die heruntergeladene JSON -Datei aus – alle fünf Knoten werden automatisch angezeigt
4. Speichern Sie den Workflow als „KI Function Engineering Pipeline“

Die importierte Vorlage verfügt über eine ausgefeilte Analyselogik und KI -Aufforderung, die bereits für die sofortige Verwendung eingerichtet wurden.

// Schritt 2: Konfigurieren Sie die OpenAI -Integration

1. Klicken Sie auf den Knoten „OpenAI -Chat -Modell“
2. Erstellen Sie mit Ihrer OpenAI -API -Schlüssel einen neuen Anmeldeinformationen
3. Wählen Sie ‚GPT-4,1-Mini‘ für einen optimalen Kostendurchführungsbetrag
4. Testen Sie die Verbindung – Sie sollten eine erfolgreiche Authentifizierung sehen

Wenn Sie zusätzliche Unterstützung bei der Erstellung Ihres ersten OpenAI-API-Schlüssels benötigen, finden Sie in unserer Schritt-für-Schritt-Anleitung zu OpenAI -API für Anfänger.

// Schritt 3: Passen Sie Ihren Datensatz an

1. Klicken Sie auf den HTTP -Anforderungsknoten
2. Ersetzen Sie die Normal -URL durch unsere S & P 500 Datensatz:

   https://uncooked.githubusercontent.com/datasets/s-and-p-500-companies/grasp/information/constituents.csv
   

3. Überprüfen Sie die Zeitüberschreitungseinstellungen (30 Sekunden oder 30000 Millisekunden bearbeiten die meisten Datensätze).

Der Workflow passt sich automatisch an verschiedene CSV -Strukturen, Spaltentypen und Datenmuster ohne manuelle Konfiguration an.

// Schritt 4: Ergebnisse ausführen und analysieren

1. Klicken Sie in der Symbolleiste auf „Workflow ausführen“
2. Überwachen Sie die Knotenausführung – jeweils wird grün
3. Klicken Sie auf den HTML-Knoten und wählen Sie die Registerkarte „HTML“ für Ihren AI-generierten Bericht
4. Überprüfen

Was Sie bekommen:

Die KI -Analyse liefert überraschend detaillierte und strategische Empfehlungen. Für unseren S & P 500-Datensatz werden leistungsstarke Function-Kombinationen wie Age Buckets (Startup, Wachstum, Reife, Erbe) und Sektor-Location-Interaktionen, die regional dominante Industrien zeigen, identifiziert. Das System schlägt zeitliche Muster aus Listungsdaten, hierarchischen Codierungsstrategien für Kategorien mit hoher Kardinalität wie GICS-Subindustrien und Kreuzungsbeziehungen wie Alters-Sektor-Interaktionen vor, die erfassen, wie die Reife der Unternehmensreife die Leistung in verschiedenen Branchen unterschiedlich beeinflusst. Sie erhalten spezifische Anleitungen zur Implementierung für Investitionsrisikomodellierung, Portfoliokonstruktionsstrategien und Marktsegmentierungsansätze – alle beruhen auf soliden statistischen Denken und Geschäftslogik, die weit über generische Function -Vorschläge hinausgehen.

# Technischer Deep Dive: Die Intelligenzmotor

// Erweiterte Datenanalyse (Codeknoten):

Die Intelligenz des Workflows beginnt mit umfassender statistischer Analyse. Der Codeknoten untersucht Datentypen, berechnet Verteilungen, identifiziert Korrelationen und erkennt Muster, die KI -Empfehlungen informieren.

Zu den wichtigsten Funktionen gehören:

• Automatische Erkennung von Spaltentyp (numerisch, kategorisch, datetime)
• Fehlende Wertschöpfungsanalyse und Datenqualitätsbewertung
• Korrelationskandidatenidentifikation für numerische Merkmale
• Kategorische Erkennung hochkardinaler Kodierung für Codierungsstrategien
• Potenzielles Verhältnis und Interaktionsbegriff Vorschläge

// AI -Eingabeetechnik (LLM -Kette):

Die LLM-Integration verwendet strukturierte Aufforderung, domänenbewusste Empfehlungen zu generieren. Die Eingabeaufforderung enthält Datensatzstatistiken, Spaltenbeziehungen und geschäftlichen Kontext, um relevante Vorschläge zu erstellen.

Die KI erhält:

• Vollständige Datensatzstruktur und Metadaten
• Statistische Zusammenfassungen für jede Spalte
• Identifizierte Muster und Beziehungen
• Datenqualitätsindikatoren

// Skilled Report Technology (HTML -Knoten):

Die endgültige Ausgabe verwandelt den KI -Textual content in einen professionell formatierten Bericht mit der richtigen Styling, der Abschnittsorganisation und der visuellen Hierarchie, die für die Teilen von Stakeholdern geeignet ist.

# Testen mit verschiedenen Szenarien

// Finanzdatensatz (aktuelles Beispiel):

S & P 500 -Unternehmen Daten generieren Empfehlungen, die sich auf finanzielle Metriken, Sektoranalysen und Marktpositionierungsfunktionen konzentrieren.

// Various Datensätze zum Versuchen:

• Restaurant -Tippsdaten: Generiert Kundenverhaltensmuster, Servicequalitätsindikatoren und Erkenntnisse der Gastgewerbebranche
• Zeitreihe der Fluggäste Airline: Schlägt saisonale Traits, Wachstumsprognose und Analysen der Transportbranche vor
• Autounfälle nach Staat: Empfiehlt Risikobewertungsmetriken, Sicherheitsindizes und Optimierungsfunktionen der Versicherungsbranche

Jede Domäne erzeugt unterschiedliche Merkmalsvorschläge, die mit branchenspezifischen Analysemustern und Geschäftszielen übereinstimmen.

# Nächste Schritte: Skalierung von AI-unterstützten Datenwissenschaft

// 1. Integration mit Function -Shops

Schließen Sie den Workflow -Ausgang an Function -Shops wie an. Fest oder Tekton Für automatisierte Function -Pipeline -Erstellung und -verwaltung.

// 2. Automatisierte Function -Validierung

Fügen Sie Knoten hinzu, die vorgeschlagene Funktionen gegen die Modellleistung automatisch testen, um die KI -Empfehlungen mit empirischen Ergebnissen zu validieren.

// 3. Teamkollaborationsfunktionen

Erweitern Sie den Workflow um Slack -Benachrichtigungen oder E -Mail -Verteilung und teilen Sie KI -Erkenntnisse in allen Information Science -Groups für die Entwicklung der kollaborativen Funktionen.

// 4. Integration von ML Pipeline

Schließen Sie sich direkt zu Trainingspipelines in Plattformen an, die wie Kubeflow oder Mlflowautomatisch implementieren hochwertige Function-Vorschläge in Produktionsmodellen.

# Abschluss

Dieser AI-betriebene Function Engineering Workflow zeigt, wie N8N die modernsten KI-Funktionen mit praktischen Datenwissenschaftsbetrieb brücken. Durch die Kombination automatisierter Analysen, intelligenter Empfehlungen und professioneller Berichterstattung können Sie das Function -Fachkenntnis in Ihrer gesamten Organisation skalieren.

Das modulare Design des Workflows macht es für Datenteams, die in verschiedenen Domänen arbeiten, wertvoll. Sie können die Analyselogik für bestimmte Branchen anpassen, die KI -Eingabeaufforderungen für bestimmte Anwendungsfälle ändern und die Berichterstattung für verschiedene Stakeholder -Gruppen anpassen – alle innerhalb der visuellen Schnittstelle von N8N.

Im Gegensatz zu eigenständigen KI -Instruments, die generische Vorschläge liefern, versteht dieser Ansatz Ihren Datenkontext und Ihren Geschäftsbereich. Die Kombination aus statistischer Analyse und KI -Intelligenz schafft Empfehlungen, die sowohl technisch solide als auch strategisch related sind.

Am wichtigsten ist, dass dieser Workflow wandelt Engineering von einer individuellen Fähigkeit in eine organisatorische Fähigkeit. Junior-Datenwissenschaftler erhalten Zugang zu Erkenntnissen auf hochrangiger Ebene, während erfahrene Praktiker auf höhere Strategie- und Modellarchitektur anstatt sich auf das Brainstorming von Merkmalen konzentrieren können.

Vinod wurde in Indien geboren und ist in Japan aufgewachsen. Er bringt eine globale Perspektive in die Bildung von Datenwissenschaft und maschinellem Lernen. Er überbrückt die Lücke zwischen aufstrebenden KI -Technologien und der praktischen Umsetzung für Berufstätige. Vinod konzentriert sich darauf, zugängliche Lernwege für komplexe Themen wie Agenten -KI, Leistungsoptimierung und KI -Engineering zu erstellen. Er konzentriert sich auf praktische Implementierungen für maschinelles Lernen und Mentoring der nächsten Technology von Datenfachleuten durch Dwell -Sitzungen und personalisierte Anleitung.

Bild von Editor

In Datenwissenschaft und maschinellem Lernen sind Rohdaten selten für den direkten Verbrauch durch Algorithmen geeignet. Die Umwandlung dieser Daten in aussagekräftige, strukturierte Eingaben, aus denen Modelle lernen können, ist ein wesentlicher Schritt – dieser Prozess wird als bezeichnet als Characteristic Engineering. Characteristic Engineering kann sich auf die Modellleistung auswirken, manchmal sogar mehr als die Wahl des Algorithmus selbst.

In diesem Artikel werden wir die vollständige Reise des Characteristic Engineering durch die Rohdaten durchlaufen und mit Eingaben enden, die bereit sind, ein maschinelles Lernmodell zu trainieren.

Einführung in die Characteristic Engineering

Characteristic Engineering ist die Kunst und Wissenschaft, neue Variablen zu erstellen oder vorhandene von Rohdaten zu transformieren, um die Vorhersagekraft von Modellen für maschinelles Lernen zu verbessern. Es beinhaltet Domänenwissen, Kreativität und technische Fähigkeiten, um versteckte Muster und Beziehungen zu finden.

Warum ist Characteristic Engineering wichtig?

• Modellgenauigkeit verbessern: Durch das Erstellen von Funktionen, die Schlüsselmuster hervorheben, können Modelle bessere Vorhersagen machen.
• Modellkomplexität reduzieren: Intestine gestaltete Funktionen vereinfachen den Lernprozess, helfen Modellen, schneller zu trainieren und eine Überanpassung zu vermeiden.
• Interpretierbarkeit verbessern: Sinnvolle Funktionen erleichtern das Verständnis, wie ein Modell Entscheidungen trifft.

Rohdaten verstehen

Rohdaten enthalten Inkonsistenzen, Rauschen, fehlende Werte und irrelevante Particulars. Das Verständnis der Artwork, des Codecs und der Qualität der Rohdaten ist der erste Schritt in der Characteristic Engineering.

Zu den wichtigsten Aktivitäten in dieser Section gehören:

• Explorationsdatenanalyse (EDA): Verwenden Sie Visualisierungen und zusammenfassende Statistiken, um Verteilungen, Beziehungen und Anomalien zu verstehen.
• Datenprüfung: Identifizieren Sie Variablentypen (z. B. numerisch, kategorisch, textual content), prüfen Sie, ob fehlende oder inkonsistente Werte überprüft werden, und bewerten Sie die Gesamtdatenqualität.
• Domänenkontext verstehen: Erfahren Sie, was jedes Characteristic in realer Begriffe repräsentiert und wie es sich auf das Downside bezieht.

Datenreinigung und Vorverarbeitung

Sobald Sie Ihre Rohdaten verstanden haben, besteht der nächste Schritt darin, sie zu reinigen und zu organisieren. Dieser Prozess beseitigt Fehler und erstellt die Daten so, dass ein maschinelles Lernmodell sie verwenden kann.

Die wichtigsten Schritte sind:

• Umgang mit fehlenden Werten: Entscheiden Sie, ob Sie Datensätze mit fehlenden Daten entfernen oder diese mithilfe von Techniken wie mittlerer/medianer Imputation oder Vorwärts-/Rückwärtsfüllung füllen möchten.
• Erkennung und Behandlung: Identifizieren Sie excessive Werte mit statistischen Methoden (z. B. IQR, Z-Rating) und entscheiden Sie, ob Sie beschreiten, transformieren oder entfernen sollen.
• Entfernen von Duplikaten und Behebung von Fehlern: Beseitigen Sie doppelte Zeilen und korrekte Inkonsistenzen wie Tippfehler oder falsche Dateneinträge.

Erstellung von Funktionen

Die Erstellung von Merkmalen ist der Prozess, neue Funktionen aus vorhandenen Rohdaten zu generieren. Diese neuen Funktionen können ein maschinelles Lernen helfen, die Daten besser zu verstehen und genauere Vorhersagen zu treffen.

Zu den gemeinsamen Merkmalserstellungstechniken gehören:

• Funktionen kombinieren: Erstellen Sie neue Funktionen, indem Sie arithmetische Operationen (z. B. Summe, Differenz, Verhältnis, Produkt) auf vorhandene Variablen anwenden.
• Datums-/Zeitfunktionsextraktion: Leiten Sie Merkmale wie Wochentag, Monat, Viertel oder Tageszeit von Zeitstempelfeldern ab, um zeitliche Muster zu erfassen.
• Textfunktionsextraktion: Konvertieren Sie Textdaten mithilfe von Techniken wie Wortzahlen, TF-IDF oder Worteinbettungen in numerische Merkmale.
• Aggregationen und Gruppenstatistiken: Berechnen, Zählungen oder Summen, die nach Kategorien gruppiert sind, um Informationen zusammenzufassen.

Characteristic -Transformation

Die Characteristic -Transformation bezieht sich auf den Prozess der Konvertierung von Rohdatenmerkmalen in ein Format oder eine Darstellung, die besser für Algorithmen für maschinelles Lernen geeignet ist. Ziel ist es, die Leistung, Genauigkeit oder Interpretierbarkeit eines Modells zu verbessern.

Gemeinsame Transformationstechniken umfassen:

• Skalierung: Normalisieren Sie die Merkmalswerte mithilfe von Techniken wie Min-Max Skaling oder Standardisierung (Z-Rating), um sicherzustellen, dass alle Funktionen auf ähnlicher Skala liegen.
• Kodierende kategoriale Variablen: Konvertieren Sie Kategorien in numerische Werte mithilfe von Methoden wie einhöflicher Codierung, Beschriftungcodierung oder ordinaler Codierung.
• Logarithmische und Machtveränderungen: Anwenden Sie Protokoll-, Quadratwurzel- oder Field-Cox-Transformationen an, um die Schiefe zu reduzieren und die Varianz der numerischen Merkmale zu stabilisieren.
• Polynommerkmale: Erstellen Sie Begriffe mit Interaktion oder höherer Ordnung, um nichtlineare Beziehungen zwischen Variablen zu erfassen.
• Binning: Umwandeln Sie kontinuierliche Variablen in diskrete Intervalle oder Behälter, um Muster zu vereinfachen und Ausreißer zu verarbeiten.

Characteristic -Auswahl

Nicht alle konstruierten Funktionen verbessern die Modellleistung. Die Characteristic -Auswahl zielt darauf ab, die Dimensionalität zu verringern, die Interpretierbarkeit zu verbessern und eine Überanpassung zu vermeiden, indem die relevantesten Funktionen ausgewählt werden.

Ansätze umfassen:

• Filtermethoden: Verwenden Sie statistische Maßnahmen (z. B. Korrelation, Chi-Quadrat-Check, gegenseitige Informationen), um Merkmale unabhängig von jedem Modell zu rangieren und auszuwählen.
• Wrapper -Methoden: Bewerten Sie Characteristic -Teilmengen nach Schulungsmodellen in verschiedenen Kombinationen und wählen Sie die aus, die die beste Leistung ausführt (z. B. rekursive Merkmalsausscheidung).
• Eingebettete Methoden: Führen Sie die Characteristic -Auswahl während des Modelltrainings mithilfe von Techniken wie Lasso (L1 -Regularisierung) oder Entscheidungsbaumfunktionen Bedeutung durch.

Characteristic Engineering Automation und Instruments

Manuelles Handwerk kann zeitaufwändig sein. Moderne Instruments und Bibliotheken unterstützen die Automatisierung von Teilen des Characteristic Engineering -Lebenszyklus:

• Featuretools: Erzeugt automatisch Funktionen aus relationalen Datensätzen unter Verwendung einer Technik namens „Deep Characteristic -Synthese“.
• Automl Frameworks: Instruments wie Google Automl und H2O.ai enthalten automatisierte Characteristic -Engineering als Teil ihrer Pipelines für maschinelles Lernen.
• Datenvorbereitungswerkzeuge: Bibliotheken wie Pandas, Scikit-Be taught-Pipelines und Funken MLLIB vereinfachen die Datenreinigung und Transformationsaufgaben.

Greatest Practices in Characteristic Engineering

Das Befolgen etablierter Greatest Practices kann dazu beitragen, dass Ihre Funktionen informativ, zuverlässig und für Produktionsumgebungen geeignet sind:

• Nutzen Sie das Wissen des Domänens: Integrieren Sie Erkenntnisse von Experten, um Funktionen zu erstellen, die reale Phänomene und Geschäftsprioritäten widerspiegeln.
• Alles dokumentieren: Halten Sie klare und versionierte Dokumentation darüber, wie jede Funktion erstellt, transformiert und validiert wird.
• Automatisierung verwenden: Verwenden Sie Instruments wie Characteristic -Shops, Pipelines und automatisierte Characteristic -Auswahl, um die Konsistenz aufrechtzuerhalten und manuelle Fehler zu verringern.
• Stellen Sie eine konsistente Verarbeitung sicher: Wenden Sie die gleichen Vorverarbeitungstechniken während des Trainings und beim Einsatz an, um Diskrepanzen in Modelleingaben zu vermeiden.

Letzte Gedanken

Characteristic Engineering ist einer der wichtigsten Schritte bei der Entwicklung eines maschinellen Lernmodells. Es hilft chaotische, Rohdaten in saubere und nützliche Eingaben, die ein Modell verstehen und lernen kann. Durch die Reinigung der Daten, das Erstellen neuer Funktionen, die Auswahl der relevantesten und die Verwendung der entsprechenden Instruments können wir die Leistung unserer Modelle verbessern und genauere Ergebnisse erzielen.

Jayita Gulati ist ein Fanatic und technische Schriftsteller für maschinelles Lernen, der von ihrer Leidenschaft für den Aufbau maschineller Lernmodelle angetrieben wird. Sie hat einen Grasp -Abschluss in Informatik an der Universität von Liverpool.

In der Welt des maschinellen Lernens besessen wir über Modellarchitekturen, Trainingspipelines und Hyper-Parameter-Tuning und übersehen jedoch oft einen grundlegenden Aspekt: ​​Wie unsere Merkmale während ihres gesamten Lebenszyklus leben und atmen. Von In-Reminiscence-Berechnungen, die nach jeder Vorhersage bis zur Herausforderung der Reproduktion der genauen Merkmalswerte Monate später verschwinden, kann die Artwork und Weise, wie wir mit Merkmalen umgehen, die Zuverlässigkeit und Skalierbarkeit unserer ML-Systeme erstellen oder brechen.

Wer sollte das lesen

• ML -Ingenieure, die ihren Function -Administration -Ansatz bewerten
• Datenwissenschaftler, die schäbige Probleme haben, die bei der Schulung auftraten
• Technische Leads Planen zur Skalierung ihrer ML -Operationen
• Groups überlegen Function Retailer Durchführung

Ausgangspunkt: Der unsichtbare Ansatz

Viele ML -Groups, insbesondere diejenigen in ihren frühen Stadien oder ohne dedizierte ML -Ingenieure, beginnen mit dem, was ich als „unsichtbarer Ansatz“ bezeichne, um Engineering zu erzielen. Es ist täuschend einfach: Rohdaten abrufen, sie in Reminiscence transformieren und im laufenden Fliegen Funktionen erstellen. Der resultierende Datensatz ist zwar funktional, aber im Wesentlichen eine schwarze Schachtel mit kurzlebigen Berechnungen-Merkmale, die nur für einen Second existieren, bevor nach jeder Vorhersage oder jeder Trainingsanlage verschwindet.

Obwohl dieser Ansatz die Arbeit erledigt scheint, basiert er auf wackeligem Boden. Da Groups ihre ML -Operationen skalieren, verhalten sich Modelle, die sich hervorragend im Testen entwickelten, plötzlich unvorhersehbar in der Produktion. Merkmale, die beim Coaching perfekt funktionierten, erzeugen auf mysteriöse Weise unterschiedliche Werte in Stay -Inferenz. Wenn die Stakeholder fragen, warum im letzten Monat eine bestimmte Vorhersage getroffen wurde, können Groups nicht in der Lage sind, die genauen Merkmalswerte zu rekonstruieren, die zu dieser Entscheidung geführt haben.

Kernherausforderungen in der Function Engineering

Diese Schmerzpunkte sind nicht nur für ein einzelnes Crew einzigartig. Sie stellen grundlegende Herausforderungen dar, denen sich jedes wachsende ML -Crew schließlich gegenübersieht.

1. Beobachtbarkeit
   Ohne materialisierte Merkmale wird das Debuggen zu einer Detektivmission. Stellen Sie sich vor zu verstehen, warum ein Modell vor Monaten eine bestimmte Vorhersage gemacht hat, nur um festzustellen, dass die Merkmale hinter dieser Entscheidung längst verschwunden sind. Die Beobachtbarkeit von Merkmalen ermöglicht auch eine kontinuierliche Überwachung, sodass Groups Verschlechterung oder in Bezug auf Tendencies in ihren Function -Verteilungen im Laufe der Zeit erkennen können.
2. Zeitkorrektheit
   Wenn Funktionen, die im Coaching verwendet werden, nicht mit denen übereinstimmen, die während der Inferenz generiert wurden, was zum berüchtigten Trainingsersatz geführt wird. Hier geht es nicht nur um Datengenauigkeit, sondern darum, dass Ihr Modell wie während des Trainings auf die gleichen Funktionen in der Produktion trifft.
3. Wiederverwendbarkeit
   Das wiederholte Berechnen der gleichen Merkmale über verschiedene Modelle hinweg wird zunehmend verschwenderisch. Wenn Function -Berechnungen starke Rechenressourcen beinhalten, ist diese Ineffizienz nicht nur eine Unannehmlichkeit, sondern eine erhebliche Abfluss für Ressourcen.

Entwicklung von Lösungen

Ansatz 1: On-Demand-Function-Generierung

Die einfachste Lösung beginnt, wenn viele ML -Groups beginnen: Erstellen von Funktionen bei Bedarf nach sofortiger Verwendung bei der Vorhersage. Die Rohdaten fließen durch Transformationen, um Funktionen zu generieren, die für Inferenz verwendet werden. Erst dann werden diese Funktionen in der Regel in Parquetendateien gespeichert. Diese Methode ist zwar unkompliziert, da Groups häufig Parquetendateien auswählen, da sie einfach aus In-Reminiscence-Daten erstellen können, enthält sie Einschränkungen. Der Ansatz löst die Beobachtbarkeit teilweise, da Merkmale gespeichert werden. Die Analyse dieser Funktionen wird jedoch später eine Herausforderung. Das Abfragen von Daten in mehreren Parquetendateien erfordert bestimmte Instruments und eine sorgfältige Organisation Ihrer gespeicherten Dateien.

Ansatz 2: Merkmalstabelle Materialisierung

Während sich die Groups weiterentwickeln, wechseln viele zu dem, was allgemein on-line als Various zu vollwertigen Function-Shops: Function-Desk-Materialisierung diskutiert wird. Dieser Ansatz nutzt die vorhandene Knowledge Warehouse -Infrastruktur, um Funktionen zu transformieren und zu speichern, bevor sie benötigt werden. Stellen Sie sich es als ein zentrales Repository vor, in dem Merkmale konsistent durch etablierte ETL -Pipelines berechnet und dann sowohl für das Coaching als auch für die Inferenz verwendet werden. Diese Lösung befasst sich elegant auf die Korrektheit und Beobachtbarkeit der Punkte in der Zeit-Ihre Funktionen stehen immer zur Inspektion zur Verfügung und werden konsequent generiert. Es zeigt jedoch seine Einschränkungen im Umgang mit der Merkmalentwicklung. Wenn Ihr Modell -Ökosystem wächst, wird das Hinzufügen neuer Funktionen, das Ändern vorhandener oder die Verwaltung verschiedener Versionen immer komplexer – insbesondere aufgrund von Einschränkungen, die durch die Entwicklung des Datenbankschemas auferlegt werden.

Ansatz 3: Function Retailer

Am anderen Ende des Spektrums liegt der Function Retailer – in der Regel Teil einer umfassenden ML -Plattform. Diese Lösungen bieten das vollständige Paket: Function -Versioning, effizientes On-line/Offline -Servieren und nahtlose Integration in breitere ML -Workflows. Sie sind das Äquivalent einer intestine geölten Maschine und lösen unsere Kernherausforderungen umfassend. Merkmale sind versionsgesteuert, leicht beobachtbar und von Natur aus wiederverwendbar. Diese Macht hat jedoch erhebliche Kosten: technologische Komplexität, Ressourcenanforderungen und die Notwendigkeit von engagiertem ML Engineering Sachverstand.

Die richtige Wahl treffen

Im Gegensatz zu dem, was Pattern ML -Weblog -Beiträge vorschlagen mögen, benötigt nicht jedes Crew einen Function -Retailer. Nach meiner Erfahrung bietet Function -Tischmaterialisierung häufig den Candy Spot – insbesondere wenn Ihre Organisation bereits eine robuste ETL -Infrastruktur hat. Der Schlüssel besteht darin, Ihre spezifischen Anforderungen zu verstehen: Wenn Sie mehrere Modelle verwalten, die die Funktionen teilen und häufig ändern, ist ein Function -Retailer möglicherweise die Investition wert. Für Groups mit begrenzter Modell gegen die gegenseitige Abhängigkeit oder für diejenigen, die ihre ML -Praktiken immer noch festlegen, bieten einfachere Lösungen häufig eine bessere Kapitalrendite. Sicher, du könnte Bleiben Sie bei der Generierung von On-Demand-Function-Wenn das Debuggen der Rennbedingungen um 2 Uhr morgens Ihre Vorstellung von einer guten Zeit ist.

Die Entscheidung ist letztendlich auf die Reife, die Verfügbarkeit der Ressourcen und die spezifischen Anwendungsfälle Ihres Groups zurückzuführen. Function -Shops sind leistungsstarke Instruments, aber wie jede ausgefeilte Lösung erfordern sie erhebliche Investitionen sowohl in Humankapital als auch in die Infrastruktur. Manchmal bietet der pragmatische Pfad der Merkmalstabellenmaterialisierung trotz seiner Einschränkungen das beste Gleichgewicht zwischen Fähigkeit und Komplexität.

Denken Sie daran: Erfolg im ML -Function -Administration geht es nicht darum, die anspruchsvollste Lösung zu wählen, sondern die richtige Passform für die Bedürfnisse und Fähigkeiten Ihres Groups zu finden. Der Schlüssel besteht darin, Ihre Bedürfnisse ehrlich zu bewerten, Ihre Einschränkungen zu verstehen und einen Pfad zu wählen, der es Ihrem Crew ermöglicht, zuverlässige, beobachtbare und wartbare ML -Systeme aufzubauen.

Bild erstellt vom Autor

Einführung

Characteristic Engineering ist einer der wichtigsten Aspekte der Machine-Studying-Pipeline. Dabei handelt es sich um die Praxis, Merkmale oder Variablen zu erstellen und zu ändern, um die Modellleistung zu verbessern. Intestine gestaltete Options können schwache Modelle in starke verwandeln, und durch Characteristic-Engineering können Modelle sowohl robuster als auch genauer werden. Characteristic Engineering fungiert als Brücke zwischen dem Datensatz und dem Modell und gibt dem Modell alles, was es zur effektiven Lösung eines Issues benötigt.

Dies ist ein Leitfaden für neue Datenwissenschaftler, Dateningenieure und Praktiker des maschinellen Lernens. Das Ziel dieses Artikels besteht darin, grundlegende Characteristic-Engineering-Konzepte zu vermitteln und eine Toolbox mit Techniken bereitzustellen, die auf reale Szenarien angewendet werden können. Mein Ziel ist es, dass Sie am Ende dieses Artikels über genügend praktische Kenntnisse über Characteristic-Engineering verfügen, um diese auf Ihre eigenen Datensätze anzuwenden, damit Sie bestens gerüstet sind, um mit der Erstellung leistungsstarker Modelle für maschinelles Lernen zu beginnen.

Funktionen verstehen

Merkmale sind messbare Merkmale eines Phänomens, das wir beobachten. Sie sind die granularen Elemente, aus denen die Daten bestehen, mit denen Modelle arbeiten, um Vorhersagen zu treffen. Beispiele für Merkmale können Dinge wie Alter, Einkommen, ein Zeitstempel, Längengrad, Wert und quick alles andere sein, was man sich vorstellen kann, das gemessen oder in irgendeiner Type dargestellt werden kann.

Es gibt verschiedene Funktionstypen, die wichtigsten sind:

• Numerische Merkmale: Kontinuierliche oder diskrete numerische Typen (z. B. Alter, Gehalt)
• Kategoriale Merkmale: Qualitative Werte, die Kategorien darstellen (z. B. Geschlecht, Schuhgrößentyp)
• Textmerkmale: Wörter oder Wortfolgen (z. B. „dies“ oder „das“ oder „sogar dies“)
• Zeitreihenfunktionen: Nach Zeit geordnete Daten (z. B. Aktienkurse)

Funktionen sind beim maschinellen Lernen von entscheidender Bedeutung, da sie die Fähigkeit eines Modells, Vorhersagen zu treffen, direkt beeinflussen. Intestine konstruierte Options verbessern die Modellleistung, während schlechte Options es einem Modell erschweren, aussagekräftige Vorhersagen zu treffen. Characteristic-Auswahl und Characteristic-Engineering sind Vorverarbeitungsschritte im maschinellen Lernprozess, mit denen die Daten für die Verwendung durch Lernalgorithmen vorbereitet werden.

Es wird zwischen Characteristic-Auswahl und Characteristic-Engineering unterschieden, obwohl beide für sich genommen entscheidend sind:

• Characteristic-Auswahl: Die Auswahl wichtiger Options aus dem gesamten Satz aller verfügbaren Options, wodurch die Dimensionalität reduziert und die Modellleistung gefördert wird
• Characteristic Engineering: Die Erstellung neuer Options und die anschließende Änderung bestehender Options, alles mit dem Ziel, die Leistung eines Modells zu verbessern

Indem nur die wichtigsten Options ausgewählt werden, trägt die Characteristic-Auswahl dazu bei, dass nur das Sign in den Daten zurückbleibt, während das Characteristic-Engineering neue Options erstellt, die dabei helfen, das Ergebnis besser zu modellieren.

Grundlegende Techniken im Characteristic Engineering

Während uns eine breite Palette grundlegender Characteristic-Engineering-Techniken zur Verfügung steht, werden wir einige der wichtigeren und am häufigsten verwendeten Techniken durchgehen.

Umgang mit fehlenden Werten

Es kommt häufig vor, dass Datensätze fehlende Informationen enthalten. Dies kann sich nachteilig auf die Leistung eines Modells auswirken. Deshalb ist es wichtig, Strategien für den Umgang mit fehlenden Daten zu implementieren. Es gibt einige gängige Methoden zur Behebung dieses Issues:

• Mittelwert/Median-Imputation: Füllen fehlender Bereiche in einem Datensatz mit dem Mittelwert oder Median der Spalte
• Modusimputation: Fehlende Stellen in einem Datensatz werden mit dem häufigsten Eintrag in derselben Spalte gefüllt
• Interpolation: Auffüllen fehlender Daten mit Werten von Datenpunkten um sie herum

Diese Füllmethoden sollten basierend auf der Artwork der Daten und den potenziellen Auswirkungen, die die Methode auf das Endmodell haben könnte, angewendet werden.

Der Umgang mit fehlenden Informationen ist entscheidend, um die Integrität des Datensatzes aufrechtzuerhalten. Hier ist ein Beispiel eines Python-Codeausschnitts, der verschiedene Datenfüllmethoden mithilfe von demonstriert pandas Bibliothek.

import pandas as pd
from sklearn.impute import SimpleImputer

# Pattern DataFrame
information = {'age': (25, 30, np.nan, 35, 40), 'wage': (50000, 60000, 55000, np.nan, 65000)}
df = pd.DataFrame(information)

# Fill in lacking ages utilizing the imply
mean_imputer = SimpleImputer(technique='imply')
df('age') = mean_imputer.fit_transform(df(('age')))

# Fill within the lacking salaries utilizing the median
median_imputer = SimpleImputer(technique='median')
df('wage') = median_imputer.fit_transform(df(('wage')))

print(df)

Kodierung kategorialer Variablen

Unter Berücksichtigung der Tatsache, dass die meisten Algorithmen für maschinelles Lernen am besten (oder nur) für den Umgang mit numerischen Daten geeignet sind, müssen kategoriale Variablen häufig numerischen Werten zugeordnet werden, damit diese Algorithmen sie besser interpretieren können. Die gebräuchlichsten Codierungsschemata sind die folgenden:

• One-Sizzling-Codierung: Erstellen separater Spalten für jede Kategorie
• Etikettenkodierung: Zuweisen einer Ganzzahl zu jeder Kategorie
• Zielkodierung: Kodierung von Kategorien anhand der Durchschnittswerte ihrer einzelnen Ergebnisvariablen

Die Kodierung kategorialer Daten ist notwendig, um in vielen Modellen des maschinellen Lernens den Grundstein für das Verständnis zu legen. Die richtige Kodierungsmethode wird von Ihnen je nach Scenario ausgewählt, einschließlich des verwendeten Algorithmus und des Datensatzes.

Unten finden Sie ein Beispiel für ein Python-Skript für die Kodierung kategorialer Funktionen pandas und Elemente von scikit-learn.

import pandas as pd
from sklearn.preprocessing import OneHotEncoder, LabelEncoder

# Pattern DataFrame
information = {'colour': ('purple', 'blue', 'inexperienced', 'blue', 'purple')}
df = pd.DataFrame(information)

# Implementing one-hot encoding
one_hot_encoder = OneHotEncoder()
one_hot_encoding = one_hot_encoder.fit_transform(df(('colour'))).toarray()
df_one_hot = pd.DataFrame(one_hot_encoding, columns=one_hot_encoder.get_feature_names(('colour')))

# Implementing label encoding
label_encoder = LabelEncoder()
df('color_label') = label_encoder.fit_transform(df('colour'))

print(df)
print(df_one_hot)

Daten skalieren und normalisieren

Für eine gute Leistung vieler Methoden des maschinellen Lernens muss eine Skalierung und Normalisierung Ihrer Daten durchgeführt werden. Es gibt verschiedene Methoden zum Skalieren und Normalisieren von Daten, wie zum Beispiel:

• Standardisierung: Daten so transformieren, dass sie einen Mittelwert von 0 und eine Standardabweichung von 1 haben
• Min-Max-Skalierung: Skalieren von Daten auf einen festen Bereich, z. B. (0, 1)
• Robuste Skalierung: Iterative Skalierung hoher und niedriger Werte anhand des Medianwerts bzw. des Interquartilbereichs

Die Skalierung und Normalisierung von Daten ist entscheidend, um sicherzustellen, dass die Characteristic-Beiträge gerecht sind. Mit diesen Methoden können die unterschiedlichen Merkmalswerte entsprechend zu einem Modell beitragen.

Nachfolgend finden Sie eine Implementierung mit scikit-learndas zeigt, wie skalierte und normalisierte Daten vervollständigt werden.

import pandas as pd
from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler

# Pattern DataFrame
information = {'age': (25, 30, 35, 40, 45), 'wage': (50000, 60000, 55000, 65000, 70000)}
df = pd.DataFrame(information)

# Standardize information
scaler_standard = StandardScaler()
df('age_standard') = scaler_standard.fit_transform(df(('age')))

# Min-Max Scaling
scaler_minmax = MinMaxScaler()
df('salary_minmax') = scaler_minmax.fit_transform(df(('wage')))

# Strong Scaling
scaler_robust = RobustScaler()
df('salary_robust') = scaler_robust.fit_transform(df(('wage')))

print(df)

Die oben genannten grundlegenden Techniken bieten zusammen mit dem entsprechenden Beispielcode pragmatische Lösungen für fehlende Daten, die Kodierung kategorialer Variablen sowie die Skalierung und Normalisierung von Daten mithilfe leistungsstarker Python-Instruments pandas Und scikit-learn. Diese Techniken können in Ihren eigenen Characteristic-Engineering-Prozess integriert werden, um Ihre Modelle für maschinelles Lernen zu verbessern.

Fortgeschrittene Techniken im Characteristic Engineering

Wir richten unsere Aufmerksamkeit nun auf fortgeschrittenere technische Techniken und fügen einige Beispiel-Python-Codes zur Implementierung dieser Konzepte hinzu.

Characteristic-Erstellung

Bei der Characteristic-Erstellung werden neue Options generiert oder geändert, um ein Modell mit besserer Leistung zu erstellen. Zu den Techniken zum Erstellen neuer Funktionen gehören:

• Polynom-Options: Erstellung von Options höherer Ordnung mit vorhandenen Options, um komplexere Beziehungen zu erfassen
• Interaktionsbegriffe: Options, die durch die Kombination mehrerer Options generiert werden, um Interaktionen zwischen ihnen abzuleiten
• Domänenspezifische Characteristic-Generierung: Options, die auf der Grundlage der Feinheiten von Themen innerhalb des gegebenen Problembereichs entwickelt wurden

Das Erstellen neuer Funktionen mit angepasster Bedeutung kann erheblich dazu beitragen, die Modellleistung zu steigern. Das nächste Skript zeigt, wie Characteristic Engineering genutzt werden kann, um latente Beziehungen in Daten ans Licht zu bringen.

import pandas as pd
import numpy as np

# Pattern DataFrame
information = {'x1': (1, 2, 3, 4, 5), 'x2': (10, 20, 30, 40, 50)}
df = pd.DataFrame(information)

# Polynomial Options
df('x1_squared') = df('x1') ** 2
df('x1_x2_interaction') = df('x1') * df('x2')

print(df)

Dimensionsreduktion

Um Modelle zu vereinfachen und ihre Leistung zu steigern, kann es sinnvoll sein, die Anzahl der Modellfunktionen zu verkleinern. Zu den Techniken zur Dimensionsreduktion, die dabei helfen können, dieses Ziel zu erreichen, gehören:

• PCA (Hauptkomponentenanalyse): Transformation von Prädiktoren in einen neuen Merkmalssatz, der aus linear unabhängigen Modellmerkmalen besteht
• t-SNE (t-Distributed Stochastic Neighbor Embedding): Dimensionsreduktion, die zu Visualisierungszwecken verwendet wird
• LDA (Lineare Diskriminanzanalyse): Finden neuer Kombinationen von Modellmerkmalen, die für die Dekonstruierung verschiedener Klassen effektiv sind

Um die Größe Ihres Datensatzes zu verringern und seine Relevanz beizubehalten, helfen Dimensionsreduktionstechniken. Diese Techniken wurden entwickelt, um die hochdimensionalen Probleme im Zusammenhang mit Daten anzugehen, wie z. B. Überanpassung und Rechenaufwand.

Eine Demonstration der Datenverkleinerung, die mit implementiert wurde scikit-learn wird als nächstes gezeigt.

import pandas as pd
from sklearn.decomposition import PCA

# Pattern DataFrame
information = {'feature1': (2.5, 0.5, 2.2, 1.9, 3.1), 'feature2': (2.4, 0.7, 2.9, 2.2, 3.0)}
df = pd.DataFrame(information)

# Use PCA for Dimensionality Discount
pca = PCA(n_components=1)
df_pca = pca.fit_transform(df)
df_pca = pd.DataFrame(df_pca, columns=('principal_component'))

print(df_pca)

Zeitreihen-Characteristic-Engineering

Bei zeitbasierten Datensätzen müssen bestimmte Characteristic-Engineering-Techniken verwendet werden, wie zum Beispiel:

• Verzögerungsmerkmale: Ehemalige Datenpunkte werden verwendet, um Modellvorhersagemerkmale abzuleiten
• Rollierende Statistiken: Datenstatistiken werden über Datenfenster hinweg berechnet, beispielsweise rollierende Mittelwerte
• Saisonale Zerlegung: Die Daten werden in die Kategorien Sign, Development und Zufallsrauschen unterteilt

Temporale Modelle erfordern im Vergleich zur direkten Modellanpassung eine unterschiedliche Erweiterung. Diese Methoden folgen zeitlichen Abhängigkeiten und Mustern, um das Vorhersagemodell schärfer zu machen.

Eine Demonstration der angewandten Erweiterung von Zeitreihenfunktionen pandas wird auch als nächstes gezeigt.

import pandas as pd
import numpy as np

# Pattern DataFrame
date_rng = pd.date_range(begin="1/1/2022", finish='1/10/2022', freq='D')
information = {'date': date_rng, 'worth': (100, 110, 105, 115, 120, 125, 130, 135, 140, 145)}
df = pd.DataFrame(information)
df.set_index('date', inplace=True)

# Lag Options
df('value_lag1') = df('worth').shift(1)

# Rolling Statistics
df('value_rolling_mean') = df('worth').rolling(window=3).imply()

print(df)

Die obigen Beispiele demonstrieren praktische Anwendungen fortgeschrittener Characteristic-Engineering-Techniken durch die Verwendung von pandas Und scikit-learn. Durch den Einsatz dieser Methoden können Sie die Vorhersagekraft Ihres Modells verbessern.

Praktische Tipps und Finest Practices

Hier sind ein paar einfache, aber wichtige Tipps, die Sie beim Durcharbeiten Ihres Characteristic-Engineering-Prozesses beachten sollten.

• Iteration: Das Characteristic-Engineering ist ein Versuch-und-Irrtum-Prozess, und Sie werden mit jeder Iteration besser darin. Testen Sie verschiedene Characteristic-Engineering-Ideen, um die besten Options zu finden.
• Domänenwissen: Nutzen Sie bei der Erstellung von Funktionen das Fachwissen derjenigen, die sich mit der Materie intestine auskennen. Manchmal können subtile Zusammenhänge mit reichsspezifischem Wissen erfasst werden.
• Validierung und Verständnis der Funktionen: Wenn Sie verstehen, welche Funktionen für Ihren Modus am wichtigsten sind, sind Sie in der Lage, wichtige Entscheidungen zu treffen. Zu den Instruments zur Bestimmung der Characteristic-Wichtigkeit gehören:
  • SHAP (SHapley Additive exPlanations): Hilft bei der Quantifizierung des Beitrags jedes Options in Vorhersagen
  • LIME (Native Interpretable Mannequin-agnostic Explanations): Darstellung der Bedeutung von Modellvorhersagen in einfacher Sprache

Um sowohl gute als auch leicht verständliche Ergebnisse zu erzielen, ist eine optimale Mischung aus Komplexität und Interpretierbarkeit erforderlich.

Abschluss

In diesem kurzen Leitfaden werden grundlegende Characteristic-Engineering-Konzepte sowie grundlegende und fortgeschrittene Techniken sowie praktische Empfehlungen und Finest Practices behandelt. Behandelt wurden einige der wichtigsten Characteristic-Engineering-Praktiken – der Umgang mit fehlenden Informationen, die Kodierung kategorialer Daten, die Skalierung von Daten und die Erstellung neuer Options.

Characteristic Engineering ist eine Praxis, die mit der Ausführung besser wird, und ich hoffe, Sie konnten etwas mitnehmen, das Ihre datenwissenschaftlichen Fähigkeiten verbessern könnte. Ich ermutige Sie, diese Techniken auf Ihre eigene Arbeit anzuwenden und aus Ihren Erfahrungen zu lernen.

Denken Sie daran, dass der genaue Prozentsatz zwar je nach dem, wer ihn angibt, variiert, der Großteil jedes maschinellen Lernprojekts jedoch in der Datenvorbereitungs- und Vorverarbeitungsphase aufgewendet wird. Das Characteristic-Engineering ist ein Teil dieser langwierigen Section und sollte als solcher mit der erforderlichen Bedeutung betrachtet werden. Wenn Sie lernen, Characteristic Engineering als das zu verstehen, was es ist – eine helfende Hand im Modellierungsprozess –, sollte es für Neulinge leichter verständlich sein.

Viel Spaß beim Engineering!

Matthew Mayo (@mattmayo13) hat einen Grasp-Abschluss in Informatik und ein Diplom in Knowledge Mining. Als geschäftsführender Redakteur möchte Matthew komplexe datenwissenschaftliche Konzepte zugänglich machen. Zu seinen beruflichen Interessen zählen die Verarbeitung natürlicher Sprache, Algorithmen für maschinelles Lernen und die Erforschung neuer KI. Sein Antrieb ist die Demokratisierung des Wissens in der Knowledge-Science-Neighborhood. Matthew programmiert seit seinem sechsten Lebensjahr.