Alles über Function Shops – KDnuggets

Bild vom Herausgeber

# Einführung in Function Shops

Function-Shops sind keine Nischeninfrastruktur mehr, sondern ein wichtiges Frontend, das dabei hilft, die Grenzen von Datenpipelines zu erweitern, insbesondere bei solchen, die maschinelles Lernen und andere KI-Systeme beinhalten. Sie sind in diesem Jahr zu einem Pattern geworden, vor allem aufgrund der Branchenverlagerung vom experimentellen Aufbau von Modellen für maschinelles Lernen hin zur Notwendigkeit, skalierbare KI-gestützte Lösungen, Produkte und Dienstleistungen zu implementieren.

In diesem Artikel werden Function Shops sanft vorgestellt und ihre Ursprünge, Hauptmerkmale, Gründe für ihre aktuelle Bedeutung und derzeit beliebte Instruments beschrieben.

# Den Ursprüngen und der Entwicklung von Function Shops nachgehen

Der Begriff „Function Retailer“ wurde geprägt von Uber im Jahr 2017, um das zu vereinfachen, was sie als „Datenpipeline-Dschungel“ bezeichneten, und um Function-Governance und -Konsistenz durchzusetzen. Als Ergebnis erstellten sie ein zentrales Repository zum Speichern, Teilen und Wiederverwenden von Funktionen über mehrere Machine-Studying-Modelle und -Projekte hinweg, wobei gleichzeitig die Konsistenz zwischen Trainings- und Produktionsdaten gewahrt bleibt.

Nicht lange danach, im Jahr 2019, wurde der erste Drittanbieter-Function-Retailer-Anbieter auf Unternehmensebene gegründet, Tectonwurde von denselben ehemaligen Uber-Ingenieuren gegründet, die zum internen Function-Retailer von Uber beigetragen haben. Ihr Ziel warfare es, kommerzielle Function-Retailer-Lösungen auf den gesamten Unternehmensmarkt zu bringen, und die Einführung ihres Produkts erfolgte im Jahr 2020. Etwa zur gleichen Zeit entstanden cloudnative Function-Retailer-Lösungen auf großen Plattformen wie Amazon Net Providers (AWS), Google CloudUnd Microsoft Azure. Diese verwalteten Dienste, die in der Regel eng in ihre jeweiligen Machine-Studying-Frameworks integriert sind, haben sich seitdem bis heute weiterentwickelt und ausgereift.

Aber was genau ist ein Function Retailer? Es kann als zentralisierte Plattform oder System definiert werden, in der alle Datenfunktionen definiert und verwaltet werden, die nicht mit einem einzelnen, spezifischen Datensatz, sondern mit einer gesamten Domäne des maschinellen Lernens – einer Reihe von Modellen unter denselben übergeordneten Geschäftszielen – oder einer Organisation verbunden sind. In einem Function Retailer werden Options deklarativ beschrieben, indem ihre Geschäftssemantik, Quelldaten, Transformationslogik, zugehörige Metadaten und ihre Verfügbarkeit für Offline-Coaching und On-line-Modellinferenz oder -Bereitstellung angegeben werden.

Function-Shops können daher als eine angesehen werden einzige Quelle der Wahrheit für Funktionen innerhalb einer (normalerweise geschäftsorientierten) Domäne. Die Wiederverwendung von Funktionen, die Durchsetzung der Konsistenz zwischen Modelltraining und -bereitstellung sowie die Grundlagen für die Steuerung, Überwachung und Skalierung maschineller Lernvorgänge sind weitere charakteristische Merkmale – Merkmalewenn Sie so wollen – moderner Function-Retailer-Systeme.

In einem Function Retailer werden Options deklarativ beschrieben, indem ihre Geschäftssemantik, Quelldaten, Transformationslogik, zugehörige Metadaten und ihre Verfügbarkeit für Offline-Coaching und On-line-Modellinferenz oder -Bereitstellung angegeben werden.

# Funktionsspeicher anhand eines Beispiels verstehen

Um die Schlüsselkonzepte und Funktionen rund um Function Shops besser zu verstehen, betrachten wir ein Beispielszenario eines E-Commerce-Unternehmens, das eine Reihe von Modellen für maschinelles Lernen zur Betrugserkennung erstellt.

Mit Unterstützung des vertrauenswürdigen Cloud-Anbieters des Unternehmens wurde ein Function Retailer entwickelt, um die relevanten Funktionen zu definieren und zu verwalten, die in den Betrugserkennungsmodellen des Unternehmens gemeinsam genutzt werden. Zu diesen relevanten Merkmalen gehören unter anderem: die Anzahl der initiierten Benutzertransaktionen in den letzten 24 Stunden, der durchschnittliche Transaktionsbetrag in der letzten Woche, die Anzahl der vom Benutzer im letzten Monat verwendeten unterschiedlichen Zahlungsmethoden und die seit der letzten Transaktion des Benutzers verstrichene Zeit.

Schauen wir uns nun eine dieser Funktionen genauer an, um besser zu verstehen, was ein Function Retailer dazu zu sagen hat. Betrachten Sie die Beispielfunktion user_transaction_count_24h:

• Geschäftssemantik: Diese Funktion beschreibt für einen bestimmten Benutzer die Anzahl der initiierten Transaktionen in den letzten 24 Stunden.
• Quelldaten: Die Funktion wird aus Daten im abgeleitet transactions Tabelle – eine Ereignistabelle mit Spalten für user_id, transaction_timestampsUnd standing.
• Transformationslogik: Um es zu erhalten, ist eine Zählung der Transaktionen mit erforderlich initiated Standing nach eindeutig gruppiert user_id wird über ein rollierendes Fenster berechnet, das sich über 24 Stunden erstreckt.
• Zugehörige Metadaten:
• Eigentümer: Betrugs-Machine-Studying-Staff.
• Typ: integer.
• Fenster: 24h.
• Frische-SLA (Service Stage Settlement): 5 Minuten.
• Verfügbarkeit: Verfügbar für Offline-Schulungen und On-line-Bereitstellung.

Wichtig ist, dass sich das Aktualitäts-SLA darauf bezieht, wie aktuell ein Merkmalswert sein muss, damit er für die Verwendung durch das Modell als gültig gilt. Dabei handelt es sich um einen Function-Retailer-Mechanismus, der die Zuverlässigkeit und Konsistenz des Verhaltens von Modellen für maschinelles Lernen gewährleistet.

Beispielhafte Function-Spezifikationen in einem Function-Retailer | Bild vom Autor

# Entdecken Sie den Hype um den Function Retailer 2026 und beliebte Instruments

Es gibt verschiedene Gründe, warum Function Shops derzeit zu einem wichtigen Datenwissenschafts- und KI-Pattern geworden sind, obwohl es sich nicht um ein völlig neues Paradigma handelt. Hier sind einige davon:

• Mit dem Aufstieg von Agentische KIDer Wert von Function-Shops hat sich vervielfacht, da sie die hochwertigen Echtzeit-Datenfunktionen bereitstellen, die hochmoderne KI-Agenten benötigen, um komplexe, mehrstufige Aufgaben selbst auszuführen.
• Unternehmen erkennen zunehmend die Bedeutung der Dateninfrastruktur anstelle isoliert aufgebauter Modelle für maschinelles Lernen. Function Shops sind der Klebstoff und die Grundlage für diesen Wandel.
• Function-Shops tragen dazu bei, Doppelarbeit durch Information-Engineering-Groups zu vermeiden und machen die Wiederverwendung kuratierter und produktionsbereiter Options zur neuen Norm.
• Function Shops orientieren sich an neuen, strengeren KI-Vorschriften, was Aspekte wie Zentralisierung und Angleichung an Transparenzstandards betrifft.
• Für domänenspezifische Ziele und KPIs wie Hyperpersonalisierung (in Branchen wie dem Einzelhandel) erweitern Function Shops die Grenzen der Analyse in Echtzeit.
• Im Hinblick auf die Kosten tragen Function Shops dazu bei, steigende Infrastrukturkosten und -effizienz zu bewältigen, indem sie redundante Datenverarbeitung verhindern und dadurch den Rechenaufwand reduzieren.

Zu den beliebtesten Function-Retailer-Instruments, die von vielen Unternehmen zur Nutzung moderner KI-Anwendungen eingesetzt werden, gehören:

1. Fest: Ein Open-Supply-Retailer, ideally suited für Groups mit ausreichenden technischen Ressourcen, die eine Anbieterbindung vermeiden möchten.
2. Tecton (Databricks): Tecton wurde kürzlich von Databricks übernommen und ist eine vollständig verwaltete, skalierbare Lösung für Unternehmen, die sich ideally suited für die Verwaltung komplexer Echtzeit-Datenpipelines eignet.
3. Google Cloud Vertex AI Function Retailer: Es zeichnet sich durch seine Integration mit aus Google BigQuery und modernste generative KI-Modelle.
4. Amazon SageMaker Function Retailer: Eng in AWS integriert, unterstützt es auf elegante Weise den Funktionsabruf sowohl im Batch- als auch im Echtzeit-Modellinferenzverfahren.

# Abschließende Bemerkungen

Function-Shops haben heutzutage im Zuge der neuesten KI-Fortschritte und der steigenden organisatorischen Anforderungen, mit den kontinuierlichen Fortschritten und sich entwickelnden Zielen und Bedürfnissen Schritt zu halten, stark an Bedeutung gewonnen. Dieser Artikel soll eine sanfte Einführung in Function Shops bieten und umreißen, was sie sind, ihre Eigenschaften, Entwicklung und herausragenden Instruments.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.