Bild vom Autor
Aufgrund der Popularität von 7 Finish-to-Finish-MLOps-Plattformen, die Sie 2024 ausprobieren müssen Weblog schreibe ich eine weitere Liste von Finish-to-Finish-MLOP-Instruments, die Open Supply sind.
Die Open-Supply-Instruments bieten Privatsphäre und mehr Kontrolle über Ihre Daten und Modelle. Andererseits müssen Sie diese Instruments selbst verwalten, bereitstellen und dann weitere Mitarbeiter für deren Wartung einstellen. Außerdem sind Sie für die Sicherheit und etwaige Dienstausfälle verantwortlich.
Kurz gesagt: Sowohl kostenpflichtige MLOps-Plattformen als auch Open-Supply-Instruments haben Vor- und Nachteile; Sie müssen einfach auswählen, was für Sie funktioniert.
In diesem Weblog erfahren wir mehr über 5 durchgängige Open-Supply-MLOps-Instruments zum Trainieren, Verfolgen, Bereitstellen und Überwachen von Modellen in der Produktion.
1. Kubeflow
Der kubeflow/kubeflow macht alle Machine-Studying-Vorgänge auf Kubernetes einfach, portierbar und skalierbar. Es ist ein Cloud-natives Framework, mit dem Sie Machine-Studying-Pipelines erstellen und das Modell in der Produktion trainieren und bereitstellen können.
Bild von Kubeflow
Kubeflow ist mit Cloud-Diensten (AWS, GCP, Azure) und selbstgehosteten Diensten kompatibel. Es ermöglicht Ingenieuren für maschinelles Lernen, alle Arten von KI-Frameworks zum Trainieren, Feinabstimmen, Planen und Bereitstellen der Modelle zu integrieren. Darüber hinaus bietet es ein zentrales Dashboard zum Überwachen und Verwalten der Pipelines, zum Bearbeiten des Codes mit Jupyter Pocket book, zum Verfolgen von Experimenten, zum Modellregister und zur Artefaktspeicherung.
2. MLflow
Der mlflow/mlflow wird im Allgemeinen zur Experimentverfolgung und -protokollierung verwendet. Mit der Zeit hat es sich jedoch zu einem Finish-to-Finish-MLOps-Instrument für alle Arten von maschinellen Lernmodellen entwickelt, einschließlich LLMs (Massive Language Fashions).
Bild von MLflow
MLFlow besteht aus 6 Kernkomponenten:
- Verfolgung: Versionieren und Speichern von Parametern, Code, Metriken und Ausgabedateien. Es enthält außerdem interaktive metrische und parametrische Visualisierungen.
- Projekte: Verpacken des Knowledge-Science-Quellcodes für Wiederverwendbarkeit und Reproduzierbarkeit.
- Modelle: Speichern Sie Machine-Studying-Modelle und Metadaten in einem Standardformat, das später von den nachgelagerten Instruments verwendet werden kann. Es bietet auch Optionen für die Modellbereitstellung und -implementierung.
- Modellregistrierung: ein zentraler Modellspeicher zur Verwaltung des Lebenszyklus von MLflow-Modellen. Er bietet Versionierung, Modellherkunft, Modellaliasing, Modellmarkierung und Anmerkungen.
- Rezepte (Pipelines): Pipelines für maschinelles Lernen, mit denen Sie hochwertige Modelle schnell trainieren und in der Produktion bereitstellen können.
- LL.M.-Studiengänge: Unterstützung bei der Bewertung, schnellen Entwicklung, Nachverfolgung und Bereitstellung von LLMs.
Sie können das gesamte Ökosystem des maschinellen Lernens mithilfe von CLI, Python, R, Java und REST API verwalten.
3. Metaflow
Der Netflix/Metaflow ermöglicht Datenwissenschaftlern und Ingenieuren für maschinelles Lernen, Projekte für maschinelles Lernen/KI schnell zu erstellen und zu verwalten.
Metaflow wurde ursprünglich bei Netflix entwickelt, um die Produktivität von Datenwissenschaftlern zu steigern. Jetzt ist es Open Supply, sodass jeder davon profitieren kann.
Bild von Metaflow-Dokumente
Metaflow bietet eine einheitliche API für Datenverwaltung, Versionierung, Orchestrierung, Modustraining und -bereitstellung sowie Computing. Es ist mit den wichtigsten Cloud-Anbietern und Frameworks für maschinelles Lernen kompatibel.
4. Seldon Core V2
Der SeldonIO/seldon-core ist ein weiteres beliebtes Finish-to-Finish-MLOps-Instrument, mit dem Sie Tausende von Machine-Studying-Modellen in der Produktion verpacken, trainieren, bereitstellen und überwachen können.
Bild von Seldon-Kern
Hauptmerkmale von Seldon Core:
- Stellen Sie Modelle lokal mit Docker oder in einem Kubernetes-Cluster bereit.
- Verfolgung von Modell- und Systemmetriken.
- Setzen Sie Drift- und Ausreißerdetektoren neben Modellen ein.
- Unterstützt die meisten Frameworks für maschinelles Lernen wie TensorFlow, PyTorch, Scikit-Be taught, ONNX.
- Datenzentrierter MLOPs-Ansatz.
- CLI wird zum Verwalten von Workflows, Inferenzen und Debuggen verwendet.
- Sparen Sie Kosten durch die transparente Bereitstellung mehrerer Modelle.
Seldon Core konvertiert Ihre Machine-Studying-Modelle in REST/GRPC-Mikroservices. Ich kann Tausende von Machine-Studying-Modellen problemlos skalieren und verwalten und zusätzliche Funktionen für Metrikverfolgung, Anforderungsprotokollierung, Erläuterungen, Ausreißerdetektoren, A/B-Assessments, Canaries und mehr bereitstellen.
5. MLRun
Der mlrun/mlrun Framework ermöglicht die einfache Erstellung und Verwaltung von Machine-Studying-Anwendungen in der Produktion. Es optimiert die Aufnahme von Produktionsdaten, Machine-Studying-Pipelines und On-line-Anwendungen und reduziert so den Entwicklungsaufwand, die Produktionszeit und die Rechenressourcen erheblich.
Bild von MLRun
Die Kernkomponenten von MLRun:
- Projektmanagement: ein zentraler Hub, der verschiedene Projektressourcen wie Daten, Funktionen, Jobs, Workflows, Geheimnisse und mehr verwaltet.
- Daten und Artefakte: Verbinden Sie verschiedene Datenquellen, verwalten Sie Metadaten, katalogisieren und versionieren Sie die Artefakte.
- Characteristic-Retailer: Speichern, Vorbereiten, Katalogisieren und Bereitstellen von Modellfunktionen für Coaching und Bereitstellung.
- Batchläufe und Workflows: führt eine oder mehrere Funktionen aus und sammelt, verfolgt und vergleicht alle ihre Ergebnisse und Artefakte.
- Echtzeit-Serving-Pipeline: schnelle Bereitstellung skalierbarer Daten- und Machine-Studying-Pipelines.
- Echtzeitüberwachung: überwacht Daten, Modelle, Ressourcen und Produktionskomponenten.
Abschluss
Anstatt für jeden Schritt in der MLOps-Pipeline ein Instrument zu verwenden, können Sie für alle Schritte nur eines verwenden. Mit nur einem Finish-to-Finish-MLOPs-Instrument können Sie Machine-Studying-Modelle trainieren, verfolgen, speichern, versionieren, bereitstellen und überwachen. Sie müssen sie lediglich lokal mit Docker oder in der Cloud bereitstellen.
Die Verwendung von Open-Supply-Instruments bietet mehr Kontrolle und Privatsphäre, bringt aber auch Herausforderungen bei der Verwaltung und Aktualisierung der Instruments sowie beim Umgang mit Sicherheitsproblemen und Ausfallzeiten mit sich. Wenn Sie als MLOps-Ingenieur anfangen, empfehle ich Ihnen, sich auf Open-Supply-Instruments zu konzentrieren und dann zu verwalteten Diensten wie Databricks, AWS, Iguazio usw. zu wechseln.
Ich hoffe, Ihnen gefallen meine Inhalte zu MLOps. Wenn Sie mehr davon lesen möchten, erwähnen Sie es bitte in einem Kommentar oder kontaktieren Sie mich über LinkedIn.
Abid Ali Awan (@1abidaliawan) ist ein zertifizierter Datenwissenschaftler, der gerne Modelle für maschinelles Lernen erstellt. Derzeit konzentriert er sich auf die Erstellung von Inhalten und das Schreiben technischer Blogs zu Technologien für maschinelles Lernen und Datenwissenschaft. Abid hat einen Grasp-Abschluss in Technologiemanagement und einen Bachelor-Abschluss in Telekommunikationstechnik. Seine Imaginative and prescient ist es, mithilfe eines Graph-Neural-Networks ein KI-Produkt für Studenten zu entwickeln, die mit psychischen Erkrankungen zu kämpfen haben.