Ich habe meine Karriere in einer Vielzahl von Branchen verbracht, von kleinen Begin-ups bis hin zu globalen Konzernen, von KI-orientierten Technologieunternehmen bis hin zu stark regulierten Banken. Im Laufe der Jahre habe ich viele KI- und ML-Initiativen erfolgreich gesehen, aber ich habe auch überraschend viele scheitern sehen. Die Gründe für das Scheitern haben oft wenig mit Algorithmen zu tun. Die Hauptursache liegt quick immer darin, wie Unternehmen mit KI umgehen.

Dies ist keine Checkliste, Anleitung oder Liste fester Regeln. Es handelt sich um einen Überblick über die häufigsten Fehler, auf die ich gestoßen bin, und um einige Spekulationen darüber, warum sie auftreten und wie sie meiner Meinung nach vermieden werden können.

1. Fehlen einer soliden Datengrundlage

Fehlen schlechte oder nur wenige Daten, was allzu oft auf einen geringen technischen Reifegrad zurückzuführen ist, sind KI/ML-Projekte zum Scheitern verurteilt. Dies geschieht allzu oft, wenn Unternehmen DS/ML-Groups bilden, bevor sie solide Knowledge-Engineering-Gewohnheiten etabliert haben.

Einmal sagte mir ein Supervisor: „Mit Tabellenkalkulationen lässt sich kein Geld verdienen.“ In den meisten Unternehmen ist es jedoch genau das Gegenteil: „Tabellenkalkulationen“ sind das einzige Werkzeug, das den Gewinn in die Höhe treiben kann. Geschieht dies nicht, verfällt man dem klassischen ML-Aphorismus: „Müll rein, Müll raus.“

Ich habe früher in einem regionalen Lebensmittellieferdienst gearbeitet. Die Träume des DS-Groups waren himmelhoch: Deep-Studying-Empfehlungssysteme, Gen AI usw. Aber die Daten waren ein Durcheinander: zu viel alte Architektur, sodass Sitzungen und Buchungen nicht zuverlässig verknüpft werden konnten, weil es keine einzige Schlüssel-ID gab; Die Restaurant-Gerichts-IDs wechselten alle zwei Wochen, sodass es unmöglich warfare, sicher zu sagen, was die Kunden tatsächlich bestellten. Dieses und viele andere Probleme führten dazu, dass jedes Projekt zu 70 % aus Workarounds bestand. Keine Zeit oder Ressourcen für elegante Lösungen. Doch bei einer Handvoll von ihnen hatte keines der Projekte innerhalb eines Jahres zu Ergebnissen geführt, weil sie auf der Grundlage von Daten konzipiert wurden, denen man nicht trauen konnte.

Wegbringen: Investieren Sie vor ML in Knowledge Engineering und Datenqualitätsüberwachung. Halten Sie es unkompliziert. Frühzeitige Erfolge und „Low-Hanging Fruits“ erfordern nicht unbedingt qualitativ hochwertige Daten, KI jedoch auf jeden Fall.

2. Kein klarer Enterprise Case

ML wird in der Regel eingesetzt, weil es im Pattern liegt, und nicht zur Lösung eines echten Issues, insbesondere angesichts des LLM- und Agentic AI-Hypes. Unternehmen bauen Anwendungsfälle rund um die Technologie auf und nicht umgekehrt, was letztendlich dazu führt, dass sie übermäßig komplizierte oder redundante Lösungen entwickeln.

Denken Sie an einen KI-Assistenten in einer Zahlungsanwendung für Stromrechnungen, bei dem Kunden nur drei Tasten drücken, oder an einen KI-Übersetzer von Dashboards, wenn die Lösung darin bestehen soll, Dashboards verständlich zu machen. Eine schnelle Google-Suche nach Beispielen für ausgefallene KI-Assistenten wird zahlreiche solcher Fälle aufdecken.

Ein solcher Fall in meinem Arbeitsleben warfare ein Projekt zum Aufbau eines Assistenten für eine Restaurant-Entdeckungs- und Buchungs-App (sagen wir mal einen Restaurant-Aggregator). LLMs waren der letzte Schrei, und es gab FOMO von oben. Sie beschlossen, einen sicheren Dienst mit niedriger Priorität und einem benutzerorientierten Chat-Assistenten zu entwickeln. Der Assistent würde Eating places vorschlagen, die auf Anfragen wie „Zeige mir gute Orte mit Rabatten“, „Ich möchte ein schickes Abendessen mit meiner Freundin“ oder „Haustierfreundliche Orte finden“ basieren.

Das Workforce verbrachte ein Jahr damit, es zu entwickeln: Hunderte von Szenarien wurden entworfen, Leitplanken angepasst und das Backend kugelsicher gemacht. Das Wesentliche an der Sache warfare jedoch, dass dieser Assistent keine wirklichen Benutzerprobleme löste. Ein sehr kleiner Prozentsatz der Nutzer hat es überhaupt versucht und bei ihnen führte nur eine statistisch unbedeutende Anzahl von Sitzungen zu Buchungen. Das Projekt wurde vorzeitig aufgegeben und nicht auf andere Dienste ausgeweitet. Hätte das Workforce mit der Bestätigung des Anwendungsfalls statt mit Hilfsfunktionen begonnen, wäre ein solches Schicksal nicht möglich gewesen.

Wegbringen: Beginnen Sie immer mit dem Downside. Verstehen Sie den Schmerzpunkt gründlich, weisen Sie seinen Wert in Zahlen zu und beginnen Sie erst dann mit der Entwicklungsreise.

3. Der Komplexität nachjagen, bevor man sich mit den Grundlagen beschäftigt

Die meisten Communities wechseln zur neuesten Model, ohne anzuhalten, um zu prüfen, ob die einfacheren Methoden ausreichen würden. Eine Einheitsgröße passt nicht für alle. Ein inkrementeller Ansatz, der einfach anfängt und je nach Bedarf schrittweise erhöht wird, führt quick immer zu einem höheren ROI. Warum es komplexer machen, als es sein muss, wenn lineare Regression, vorab trainierte Modelle oder einfache Heuristiken ausreichen? Wenn Sie einfach anfangen, erhalten Sie Einblicke: Sie lernen das Downside kennen, finden heraus, warum Sie keinen Erfolg hatten, und haben eine solide Grundlage für die spätere Iteration.

Ich habe ein Projekt implementiert, um ein Verknüpfungs-Widget auf der Startseite einer Multi-Service-App zu entwerfen, das auch Experience-Hailing beinhaltet. Die Idee warfare einfach: Sagen Sie voraus, ob ein Benutzer die App gestartet hat, um eine Fahrt anzufordern, und wenn ja, sagen Sie voraus, wohin die Fahrt höchstwahrscheinlich führen würde, damit der Benutzer sie mit einem Tastendruck buchen kann. Das Administration verfügte, dass die Lösung ein neuronales Netzwerk sein müsse und nichts anderes sein dürfe. Nach vier Monaten schmerzhafter Weiterentwicklung stellten wir fest, dass die Vorhersagen bei vielleicht 10 % der Fahrer mit langjähriger Experience-Hailing-Geschichte erstaunlich intestine funktionierten. Selbst für sie waren die Vorhersagen schrecklich. Und das Downside wurde schließlich in einer Nacht durch eine Reihe von Geschäftsregeln behoben. Monatelanger vergeblicher Aufwand hätte vermieden werden können, wenn das Unternehmen konservativ gestartet wäre.

Wegbringen: Gehen Sie, bevor Sie rennen. Nutzen Sie Komplexität als letzten Ausweg, nicht als Ausgangspunkt.

4. Trennen Sie die Verbindung zwischen ML-Groups und dem Unternehmen

In den meisten Organisationen ist Knowledge Science eine Insel. Groups entwickeln technisch herausragende Lösungen, die nie das Licht der Welt erblicken, weil sie nicht die richtigen Probleme lösen oder weil Geschäftsinteressenten ihnen nicht vertrauen. Das Gegenteil ist nicht besser: Wenn Unternehmensführer versuchen, die gesamte technische Entwicklung zu diktieren, unerfüllbare Erwartungen zu setzen und kaputte Lösungen voranzutreiben, die niemand verteidigen kann. Gleichgewicht ist die Antwort. ML gedeiht am besten, wenn es sich um eine Übung der Zusammenarbeit zwischen Fachexperten, Ingenieuren und Entscheidungsträgern handelt.

Ich habe dies am häufigsten in großen, nicht IT-orientierten Unternehmen gesehen. Sie erkennen, dass KI/ML ein enormes Potenzial hat und richten „KI-Labore“ oder Kompetenzzentren ein. Das Downside besteht darin, dass diese Labore oft völlig isoliert vom Unternehmen arbeiten und ihre Lösungen selten übernommen werden. Ich habe für eine große Financial institution gearbeitet, die über ein solches Labor verfügte. Es waren sehr erfahrene Experten dort, aber sie trafen nie mit Interessenvertretern aus der Wirtschaft zusammen. Schlimmer noch: Das Labor warfare als eigenständige Tochtergesellschaft eingerichtet und ein Datenaustausch warfare unmöglich. Das Unternehmen warfare nicht besonders an der Arbeit des Labors interessiert, die letztlich zwar in Forschungsarbeiten für Akademiker floss, aber nicht in die tatsächlichen Prozesse des Unternehmens.

Wegbringen: Sorgen Sie dafür, dass ML-Initiativen eng an den Geschäftsanforderungen ausgerichtet sind. Arbeiten Sie frühzeitig zusammen, kommunizieren Sie häufig und wechseln Sie mit den Beteiligten, auch wenn dies die Entwicklung verlangsamt.

5. MLOps ignorieren

Cron-Jobs und umständliche Skripte funktionieren in kleinem Maßstab. Allerdings ist dies angesichts der Größe des Unternehmens ein Garant für eine Katastrophe. Ohne MLOps erfordern kleine Optimierungen die Einbeziehung der ursprünglichen Entwickler bei jedem Schritt, und Systeme werden immer wieder vollständig neu geschrieben.

Eine frühzeitige Investition in MLOps zahlt sich exponentiell aus. Es geht nicht nur um Technologie, sondern um eine stabile, skalierbare und nachhaltige ML-Kultur.

Eine frühzeitige Investition in MLOps zahlt sich exponentiell aus. Es geht nicht nur um Technologie; Es geht darum, eine Kultur zuverlässigen, skalierbaren und wartbaren ML zu schaffen. Lassen Sie nicht zu, dass das Chaos über Sie hereinbricht. Richten Sie gute Prozesse, Plattformen und Schulungen ein, bevor ML-Projekte außer Kontrolle geraten.

Ich habe bei einer Telekommunikations-Tochterfirma gearbeitet, die AdTech betreibt. Die Plattform diente der Internetwerbung und warfare die größte Umsatzquelle des Unternehmens. Da es neu warfare (erst ein Jahr alt), warfare die ML-Lösung äußerst spröde. Modelle wurden lediglich in C++ verpackt und von einem einzelnen Ingenieur in den Produktcode eingefügt. Integrationen wurden nur durchgeführt, wenn der Ingenieur anwesend warfare, die Modelle wurden nie verfolgt und als der ursprüngliche Autor ging, hatte niemand eine Ahnung, wie sie funktionierten. Wenn auch der Schichtingenieur gegangen wäre, wäre die gesamte Plattform dauerhaft außer Betrieb gewesen. Eine solche Gefährdung hätte mit guten MLOps verhindert werden können.

6. Fehlende A/B-Exams

Einige Unternehmen vermeiden A/B-Exams aufgrund der Komplexität und entscheiden sich stattdessen für Backtests oder Instinct. Dadurch gelangen fehlerhafte Modelle in die Produktion. Ohne eine Testplattform kann man nicht wissen, welche Modelle tatsächlich funktionieren. Für iterative Verbesserungen, insbesondere im großen Maßstab, sind geeignete Experimentierrahmen erforderlich.

Was die Akzeptanz tendenziell bremst, ist das Gefühl der Komplexität. Aber ein unkomplizierter, optimierter A/B-Testprozess kann in der Anfangszeit intestine funktionieren und erfordert keine großen Vorabinvestitionen. Ausrichtung und Coaching sind wirklich die wichtigsten Schlüsselfaktoren.

In meinem Fall hängt es davon ab, wie intestine ein Supervisor es verkaufen kann, da es keine fundierte Möglichkeit gibt, die Auswirkungen auf die Benutzer zu messen. Gute Präsentationen werden finanziert, eifrig verteidigt und bleiben manchmal auch dann bestehen, wenn die Zahl zurückgeht. Metriken werden manipuliert, indem man einfach die Zahlen vor und nach der Markteinführung vergleicht. Wenn sie gestiegen sind, ist das Projekt ein Erfolg, obwohl es sich zufällig um einen allgemeinen Aufwärtstrend handelte. In wachsenden Unternehmen verbergen sich hinter dem Gesamtwachstum Millionen von unterdurchschnittlichen Projekten, da es keine A/B-Exams gibt, um Erfolge von Misserfolgen kontinuierlich zu unterscheiden.

Wegbringen: Schaffen Sie frühzeitig Experimentierkapazitäten. Testen Sie große Bereitstellungen, die erforderlich sind, und lassen Sie die Groups die Ergebnisse richtig interpretieren.

7. Unterqualifiziertes Administration

Ein unzureichend geschultes ML-Administration kann Metriken und Experimentergebnisse falsch interpretieren und strategische Fehler machen. Die Schulung von Entscheidungsträgern ist ebenso wichtig wie die Schulung von Ingenieurteams.

Ich habe einmal mit einem Workforce zusammengearbeitet, das über die gesamte Technologie verfügte, die es brauchte, sowie über robuste MLOps und A/B-Exams, aber die Supervisor wussten nicht, wie sie diese nutzen sollten. Sie verwendeten die falschen statistischen Exams, beendeten Experimente nach einem Tag, an dem „statistische Signifikanz“ erreicht worden warfare (normalerweise mit viel zu wenigen Beobachtungen), und führten Funktionen ohne messbare Auswirkungen ein. Das Ergebnis: Viele Begins hatten adverse Auswirkungen. Die Supervisor selbst waren keine schlechten Menschen, sie verstanden einfach nicht, wie sie ihre Werkzeuge nutzen sollten.

8. Falsch ausgerichtete Metriken

Auch wenn ML/DS-Organisationen geschäftsorientiert sein müssen, bedeutet das nicht, dass sie über Geschäftsinstinkt verfügen müssen. ML-Praktiker werden sich auch an den ihnen zur Verfügung gestellten Kennzahlen orientieren, wenn sie der Meinung sind, dass diese korrekt sind. Wenn ML-Ziele nicht mit den Unternehmenszielen übereinstimmen, ist das Ergebnis pervers. Wenn das Unternehmen beispielsweise Rentabilität anstrebt, die Maximierung der Konvertierung neuer Benutzer jedoch ein Ziel der ML-Organisation ist, maximiert es unrentables Wachstum durch die Hinzufügung von Benutzern mit schlechter Einheitsökonomie, die nie wiederkommen.

Dies ist für viele Unternehmen ein Downside. Ein Lebensmittellieferunternehmen wollte wachsen. Das Administration erkannte, dass die geringe Konversion neuer Benutzer das Downside warfare, das das Unternehmen daran hinderte, den Umsatz zu steigern. Das DS-Workforce wurde gebeten, das Downside durch Personalisierung und Verbesserung des Kundenerlebnisses zu lösen. Das eigentliche Downside warfare die Bindung. Die konvertierten Benutzer kamen nicht zurück. Anstelle der Speicherung konzentrierte sich das Workforce auf die Umwandlung, indem es Wasser effektiv in einen undichten Eimer füllte. Auch wenn die Conversion-Charge zunahm, führte dies nicht zu nachhaltigem Wachstum. Diese Fehler sind nicht geschäfts- oder branchenspezifisch – es handelt sich um universelle Fehler.

Dennoch können sie verhindert werden. KI und ML funktionieren, wenn sie auf soliden Prinzipien basieren, auf die Lösung realer Probleme ausgelegt sind und sorgfältig in Unternehmen umgesetzt werden. Wenn alle Bedingungen stimmen, werden KI und ML zu disruptiven Technologien mit dem Potenzial, ganze Unternehmen auf den Kopf zu stellen.

Wegbringen: Passen Sie ML-Kennzahlen an die tatsächlichen Geschäftsziele an. Bekämpfe Ursachen, nicht Symptome. Legen Sie Wert auf langfristige Leistung, nicht auf kurzfristige Kennzahlen.

Abschluss

Auf dem Weg zum KI/ML-Erfolg geht es weniger um modernste Algorithmen als vielmehr um die organisatorische Reife. Die Muster sind offensichtlich: Misserfolge entstehen, wenn man sich in die Komplexität stürzt, Anreize falsch ausrichtet und die grundlegende Infrastruktur ignoriert. Erfolg erfordert Geduld, Disziplin und die Offenheit, klein anzufangen.

Die constructive Nachricht ist, dass alle diese Fehler vollständig vermeidbar sind. Unternehmen, die zuerst die Dateninfrastruktur einrichten, eine enge Abstimmung zwischen technischen und geschäftlichen Groups pflegen und sich nicht von Modeerscheinungen ablenken lassen, werden feststellen, dass KI/ML genau das hält, was sie verspricht. Die Technik funktioniert zwar, aber sie muss auf einem soliden Fundament stehen.

Wenn es einen Grundsatz gibt, der all dies zusammenhält, dann ist es dieser: KI/ML ist ein Werkzeug, kein Ziel. Beginnen Sie mit dem Downside, bestätigen Sie den Bedarf, entwickeln Sie es iterativ und messen Sie immer. Wer mit dieser Einstellung an die Sache herangeht, scheitert nicht nur nicht. Stattdessen schaffen sie langfristige Wettbewerbsvorteile, die sich im Laufe der Zeit verstärken.

Die Zukunft gehört nicht den Firmen mit den neuesten Modellen, sondern den Firmen, die die Disziplin haben, diese sinnvoll anzuwenden.

Wenn Sie mit KI/ML -Workloads (wie ich) arbeiten und versuchen, herauszufinden, welches Datenformat zu wählen sind, ist dieser Beitrag für Sie. Egal, ob Sie ein Pupil, Analyst oder Ingenieur sind, wenn Sie die Unterschiede zwischen Apache Iceberg, Delta Lake und Apache Hudi kennen, können Ihnen eine Menge Kopfschmerzen ersparen, wenn es um Leistung, Skalierbarkeit und Echtzeit-Updates geht. Am Ende dieses Handbuchs haben Sie ein solides Kernfunktionen und können das beste offene Tischformat für KI/ML -Workloads auswählen. Lass uns eintauchen!

Warum brauchen wir das offene Tabellenformat für KI/ML -Workloads?

Traditionelle Datenseen haben einige Einschränkungen. Um diese Herausforderungen zu bewältigen, wurden drei führende offene Tabellenformate entworfen. Ich habe später in der Put up ein Architekturdiagramm für jedes Format hinzugefügt:

1. Apache Iceberg
2. Delta Lake
3. Apache Hudi

Wichtige Vorteile dieser Formate

Diese Formate befassen sich mit einigen der wichtigsten Probleme mit herkömmlichen Datenseen:

• Mangel an Säure -Transaktionen: Iceberg, Delta Lake und Hudi lösen diese Gewährleistung der Zuverlässigkeit, gleichzeitigen Lesevorgänge und gleichzeitigen Schreibvorgänge.
• Keine früheren Datenverfolgung: Iceberg, Delta Lake und Hudi ermöglichen dies, indem Sie vergangene Datenzustände für Debuggen, ML -Coaching oder Prüfung reproduzieren.
• Daten und Metadaten Skalierbarkeit: Alle drei Formate unterstützen Echtzeitdatenskalierbarkeit durch Dateiverdichtung.

Vergleich basierend auf AI/ML -Anwendungsfällen

Schauen wir uns die Ansätze jedes Codecs in Schlüsselbereichen an:

• Characteristic Shops: Wie intestine jedes Format die Datenanforderungen für Schulungs -ML -Modelle unterstützt.
• Modelltraining: Wie intestine jedes Format die Datenanforderungen für Schulungs -ML -Modelle unterstützt.
• Skalierbare ML -Pipelines: Wie intestine jedes Format umgeht, um die Datenverarbeitung mit groß angelegten Daten zu machen.

Lesen Sie auch: Was sind Datenseen? Schritt -by -Step -Leitfaden

Was ist der Apache -Eisberg?

Apache Iceberg Das offene Tabellenformat ist zu einem Branchenstandard für die Verwaltung von Datenseen und die Lösung der Probleme des traditionellen Datensees geworden. Es bietet hohe Analysen für große Datensätze.

Bezüglich Characteristic ShopsApache Iceberg unterstützt Säuretransaktionen unter Verwendung von Snapshot -Isolation, um gleichzeitige Schreibvorgänge und Zuverlässigkeit sicherzustellen. Darüber hinaus ermöglicht Iceberg Schema -Änderungen, ohne vorhandene Abfragen zu brechen, was bedeutet, dass Sie die Datensätze nicht umschreiben müssen, um Änderungen wie in herkömmlichen Datenseen vorzunehmen. Iceberg unterstützt Zeitreisen mit Schnappschüssen und ermöglicht es Benutzern, ältere Versionen abzufragen. Iceberg reduziert die schlechte Abfrageleistung durch versteckte Partitionierung und Metadatenindexierung, um die Abfrageleistung zu beschleunigen, und verbessert die Datenorganisation und den Zugriffeffizienz.

Bezüglich ModelltrainingIceberg unterstützt die ML -Datenanforderungen, indem es schnelles Datenabruf für schnelleres Modelltraining optimiert, indem die Zeitreise unterstützt und die Snapshot -Isolation verwendet wird, um sicherzustellen, dass die Daten konsistent bleiben und aufgrund gleichzeitiger Aktualisierungen nicht beschädigt werden. Es filtert Daten effizient durch versteckte Partitionierung, um die Abfragegeschwindigkeit zu verbessern und unterstützt Prädikatschubdownsicherstellen, dass ML -Frameworks wie Spark, Pytorch und TensorFlow -Lastdaten effizient laden. Iceberg ermöglicht die Schema -Evolution, ohne die sich entwickelnden ML -Bedürfnisse zu brechen.

In Bezug auf skalierbare ML -Pipelines bietet seine Kompatibilität mit verschiedenen Verarbeitungsmotoren wie Apache Spark, Flink, Trino und Presto Flexibilität beim Aufbau skalierbarer ML -Pipelines. Es unterstützt eine schnellere Pipeline -Ausführung, um kürzere ML -Modelltrainingszyklen zu gewährleisten. Iceberg unterstützt die inkrementelle Datenverarbeitung, sodass ML -Pipelines den gesamten Datensatz nicht neu aufbauen müssen. Sie müssen nur veränderte oder neue Daten verarbeiten, was zu Kosteneinsparungen in einer Cloud -Umgebung führt. Iceberg unterstützt Säuretransaktionen, um eine sichere gleichzeitige Schreibvorgänge und die zuverlässigen ML -Datenpipelines zu gewährleisten, wodurch Datenkonsistenzen in verteilten Umgebungen vermieden werden.

Was ist Apache Delta Lake?

Apache Delta Lakeentwickelt von den Erstellern von Apache Spark-Databricks, ist eine Open-Supply-Datenspeicherebene, die nahtlos in Spark sowohl für das Lesen als auch für das Schreiben integriert wird. Es verschmilzt Apache -Parquetdatendateien mit einem ausgeklügelten Metadatenprotokoll und verfügt über tiefe Integrationen mit Spark

In Bezug auf Characteristic -Shops führt Delta Lake Säure -Transaktionen durch und verarbeitet die Paramperium, um sicherzustellen, dass Schreibvorgänge, Aktualisierungen und Deletten nicht zu korrupten Daten führen. Um die Durchsetzbarkeit und Konsistenz innerhalb von Delta Lake zu gewährleisten, können Metadaten die Transaktionen verfolgen. Darüber hinaus verhindert Delta Lake, schlechte Daten in die Tabelle einzugeben, indem Tabellenbeschränkungen erzwungen und Schema -Änderungen ermöglicht werden. Dennoch erfordern einige Schemaveränderungen, wie das Ablegen von Säulen, eine sorgfältige Handhabung. Benutzer können frühere Versionen der Daten abfragen, da die Zeitreisefunktionen durch das Transaktionsprotokoll aktiviert sind. Delta Lake optimiert die Abfrageleistung durch die Verwendung seiner Metadaten- und Transaktionsprotokolle. Wichtig ist, dass Delta Lake Echtzeitänderungen mit der Unterstützung von Streaming-Schreibvorgängen ermöglicht. Darüber hinaus löst es Kosten- und Speicherprobleme durch Echtzeitdateiverdichtung.

Der Delta Lake unterhält zuverlässige und versionierte Trainingsdaten mit Säuretransaktionen im Modelltraining. ML -Modelle verwenden die Zeitreise- und Rollback -Funktion, um auf historischen Schnappschüssen zu trainieren, was die Reproduzierbarkeit und das Debuggen verbessert. Die Verwendung von Z-Order verbessert die Abfrageleistung und senkt die I/A-Kosten, da sie ähnliche Daten zusammenklingen. Darüber hinaus wurde berichtet, dass Delta Lake die Leseleistung durch Partitionsbeschneidung, Metadatenindexierung und Z-Bestellung verbessert. Schließlich behält Delta Lake unterstützende Schemaänderungen ohne Auswirkungen auf die Verfügbarkeit.

Bei skalierbaren ML -Pipelines erleichtert die enge Kopplung von Delta Lake mit Apache Spark es, in vorhandene ML -Workflows zu integrieren. Neue Daten werden kontinuierlich aufgenommen, da sie Echtzeit-Streaming mit strukturiertem Spark-Streaming unterstützt, was eine schnellere Entscheidungsfindung ermöglicht. Zuletzt hilft Delta Lake mehreren ML -Groups, dank Säuretransaktionen gleichzeitig ohne Korruption am selben Datensatz zu arbeiten.

Was ist Apache Hudi?

Apache Hudi Verbessert den Apache Information Lake Stack mit einer Open-Sourcing-Transaktionsspeicherschicht, die Echtzeit-Analysen und inkrementelle Verarbeitung unterstützt. Hudi ermöglicht es Information Lakes, inkrementelle Verarbeitung zu unterstützen, die es langsamer Batch-Verarbeitung in nahezu Echtzeitanalysen verwandeln kann.

In Bezug auf Characteristic -Shops hat Hudi Säuretransaktionen ermöglicht und es ist möglich, Ereignisse mithilfe der Festungszeitleiste und den Metadatenschichten zu verfolgen. Daher besteht keine Probability auf inkonsistente Daten, die sich aus Schreibvorgängen, Aktualisierungen und Löschern ergeben. Hudi ermöglicht eine Schema -Entwicklung, aber bestimmte Schema -Änderungen, wie z. B. Ablagerungssäulen, müssen Sorgfalt erfordern, um nicht vorhandene Fragen zu brechen. Hudis Commit Timeline ermöglicht auch Zeitreisen und Rollback -Funktionen, die die Abfrage älterer Versionen und die Rückrollwechsel unterstützt. Darüber hinaus wird die Abfrageleistung von Hudi durch die Verwendung mehrerer Indexierungstechniken, einschließlich Bloomfilter sowie globale und partitionelle Indizes, verbessert. Hudi optimiert häufig aktualisierte Tabellen mithilfe des MERGE-On-Learn-Speichermodells (MORE-Learn). Hudi erlaubt Streaming -Schreibvorgänge, bietet aber kein vollständig kontinuierliches Streaming wie das Funkenstreaming von Delta Lake. Stattdessen arbeitet Hudi mit Micro-Batch- oder inkrementellen Stapelmodi mit Integrationen zu Apache Kafka, Flink und Funkenstreaming.

Hudi eignet sich hervorragend für Implementierungen für maschinelles Lernen in Echtzeit wie Betrugserkennung oder Empfehlungssystemen, da es in Echtzeit-Updates während des Modelltrainings ermöglicht. Es senkt die Rechenkosten, da das System nur die geänderten Daten laden muss, anstatt ganze Datensätze neu zu laden. Inkrementelle Merge-on-Learn-Abfragen werden nahtlos verwaltet. Die flexiblen Einnahmemodi optimieren Hudis Batch- und Echtzeit-ML-Coaching und können mehrere ML-Pipelines gleichzeitig unterstützen.

In Bezug auf skalierbare ML-Pipelines wurde Hudi für Streaming-First-Workloads entwickelt. Daher ist es für KI/ML-Anwendungsfälle am besten geeignet, in denen Daten häufig wie in Advert-Bidding-Systemen aktualisiert werden müssen. Es verfügt über integrierte kleine Dateiverwaltungsfunktionen, um Leistungs Engpässe zu verhindern. Hudi ermöglicht auch eine effiziente Entwicklung über Datensätze, indem sie Updates auf Datensatzebene integrieren und sowohl für ML-Characteristic-Shops als auch für Trainingspipelines löschen.

Downside/Funktion	EISBERG	Delta Lake	Hudi
Säuretransaktionen und Konsistenz	Ja	Ja	Ja
Schemaentwicklung	Ja	Ja	Ja
Zeitreisen & Versioning	Ja	Ja	Ja
Abfrageoptimierung (Partitionierung und Indexierung)	Ja (am besten)	Ja	Ja
Echtzeit-Streaming-Unterstützung	NEIN	Ja	Ja (am besten)
Speicheroptimierung	Ja	Ja	Ja

Apache Iceberg vs. Delta Lake vs. Hudi: Welches offene Tabellenformat sollten Sie für AI/ML -Workloads auswählen?

Wenn Sie es so weit geschafft haben, haben wir einige der wichtigen Ähnlichkeiten und Unterschiede zwischen Apache Iceberg, Delta Lake und Apache Hudi erfahren.

Es ist an der Zeit, zu entscheiden, welches Format für Ihren Anwendungsfall am sinnvollsten ist! Meine Empfehlung wird geführt, anhand derer Szenario am besten anwendbar ist:

• Eisberg: Entscheiden Sie sich für Eisberg, wenn Sie brauchen effiziente, groß angelegte Batch-Verarbeitung mit Erweitertes Metadatenmanagementinsbesondere wenn sie mit historischen Daten arbeiten und benötigen Zeitreisen.
• Delta Lake: Am besten für Echtzeit, Streaming-KI/ML-Workloads Wo Säuretransaktionen Und Inkrementelle Datenverarbeitung sind entscheidend.
• Hudi: Preferrred, wenn Sie brauchen Hochfrequenz-Updates In Echtzeit-Streaming KI/ML -Arbeitsbelastung und bevorzugen mehr feinkörnige Kontrolle über Daten.

Abschluss

Wenn Ihr Hauptanliegen darin besteht, Daten und Echtzeit-Updates zu streamen, ist Delta Lake oder Hudi möglicherweise die beste Wahl im offenen Tabellenformat für AI/ML-Workloads. Wenn Sie jedoch erweiterte Datenverwaltung, historische Versioning und Batch -Verarbeitungsoptimierung benötigen, fällt Iceberg auf. Für Anwendungsfälle, die sowohl Streaming- als auch Stapelverarbeitung mit Datenaktualisierungen auf Datensatzebene erfordern, ist Hudi wahrscheinlich die beste Choice.

Um das beste Erlebnis zu bieten, verwenden wir Technologien wie Cookies, um Geräteinformationen zu speichern und/oder darauf zuzugreifen. Wenn Sie diesen Technologien zustimmen, können wir Daten wie das Surfverhalten oder eindeutige IDs auf dieser Web site verarbeiten. Wenn Sie nicht zustimmen oder Ihre Zustimmung widerrufen, kann dies zu einer Beeinträchtigung bestimmter Funktionen und Merkmale führen.