Wie sich Knowledge Engineering seit 2014 entwickelt hat | von 💡Mike Shakhomirov | Jul, 2024

High-Tendencies für die mühelose Skalierung Ihrer Datenpipelines

In dieser Diskussion möchte ich die sich entwickelnden Tendencies in der Datenorchestrierung und Datenmodellierung untersuchen und die Fortschritte bei den Instruments und ihre wichtigsten Vorteile für Dateningenieure hervorheben. Während Airflow seit 2014 der dominierende Akteur ist, hat sich die Datentechniklandschaft erheblich verändert und befasst sich jetzt mit anspruchsvolleren Anwendungsfällen und Anforderungen, einschließlich der Unterstützung mehrerer Programmiersprachen, Integrationen und verbesserter Skalierbarkeit. Ich werde zeitgenössische und vielleicht unkonventionelle Instruments untersuchen, die meine Datentechnikprozesse rationalisieren und es mir ermöglichen, mühelos robuste, dauerhafte und skalierbare Datenpipelines zu erstellen, zu verwalten und zu orchestrieren.

Im letzten Jahrzehnt erlebten wir eine „kambrische Explosion“ verschiedener ETL-Frameworks für Datenextraktion, -transformation und -orchestrierung. Es ist keine Überraschung, dass viele davon Open Supply und auf Python basieren.

Die beliebtesten:

• Luftstrom, 2014
• Luigi, 2014
• Präfekt,2018
• Zeitlich, 2019
• Flyte, 2020
• Dagster, 2020
• Magier, 2021
• Orchester, 2023