Während wir uns an eine postpandemische Arbeitsweise gewöhnen, strukturieren Unternehmen ihren Technologie-Stack und ihre Softwarestrategie für eine neue, verteilte Belegschaft um. Echtzeit-Datenstreaming erweist sich für Unternehmen als notwendige und kosteneffiziente Möglichkeit, auf agile Weise zu skalieren. Letztes Jahr IDC fand heraus, dass 90 % der weltweit größten Unternehmen werden bis 2025 Echtzeitinformationen nutzen, um das Kundenerlebnis und wichtige Dienste zu verbessern. Sie fanden außerdem heraus, dass der Markt für Stream-Processing von 2022 bis 2028 voraussichtlich mit einer durchschnittlichen jährlichen Wachstumsrate (CAGR) von 21,5 % wachsen wird.
Der Aufstieg des Daten-Streamings ist unbestreitbar und wird allgegenwärtig. Daten-Streaming hat zwei Seiten mit doppelten Kostenvorteilen – architektonisch und betrieblich:
Aus architektonischer Sicht rationalisiert es den Datenfluss. Bisher wurden Daten von Anwendungen empfangen und direkt in Datenbanken gespeichert. Die Analyse dieser Daten erforderte einen ETL-Prozess (Extract, Rework, Load), der normalerweise einmal täglich in Stapeln durchgeführt wurde. Das Aufkommen von Datenstreaming-Plattformen hat diese Architektur jedoch revolutioniert. Unabhängig von der Datenquelle ist das Einrichten von Themen auf der Streaming-Plattform mühelos. Die Verbindung zu diesen Themen ermöglicht einen nahtlosen Datenfluss. Ebenso wird die Nutzung der Daten vereinfacht. Sie können ein Ziel für die Daten festlegen und die Lieferhäufigkeit angeben – ob in Echtzeit oder in Stapeln. Die zentralisierten Datenstreaming-Plattformen wie Apache Pulsarermöglichen die dynamische Skalierung und Konsolidierung bisher isolierter Datenpipelines in einheitlichen Multi-Tenant-Plattformdiensten. Dies reduziert die Verschwendung durch Überbereitstellung, die mit der Wartung unterschiedlicher Pipelines einhergeht.
Die betrieblichen Vorteile sind überzeugend. Durch die Zentralisierung des gesamten Datenflussprozesses macht Datenstreaming die Verwaltung mehrerer Technologien für die Datenübertragung von Punkt A nach Punkt B überflüssig. Dadurch werden Daten leichter zugänglich, insbesondere für Mitarbeiter, die über mehrere Wohnungen und Büros verteilt sind. Datenstreaming hat sich zum verbindenden Faden entwickelt, der die Aktivitäten und Erkenntnisse verteilter Groups synchronisiert. Durch das Streaming von Datenausgaben als Dwell-Datenprodukte, die im gesamten Unternehmen zugänglich sind, wird die Distant-Zusammenarbeit in Echtzeit für Unternehmen ermöglicht.
Wie sind wir hierher gekommen?
Wie sind wir zu diesem entscheidenden Second für Streaming-Daten gekommen? Die Attraktivität der Technologie geht auf die frühen 2000er Jahre zurück, als Nachrichtenwarteschlangen mit hohem Durchsatz aufkamen, wie Apache Kafka. Dadurch konnten Organisationen Echtzeitdaten nutzen. Sie bauten eine Architektur auf, die Datenproduzenten und -konsumenten entkoppelt und so zuverlässige, skalierbare Datenpipelines erstellt. Diese wurden jedoch hauptsächlich für Anwendungsfälle zur Datenaufnahme entwickelt. Die anfänglichen Anwendungsfälle für Streaming waren ziemlich eng gefasst – Aufnahme großer Datenmengen zur Erstellung interaktiver Echtzeit-Dashboards, Senden von Sensordaten für die vorausschauende Wartung, Betreiben von Echtzeitanwendungen wie Börsentickern oder Wett-Engines. Die meisten Unternehmen waren der Meinung, dass Echtzeitdaten für einzigartige Anwendungsfälle erforderlich sind, und verließen sich für die Betriebsanalyse immer noch auf gebündelte Datenextrakte. Es gab jedoch bedeutende Anwendungsfälle, die ebenfalls Echtzeitdaten erforderten. Beispielsweise benötigen selbstfahrende Autos sofortige Daten, um sekundenschnelle Entscheidungen treffen zu können. Standortanalysen wie Karten und Navigation basieren auf Echtzeitdaten, um Unfälle und Verzögerungen umgehend zu melden. Darüber hinaus sind viele Marketingtechnologien wie Anzeigengebote und Kundenstimmungsanalysen in ihren Transaktionssystemen auf Echtzeitdaten angewiesen.
Als die Cloud-Nutzung in den 2010er Jahren immer mehr an Fahrt aufnahm, wurde der architektonische Wert von Streaming-Daten deutlicher. Unternehmen begannen, lokale Nachrichtenwarteschlangen und proprietäre Daten-Streaming-Silos auf Cloud-basierten Streaming-Diensten zu konsolidieren. Dies ermöglichte die Zentralisierung von Dutzenden von Pipelines professional Geschäftseinheit auf Multi-Tenant-Daten-Streaming-Plattformen.
Moderne Cloud-native Datenstreaming-Plattformen haben es Unternehmen zudem leichter gemacht, Streaming-Datenprodukte für interne Stakeholder und Kunden zu operationalisieren. Statt nur Again-Finish-Datentransport zu betreiben, hat sich Streaming zu einem effizienten Verteilungsmechanismus für die Bereitstellung eines kontinuierlich aktualisierten Datenzugriffs entwickelt.
COVID-19 kommt in den Chat
Der letzte Katalysator conflict der erhöhte Bedarf an Echtzeit-Geschäftsflexibilität und operativer Belastbarkeit während der Störungen durch die Pandemie. Unternehmen stürzten sich auf Cloud-Datenstreaming-Plattformen, um Distant-Analysen, KI/ML und operative Anwendungsfälle auf der Grundlage stets aktueller Daten zu ermöglichen. Während der COVID-19-Pandemie übertrafen die Umsätze am Cyber Monday die des Black Friday. In der Haupteinkaufssaison oder während Flash-Gross sales sind E-Commerce-Plattformen auf Echtzeitdaten angewiesen, um Lagerbestände effizient zu verwalten, Preisstrategien zu optimieren und sofort personalisierte Empfehlungen zu liefern. In der Zeit nach COVID gab es eine deutliche Verlagerung hin zum On-line-Datenverbrauch, wobei die Anforderungen an eine schnellere Datenbereitstellung höher waren als je zuvor.
Heute ist Datenstreaming die De-facto-Methode für die Bereitstellung und gemeinsame Nutzung von Daten in modernen, verteilten Unternehmen. Die Kosteneffizienz ergibt sich aus der Rationalisierung ehemals unterschiedlicher Pipelines bei gleichzeitiger voller Ausnutzung der Elastizität und Skaleneffekte der Cloud.
Da sich die Distant-Infrastrukturen der Unternehmen verfestigen und ereignisgesteuerte Cloud-Architekturen immer weiter verbreitet sind, wird Streaming immer allgegenwärtiger und unternehmenskritischer. Apache Pulsar und ähnliche Plattformen werden bei diesem anhaltenden Aufstieg eine entscheidende Rolle spielen. Der Aufstieg des Streamings conflict eine zwei Jahrzehnte dauernde Reise der technologischen Entwicklung, die auf neu entdeckte operative Dringlichkeit traf.
Über den Autor
Sijie Guo ist Gründer und CEO von Streamnative. Sijies Reise mit Apache Pulsar begann bei Yahoo!, wo er Teil des Groups conflict, das an der Entwicklung einer globalen Messaging-Plattform für das Unternehmen arbeitete. Anschließend ging er zu Twitter, wo er die Messaging-Infrastrukturgruppe leitete und DistributedLog und Twitter EventBus mitentwickelte. 2017 conflict er Mitbegründer von Streamlio, das von Splunk übernommen wurde, und 2019 gründete er StreamNative. Er ist einer der ursprünglichen Entwickler von Apache Pulsar und Apache BookKeeper und bleibt VP von Apache BookKeeper und PMC-Mitglied von Apache Pulsar.
Melden Sie sich für den kostenlosen insideBIGDATA-Publication an Publication.
Folgen Sie uns auf Twitter: https://twitter.com/InsideBigData1
Folgen Sie uns auf LinkedIn: https://www.linkedin.com/firm/insidebigdata/
Folge uns auf Fb: https://www.fb.com/insideBIGDATANOW