Wenn Sie ein Petabyte fünf Jahre lang auf dem Sizzling-Tier von Azure speichern, beläuft sich die Rechnung auf quick 1,2 Millionen US-Greenback, bevor Sie auch nur ein einziges Byte wieder ausgelagert haben. Versuchen Sie, diese Daten abzurufen, und die Cloud erhebt erneut Gebühren: AWS berechnet etwa 90.000 US-Greenback an Ausgangsgebühren, um ein einzelnes Petabyte von seiner Plattform zu entfernen, und Google Cloud Storage berechnet beim Ausgangsvorgang sogar noch mehr professional Gigabyte als AWS. Bei zehn, fünfzig oder fünfhundert Petabyte ist diese Arithmetik kein Einzelposten mehr, sondern eine strategische Entscheidung.

In diesem Leitfaden werden die tatsächlichen Optionen für die Speicherung von Daten im Petabyte-Bereich außerhalb eines öffentlichen Cloud-Anbieters behandelt: was sie kosten, was sie benötigen und welche Unternehmen bereits bewiesen haben, dass das Modell funktioniert.

Konkret: Warum die Cloud im großen Maßstab teuer wird

Die Preisgestaltung für Cloud-Speicher basiert auf einer einfachen Asymmetrie: Der Dateneingang ist günstig oder kostenlos, der Datenausgang dagegen nicht. AWS berechnet für die ersten 10 Terabyte ausgehenden Visitors 0,09 US-Greenback professional Gigabyte, Azure etwa 0,087 US-Greenback/GB und Google Cloud Storage etwa 0,12 US-Greenback/GB. Cloud-Anbieter verlangen im Allgemeinen vier- bis sechsmal mehr für den Abruf von Daten als für deren Speicherung, was bedeutet, dass der Aufkleberpreis auf einem Preisrechner selten widerspiegelt, was Sie tatsächlich zahlen, wenn Ihre Daten in Bewegung kommen, sei es für Backups, Analysepipelines, Catastrophe Restoration oder eine vollständige Migration.

Dies ist kein Randanliegen. Laut dem State of the Cloud Report von Flexera stieg der Anteil der Unternehmens-Workloads, die Unternehmen aus der öffentlichen Cloud zurückgezogen haben, von 21 % im Bericht 2025 auf etwa 23 % in der Ausgabe 2026. Dabei handelt es sich eher um einen stetigen, schrittweisen Wandel als um einen Ansturm, und die Cloud-Einführung nimmt insgesamt immer noch schneller zu, als sie durch die Rückführung schrumpft. Aber es bestätigt das Muster: Unternehmen geben die Cloud nicht auf, sie gleichen sie neu aus, indem sie unvorhersehbare Arbeitslasten dort belassen, während sie stabilen, vorhersehbaren Speicher auf eine Infrastruktur verlagern, die sie direkt kontrollieren.

Choice eins: Führen Sie Ihren eigenen Objektspeicher aus

Der direkteste Ersatz für S3 oder Azure Blob Storage ist Software program, die dieselbe API spricht, aber auf von Ihnen kontrollierter {Hardware} ausgeführt wird. Cloudian HyperStore, Scality RING, MinIO und Caringo Swarm bieten alle S3-kompatiblen Objektspeicher auf gewöhnlichen x86-Servern, was bedeutet, dass Anwendungen, die auf der S3-API basieren, nicht neu geschrieben werden müssen. Scality RING lässt sich auf Hunderte Petabyte und Milliarden von Objekten auf handelsüblicher {Hardware} skalieren, und MinIO wird als Binärdatei mit weniger als 100 MB geliefert, die überall von einem Edge-Server bis hin zu einem vollständigen Rechenzentrum läuft. TrueNAS geht einen anderen Weg und schichtet Datei-, Block- und Objektspeicher auf ZFS für Multi-Petabyte-Bereitstellungen, die starke Datenintegritätsgarantien erfordern.

Der Reiz hier ist einfach: Sie zahlen einmal für die {Hardware}- und Softwarelizenz (oder gar nichts, im Fall von MinIOs Open-Supply-Lösung), und es gibt keine Gebühr professional Gigabyte auf dem Weg dorthin. Die Haltbarkeit beruht auf Erasure Coding und nicht auf der von Cloud-Anbietern intern verwendeten dreifachen Replikation, wodurch der physische Platzbedarf und die Stromrechnung niedriger bleiben, als man es von Clustern im Petabyte-Bereich erwarten würde.

Choice zwei: Colocation statt Bau

Der Besitz der {Hardware} bedeutet nicht den Bau eines Rechenzentrums. Mit Colocation können Sie Ihre eigenen Server und Speicher-Arrays in einer Einrichtung eines Drittanbieters installieren, die für Strom, Kühlung, physische Sicherheit und Netzwerkkonnektivität zuständig ist. Ihre Daten bleiben auf Geräten, die nur von Ihrer Organisation kontrolliert werden. Dies ist besonders wichtig für regulierte Branchen, in denen Prüfer genau sehen möchten, wer ein Laufwerk physisch berühren kann.

Bei stabilen, vorhersehbaren Arbeitslasten liefern Vor-Ort-Lösungen und Colocation vergleichbare Gesamtkosten, und Colocation gewinnt tendenziell an Flexibilität, da Sie kein Kapital für ein Gebäude binden. Im Vergleich dazu läuft die Cloud bei gleichwertiger stabiler Kapazität über einen Zeitraum von fünf Jahren etwa 60 % länger, wenn man einmal Speicher, Rechenleistung und Datenbewegung berücksichtigt. Colocation ist der praktische Mittelweg für Unternehmen, die der Cloud-Storage-Ökonomie entkommen möchten, ohne sich um das Facility Administration zu kümmern.

Choice drei: Band für die Daten, die Sie selten berühren

Auf die meisten Daten im Petabyte-Bereich wird nicht täglich zugegriffen. Es sind Compliance-Archive, Medienbibliotheken, historische Protokolle und Backups, die an einem dauerhaften und kostengünstigen Ort vorhanden sein müssen, nicht an einem schnellen Ort. Hier gewinnt LTO-Band immer noch mit großem Abstand. LTO-9-Kassetten fassen nativ 18 TB und kosten etwa 90 US-Greenback professional Stück, was etwa 5 US-Greenback professional Terabyte an Rohmedienkosten entspricht. Die Speicherung von 100 TB auf Amazon S3 Customary für fünf Jahre kostet weit über 130.000 US-Greenback; Dieselben 100 TB auf LTO-9-Band kosten ein paar hundert Greenback in Kassetten, sobald Sie das Laufwerk besitzen.

Band ist kein Ersatz für aktiven Speicher, Abrufzeiten werden in Minuten und nicht in Millisekunden gemessen und es erfordert Laufwerke, Bibliotheken und jemanden, der weiß, wie man eine Bandrotation verwaltet. Aber für den kalten Teil eines Petabyte-Archivs, der normalerweise den Großteil davon ausmacht, bleibt Band das günstigste Speichermedium, das es gibt.

Die Unternehmen, die dies bereits getan haben

Dropbox hat das Modell im echten Maßstab bewiesen. Zwischen 2015 und 2016 verlagerte das Unternehmen 500 Petabyte an Kundendaten von AWS auf seine eigene Infrastruktur, ein Projekt namens Magic Pocket, einschließlich speziell angefertigter Speicherboxen und allem. Den Zahlen im Börsengangsantrag von Dropbox aus dem Jahr 2018 zufolge sparte die Migration dem Unternehmen innerhalb von zwei Jahren 74,6 Millionen US-Greenback ein: ein Rückgang der Ausgaben für Rechenzentren Dritter um 92,5 Millionen US-Greenback, ausgeglichen durch einen Anstieg der eigenen Infrastrukturkosten um 53 Millionen US-Greenback, wobei im Jahr 2017 weitere 35,1 Millionen US-Greenback eingespart wurden. Dropbox speichert immer noch einen kleinen Teil der Arbeitslasten auf AWS, wo es sinnvoll ist, was ein bemerkenswertes Muster darstellt: Es handelte sich um eine Neuausrichtung, nicht um eine ideologischer Ausstieg.

37signals bietet eine kleinere, aktuellere Fallstudie. Nachdem DHH im Oktober 2022 den Ausstieg des Unternehmens aus der Cloud bekannt gegeben hatte, gab 37signals rund 700.000 US-Greenback für Dell-{Hardware} aus, amortisierte diese Investition innerhalb des Jahres und senkte seine jährliche Cloud-Rechnung von 3,2 Millionen US-Greenback auf 1,3 Millionen US-Greenback bis 2024. Das Unternehmen rechnet nun mit Gesamteinsparungen von über 10 Millionen US-Greenback für fünf Jahre, die ohne zusätzliches Infrastrukturpersonal erreicht werden.

Keines der Unternehmen betrachtete dies als eine einmalige Migration. Beide haben die operative Kapazität aufgebaut, um Speicher als permanente Funktion zu betreiben, was den eigentlichen Einsatz darstellt, den diese Entscheidung erfordert.

Aufbau des Enterprise Case

Bevor Sie Kapital bereitstellen, führen Sie die Zahlen aus, wie es diese Unternehmen getan haben. Prüfen Sie zunächst Ihre Zugriffsmuster: Trennen Sie heiße Daten (auf die ständig zugegriffen wird), warme Daten (auf die gelegentlich zugegriffen wird) und kalte Daten (auf die selten zugegriffen wird), da die richtige Speicherebene jeweils unterschiedlich ist. Berechnen Sie die tatsächlichen Gesamtbetriebskosten für fünf Jahre für Ihren aktuellen Cloud-Fußabdruck, einschließlich Ausgangs- und Abrufgebühren, nicht nur der monatlichen Speicherleitung. Wählen Sie eine S3-kompatible Softwareschicht, wenn Sie sich für die On-Premises- oder Colocation-Variante entscheiden, damit bestehende Anwendungen keinen architektonischen Eingriff erfordern. Und wenn Sie in einer regulierten Branche tätig sind, berücksichtigen Sie frühzeitig die Anforderungen an die Datensouveränität: Die Frage ist nicht nur, wo sich die Daten physisch befinden, sondern auch, welche Rechtsordnung sie regelt und wer rechtlich zur Herausgabe der Daten verpflichtet werden kann. Die Durchsetzung kostet derzeit echtes Geld: Unabhängige Verfolger beziffern die kumulierten DSGVO-Bußgelder seit Inkrafttreten der Verordnung im Mai 2018 auf mehr als 7,1 Milliarden Euro, wobei allein die irische Datenschutzkommission rund 4,04 Milliarden Euro dieser Summe ausmacht.

Nichts davon spricht dafür, dass die Cloud am Ende ist. Die meisten Unternehmen sind aufgrund der Rechenelastizität und der Arbeitslast, die unvorhersehbar ansteigt, immer noch dort. Aber im Petabyte-Bereich verhält sich der Speicher nicht mehr wie ein gemieteter Dienst, sondern beginnt sich wie eine Infrastruktur zu verhalten, und es ist quick immer günstiger, Infrastruktur vollständig zu besitzen, als sie auf unbestimmte Zeit zu leasen.

Derselbe Instinkt, der in Frage stellt, was man standardmäßig akzeptieren soll, beginnt sich auch jenseits der Infrastruktur zu zeigen. Da KI-Assistenten wie ChatGPT und Perplexity zunehmend Fragen beantworten, die früher dazu dienten, Visitors auf eine Suchergebnisseite zu leiten, bieten Agenturen wie z Liplyn Helfen Sie nun Marken, sich einen Platz in diesen KI-generierten Antworten zu sichern, anstatt diese Sichtbarkeit dem Zufall zu überlassen.

Dropbox und 37signals haben die Cloud nicht verlassen, weil sie in Mode warfare. Sie gingen, weil endlich jemand die Fünf-Jahres-Mathe durchführte.

---

Datafloq ist Teil der Liplyn Info Group. Weitere Informationen zu KI-Sichtbarkeit und digitaler Marketingstrategie finden Sie unter liplyn.com.

Dies ist der Bonus ohne Einzahlung im Zoccer On line casino

Il Zoccer On line casino Bonus ohne Einzahlung Es handelt sich um ein seltenes Werbeangebot, das es neuen Spielern ermöglicht, kostenlose Kredite zu erhalten, ohne die erste Einzahlung zu tätigen. Diese Werbeaktion ist gedacht, um den Spielkatalog – alle Spielautomaten und Reside-Spiele – in absoluter Sicherheit zu testen. Wenn ich Ihnen ein Formular überlege, das ich dem Registrar nur nachweislich mitgeteilt habe, ist die Antwort einfach: Sie haben die Qualität der eigenen Software program und den Treuhänderpreis am Ende des ersten Klicks geschätzt.

Mit Zoccer kommt der Bonus so schnell wie möglich an 30 Giri free of charge oder ein kleines Denaro-Pizza (ca. 10 €) zur Nutzung Ihrer beliebtesten Spiele. Es ist nicht verpflichtend, die Vorlage zu verwenden; Sie können sich auf den Weg machen und entscheiden, wann Sie sich auf den Weg machen, und dann die Termini der Messe erreichen, die Sie im Abschnitt „Termini und Konditionen“ finden.

Erhalten Sie den Bonus ohne Einzahlung

Der Aktivierungsprozess ist schneller als ein normales Benvenuto-Angebot. Inizia hat ein Konto erstellt Zoccer. Geben Sie während der Registrierung den Aktionscode „NODEPO30“ (verfügbar) ein oder kontrollieren Sie die Seite „Promozioni“, um das aktuelle Angebot zu überprüfen.

Bleiben Sie der Zeit voraus!

Verpassen Sie nicht die neuesten Erkenntnisse, Traits und Analysen in der Welt der Daten, Technologie und Startups. Abonnieren Sie unseren E-newsletter und erhalten Sie exklusive Inhalte direkt in Ihren Posteingang.

Jetzt abonnieren

Nachdem Sie die E-Mail bestätigt haben, wird der Bonus automatisch in Ihrem virtuellen Portemonnaie verglichen. Das Alcuni On line casino hat in Kürze eine Frage des verantwortlichen Spielers gestellt, es ist jedoch nicht erforderlich, dass Sie es zuerst erhalten. Wenn die Wichtigkeit nicht angezeigt wird, besuchen Sie eine Minute oder kontaktieren Sie den Reside-Chat-Assist.

• Schritt 1: Registrieren Sie sich mit den tatsächlichen Daten.
• Schritt 2: E-Mail-Überprüfung.
• Passo 3: Inserimento del codice promozionale (se richiesto).
• Schritt 4: Bonus akkreditiert und sofort verfügbar.

Anforderungen an die Arbeit: cosa sapere

Il Bonus ohne Einzahlung Es handelt sich nicht um ein Regal ohne Bedingungen. Zoccer impone dei Anforderungen an die Kommunikation (Einsatz) zum 30-fachen des Bonusbetrags. Dies bedeutet, dass Sie 10 € erhalten und 300 € zurückerhalten müssen, bevor Sie einen Vorschuss erhalten.

Es ist wichtig, dass die Spieler, die sie benötigen, Beiträge leisten. Der Spielautomat ist bis zu 100 % enthalten, während Spielrunden (Roulette, Blackjack) nur bis zu 10 % enthalten sind oder nur das gesamte Spiel enthalten. Kontrollieren Sie den Tisch so, dass Sie schnell einen Panoramablick genießen können.

Tipologie des Spiels	Tragen Sie zum Wetten bei	RTP-Medium
Slot-Video	100 %	96,5 %
Reside-On line casino	10 %	97,2 %
Giochi da tavolo (Roulette, Blackjack)	5 %	94,8 %
Videopoker	20 %	95,3 %

Zahlungsmethoden und schnelle Lieferung

Es unterstützt Haupt-Kredit- und Debitkarten (Visa, Mastercard), elektronische Portemonnaies (Skrill, Neteller) und Bonus-Banking. Die Anzahlung erfolgt sofort; Legen Sie zunächst die bevorzugte Methode fest, fügen Sie den Import hinzu und bestätigen Sie ihn.

Ich glaube, ich wende mich an die gewählte Methode. Mit dem elektronischen Portafogli kommt der Greenback innerhalb von 24 Stunden an, während er mit der Kreditkarte 3–5 Tage lang arbeitet. Ich verfüge über mehr Geld und erhalte keine begrenzten Gebühren für mehr Geld.

• Visa/Mastercard – Einzahlung in Istanbul, vorab 3–5 Tage.
• Skrill/Neteller – Einzahlung und Vorauszahlung innerhalb von 24 Stunden.
• Bonifico bancario – Einzahlung 1-2 Tage, Vorkasse 5-7 Tage.

Registrierung, KYC-Verifizierung und Sicherheit

Das Zoccer-Registrierungsverfahren ist kurz: Das On line casino verfügt über eine KYC-Prüfung (Know Your Buyer), um die Einhaltung der gesetzlichen Vorschriften zu gewährleisten. Sie erhalten ein Foto aus dem Identitätsdokument, einen aktuellen Temporary und dann einen Zahlungsnachweis.

Der Genehmigungsprozess kann zu einem Geburtstag oder einer Sekunde nach dem Volumen des Reichsten führen. Sie nutzen die SSL-Verschlüsselung mit 256 Bit, um Ihre persönlichen und finanziellen Informationen zu schützen, da sie von unabhängigen Wirtschaftsprüfern regelmäßig geprüft werden.

Erleben Sie cell Spiele und Zoccer-Apps

Wenn Sie mit Ihrem Smartphone spielen, suchen Sie nach der mobilen Zoccer-App, die für iOS und Android verfügbar ist. Die Schnittstelle ist optimum für den schnellen Zugriff auf den Slot, Reside-Tavoli und die sportliche Aktivität.

Die App unterstützt auch das Bonus ohne Einzahlung: Sobald Sie sich registriert haben, wird der Bonus direkt auf Ihrem mobilen Konto akkreditiert. Die Push-Benachrichtigung muss erfolgen, wenn die erforderliche Leistung erfüllt ist, oder wenn ein neues Angebot verfügbar ist.

• Kompatibilität: iPhone 6+ und Android 8.0+
• Funktionen: Einzahlung, Vorschau, Reside-Chat, Cronologia giochi.
• Geschwindigkeit: In weniger als 3 Sekunden unterwegs, flüssiges Gameplay.

Kundenbetreuung und verantwortliches Spiel

Der Zoccer-Unterstützungsdienst ist rund um die Uhr per Reside-Chat, E-Mail und Telefon verfügbar. Ich habe die Reaktionszeit innerhalb von 2 Minuten für den reichsten Teil der Gemeinschaft angenommen, während die umfassenderen Fragen (mit KYC-Prüfung) möglicherweise reichhaltig sind.

Das On line casino fördert das verantwortliche Spiel aufgrund automatischer Ausschlüsse, begrenzter Einzahlungen und der Möglichkeit, einen spezialisierten Berater zu konsultieren. Ricorda che il Bonus ohne Einzahlung Es handelt sich um eine Artwork Ablenkung, aber ich bin immer bestrebt, mich mit meinen finanziellen Mitteln zu befassen.

1. Kontaktieren Sie mich per Reside-Chat zur sofortigen Unterstützung bei Problemen.
2. Verwenden Sie den Abschnitt „Verantwortung“ für betrügerische Spielbeschränkungen.
3. Wenn ich Ihnen mitgeteilt habe, dass Sie nichts wissen, verlinken Sie bitte eine unterstützende Organisation.

Trustpilot gab an, dass die Interaktion mit Kundenbewertungen die Sichtbarkeit in KI-generierten Suchergebnissen verbessert, insbesondere für Marken mit sichtbaren Vertrauenssignalen durch Kundeninteraktion. Ihren Untersuchungen zufolge wurden Unternehmen ohne Trustpilot-Konto nur in 1 % der KI-generierten Antworten genannt, während Unternehmen mit über 80 Bewertungen in mehr als 75 % der Antworten auftauchten. Die Einrichtung eines Trustpilot-Kontos führte dazu, dass Unternehmen in über 53,5 % der KI-generierten Inhalte erwähnt wurden.

Der Bericht analysierte 800.000 KI-generierte Antworten auf verschiedenen Plattformen, darunter ChatGPT, Gemini, Perplexity und Googles AI Mode. Trustpilot betonte die Bedeutung von Relevanz, Aktualität und Rating für eine erfolgreiche Strategie zur Generative Engine Optimization (GEO). Mehr als die Hälfte (58 %) der Verbraucher nutzen mittlerweile KI-Technologien, um Produkte und Dienstleistungen zu finden, ein Development, der voraussichtlich zunehmen wird.

Bewertungs- und Vertrauensplattformen sind der am zweithäufigsten zitierte Quellentyp bei KI-generierten Antworten und machen 14 % aller Zitate aus. Trustpilot kritisierte, dass statische Unternehmenswebsites im Vergleich zu dynamischen öffentlichen Foren wie Bewertungsseiten, die Echtzeit- und Konversationsinformationen bieten, weniger effektiv seien. Das Unternehmen generiert täglich etwa 200.000 Bewertungen und verfügt über einen Area Authority Rating von 94/100, was seine Sichtbarkeit beim Abrufen von KI-Informationen erhöht.

Trustpilot stellte fest, dass die Beantwortung von Kommentaren und die Interaktion mit Kunden die Chancen eines Unternehmens, in KI-generierten Suchergebnissen angezeigt zu werden, erheblich verbessern. Diese Interaktion reduziert nicht nur potenzielle Spam-Signale, sondern zeigt auch, dass ein Unternehmen aktiv operativ und kundenorientiert ist. Alicia Skubick, Chief Buyer Officer, erklärte: „Im Zeitalter KI-gestützter Kaufprozesse ist Vertrauen ein quantifizierbares, hochwertiges Intestine für Unternehmen.“

Die Ergebnisse deuten auf einen Wandel hin zur Integration von Kundenengagement und Vertrauenssignalen in zukünftige Geschäftsstrategien neben traditionellen Search engine optimisation-Ansätzen hin. Der Bericht von Trustpilot weist auf die neuen Herausforderungen hin, denen sich Unternehmen auf dem von KI dominierten Markt stellen müssen.

---

Hervorgehobener Bildnachweis

Es dauerte drei Wochen, bis wir eine einzelne Datenpipeline auslieferten. Heutzutage erledigt ein Analyst ohne Python-Erfahrung dies an einem Tag. So sind wir dorthin gekommen.

Ich bin Kiril Kazlou, Dateningenieur bei Mindbox. Unser Group berechnet regelmäßig Geschäftskennzahlen für Kunden neu. Das bedeutet, dass wir ständig Datenmarts für Abrechnungen und Analysen erstellen und dabei auf Dutzende verschiedener Quellen zurückgreifen.

Lange Zeit haben wir uns bei der gesamten Datenverarbeitung auf PySpark verlassen. Das Drawback? Ohne Python-Erfahrung kann man nicht wirklich mit PySpark arbeiten. Jede neue Pipeline erforderte einen Entwickler. Und das bedeutete Warten – manchmal wochenlang.

In diesem Beitrag erkläre ich Ihnen, wie wir eine interne Datenplattform aufgebaut haben, auf der ein Analyst oder Produktmanager durch das Schreiben von nur vier YAML-Dateien eine regelmäßig aktualisierte Pipeline aufbauen kann.

Warum PySpark uns verlangsamte

Lassen Sie mich den Schmerz anhand eines Lehrbuchbeispiels veranschaulichen – der Berechnung von MAU (Month-to-month Lively Customers).

Oberflächlich betrachtet fühlt sich das wie ein einfacher SQL-Job an: COUNT(DISTINCT customerId) über ein paar Tische hinweg über ein Zeitfenster hinweg. Aber wegen des ganzen Infrastrukturaufwands – PySpark, Airflow DAG-Einrichtung, Spark-Ressourcenzuweisung, Checks – mussten wir ihn den Entwicklern überlassen. Das Ergebnis? Eine ganze Woche allein für den Versand eines MAU-Zählers.

Die Bereitstellung jeder neuen Metrik dauerte ein bis drei Wochen. Und jedes Mal sah der Prozess gleich aus:

1. Ein Analyst definierte die Geschäftsanforderungen, fand einen verfügbaren Entwickler und übergab den Kontext.
2. Der Entwickler klärte Particulars, schrieb PySpark-Code, führte eine Codeüberprüfung durch, konfigurierte die DAG und stellte sie bereit.

Was wir eigentlich wollten, warfare, dass Analysten und Produktmanager – die Leute, die die Geschäftslogik am besten verstehen und fließend SQL und YAML beherrschen – sich selbst darum kümmern. Kein Python. Kein PySpark.

Wodurch wir PySpark ersetzt haben: YAML und SQL sind alles, was Sie brauchen

Um einen deklarativen Ansatz zu verfolgen, haben wir unsere Datenschicht in drei Teile aufgeteilt und für jeden das richtige Software ausgewählt:

• dlt (Datenladetool) – Nimmt Daten von externen APIs und Datenbanken in den Objektspeicher auf. Komplett über eine YAML-Datei konfiguriert. Kein Code erforderlich.
• dbt (Datenerstellungstool) auf Trino – transformiert Daten mit reinem SQL. Es verknüpft Modelle über ref()erstellt automatisch ein Abhängigkeitsdiagramm und verarbeitet inkrementelle Aktualisierungen.
• Luftstrom + Kosmos – orchestriert die Pipelines. Der Airflow DAG wird automatisch generiert dag.yaml und das dbt-Projekt.

Wir verwendeten Trino bereits als Abfrage-Engine für Advert-hoc-Abfragen und hatten es in Superset für BI integriert. Es hatte sich bereits bewährt: Bei Abfragen mit Standardlogik verarbeitete es riesige Datenmengen schneller und mit weniger Ressourcen als Spark. Darüber hinaus unterstützt Trino nativ den Verbundzugriff auf mehrere Datenspeicher über eine einzige SQL-Abfrage. Für 90 % unserer Pipelines passte Trino perfekt.

So laden wir Daten: dlt.yaml

Die erste YAML-Datei beschreibt, wo und wie Daten für die Weiterverarbeitung geladen werden. Hier ist ein Beispiel aus der Praxis – Laden von Rechnungsdaten von einer internen API:

product: sg-team
characteristic: billing
schema: billing_tarification

dag:
  dag_id: dlt_billing_tarification
  schedule: "0 4 * * *"
  description: "Day by day refresh of tarification knowledge"
  tags:
    - billing

alerts:
  enabled: true
  severity: warning

supply:
  kind: rest_api
  shopper:
    base_url: "https://internal-api.instance.com"
    auth:
      kind: bearer
      token: dlt-billing.token
  assets:
    - identify: tarification_data
      endpoint:
        path: /tarificationData
        methodology: POST
        json:
          firstPeriod: "{{ previous_month_date }}"
          lastPeriod: "{{ previous_month_date }}"
          pricingPlanLine: CurrentPlan
      write_disposition: change
      processing_steps:
        - map: dlt_custom.billing_tarification_data.map

    - identify: charges_raw
      columns:
        staffUserName:
          data_type: textual content
          nullable: true
      endpoint:
        path: /data-feed/costs
        methodology: POST
        json:
          firstPeriod: "{{ previous_month_date }}"
          lastPeriod: "{{ previous_month_date }}"
      write_disposition: change

    - identify: discounts_raw
      endpoint:
        path: /data-feed/reductions
        methodology: POST
        json:
          firstPeriod: "{{ previous_month_date }}"
          lastPeriod: "{{ previous_month_date }}"
      write_disposition: change

Diese Konfiguration definiert vier Ressourcen aus einer einzigen API. Für jeden geben wir den Endpunkt, Anforderungsparameter und eine Schreibstrategie an – in unserem Fall change bedeutet „Jedes Mal überschreiben“. Sie können außerdem Verarbeitungsschritte hinzufügen, Spaltentypen definieren und Warnungen konfigurieren.

Die gesamte Konfiguration ist 40 Zeilen YAML. Ohne DLT wäre jeder Connector ein Python-Skript, das Anforderungen, Paginierung, Wiederholungsversuche, Serialisierung in das Delta-Desk-Format und Uploads in den Speicher verarbeitet.

Wie wir Daten mit SQL transformieren: dbt_project.yaml und assets.yaml

Der nächste Schritt ist die Konfiguration des DBT-Modells. Bei Trino bedeutet das SQL-Abfragen.

Hier ist ein Beispiel dafür, wie wir die MAU-Berechnung einrichten. So sieht Eventvorbereitung aus einer Hand aus:

-- int_mau_events_visits.sql (simplified)
{{ config(materialized='desk') }}

WITH interval AS (
    -- Rolling window: final 5 months to present
    SELECT
        YEAR(CURRENT_DATE - INTERVAL '5' MONTH) AS start_year,
        MONTH(CURRENT_DATE - INTERVAL '5' MONTH) AS start_month,
        YEAR(CURRENT_DATE) AS end_year,
        MONTH(CURRENT_DATE) AS end_month
),

occasions AS (
    -- Pull go to occasions inside the interval window
    SELECT src._tenant, src.unmergedCustomerId,
           'visits' AS src_type, src.endpoint
    FROM {{ supply('last', 'customerstracking_visits') }} src
    CROSS JOIN interval p
    WHERE src.unmergedCustomerId IS NOT NULL
      AND /* ...timestamp filtering by 12 months/month bounds... */
),

events_with_customer AS (
    -- Resolve merged buyer IDs
    SELECT e._tenant,
           COALESCE(mc.mergedCustomerId, e.unmergedCustomerId) AS customerId,
           e.src_type, e.endpoint
    FROM occasions e
    LEFT JOIN {{ ref('int_merged_customers') }} mc
      ON e._tenant = mc._tenant
      AND e.unmergedCustomerId = mc.unmergedCustomerId
)

-- Hold solely precise (non-deleted) prospects
SELECT ewc._tenant, ewc.customerId, ewc.src_type, ewc.endpoint
FROM events_with_customer ewc
WHERE EXISTS (
    SELECT 1 FROM {{ ref('int_actual_customers') }} ac
    WHERE ewc._tenant = ac._tenant
      AND ewc.customerId = ac.customerId
)

Alle 10 Ereignisquellen folgen genau dem gleichen Muster. Die einzigen Unterschiede sind die Quelltabelle und die Filter. Dann verschmelzen die Modelle zu einem einzigen Stream:

-- int_mau_events.sql (union of all sources)
SELECT * FROM {{ ref('int_mau_events_inapps_targetings') }}
UNION ALL
SELECT * FROM {{ ref('int_mau_events_inapps_clicks') }}
UNION ALL
SELECT * FROM {{ ref('int_mau_events_visits') }}
UNION ALL
SELECT * FROM {{ ref('int_mau_events_orders') }}
-- ...plus 6 extra sources

Und schließlich der Knowledge Mart, in dem alles aggregiert wird:

-- mau_period_datamart.sql
{{ config(
    materialized='incremental',
    incremental_strategy='merge',
    unique_key=('_tenant', 'start_year', 'start_month', 'end_year', 'end_month')
) }}

 int -%

WITH interval AS (
    SELECT
        YEAR(CURRENT_DATE - INTERVAL '{{ months_back }}' MONTH) AS start_year,
        MONTH(CURRENT_DATE - INTERVAL '{{ months_back }}' MONTH) AS start_month,
        YEAR(CURRENT_DATE) AS end_year,
        MONTH(CURRENT_DATE) AS end_month
),
events_resolved AS (
    SELECT * FROM {{ ref('int_mau_events') }}
),
metrics_by_tenant AS (
    SELECT
        er._tenant,
        COUNT(DISTINCT CASE WHEN src_type = 'visits'
              THEN customerId END) AS CustomersTracking_Visits,
        COUNT(DISTINCT CASE WHEN src_type = 'orders'
              THEN customerId END) AS ProcessingOrders_Orders,
        COUNT(DISTINCT CASE WHEN src_type = 'mailings'
              THEN customerId END) AS Mailings_MessageStatuses,
        -- ...different metrics
        COUNT(DISTINCT customerId) AS MAU
    FROM events_resolved er
    GROUP BY er._tenant
)
SELECT m.*, p.start_year, p.start_month, p.end_year, p.end_month
FROM metrics_by_tenant m
CROSS JOIN interval p

Für die Knowledge-Mart-Konfiguration verwenden wir incremental_strategy='merge'. dbt generiert automatisch die Zusammenführungsabfrage und ersetzt die unique_key für upsert. Es ist nicht erforderlich, das inkrementelle Laden manuell zu implementieren.

Um die Modelle in einem einzigen Projekt zu verknüpfen, haben wir eingerichtet dbt_project.yaml:

identify: mau_period
model: '1.0.0'

fashions:
  mau_period:
    +on_table_exists: change
    +on_schema_change: append_new_columns

Und sources.yamldas die Eingabetabellen beschreibt:

sources:
  - identify: last
    database: data_platform
    schema: last
    tables:
      - identify: inapps_targetings_v2
      - identify: inapps_clicks_v2
      - identify: customerstracking_visits
      - identify: processingorders_orders
      - identify: cdp_mergedcustomers_v2
      # ...

Das Ergebnis ist dieselbe Geschäftslogik wie in PySpark, jedoch in reinem SQL: sources.yaml ersetzt typedspark-Schemas, {{ ref() }} Und {{ supply() }} ersetzen .get_table()und die automatische Ausführungsreihenfolge über das Abhängigkeitsdiagramm ersetzt die manuelle Optimierung der Spark-Ressourcen.

So konfigurieren wir Airflow: dag.yaml

Die vierte Konfigurationsdatei definiert, wann und wie Airflow die Pipeline ausführt:

product: sg-team
characteristic: billing
schema: mau
schedule: "15 21 * * *"  # each day at 00:15 MSK

params:
  - identify: start_date
    description: "Begin date (YYYY-MM-DD). Depart empty for auto"
    default: ""
  - identify: end_date
    description: "Finish date (YYYY-MM-DD). Depart empty for auto"
    default: ""
  - identify: months_back
    description: "Months to look again (default: 5)"
    default: 5

alerts:
  enabled: true
  severity: warning

Dann wird unser Python-Skript analysiert dag.yaml Und dbt_project.yaml und nutzt die Cosmos-Bibliothek, um einen voll funktionsfähigen Airflow DAG zu generieren. Das ist das einziger Teil des Python-Codes im gesamten Setup. Es wird einmal geschrieben und funktioniert für jedes DBT-Projekt. Hier ist der Schlüsselteil:

def _build_dbt_project_dags(project_path: Path, environ: dict) -> record(DbtDag):
    config_dict = yaml.safe_load(dag_config_path.read_text())
    config = DagConfig.model_validate(config_dict)

    # YAML params → Airflow Params
    params = {}
    operator_vars = {}
    for param in config.params:
        params(param.identify) = Param(
            default=param.default if param.default shouldn't be None else "",
            description=param.description,
        )
        operator_vars(param.identify) = f"{{{{ params.{param.identify} }}}}"

    # Cosmos creates the DAG from the dbt mission
    with DbtDag(
        dag_id=f"dbt_{project_path.identify}",
        schedule=config.schedule,
        params=params,
        project_config=ProjectConfig(dbt_project_path=project_path),
        profile_config=ProfileConfig(
            profile_name="default",
            target_name=project_name,
            profile_mapping=TrinoLDAPProfileMapping(
                conn_id="trino_default",
                profile_args={
                    "database": profile_database,
                    "schema": profile_schema,
                },
            ),
        ),
        operator_args={"vars": operator_vars},
    ) as dag:
        # Create schema earlier than operating fashions
        create_schema = SQLExecuteQueryOperator(
            task_id="create_schema",
            conn_id="trino_default",
            sql=f"CREATE SCHEMA IF NOT EXISTS {profile_database}.{profile_schema} ...",
        )
        # Connect to root duties
        for unique_id, _ in dag.dbt_graph.filtered_nodes.gadgets():
            job = dag.tasks_map(unique_id)
            if not job.upstream_task_ids:
                create_schema >> job

Kosmos liest manifest.json aus dem dbt-Projekt analysiert das Modellabhängigkeitsdiagramm und erstellt für jedes Modell eine separate Airflow-Aufgabe. Aufgabenabhängigkeiten werden automatisch basierend darauf erstellt ref() Aufrufe im SQL.

Wie Analysten Pipelines ohne Entwickler aufbauen

Wenn ein Analyst nun eine neue wiederkehrende Pipeline benötigt, kann er diese in wenigen Schritten zusammenstellen:

Schritt 1. Erstellen Sie einen Ordner im Repo: dbt-projects/my_new_pipeline/.

Schritt 2. Wenn eine externe Datenaufnahme erforderlich ist, schreiben Sie eine YAML-Konfiguration für dlt.

Schritt 3. Schreiben Sie SQL-Modelle in die fashions/ Ordner und beschreiben Sie die Quellen in sources.yaml.

Schritt 4. Erstellen dbt_project.yaml Und dag.yaml.

Schritt 5. Auf Git übertragen, Überprüfung durchführen, zusammenführen.

CI/CD erstellt das dbt-Projekt und sendet Artefakte an S3. Airflow liest die DAG-Dateien von dort, Cosmos analysiert das DBT-Projekt und generiert das Aufgabendiagramm. Pünktlich führt dbt die Modelle auf Trino in der richtigen Reihenfolge aus. Das Endergebnis ist ein aktualisierter Knowledge Mart im Warehouse, auf den über Superset zugegriffen werden kann.

Was sich nach der Migration geändert hat

Damit Analysten selbst Pipelines aufbauen können, müssen sie verstehen ref() Und supply() Konzepte, der Unterschied zwischen desk Und incremental Materialisierung und die Grundlagen von Git. Wir haben einige interne Workshops durchgeführt und Schritt-für-Schritt-Anleitungen für jeden Aufgabentyp zusammengestellt.

Warum der neue Stack PySpark nicht vollständig ersetzt

Für etwa 10 % unserer Pipelines ist PySpark immer noch die einzige Possibility – wenn eine Transformation einfach nicht in SQL passt. dbt unterstützt Jinja-Makros, aber das ist kein Ersatz für vollwertiges Python. Und es wäre unehrlich, die Grenzen der neuen Instruments außer Acht zu lassen.

dlt + Delta: experimentelle Upsert-Unterstützung. Wir verwenden das Delta-Format in unserer Speicherschicht. Der Delta-Connector von dlt ist als experimentell gekennzeichnet, daher hat die Zusammenführungsstrategie nicht sofort funktioniert. Wir mussten Workarounds finden – in einigen Fällen haben wir sie genutzt change anstatt merge (Opfer der Inkrementalität), und in anderen haben wir Brauch geschrieben processing_steps.

Trinos begrenzte Fehlertoleranz. Trino verfügt zwar über einen Fehlertoleranzmechanismus, dieser funktioniert jedoch durch das Schreiben von Zwischenergebnissen in S3. Bei unseren Datenmengen im Terabyte-Bereich ist dies unpraktisch – die schiere Anzahl der S3-Vorgänge macht es unerschwinglich teuer. Ohne aktivierte Fehlertoleranz schlägt die gesamte Abfrage fehl, wenn ein Trino-Employee ausfällt. Im Gegensatz dazu startet Spark nur die fehlgeschlagene Aufgabe neu. Wir haben dieses Drawback mit Wiederholungsversuchen auf DAG-Ebene und durch die Zerlegung schwerer Modelle in Ketten mittelschwerer Modelle behoben.

UDFs und benutzerdefinierte Logik. In Spark können Sie benutzerdefinierte Logik in Python direkt in der Pipeline schreiben – tremendous praktisch. Mit der neuen Architektur ist dies viel schwieriger. dbt auf Trino hilft nicht: Jinja generiert nur SQL und die Python-Modelle von dbt funktionieren nur mit Snowflake, Databricks und BigQuery. Sie können UDFs in Trino schreiben, aber nur in Java – mit dem gesamten damit verbundenen Aufwand: einem separaten Repo, einer Construct-Pipeline und der Bereitstellung von JARs für alle Employee. Wenn additionally eine Transformation nicht in SQL passt, entsteht entweder ein nicht wartbares SQL-Monster oder ein eigenständiges Skript, das die Abstammungslinie unterbricht.

Was kommt als Nächstes: Checks, Modellvorlagen und Schulungen

Bessere Checks. Wir hatten solide Pipeline-Checks in PySpark, aber die neue Architektur holt immer noch auf. In den letzten dbt-Versionen wurden Unit-Checks eingeführt – Sie können jetzt die SQL-Modelllogik anhand von Scheindaten validieren, ohne die gesamte Pipeline hochfahren zu müssen. Wir möchten DBT-Checks sowohl auf Modellebene als auch als separate Überwachungsebene hinzufügen.

Wiederverwendbare Vorlagen für gängige Muster. Viele unserer dbt-Modelle sehen gleich aus. Eine einzelne Konfiguration könnte ein Dutzend Modelle mit demselben Muster beschreiben – nur die Quelltabelle und die Filter unterscheiden sich. Wir planen, die gemeinsame Logik in DBT-Makros zu extrahieren.

Erweiterung der Nutzerbasis der Plattform. Wir möchten, dass mehr Ingenieure und Analysten unabhängig mit Daten arbeiten. Wir planen regelmäßige interne Schulungen, Dokumentationen und Onboarding-Leitfäden, damit neue Benutzer sich schnell einarbeiten und mit der Erstellung ihrer eigenen Modelle beginnen können.

Wenn Ihr Group in der gleichen Schleife „Analysten warten auf Entwickler“ feststeckt, würde ich gerne hören, wie Sie das Drawback lösen. Vernetzen Sie sich mit mir auf LinkedIn und vergleichen wir unsere Notizen.

---

Alle Bilder in diesem Artikel stammen vom Autor, sofern nicht anders angegeben.

Good Knowledge Collective untersucht seit langem, wie Unternehmen Nutzen Sie Datenanalysen, um zu wachsen on-line und reduzieren gleichzeitig die Zeit- und Arbeitsverschwendung. Heutzutage ist besonders hervorzuheben, dass Unternehmen schneller intelligentere Entscheidungen treffen können, wenn sie sich auf Daten statt auf Vermutungen verlassen.

Naveen Kumar von Demand Sage berichtet das Über 97 % der Unternehmen weltweit haben in Massive Knowledge investiertund er erklärt: „Darüber hinaus werden 70 % der weltweiten Daten von Benutzern generiert und etwa 90 % davon sind unstrukturiert. Mit über 19 Milliarden IoT-Geräten und Netflix, die durch datengesteuerte Algorithmen 1 Milliarde US-Greenback professional Jahr einsparen, verändert Massive Knowledge Branchen, Arbeitsplätze und globale Konnektivität in Echtzeit. Lassen Sie uns mehr darüber erfahren.“ Es gibt klare Gründe, warum Unternehmen weiterhin stark investieren, denn Daten ermöglichen es ihnen, das Kundenverhalten im großen Maßstab zu verstehen, ohne die Arbeitsbelastung zu erhöhen, und Sie sehen, wie die Automatisierung eine wichtige Rolle bei der Reduzierung des manuellen Aufwands spielt. Lesen Sie weiter, um mehr zu erfahren.

Wie Datenanalysen den Aufwand reduzieren und gleichzeitig das Wachstum vorantreiben

Was die Datenanalyse so leistungsstark macht, ist ihre Fähigkeit, Versuch und Irrtum durch messbare Erkenntnisse zu ersetzen, die Entscheidungen leiten. Sie können schnell erkennen, was funktioniert, was weniger Kampagnenverschwendung und konsistentere Ergebnisse bedeutet.

Ein auf LinkedIn veröffentlichter Bericht von Analytical Issue unter Berufung auf eine Umfrage von Nucleus Analysis ergab, dass Unternehmen generieren eine durchschnittliche Rendite von 13,01 US-Greenback für jeden in Analysen investierten Greenbackwas einem ROI von 1.200 % entspricht. Es gibt starke finanzielle Anreize für Unternehmen, sich auf die Analytik zu konzentrieren, und es ist klar, dass selbst kleine Verbesserungen im Laufe der Zeit zu großen Gewinnen führen können. Sie können auch sehen, wie diese Rücksendungen die Notwendigkeit ständiger manueller Anpassungen verringern, da die Daten hervorheben, was wiederholt oder verbessert werden sollte.

Das fällt Ihnen vielleicht auf Unternehmen, die Analysen nutzen Verbringen Sie weniger Zeit mit Raten und mehr Zeit mit der Umsetzung bewährter Strategien. Es wird einfacher, leistungsstarke Produkte, Zielgruppen und Kanäle zu identifizieren, ohne alles blind testen zu müssen.

Ein weiterer Vorteil für Unternehmen ist die Möglichkeit, Routineentscheidungen zu automatisieren, was die Arbeitsbelastung aller Groups verringert. Sie können sich auf Dashboards und Berichte verlassen, um Erkenntnisse zu gewinnen, anstatt sich manuell durch Rohdaten zu wühlen.

Es gibt Muster im Kundenverhalten, die durch Analysen sichtbar werden und es Unternehmen ermöglichen, Bedürfnisse vorherzusehen, anstatt zu spät zu reagieren. Etwas, das hilft, ist die Verfolgung von Benutzerreisen, die genau zeigt, wo Menschen konvertieren oder absteigen.

Für Unternehmen ist es oft einfacher zu skalieren, wenn sie über klare Daten verfügen, die ihr Handeln leiten, da sie erfolgreiche Strategien über mehrere Kanäle hinweg reproduzieren können. Sie können sich auf Aktivitäten mit großer Wirkung konzentrieren, anstatt den Aufwand auf zu viele Experimente zu verteilen.

Möglicherweise stellen Sie fest, dass Analysetools komplexe Daten in visuelle Darstellungen umwandeln, die Groups schnell verstehen können. Eine weitere Möglichkeit, den Aufwand zu reduzieren, ist die Zentralisierung der Daten, wodurch die Notwendigkeit entfällt, Informationen aus mehreren getrennten Quellen abzurufen.

Es wird deutlich, dass Unternehmen, die on-line erfolgreich sind, nicht härter, sondern intelligenter arbeiten und dabei jeden Schritt von Daten leiten. Sie können sehen, wie dieser Ansatz den Stress für die Groups reduziert und gleichzeitig die Ergebnisse in den Bereichen Advertising, Vertrieb und Betrieb verbessert.

Es ist klar, dass Datenanalysen es Unternehmen ermöglichen, mit weniger Ressourcen mehr zu erreichen, wenn Entscheidungen auf Fakten statt auf Annahmen basieren. Eine weitere Sache, die Führungskräfte erkennen, ist, dass nachhaltiges Wachstum oft durch die Verfeinerung bereits Funktionierter entsteht, anstatt ständig bei Null anzufangen.

Es gibt Unternehmen, die offenbar etwas geknackt haben, an dem alle anderen noch arbeiten. Ihr Inhalt wird ohne Zweifel angezeigt. Ihre Marke erscheint in den richtigen Gesprächen. Ihr Identify taucht auf, wenn potenzielle Kunden nach Lösungen in ihrer Kategorie suchen. Und doch scheinen die Menschen hinter diesen Unternehmen nicht härter zu arbeiten als ihre Konkurrenten. Sie scheinen anders zu funktionieren.

Es lohnt sich, diesen Unterschied zu verstehen, denn er ist weder eine Frage des Glücks noch des Budgets. Es handelt sich um eine besondere Denkweise über On-line-Präsenz, die die meisten Unternehmen noch nicht gefunden haben.

Der Unterschied zwischen Aktivität und System

Der Unternehmen, die Schwierigkeiten haben Die meisten Unternehmen mit On-line-Wachstum neigen dazu, es als eine Reihe unzusammenhängender Aktivitäten zu betrachten. Sie veröffentlichen Inhalte, führen Kampagnen durch, aktualisieren ihre Web site und experimentieren mit neuen Plattformen. Da ist echte Anstrengung nötig. Der Aufwand ist jedoch nicht in einem kohärenten System organisiert und kann daher nicht in eine sinnvolle Richtung gebündelt werden.

Die Unternehmen, die scheinbar mühelos gewinnen, haben quick ausnahmslos ein System und nicht eine Ansammlung von Aktivitäten aufgebaut. Jeder Kanal dient einem bestimmten Zweck. Jeder Inhalt hat eine Aufgabe innerhalb einer breiteren Struktur. Der Output einer Anstrengung speist die nächste, und im Laufe der Zeit erzeugt das System Ergebnisse, die in keinem Verhältnis zur sichtbaren geleisteten Arbeit stehen.

Der Aufbau eines solchen Methods ist nicht passiv. Es erfordert viel Vorabdenken und die Bereitschaft, nicht jeder neuen Plattform oder jedem neuen Pattern hinterherzujagen. Aber wenn es erst einmal vorhanden ist, läuft es mit einer Dynamik, die einzelne Kampagnen nicht reproduzieren können.

Die Rolle der Klarheit, damit die Dinge einfach aussehen

Eines der beständigsten Merkmale von Unternehmen, die on-line erfolgreich sind, ohne den Anschein zu erwecken, dass sie sich anstrengen, ist Klarheit. Sie wissen genau, mit wem sie sprechen, was sie anbieten und warum es wichtig ist. Sie sind sich darüber im Klaren, welche spezifischen Kanäle ihr Publikum erreichen und welche Formate innerhalb dieser Kanäle am besten funktionieren.

Diese Klarheit bedeutet, dass sie ihre Energie nicht an den falschen Stellen verschwenden. Sie produzieren keine Inhalte für Plattformen, auf denen es kein Publikum gibt. Sie führen keine Kampagnen durch, die alle ansprechen und niemanden sinnvoll erreichen. Der Fokus auf echte Klarheit führt zu Ergebnissen, die nach Leichtigkeit aussehen, aber das Ergebnis disziplinierter und konsequent angewandter Entscheidungsfindung sind.

Was ein guter Accomplice tut

Unternehmen, die mit Fachkräften zusammenarbeiten Agentur für digitales Advertising beschreiben oft einen Wendepunkt, der nicht auf eine neue Taktik, sondern auf eine neue Ebene der Klarheit darüber zurückzuführen ist, was sie tatsächlich tun und warum. Die Agentur bringt die nötige Außenperspektive ein, um zu sehen, welche Bemühungen wirklich funktionieren, welche Aufsehen erregen und welche völlig fehlen.

Diese Klarheit verändert den Charakter des Werkes. Entscheidungen werden einfacher. Ressourcen werden mit größerer Zuversicht zugewiesen. Und die Ergebnisse, die zuvor zufällig wirkten, beginnen mit der Zeit einem vorhersehbareren Muster zu folgen.

Das lange Spiel, das wie kein Spiel aussieht

Die Unternehmen, die scheinbar on-line gewinnen, ohne es zu versuchen, spielen quick immer ein langes Spiel. Sie haben in den Aufbau von etwas Dauerhaftem investiert, anstatt kurzfristigen Spitzen hinterherzujagen. Sie haben akzeptiert, dass der Aufbau der wertvollsten Formen der On-line-Präsenz Zeit braucht und keine sinnvolle Abkürzung sein kann.

Da sie nicht auf jede Veränderung der Landschaft reagieren, wirken sie ruhig. Da sie etwas aufgebaut haben, das sie verbindet, müssen sie sich nicht jeden Monat so sehr anstrengen. Das System übernimmt die schwere Arbeit und sie konzentrieren sich darauf, dass es intestine läuft.

neulich eine interessante Bibliothek, von der ich vorher noch nie gehört hatte.

PythoC ist ein Area-Particular Language (DSL)-Compiler, der es Entwicklern ermöglicht, C-Programme mit der Customary-Python-Syntax zu schreiben. Es nimmt eine statisch typisierte Teilmenge des Python-Codes und kompiliert ihn über LLVM IR (Low Degree Digital Machine Intermediate Illustration) direkt in nativen Maschinencode.

LLVM IR ist ein plattformunabhängiges Codeformat, das intern vom LLVM-Compiler-Framework verwendet wird. Compiler übersetzen den Quellcode zunächst in LLVM-IR, und dann wandelt LLVM diese IR in optimierten Maschinencode für bestimmte CPUs (x86, ARM usw.) um.

Eine zentrale Designphilosophie von PythoC ist: C-äquivalente Laufzeit + Python-basierte Kompilierungszeit, und es hat die folgenden nahezu Alleinstellungsmerkmale.

1. Erstellt eigenständige native ausführbare Dateien

Im Gegensatz zu Instruments wie Cython, die hauptsächlich zum Erstellen von C-Erweiterungen zur Beschleunigung bestehender Python-Skripte verwendet werden, kann PythoC völlig unabhängige, eigenständige ausführbare Dateien im C-Stil generieren. Nach der Kompilierung benötigt die resultierende Binärdatei weder den Python-Interpreter noch einen Rubbish Collector, um ausgeführt zu werden.

2. Verfügt über Low-Degree-Steuerung mit Python-Syntax

PythoC spiegelt die Fähigkeiten von C wider, verpackt sie jedoch in die sauberere Syntax von Python. Um dies zu erreichen, werden maschinennative Typhinweise anstelle der standardmäßigen dynamischen Typen von Python verwendet.

• Primitive: i32, i8, f64 usw.
• Gedächtnisstrukturen: Zeiger (ptr(T)), Arrays (array(T, N)) und Strukturen (erstellt durch Dekoration von Customary-Python-Klassen).
• Manuelle Speicherverwaltung: Da es standardmäßig keinen Rubbish Collector verwendet, ist die Speicherverwaltung genau wie in C explizit. Es bietet jedoch moderne, optionale Sicherheitsprüfungen, wie z lineare Typen (die sicherstellen, dass jede Zuweisung explizit freigegeben wird, um Lecks zu verhindern) und Verfeinerungsarten (um Validierungsprüfungen zur Kompilierungszeit zu erzwingen).

Python als Metaprogrammierungs-Engine

Eine der leistungsstärksten Funktionen von PythoC ist die Handhabung des Kompilierungsschritts. Da es sich bei der Kompilierungszeitumgebung nur um Python handelt, können Sie Customary-Python-Logik verwenden, um Ihren PythoC-Code zu generieren, zu bearbeiten und zu spezialisieren vor es wird auf LLVM herunterkompiliert. Dies bietet Ihnen hochflexible Funktionen zur Codegenerierung zur Kompilierungszeit (ähnlich wie C++-Vorlagen, aber angetrieben durch reines Python).

Es klingt vielversprechend, aber wird die Realität dem Hype gerecht? Okay, sehen wir uns diese Bibliothek in Aktion an. Die Set up ist einfach, wie bei den meisten Python-Bibliotheken ist es nur eine Pip-Set up wie diese:

pip set up pythoc

Aber es ist wahrscheinlich besser, eine geeignete Entwicklungsumgebung einzurichten, in der Sie Ihre verschiedenen Projekte isolieren können. In meinem Beispiel verwende ich das UV-Dienstprogramm, aber verwende die Methode, mit der du am besten zurechtkommst. Geben Sie die folgenden Befehle in Ihr Befehlszeilenterminal ein.

C:Usersthomaprojects> cd tasks
C:Usersthomaprojects> uv init pythoc_test
C:Usersthomaprojects> cd pythoc_test
C:Usersthomaprojectspythoc_test> uv venv --python 3.12
C:Usersthomaprojectspythoc_test> .venvScriptsactivate
(pythoc_test) C:Usersthomaprojectspythoc_test> uv pip set up pythoc

Ein einfaches Beispiel

Um PythoC zu verwenden, definieren Sie Funktionen mithilfe bestimmter Maschinentypen und markieren sie mit der Kompilierung von PythoC Dekorateur. Es gibt zwei Möglichkeiten, Ihren PythoC-Code auszuführen. Sie können die kompilierte Bibliothek wie folgt direkt aus Python aufrufen:

from pythoc import compile, i32

@compile
def add(x: i32, y: i32) -> i32:
    return x + y

# Can compile to native code
@compile
def important() -> i32:
    return add(10, 20)

# Name the compiled dynamic library from Python immediately
outcome = important()
print(outcome)

Führen Sie es dann so aus.

(pythoc_test) C:Usersthomaprojectspythoc_test>python test1.py

30

Oder Sie können eine eigenständige ausführbare Datei erstellen, die Sie unabhängig von Python ausführen können. Verwenden Sie dazu Code wie diesen.

from pythoc import compile, i32

@compile
def add(x: i32, y: i32) -> i32:
    print(x + y)
    return x + y

# Can compile to native code
@compile
def important() -> i32:
    return add(10, 20)

if __name__ == "__main__":
    from pythoc import compile_to_executable
    compile_to_executable()

Bei uns läuft es genauso.

(pythoc_test) C:Usersthomaprojectspythoc_test>python test4.py

Efficiently compiled to executable: buildtest4.exe
Linked 1 object file(s)

Dieses Mal sehen wir keine Ausgabe. Stattdessen erstellt PythoC ein Construct-Verzeichnis unterhalb Ihres aktuellen Verzeichnisses und erstellt dort dann eine ausführbare Datei, die Sie ausführen können.

(pythoc_test) C:Usersthomaprojectspythoc_test>dir buildtest4*
 Quantity in drive C is Home windows
 Quantity Serial Quantity is EEB4-E9CA

 Listing of C:Usersthomaprojectspythoc_testbuild

26/02/2026  14:32               297 test4.deps
26/02/2026  14:32           168,448 test4.exe
26/02/2026  14:32               633 test4.ll
26/02/2026  14:32               412 test4.o
26/02/2026  14:32                 0 test4.o.lock
26/02/2026  14:32         1,105,920 test4.pdb

Wir können die Datei test4.exe genauso ausführen wie jede andere ausführbare Datei.

(pythoc_test) C:Usersthomaprojectspythoc_test>buildtest4.exe

(pythoc_test) C:Usersthomaprojectspythoc_test>

Aber warte mal. In unserem Python-Code haben wir ausdrücklich darum gebeten, das Additionsergebnis zu drucken, aber wir sehen keine Ausgabe. Was ist los?

Die Antwort ist, dass die integrierte Python-Funktion print() darauf angewiesen ist, dass der Python-Interpreter im Hintergrund läuft, um herauszufinden, wie Objekte angezeigt werden. Da PythoC all das entfernt, um eine winzige, blitzschnelle native ausführbare Datei zu erstellen, wird die print-Anweisung entfernt.

Um in einer nativen Binärdatei auf dem Bildschirm zu drucken, müssen Sie die Customary-C-Bibliotheksfunktion verwenden: printf.

So verwenden Sie printf in PythoC

In C (und damit in PythoC) erfordert das Drucken von Variablen Formatbezeichner. Sie schreiben eine Zeichenfolge mit einem Platzhalter (wie %d für eine dezimale Ganzzahl) und übergeben dann die Variable, die Sie in diesen Platzhalter einfügen möchten.

So aktualisieren Sie unseren Code, um die C-Printf-Funktion zu importieren und korrekt zu verwenden:

from pythoc import compile, i32, ptr, i8, extern

# 1. Inform PythoC to hyperlink to the usual C printf operate
@extern
def printf(fmt: ptr(i8), *args) -> i32:
    cross

@compile
def add(x: i32, y: i32) -> i32:
  
    printf("Including 10 and 20 = %dn", x+y)
    return x + y

@compile
def important() -> i32:
    outcome = add(10, 20)
    
    # 2. Use printf with a C-style format string. 
    # %d is the placeholder for our integer (outcome).
    # n provides a brand new line on the finish.
   
    
    return 0

if __name__ == "__main__":
    from pythoc import compile_to_executable
    compile_to_executable()

Wenn wir nun den obigen Code erneut ausführen und die resultierende ausführbare Datei ausführen, entspricht unsere Ausgabe unseren Erwartungen.

(pythoc_test) C:Usersthomaprojectspythoc_test>python test5.py
Efficiently compiled to executable: buildtest5.exe
Linked 1 object file(s)

(pythoc_test) C:Usersthomaprojectspythoc_test>buildtest5.exe
Including 10 and 20 = 30

Aber ist es die Mühe wirklich wert?

All die Dinge, über die wir gesprochen haben, werden sich nur dann lohnen, wenn wir in unserem Code echte Geschwindigkeitsverbesserungen sehen. Schauen wir uns additionally für unser letztes Beispiel an, wie schnell unsere kompilierten Programme mit dem Äquivalent in Python verglichen werden können, und das sollte unsere Frage endgültig beantworten.

Zuerst der reguläre Python-Code. Wir verwenden eine rekursive Fibonacci-Berechnung, um einen lang laufenden Prozess zu simulieren. Berechnen wir die vierzigste Fibonacci-Zahl.

import time

def fib(n):
    # This calculates the sequence recursively
    if n <= 1:
        return n
    return fib(n - 1) + fib(n - 2)

if __name__ == "__main__":
    print("Beginning Customary Python pace take a look at...")
    
    start_time = time.time()
    
    # fib(38) often takes round 10 seconds in Python, 
    # relying in your laptop's CPU.
    outcome = fib(40) 
    
    end_time = time.time()
    
    print(f"Consequence: {outcome}")
    print(f"Time taken: {end_time - start_time:.4f} seconds")

Ich habe dieses Ergebnis erhalten, als ich den obigen Code ausgeführt habe.

(pythoc_test) C:Usersthomaprojectspythoc_test>python test6.py
Beginning Customary Python pace take a look at...
Consequence: 102334155
Time taken: 15.1611 seconds

Nun zum PythoC-basierten Code. Auch hier können wir, wie bei der print-Anweisung in unserem früheren Beispiel, nicht einfach die reguläre Import-Timing-Direktive von Python für unsere Timings verwenden. Stattdessen müssen wir die Customary-Timing-Funktion direkt aus der Programmiersprache C ausleihen: Uhr(). Wir definieren dies auf die gleiche Weise wie die printf-Anweisung, die wir zuvor verwendet haben.

Hier ist das aktualisierte PythoC-Skript mit integriertem C-Timer.

from pythoc import compile, i32, ptr, i8, extern

# 1. Import C's printf
@extern
def printf(fmt: ptr(i8), *args) -> i32:
    cross

# 2. Import C's clock operate
@extern
def clock() -> i32:
    cross

@compile
def fib(n: i32) -> i32:
    if n <= 1:
        return n
    return fib(n - 1) + fib(n - 2)

@compile
def important() -> i32:
    printf("Beginning PythoC pace take a look at...n")
    
    # Get the beginning time (this counts in "ticks")
    start_time = clock()
    
    # Run the heavy calculation
    outcome = fib(40)
    
    # Get the top time
    end_time = clock()
    
    # Calculate the distinction. 
    # Observe: On Home windows, 1 clock tick = 1 millisecond.
    elapsed_ms = end_time - start_time
    
    printf("Consequence: %dn", outcome)
    printf("Time taken: %d millisecondsn", elapsed_ms)
    
    return 0

if __name__ == "__main__":
    from pythoc import compile_to_executable
    compile_to_executable()

Meine Ausgabe conflict dieses Mal:

(pythoc_test) C:Usersthomaprojectspythoc_test>python test7.py
Efficiently compiled to executable: buildtest7.exe
Linked 1 object file(s)

(pythoc_test) C:Usersthomaprojectspythoc_test>buildtest7.exe
Beginning PythoC pace take a look at...
Consequence: 102334155
Time taken: 308 milliseconds

Und in diesem kleinen Beispiel sehen wir, obwohl der Code etwas komplexer ist, den wahren Vorteil der Verwendung kompilierter Sprachen wie C. Unsere ausführbare Datei conflict satte 40-mal schneller als der entsprechende Python-Code. Nicht zu schäbig.

Für wen ist PythoC geeignet?

Ich sehe drei Haupttypen von Benutzern für PythoC.

1/ Wie wir in unserem Fibonacci-Geschwindigkeitstest gesehen haben, kann Customary-Python bei schweren mathematischen Aufgaben langsam sein. PythoC könnte für jeden Python-Entwickler nützlich sein, der physikalische Simulationen, komplexe Algorithmen oder benutzerdefinierte Datenverarbeitungspipelines erstellt und an eine Leistungsgrenze stößt.

2/ Programmierer, die eng mit Computerhardware zusammenarbeiten (z. B. Spiele-Engines erstellen, Treiber schreiben oder kleine IoT-Geräte programmieren), schreiben normalerweise in C, weil sie den Computerspeicher manuell verwalten müssen.

PythoC könnte für diese Entwickler attraktiv sein, weil es die gleiche manuelle Speichersteuerung bietet (mithilfe von Zeigern und nativen Typen), es ihnen aber ermöglicht, Python als „Metaprogrammierungs“-Engine zu verwenden, um saubereren, flexibleren Code zu schreiben, bevor er bis zur Hardwareebene kompiliert wird.

3/ Wenn Sie ein hilfreiches Python-Skript schreiben und es mit einem Kollegen teilen möchten, muss dieser normalerweise Python installieren, eine virtuelle Umgebung einrichten und Ihre Abhängigkeiten herunterladen. Dies kann problematisch sein, insbesondere wenn der Zielbenutzer nicht über große IT-Kenntnisse verfügt. Mit PythoC kann jedoch jeder, sobald Sie Ihre kompilierte ausführbare C-Datei haben, sie ausführen, indem Sie einfach auf die Datei doppelklicken.

Und für wen es nicht ist

Die Kehrseite des oben Gesagten ist, dass PythoC wahrscheinlich nicht das beste Software für einen Webentwickler ist, da Leistungsengpässe dort normalerweise in der Netzwerk- oder Datenbankgeschwindigkeit liegen und nicht in der CPU-Berechnungsgeschwindigkeit.

Wenn Sie bereits optimierte Bibliotheken wie NumPy verwenden, werden Sie ebenfalls nicht viele Vorteile sehen.

Zusammenfassung

In diesem Artikel wurde Ihnen die relativ neue und unbekannte PythoC-Bibliothek vorgestellt. Damit können Sie mit Python superschnellen, eigenständigen ausführbaren C-Code erstellen.

Ich habe mehrere Beispiele für die Verwendung von Python und der PythoC-Bibliothek zum Erstellen ausführbarer C-Programme gegeben, darunter eines, das eine unglaubliche Beschleunigung beim Ausführen der von der PythoC-Bibliothek erstellten ausführbaren Datei im Vergleich zu einem Customary-Python-Programm zeigte.

Ein Drawback, auf das Sie stoßen werden, ist, dass Python-Importe in PythoC-Programmen nicht unterstützt werden. Ich habe jedoch auch gezeigt, wie Sie dieses Drawback umgehen können, indem Sie sie durch gleichwertige C-Integrationen ersetzen.

Abschließend habe ich besprochen, wer meiner Meinung nach die Artwork von Python-Programmierern ist, die einen Vorteil darin sehen könnten, PythonC in ihren Arbeitslasten zu verwenden, und welche, die das nicht tun würden.

Ich hoffe, das hat Ihren Appetit geweckt, zu sehen, für welche Anwendungsfälle Sie PythoC nutzen können. Sie können viel mehr über diese nützliche Bibliothek erfahren, indem Sie sich das GitHub-Repo unter dem folgenden Hyperlink ansehen.

https://github.com/1flei/PythoC

Die Schaffung einer sicheren und skalierbaren Plattform wie Sweet AI kann ohne allzu große Komplexität erreicht werden, muss jedoch unter Berücksichtigung architektonischer Prioritäten erfolgen. Ein Sweet-Ai-Klon muss beim Begin nicht alle erweiterten Funktionen implementieren. Vielmehr muss es der Kernstabilität, der Benutzersicherheit und der kontrollierten Skalierbarkeit Priorität einräumen.

Sicherheit kann mit einer mehrschichtigen Architektur gehandhabt werden, und eine Überentwicklung von Sicherheitssystemen kann sich nachteilig auf die Entwicklung auswirken. Es muss grundlegende Datenverschlüsselung, sichere Authentifizierung und eine ordnungsgemäße Zugriffskontrolle für Gesprächsdaten umfassen. Überentwickelte Sicherheitssysteme können der Entwicklung schaden, ihre Vernachlässigung kann jedoch zu einem Verlust des Vertrauens der Benutzer führen. Der Schlüssel besteht darin, ein Gleichgewicht zwischen dem Schutz vertraulicher Gespräche und der Vermeidung von zu großem Overhead für das System zu finden.

Die Skalierbarkeit kann auch mit einem stufenweisen Ansatz gehandhabt werden. Anstatt von Anfang an ein System für Millionen von Benutzern zu entwerfen, können Entwickler modulare Backends und eine nutzungsgesteuerte KI-Infrastruktur verwenden. Dadurch kann das System mit steigender Nachfrage skaliert werden und gleichzeitig die Kosten unter Kontrolle bleiben. Speicheroptimierung und Anforderungsoptimierung werden wichtiger als komplexe Frameworks.

Ein weiterer wichtiger Aspekt ist die Modell-Governance. Dabei geht es darum, sicherzustellen, dass das KI-Modell bei der Skalierung vorhersehbar agiert. Ohne geeignete Kontrollen kann die Skalierung zu Fehlern oder unsicheren Ergebnissen führen.

Entwicklungsteams, darunter Suffescom Options, haben herausgefunden, dass sorgfältige Einfachheit besser ist als starke Abstraktion. Ein sorgfältig entworfener Sweet-Ai-Klon kann sowohl sicher als auch skalierbar sein, indem er sich eher mit realen als mit abstrakten Problemen befasst.

Matthew McConaughey hat einen juristischen Versuch unternommen, sich gegen AI-Deepfakes zu wehren. Das US-Patent- und Markenamt hat ihm eine Reihe von Fragen gestellt, die ihm zugute gekommen sind, und die nun als Bundesgerichtshof tätig sind.​

McConaugheys Followers haben ein Video erstellt und es herausgefunden, um ihm den Rücken zu kehren und es zu tun. Das ist die Antwort von Hans Ikoniska.In Ordnung, in Ordnung, in Ordnung„aus dem Movie Dazed and Confused 1993.

Han har även skyddat frasen „Lebe einfach weiter, oder?“. Registrieren Sie sich bei der Simply Maintain Livin‘ Basis, der Organisation, die Sie mit Ihrer Frau Camila betreut.

Zu den Inhalten gehören:

• Video- und Videoclip von McConaughey, nachdem er sie gesehen hatte, und ihn bewegte
• Ljudinspelning av „In Ordnung, in Ordnung, in Ordnung“
• Ljudinspelning av „Leb einfach weiter, oder?“
• Olika Bilder von Hans Ansiktsuttryck und Gester

McConaughey ist ein echter KI-Investor, der tatsächlich in ElevenLabs investiert hat, und ist ein Experte für KI-Modelle, und er hat die KI-Model von Hans Röst mit seinem Sohn entwickelt.

Weitere Informationen:

Schauspieler McConaughey möchte sein Bild patentieren lassen, um es vor KI zu schützen

Matthew McConaughey nutzt einen cleveren juristischen Trick