Es dauerte drei Wochen, bis wir eine einzelne Datenpipeline auslieferten. Heutzutage erledigt ein Analyst ohne Python-Erfahrung dies an einem Tag. So sind wir dorthin gekommen.

Ich bin Kiril Kazlou, Dateningenieur bei Mindbox. Unser Group berechnet regelmäßig Geschäftskennzahlen für Kunden neu. Das bedeutet, dass wir ständig Datenmarts für Abrechnungen und Analysen erstellen und dabei auf Dutzende verschiedener Quellen zurückgreifen.

Lange Zeit haben wir uns bei der gesamten Datenverarbeitung auf PySpark verlassen. Das Drawback? Ohne Python-Erfahrung kann man nicht wirklich mit PySpark arbeiten. Jede neue Pipeline erforderte einen Entwickler. Und das bedeutete Warten – manchmal wochenlang.

In diesem Beitrag erkläre ich Ihnen, wie wir eine interne Datenplattform aufgebaut haben, auf der ein Analyst oder Produktmanager durch das Schreiben von nur vier YAML-Dateien eine regelmäßig aktualisierte Pipeline aufbauen kann.

Warum PySpark uns verlangsamte

Lassen Sie mich den Schmerz anhand eines Lehrbuchbeispiels veranschaulichen – der Berechnung von MAU (Month-to-month Lively Customers).

Oberflächlich betrachtet fühlt sich das wie ein einfacher SQL-Job an: COUNT(DISTINCT customerId) über ein paar Tische hinweg über ein Zeitfenster hinweg. Aber wegen des ganzen Infrastrukturaufwands – PySpark, Airflow DAG-Einrichtung, Spark-Ressourcenzuweisung, Checks – mussten wir ihn den Entwicklern überlassen. Das Ergebnis? Eine ganze Woche allein für den Versand eines MAU-Zählers.

Die Bereitstellung jeder neuen Metrik dauerte ein bis drei Wochen. Und jedes Mal sah der Prozess gleich aus:

1. Ein Analyst definierte die Geschäftsanforderungen, fand einen verfügbaren Entwickler und übergab den Kontext.
2. Der Entwickler klärte Particulars, schrieb PySpark-Code, führte eine Codeüberprüfung durch, konfigurierte die DAG und stellte sie bereit.

Was wir eigentlich wollten, warfare, dass Analysten und Produktmanager – die Leute, die die Geschäftslogik am besten verstehen und fließend SQL und YAML beherrschen – sich selbst darum kümmern. Kein Python. Kein PySpark.

Wodurch wir PySpark ersetzt haben: YAML und SQL sind alles, was Sie brauchen

Um einen deklarativen Ansatz zu verfolgen, haben wir unsere Datenschicht in drei Teile aufgeteilt und für jeden das richtige Software ausgewählt:

• dlt (Datenladetool) – Nimmt Daten von externen APIs und Datenbanken in den Objektspeicher auf. Komplett über eine YAML-Datei konfiguriert. Kein Code erforderlich.
• dbt (Datenerstellungstool) auf Trino – transformiert Daten mit reinem SQL. Es verknüpft Modelle über ref()erstellt automatisch ein Abhängigkeitsdiagramm und verarbeitet inkrementelle Aktualisierungen.
• Luftstrom + Kosmos – orchestriert die Pipelines. Der Airflow DAG wird automatisch generiert dag.yaml und das dbt-Projekt.

Wir verwendeten Trino bereits als Abfrage-Engine für Advert-hoc-Abfragen und hatten es in Superset für BI integriert. Es hatte sich bereits bewährt: Bei Abfragen mit Standardlogik verarbeitete es riesige Datenmengen schneller und mit weniger Ressourcen als Spark. Darüber hinaus unterstützt Trino nativ den Verbundzugriff auf mehrere Datenspeicher über eine einzige SQL-Abfrage. Für 90 % unserer Pipelines passte Trino perfekt.

So laden wir Daten: dlt.yaml

Die erste YAML-Datei beschreibt, wo und wie Daten für die Weiterverarbeitung geladen werden. Hier ist ein Beispiel aus der Praxis – Laden von Rechnungsdaten von einer internen API:

product: sg-team
characteristic: billing
schema: billing_tarification

dag:
  dag_id: dlt_billing_tarification
  schedule: "0 4 * * *"
  description: "Day by day refresh of tarification knowledge"
  tags:
    - billing

alerts:
  enabled: true
  severity: warning

supply:
  kind: rest_api
  shopper:
    base_url: "https://internal-api.instance.com"
    auth:
      kind: bearer
      token: dlt-billing.token
  assets:
    - identify: tarification_data
      endpoint:
        path: /tarificationData
        methodology: POST
        json:
          firstPeriod: "{{ previous_month_date }}"
          lastPeriod: "{{ previous_month_date }}"
          pricingPlanLine: CurrentPlan
      write_disposition: change
      processing_steps:
        - map: dlt_custom.billing_tarification_data.map

    - identify: charges_raw
      columns:
        staffUserName:
          data_type: textual content
          nullable: true
      endpoint:
        path: /data-feed/costs
        methodology: POST
        json:
          firstPeriod: "{{ previous_month_date }}"
          lastPeriod: "{{ previous_month_date }}"
      write_disposition: change

    - identify: discounts_raw
      endpoint:
        path: /data-feed/reductions
        methodology: POST
        json:
          firstPeriod: "{{ previous_month_date }}"
          lastPeriod: "{{ previous_month_date }}"
      write_disposition: change

Diese Konfiguration definiert vier Ressourcen aus einer einzigen API. Für jeden geben wir den Endpunkt, Anforderungsparameter und eine Schreibstrategie an – in unserem Fall change bedeutet „Jedes Mal überschreiben“. Sie können außerdem Verarbeitungsschritte hinzufügen, Spaltentypen definieren und Warnungen konfigurieren.

Die gesamte Konfiguration ist 40 Zeilen YAML. Ohne DLT wäre jeder Connector ein Python-Skript, das Anforderungen, Paginierung, Wiederholungsversuche, Serialisierung in das Delta-Desk-Format und Uploads in den Speicher verarbeitet.

Wie wir Daten mit SQL transformieren: dbt_project.yaml und assets.yaml

Der nächste Schritt ist die Konfiguration des DBT-Modells. Bei Trino bedeutet das SQL-Abfragen.

Hier ist ein Beispiel dafür, wie wir die MAU-Berechnung einrichten. So sieht Eventvorbereitung aus einer Hand aus:

-- int_mau_events_visits.sql (simplified)
{{ config(materialized='desk') }}

WITH interval AS (
    -- Rolling window: final 5 months to present
    SELECT
        YEAR(CURRENT_DATE - INTERVAL '5' MONTH) AS start_year,
        MONTH(CURRENT_DATE - INTERVAL '5' MONTH) AS start_month,
        YEAR(CURRENT_DATE) AS end_year,
        MONTH(CURRENT_DATE) AS end_month
),

occasions AS (
    -- Pull go to occasions inside the interval window
    SELECT src._tenant, src.unmergedCustomerId,
           'visits' AS src_type, src.endpoint
    FROM {{ supply('last', 'customerstracking_visits') }} src
    CROSS JOIN interval p
    WHERE src.unmergedCustomerId IS NOT NULL
      AND /* ...timestamp filtering by 12 months/month bounds... */
),

events_with_customer AS (
    -- Resolve merged buyer IDs
    SELECT e._tenant,
           COALESCE(mc.mergedCustomerId, e.unmergedCustomerId) AS customerId,
           e.src_type, e.endpoint
    FROM occasions e
    LEFT JOIN {{ ref('int_merged_customers') }} mc
      ON e._tenant = mc._tenant
      AND e.unmergedCustomerId = mc.unmergedCustomerId
)

-- Hold solely precise (non-deleted) prospects
SELECT ewc._tenant, ewc.customerId, ewc.src_type, ewc.endpoint
FROM events_with_customer ewc
WHERE EXISTS (
    SELECT 1 FROM {{ ref('int_actual_customers') }} ac
    WHERE ewc._tenant = ac._tenant
      AND ewc.customerId = ac.customerId
)

Alle 10 Ereignisquellen folgen genau dem gleichen Muster. Die einzigen Unterschiede sind die Quelltabelle und die Filter. Dann verschmelzen die Modelle zu einem einzigen Stream:

-- int_mau_events.sql (union of all sources)
SELECT * FROM {{ ref('int_mau_events_inapps_targetings') }}
UNION ALL
SELECT * FROM {{ ref('int_mau_events_inapps_clicks') }}
UNION ALL
SELECT * FROM {{ ref('int_mau_events_visits') }}
UNION ALL
SELECT * FROM {{ ref('int_mau_events_orders') }}
-- ...plus 6 extra sources

Und schließlich der Knowledge Mart, in dem alles aggregiert wird:

-- mau_period_datamart.sql
{{ config(
    materialized='incremental',
    incremental_strategy='merge',
    unique_key=('_tenant', 'start_year', 'start_month', 'end_year', 'end_month')
) }}

 int -%

WITH interval AS (
    SELECT
        YEAR(CURRENT_DATE - INTERVAL '{{ months_back }}' MONTH) AS start_year,
        MONTH(CURRENT_DATE - INTERVAL '{{ months_back }}' MONTH) AS start_month,
        YEAR(CURRENT_DATE) AS end_year,
        MONTH(CURRENT_DATE) AS end_month
),
events_resolved AS (
    SELECT * FROM {{ ref('int_mau_events') }}
),
metrics_by_tenant AS (
    SELECT
        er._tenant,
        COUNT(DISTINCT CASE WHEN src_type = 'visits'
              THEN customerId END) AS CustomersTracking_Visits,
        COUNT(DISTINCT CASE WHEN src_type = 'orders'
              THEN customerId END) AS ProcessingOrders_Orders,
        COUNT(DISTINCT CASE WHEN src_type = 'mailings'
              THEN customerId END) AS Mailings_MessageStatuses,
        -- ...different metrics
        COUNT(DISTINCT customerId) AS MAU
    FROM events_resolved er
    GROUP BY er._tenant
)
SELECT m.*, p.start_year, p.start_month, p.end_year, p.end_month
FROM metrics_by_tenant m
CROSS JOIN interval p

Für die Knowledge-Mart-Konfiguration verwenden wir incremental_strategy='merge'. dbt generiert automatisch die Zusammenführungsabfrage und ersetzt die unique_key für upsert. Es ist nicht erforderlich, das inkrementelle Laden manuell zu implementieren.

Um die Modelle in einem einzigen Projekt zu verknüpfen, haben wir eingerichtet dbt_project.yaml:

identify: mau_period
model: '1.0.0'

fashions:
  mau_period:
    +on_table_exists: change
    +on_schema_change: append_new_columns

Und sources.yamldas die Eingabetabellen beschreibt:

sources:
  - identify: last
    database: data_platform
    schema: last
    tables:
      - identify: inapps_targetings_v2
      - identify: inapps_clicks_v2
      - identify: customerstracking_visits
      - identify: processingorders_orders
      - identify: cdp_mergedcustomers_v2
      # ...

Das Ergebnis ist dieselbe Geschäftslogik wie in PySpark, jedoch in reinem SQL: sources.yaml ersetzt typedspark-Schemas, {{ ref() }} Und {{ supply() }} ersetzen .get_table()und die automatische Ausführungsreihenfolge über das Abhängigkeitsdiagramm ersetzt die manuelle Optimierung der Spark-Ressourcen.

So konfigurieren wir Airflow: dag.yaml

Die vierte Konfigurationsdatei definiert, wann und wie Airflow die Pipeline ausführt:

product: sg-team
characteristic: billing
schema: mau
schedule: "15 21 * * *"  # each day at 00:15 MSK

params:
  - identify: start_date
    description: "Begin date (YYYY-MM-DD). Depart empty for auto"
    default: ""
  - identify: end_date
    description: "Finish date (YYYY-MM-DD). Depart empty for auto"
    default: ""
  - identify: months_back
    description: "Months to look again (default: 5)"
    default: 5

alerts:
  enabled: true
  severity: warning

Dann wird unser Python-Skript analysiert dag.yaml Und dbt_project.yaml und nutzt die Cosmos-Bibliothek, um einen voll funktionsfähigen Airflow DAG zu generieren. Das ist das einziger Teil des Python-Codes im gesamten Setup. Es wird einmal geschrieben und funktioniert für jedes DBT-Projekt. Hier ist der Schlüsselteil:

def _build_dbt_project_dags(project_path: Path, environ: dict) -> record(DbtDag):
    config_dict = yaml.safe_load(dag_config_path.read_text())
    config = DagConfig.model_validate(config_dict)

    # YAML params → Airflow Params
    params = {}
    operator_vars = {}
    for param in config.params:
        params(param.identify) = Param(
            default=param.default if param.default shouldn't be None else "",
            description=param.description,
        )
        operator_vars(param.identify) = f"{{{{ params.{param.identify} }}}}"

    # Cosmos creates the DAG from the dbt mission
    with DbtDag(
        dag_id=f"dbt_{project_path.identify}",
        schedule=config.schedule,
        params=params,
        project_config=ProjectConfig(dbt_project_path=project_path),
        profile_config=ProfileConfig(
            profile_name="default",
            target_name=project_name,
            profile_mapping=TrinoLDAPProfileMapping(
                conn_id="trino_default",
                profile_args={
                    "database": profile_database,
                    "schema": profile_schema,
                },
            ),
        ),
        operator_args={"vars": operator_vars},
    ) as dag:
        # Create schema earlier than operating fashions
        create_schema = SQLExecuteQueryOperator(
            task_id="create_schema",
            conn_id="trino_default",
            sql=f"CREATE SCHEMA IF NOT EXISTS {profile_database}.{profile_schema} ...",
        )
        # Connect to root duties
        for unique_id, _ in dag.dbt_graph.filtered_nodes.gadgets():
            job = dag.tasks_map(unique_id)
            if not job.upstream_task_ids:
                create_schema >> job

Kosmos liest manifest.json aus dem dbt-Projekt analysiert das Modellabhängigkeitsdiagramm und erstellt für jedes Modell eine separate Airflow-Aufgabe. Aufgabenabhängigkeiten werden automatisch basierend darauf erstellt ref() Aufrufe im SQL.

Wie Analysten Pipelines ohne Entwickler aufbauen

Wenn ein Analyst nun eine neue wiederkehrende Pipeline benötigt, kann er diese in wenigen Schritten zusammenstellen:

Schritt 1. Erstellen Sie einen Ordner im Repo: dbt-projects/my_new_pipeline/.

Schritt 2. Wenn eine externe Datenaufnahme erforderlich ist, schreiben Sie eine YAML-Konfiguration für dlt.

Schritt 3. Schreiben Sie SQL-Modelle in die fashions/ Ordner und beschreiben Sie die Quellen in sources.yaml.

Schritt 4. Erstellen dbt_project.yaml Und dag.yaml.

Schritt 5. Auf Git übertragen, Überprüfung durchführen, zusammenführen.

CI/CD erstellt das dbt-Projekt und sendet Artefakte an S3. Airflow liest die DAG-Dateien von dort, Cosmos analysiert das DBT-Projekt und generiert das Aufgabendiagramm. Pünktlich führt dbt die Modelle auf Trino in der richtigen Reihenfolge aus. Das Endergebnis ist ein aktualisierter Knowledge Mart im Warehouse, auf den über Superset zugegriffen werden kann.

Was sich nach der Migration geändert hat

Damit Analysten selbst Pipelines aufbauen können, müssen sie verstehen ref() Und supply() Konzepte, der Unterschied zwischen desk Und incremental Materialisierung und die Grundlagen von Git. Wir haben einige interne Workshops durchgeführt und Schritt-für-Schritt-Anleitungen für jeden Aufgabentyp zusammengestellt.

Warum der neue Stack PySpark nicht vollständig ersetzt

Für etwa 10 % unserer Pipelines ist PySpark immer noch die einzige Possibility – wenn eine Transformation einfach nicht in SQL passt. dbt unterstützt Jinja-Makros, aber das ist kein Ersatz für vollwertiges Python. Und es wäre unehrlich, die Grenzen der neuen Instruments außer Acht zu lassen.

dlt + Delta: experimentelle Upsert-Unterstützung. Wir verwenden das Delta-Format in unserer Speicherschicht. Der Delta-Connector von dlt ist als experimentell gekennzeichnet, daher hat die Zusammenführungsstrategie nicht sofort funktioniert. Wir mussten Workarounds finden – in einigen Fällen haben wir sie genutzt change anstatt merge (Opfer der Inkrementalität), und in anderen haben wir Brauch geschrieben processing_steps.

Trinos begrenzte Fehlertoleranz. Trino verfügt zwar über einen Fehlertoleranzmechanismus, dieser funktioniert jedoch durch das Schreiben von Zwischenergebnissen in S3. Bei unseren Datenmengen im Terabyte-Bereich ist dies unpraktisch – die schiere Anzahl der S3-Vorgänge macht es unerschwinglich teuer. Ohne aktivierte Fehlertoleranz schlägt die gesamte Abfrage fehl, wenn ein Trino-Employee ausfällt. Im Gegensatz dazu startet Spark nur die fehlgeschlagene Aufgabe neu. Wir haben dieses Drawback mit Wiederholungsversuchen auf DAG-Ebene und durch die Zerlegung schwerer Modelle in Ketten mittelschwerer Modelle behoben.

UDFs und benutzerdefinierte Logik. In Spark können Sie benutzerdefinierte Logik in Python direkt in der Pipeline schreiben – tremendous praktisch. Mit der neuen Architektur ist dies viel schwieriger. dbt auf Trino hilft nicht: Jinja generiert nur SQL und die Python-Modelle von dbt funktionieren nur mit Snowflake, Databricks und BigQuery. Sie können UDFs in Trino schreiben, aber nur in Java – mit dem gesamten damit verbundenen Aufwand: einem separaten Repo, einer Construct-Pipeline und der Bereitstellung von JARs für alle Employee. Wenn additionally eine Transformation nicht in SQL passt, entsteht entweder ein nicht wartbares SQL-Monster oder ein eigenständiges Skript, das die Abstammungslinie unterbricht.

Was kommt als Nächstes: Checks, Modellvorlagen und Schulungen

Bessere Checks. Wir hatten solide Pipeline-Checks in PySpark, aber die neue Architektur holt immer noch auf. In den letzten dbt-Versionen wurden Unit-Checks eingeführt – Sie können jetzt die SQL-Modelllogik anhand von Scheindaten validieren, ohne die gesamte Pipeline hochfahren zu müssen. Wir möchten DBT-Checks sowohl auf Modellebene als auch als separate Überwachungsebene hinzufügen.

Wiederverwendbare Vorlagen für gängige Muster. Viele unserer dbt-Modelle sehen gleich aus. Eine einzelne Konfiguration könnte ein Dutzend Modelle mit demselben Muster beschreiben – nur die Quelltabelle und die Filter unterscheiden sich. Wir planen, die gemeinsame Logik in DBT-Makros zu extrahieren.

Erweiterung der Nutzerbasis der Plattform. Wir möchten, dass mehr Ingenieure und Analysten unabhängig mit Daten arbeiten. Wir planen regelmäßige interne Schulungen, Dokumentationen und Onboarding-Leitfäden, damit neue Benutzer sich schnell einarbeiten und mit der Erstellung ihrer eigenen Modelle beginnen können.

Wenn Ihr Group in der gleichen Schleife „Analysten warten auf Entwickler“ feststeckt, würde ich gerne hören, wie Sie das Drawback lösen. Vernetzen Sie sich mit mir auf LinkedIn und vergleichen wir unsere Notizen.

---

Alle Bilder in diesem Artikel stammen vom Autor, sofern nicht anders angegeben.

die ganze Zeit:

„Welche Projekte sollte ich tun, um einen Job in Datenwissenschaft oder maschinellem Lernen zu bekommen?“

Diese Frage ist von Anfang an fehlerhaft.

Ein großartiges Projekt ist persönlich für Sie, was bedeutet, dass jedes Projekt, das ich vorschlage, automatisch eine „schlechte“ Wahl ist.

In diesem Artikel möchte ich die Arten von Projekten aufschlüsseln, die Ihnen tatsächlich helfen, eingestellt zu werden, und den Rahmen, den Sie befolgen können, um sie zu finden.

4–5 einfache Projekte

Erstellen Sie mit 4 bis 5 kleineren Projekten, um Ihrem Portfolio ein gewisses anfängliches Gewicht zu geben.

Das Hauptziel hier ist hauptsächlich für „Optik“ und sicherzustellen, dass Ihr Lebenslauf/Lebenslauf, Ihr GitHub und Ihre LinkedIn-Profile aktiv und intestine besiedelt erscheinen.

Bitte nehmen Sie sich ein paar Wochen Zeit, um diese kleineren Projekte zu erstellen, und stellen Sie sicher, dass sie von ausreichender Qualität sind und nicht etwas, das Sie mit ChatGPT hastig generiert haben.

Ziel ist es, eine breite Palette von Projekten zu erstellen, die jeweils unterschiedliche Instruments, Datensätze und Algorithmen für maschinelles Lernen verwenden.

Algorithmen und ML -Modelle

Ich empfehle Ihnen, Projekte mit den folgenden Algorithmen zu haben:

• Gradienten steigern Bäume– Der Goldstandard -Algorithmus für tabellarische Daten. Daher werden Sie auf jeden Fall die Arbeit verwenden.
• Neuronale Netze – Gutes Verständnis für tiefe Lernrahmen wie Tensorflow oder Pytorch ist wertvoll, insbesondere wenn Sie in Laptop Imaginative and prescient, NLP oder KI arbeiten möchten.
• Clustering -Algorithmen– Modelle wie Okay-Means Und DBSCAN Demonstrieren Sie Ihr Verständnis für unbeaufsichtigtes Lernen, das für einige Rollen erforderlich ist.

Aufregende und neuartige Daten erhalten

Es ist viel besser, einen unordentlicheren und realistischeren Datensatz zu erhalten, der die Daten widerspiegelt, denen Sie in der realen Welt begegnen werden. Dies wird Arbeitgeber und Interviewer noch mehr beeindrucken und Ihre Fähigkeiten als Datenwissenschaftler direkt demonstrieren.

Vermeiden Sie es bei der Auswahl von Datensätzen für Ihre Projekte MNISTAnwesend Titanicoder Iris. Wenn ich diese sehen würde, wäre es eine sofortige Ablehnung oder zumindest viel ab.

Einige gute Orte, um Daten zu erhalten:

• Verwenden Sie öffentliche und kostenlose APIs – Sie können sich das ansehen Free-apis Web site für einige Ideen.
• Net -Scape -Daten von relevanten Web sites (stellen Sie sicher, dass Sie dies zuerst tun dürfen!) –Hier ist eine Liste von Web sites, auf denen das Net -Scraping ermöglicht wird.
• Datenquellen der öffentlichen Regierung –Knowledge.gov ist ein Beispiel, das Sie verwenden können.
• Sammeln Sie Ihre eigenen Daten durch Umfragen und Fragebögen.

Um zu entscheiden, was Ihre Projekte sein sollten, können Sie mit der Beantwortung spezifischer Fragen, die Sie für interessant halten, aus den Daten zu beantworten.

Ich empfehle, Ihre Ergebnisse mit Instruments wie zu demonstrieren Straffung oder ein einfaches Modell durch Bereitstellen über Github -Aktionen.

Stress jedoch nicht auf den Aufbau eines vollständig Finish-to-Finish-Produktionssystems mit etwas wie so etwas wie etwas wie AWS oder seine Dienstleistungen, wie z. EC2 oder ECS. In diesem Stadium ist es völlig in Ordnung, wenn Sie nicht wissen, wie das geht, und es ist nicht das Ziel dieser kleinen Projekte.

Ein großes Projekt

Hier müssen Sie sich wirklich konzentrieren und sich Zeit nehmen.

Nachdem Sie Ihre kleineren Projekte aufgebaut haben, ist es Zeit, ein großes Projekt zu erstellen. Dieser kann ein paar Monate dauern, wenn Sie jeden Tag ein oder zwei Stunden daran arbeiten.

Dies kann Sie einschüchtern, aber Sie müssen sich anstrengen, wenn Sie ein Projekt möchten, das sich von den anderen abhebt.

Die Frage ist, was sollten Sie bauen?

Wie ich bereits erwähnt habe, kann ich dieses Projekt für Sie nicht wählen, aber ich kann einen Rahmen für den folgenden Bereich bereitstellen, sodass Sie selbst ein großartiges Projekt finden können.

Beispielprojekt

Lassen Sie mich Ihnen ein Beispiel für ein großartiges Projekt geben.

Bei meinem früheren Unternehmen stellten wir für einen Junior -Datenwissenschaftler ein, an dem wir arbeiten konnten Optimierung Und Operationsforschung Probleme.

Der Kandidat, den wir eingestellt haben, stach aus einem Hauptgrund auf, sie hatten ein sehr relevantes und zutiefst persönliches Projekt, das der Rolle genau übereinstimmte.

Sie waren leidenschaftlich für den NFL -Fantasy -Fußball und wollten die Artwork und Weise verbessern, wie sie ihre wöchentlichen Aufstellungen aufgebaut haben (dies ähnelt der Fantasy Premier League in Großbritannien).

Daher entwickelten sie ihre eigene Optimierungsmotor, um Spieler effektiver innerhalb der Einschränkungen des Programms zuzuweisen.

Es warfare nicht nur der Motor selbst; Sie lesen akademische Arbeiten zu Optimierungsstrategien und untersuchten, wie sich andere dem gleichen Downside näherten.

Sehen Sie, warum dies ein so mächtiges Projekt warfare?

• Es warfare ein persönliches Downside, an dem sie interessiert waren.
• Es warfare einzigartig und wir hatten so etwas noch vorher oder seitdem nicht gesehen.
• Es zeigte ihre Leidenschaft und ihr Interesse an Optimierung und Operationsforschung.
• Es warfare direkt related für den Job, für den sie sich bewerben.

Mein Rahmen

Hier ist ein einfacher Rahmen, den Sie folgen können, um großartige Projektideen zu finden:

1. Hear Sie mindestens fünf Dinge auf, die Sie außerhalb der Arbeit und des Feldes Knowledge Science oder maschinelles Lernen interessieren.
2. Für jedes Ding stellen Sie Fragen, auf die Sie Antworten wünschen, oder andere Personen können interessant sein.
3. Überlegen Sie, wie maschinelles Lernen dazu beitragen könnte, diese Fragen zu beantworten. Mach dir keine Sorgen, wenn die Frage unmöglich erscheint. so kreativ wie möglich sein.
4. Wählen Sie eine Frage aus, die Sie am meisten begeistert. Wählen Sie im Idealfall etwas aus, das sich nur leicht außerhalb Ihrer Reichweite anfühlt. Auf diese Weise werden Sie wirklich lernen und sich aus Ihrer Komfortzone herausschieben.

Komplexität und Skalierung aufbauen

Um dieses Projekt hervorzuheben, müssen wir ihm eine gewisse Komplexität und Skalierung hinzufügen. Dies bedeutet unterschiedliche Dinge, und es gibt verschiedene Möglichkeiten, dies zu integrieren.

Wenn Sie eine Rolle als Ingenieur für maschinelles Lernen anstreben, ist es besonders wertvoll, das Projekt-Finish-to-Finish-Projekt zu erstellen und bereitzustellen.

Ihr Projekt sollte idealerweise Folgendes enthalten:

• Datenerfassung und -speicher.
• Datenvorverarbeitung.
• Modelltraining und Bewertung.
• Modellbereitstellung (über API, Net -App usw.).
• Analyse und Präsentation Ihrer Ergebnisse.

Dazu müssen Sie einige der folgenden Lernen lernen:

Es magazine viel erscheinen, aber Sie müssen nicht alles auf dieser Liste tun.

Die Hauptsache ist, diese Dinge auf dem Weg zu beginnen und zu lernen. Versuchen Sie nicht, alles auf einmal zu lernen. Das ist Aufschub.

Dokumentieren und kommunizieren

Der endgültige und wohl wichtigste Teil ist es, Ihr Lernen zu dokumentieren.

Allein technische Fähigkeiten haben Sie nicht den Job.

Kommunikation ist eine der wichtigsten Fähigkeiten als Ingenieur oder Datenwissenschaftler, insbesondere wenn Sie die Reihen nach oben bewegen.

Zeigen Sie Ihr Projekt von:

• Hinzufügen Ihrer Projekte zu Github und einem intestine dokumentierten Readme.
• Einbeziehung von Anweisungen für Setup und Nutzung, damit Benutzer Ihr Projekt erkunden und interagieren können.
• Schreiben Sie einen Weblog -Beitrag, in dem Sie Ihre Projekte erläutern und wie Sie es gemacht haben.
• Teilen Sie es auf LinkedIn, Twitter, Reddit, Discord, YouTube oder überall, wo auch immer Menschen, die daran interessiert sind, es versuchen, teilen.

Je mehr Sie Ihre Arbeit teilen, desto sichtbarer werden Sie für potenzielle Arbeitgeber und Mitarbeiter.

---

Es ist eigentlich nicht so schwer, ein solides Projektportfolio zu erstellen. Es erfordert nur eine konsequente Arbeit und Geduld, die die meisten Menschen nicht wollen.

Es gibt kein „schnelles“ Projekt, bei dem Sie eingestellt werden. Was Sie einstellen wird, nimmt sich die Zeit, etwas Persönliches, von guter Qualität und Roman aufzubauen.

Das ist das Geheimnis.

Eine andere Sache!

Ich biete 1: 1 -Teaching -Anrufe an, bei denen wir uns über alles unterhalten können, was Sie brauchen – sei es Projekte, Karriereberatung oder einfach nur Ihren nächsten Schritt herauszufinden. Ich bin hier, um Ihnen zu helfen, vorwärts zu kommen!

1: 1 Mentoring -Anruf mit Egor Howell
Karriereanleitung, beratende Beratung, Projekthilfe, Lebenslaufüberprüfung topmate.io

Verbinde mich mit mir

Der Aufbau starker Partnerschaften ist nicht mehr nur ein Handschlag. KI-Technologie spielt zunehmend eine wichtige Rolle bei der Verbesserung von Beziehungen.

Anfang des Jahres teilte die Forbes-Mitarbeiterin Kate Vitasek einige Einblicke in die Artwork und Weise, wie das gelingt KI kann helfen, Beziehungen zu verbessern. Wir wollten einige der Hauptvorteile des Einsatzes von KI abdecken, wenn Sie eine bessere Partnerschaft wünschen. Lesen Sie weiter, um mehr zu erfahren.

KI kann auch beim Aufbau guter Geschäftsbeziehungen hilfreich sein. Dies ist einer der Gründe Der Markt für KI wächst jährlich um 55 %.

KI kann der Schlüssel zur Stärkung Ihrer Beziehung zu Ihrem Companion sein

In der heutigen digitalen Welt haben sich die Dinge verändert. Heutzutage spielt Technologie eine große Rolle dabei, wie wir mit unseren Partnern in Kontakt treten, kommunizieren und Vertrauen aufbauen. Von nahtlosen Kommunikationstools bis hin zu KI-gestützten Erkenntnissen – der Einsatz der richtigen Technologie kann den entscheidenden Unterschied machen, wenn es darum geht, aus einer guten Partnerschaft eine großartige zu machen.

Lassen Sie uns untersuchen, wie Sie mithilfe von Technologie Ihre Geschäftsbeziehungen stärken und auf die nächste Ebene heben können. Sie werden lernen, wie es geht Nutzen Sie KI, um Ihr Unternehmen zu transformieren.

1. Optimierte Kommunikation: Das Fundament einer effektiven Zusammenarbeit

Das Herzstück jeder starken Partnerschaft ist die Kommunikation. Die Zeiten, in denen man sich ausschließlich auf E-Mails verließ, sind lange vorbei. Heutzutage nutzen Unternehmen eine Reihe von Instruments, um die Kommunikation reibungslos und unmittelbar zu gestalten und sicherzustellen, dass die Companion immer auf dem Laufenden sind.

Plattformen wie Slack, Microsoft Groups und Zoom sind für Unternehmen jeder Größe unverzichtbar geworden. Diese Instruments bieten nicht nur Messaging, sondern auch integrierte Dateifreigabe-, Videokonferenz- und Projektmanagementfunktionen. Mit Slack können Unternehmen beispielsweise dedizierte Kanäle für jeden Companion erstellen, sodass alle Diskussionen und geteilten Dokumente organisiert und leicht zugänglich bleiben.

Die Integration von Echtzeitkommunikation trägt dazu bei, Missverständnisse zu vermeiden, beschleunigt die Entscheidungsfindung und sorgt dafür, dass alle auf dem gleichen Stand sind, was für den Aufbau von Vertrauen in langfristigen Partnerschaften von entscheidender Bedeutung ist.

KI kann eine gute Möglichkeit sein, zu lernen, bessere Beziehungen zu Ihrem Companion aufzubauen. Das ergab eine Umfrage 16,72 % der jungen Männer glauben, dass KI-Begleiter dabei helfen, stärkere Beziehungsfähigkeiten mit echten Frauen aufzubauen. Vitasek wies darauf hin, dass KI schriftliche Gespräche zwischen Menschen lesen und Empfehlungen zur Verbesserung ihrer Kommunikation geben kann.

2. Verbesserung der Transparenz mit sicheren digitalen Systemen

Vertrauen ist der Grundstein jeder Geschäftsbeziehung und Transparenz spielt beim Aufbau dieses Vertrauens eine große Rolle. Eine der effektivsten Möglichkeiten zur Verbesserung der Transparenz sind sichere digitale Verifizierungssysteme, wie z KYC-Software program.

Mit der KYC-Software program (Know Your Buyer) können Unternehmen die Identität ihrer Companion überprüfen und sicherstellen, dass es sich um legitime Unternehmen handelt. Durch die Implementierung eines sicheren digitalen Verifizierungsprozesses reduzieren Sie das Betrugsrisiko und sorgen für mehr Vertrauen in Ihre Partnerschaften. In Branchen wie dem Finanz- und Rechtsdienstleistungssektor ist dieses Maß an Transparenz nicht nur eine Greatest Apply, sondern eine regulatorische Anforderung.

3. Nahtlose Zusammenarbeit durch Datenaustauschplattformen

Effektive Partnerschaften gedeihen nahtlose Zusammenarbeitund cloudbasierte Plattformen haben dies zugänglicher gemacht als je zuvor. Instruments wie Google Workspace und Microsoft 365 haben die gemeinsame Bearbeitung von Dokumenten in Echtzeit ermöglicht, Arbeitsabläufe vereinfacht und es Groups aus verschiedenen Organisationen erleichtert, zusammenzuarbeiten, als ob sie unter einem Dach wären.

Beispielsweise kann eine Marketingagentur, die mit einem Softwareentwicklungsunternehmen zusammenarbeitet, Projekt-Roadmaps und kreative Property über gemeinsame Cloud-Ordner teilen, sodass beide Groups ohne lästige Versionskontrollprobleme aufeinander abgestimmt bleiben können. Diese Plattformen lassen sich auch in Projektmanagement-Instruments wie Trello oder Asana integrieren, sodass Companion einen klaren Überblick über Projektzeitpläne und -verantwortlichkeiten erhalten.

4. Automatisierte Prozesse für eine schnellere und effizientere Entscheidungsfindung

Zeit ist Geld, und nirgendwo wird dies so deutlich wie in Geschäftspartnerschaften. Manuelle Prozesse können die Entscheidungsfindung verlangsamen und zu Engpässen und Frustration führen. Geben Sie Automatisierung ein. Mit Instruments wie Zapier und Integromat können Unternehmen sich wiederholende Aufgaben automatisieren, sodass sich Groups auf strategische Aktivitäten konzentrieren können, die der Partnerschaft einen Mehrwert verleihen.

Beispielsweise könnte ein Unternehmen die Automatisierung nutzen, um sofortige Benachrichtigungen an Companion zu senden, wenn ein Projektmeilenstein erreicht wird. Dadurch entfällt die Notwendigkeit manueller Aktualisierungen und es wird sichergestellt, dass alle Parteien stets informiert sind.

Durch die Automatisierung können auch Finanzprozesse wie Rechnungsstellung und Zahlungsverfolgung optimiert werden, wodurch das Risiko von Verzögerungen oder Fehlern verringert wird, die die Beziehung belasten könnten.

5. Vertrauen aufbauen mit verifizierten Identitäten

In einer Zeit, in der On-line-Betrug ein wachsendes Downside darstellt, müssen Unternehmen die Identität ihrer Companion überprüfen, um Vertrauen aufzubauen. Instruments wie die KYC-Software program sind in diesem Prozess von entscheidender Bedeutung und ermöglichen es Unternehmen, gründliche Hintergrundüberprüfungen durchzuführen und sicherzustellen, dass sie mit legitimen Unternehmen zusammenarbeiten.

Zum Beispiel, Finanzinstitute Verwenden Sie KYC-Software program, um die Identität von Kunden und Partnern zu überprüfen, um die Einhaltung von Vorschriften sicherzustellen und vor Geldwäsche zu schützen.

KI und maschinelles Lernen: Partnerschaften personalisieren

Künstliche Intelligenz (KI) und maschinelles Lernen sind keine Zukunftskonzepte mehr; Sie sind da und verändern die Artwork und Weise, wie Unternehmen mit Partnern interagieren. Diese Technologien ermöglichen es Unternehmen, große Datenmengen zu analysieren und Erkenntnisse zu gewinnen, die zur Personalisierung von Angeboten und Lösungen für ihre Companion genutzt werden können.

Ein KI-gesteuertes CRM-System kann beispielsweise das Verhalten und die Vorlieben eines Companions analysieren und Ihrem Unternehmen so die Möglichkeit geben, die Kommunikation und Angebote individuell anzupassen. Dieser Grad der Personalisierung gibt Ihren Partnern das Gefühl, geschätzt und verstanden zu werden, und stärkt die Beziehung.

KI kann auch dazu beitragen, potenzielle Bereiche für die Zusammenarbeit auf der Grundlage von Markttrends und Partnerfähigkeiten zu identifizieren und so einen datengesteuerten Ansatz für das Partnerschaftswachstum bereitzustellen.

Fazit: Technologie als Brücke zu stärkeren Partnerschaften

Letztlich ist Technologie nicht nur ein Werkzeug – sie ist die Brücke, die Unternehmen verbindet und stärkere, zuverlässigere Partnerschaften ermöglicht. Durch die Nutzung digitaler Kommunikationsplattformen, sicherer Verifizierungssysteme, Instruments für den Datenaustausch, Automatisierung und KI können Unternehmen Partnerschaften aufbauen und pflegen, die nicht nur belastbar, sondern auch an Veränderungen anpassbar sind.

Da wir uns in eine zunehmend digitale Geschäftslandschaft bewegen, ist die Nutzung dieser Technologien nicht mehr non-compulsory. Dies ist eine strategische Notwendigkeit für Unternehmen, die gedeihen, wachsen und dauerhafte Verbindungen aufbauen möchten.