Es dauerte drei Wochen, bis wir eine einzelne Datenpipeline auslieferten. Heutzutage erledigt ein Analyst ohne Python-Erfahrung dies an einem Tag. So sind wir dorthin gekommen.

Ich bin Kiril Kazlou, Dateningenieur bei Mindbox. Unser Group berechnet regelmäßig Geschäftskennzahlen für Kunden neu. Das bedeutet, dass wir ständig Datenmarts für Abrechnungen und Analysen erstellen und dabei auf Dutzende verschiedener Quellen zurückgreifen.

Lange Zeit haben wir uns bei der gesamten Datenverarbeitung auf PySpark verlassen. Das Drawback? Ohne Python-Erfahrung kann man nicht wirklich mit PySpark arbeiten. Jede neue Pipeline erforderte einen Entwickler. Und das bedeutete Warten – manchmal wochenlang.

In diesem Beitrag erkläre ich Ihnen, wie wir eine interne Datenplattform aufgebaut haben, auf der ein Analyst oder Produktmanager durch das Schreiben von nur vier YAML-Dateien eine regelmäßig aktualisierte Pipeline aufbauen kann.

Warum PySpark uns verlangsamte

Lassen Sie mich den Schmerz anhand eines Lehrbuchbeispiels veranschaulichen – der Berechnung von MAU (Month-to-month Lively Customers).

Oberflächlich betrachtet fühlt sich das wie ein einfacher SQL-Job an: COUNT(DISTINCT customerId) über ein paar Tische hinweg über ein Zeitfenster hinweg. Aber wegen des ganzen Infrastrukturaufwands – PySpark, Airflow DAG-Einrichtung, Spark-Ressourcenzuweisung, Checks – mussten wir ihn den Entwicklern überlassen. Das Ergebnis? Eine ganze Woche allein für den Versand eines MAU-Zählers.

Die Bereitstellung jeder neuen Metrik dauerte ein bis drei Wochen. Und jedes Mal sah der Prozess gleich aus:

1. Ein Analyst definierte die Geschäftsanforderungen, fand einen verfügbaren Entwickler und übergab den Kontext.
2. Der Entwickler klärte Particulars, schrieb PySpark-Code, führte eine Codeüberprüfung durch, konfigurierte die DAG und stellte sie bereit.

Was wir eigentlich wollten, warfare, dass Analysten und Produktmanager – die Leute, die die Geschäftslogik am besten verstehen und fließend SQL und YAML beherrschen – sich selbst darum kümmern. Kein Python. Kein PySpark.

Wodurch wir PySpark ersetzt haben: YAML und SQL sind alles, was Sie brauchen

Um einen deklarativen Ansatz zu verfolgen, haben wir unsere Datenschicht in drei Teile aufgeteilt und für jeden das richtige Software ausgewählt:

• dlt (Datenladetool) – Nimmt Daten von externen APIs und Datenbanken in den Objektspeicher auf. Komplett über eine YAML-Datei konfiguriert. Kein Code erforderlich.
• dbt (Datenerstellungstool) auf Trino – transformiert Daten mit reinem SQL. Es verknüpft Modelle über ref()erstellt automatisch ein Abhängigkeitsdiagramm und verarbeitet inkrementelle Aktualisierungen.
• Luftstrom + Kosmos – orchestriert die Pipelines. Der Airflow DAG wird automatisch generiert dag.yaml und das dbt-Projekt.

Wir verwendeten Trino bereits als Abfrage-Engine für Advert-hoc-Abfragen und hatten es in Superset für BI integriert. Es hatte sich bereits bewährt: Bei Abfragen mit Standardlogik verarbeitete es riesige Datenmengen schneller und mit weniger Ressourcen als Spark. Darüber hinaus unterstützt Trino nativ den Verbundzugriff auf mehrere Datenspeicher über eine einzige SQL-Abfrage. Für 90 % unserer Pipelines passte Trino perfekt.

So laden wir Daten: dlt.yaml

Die erste YAML-Datei beschreibt, wo und wie Daten für die Weiterverarbeitung geladen werden. Hier ist ein Beispiel aus der Praxis – Laden von Rechnungsdaten von einer internen API:

product: sg-team
characteristic: billing
schema: billing_tarification

dag:
  dag_id: dlt_billing_tarification
  schedule: "0 4 * * *"
  description: "Day by day refresh of tarification knowledge"
  tags:
    - billing

alerts:
  enabled: true
  severity: warning

supply:
  kind: rest_api
  shopper:
    base_url: "https://internal-api.instance.com"
    auth:
      kind: bearer
      token: dlt-billing.token
  assets:
    - identify: tarification_data
      endpoint:
        path: /tarificationData
        methodology: POST
        json:
          firstPeriod: "{{ previous_month_date }}"
          lastPeriod: "{{ previous_month_date }}"
          pricingPlanLine: CurrentPlan
      write_disposition: change
      processing_steps:
        - map: dlt_custom.billing_tarification_data.map

    - identify: charges_raw
      columns:
        staffUserName:
          data_type: textual content
          nullable: true
      endpoint:
        path: /data-feed/costs
        methodology: POST
        json:
          firstPeriod: "{{ previous_month_date }}"
          lastPeriod: "{{ previous_month_date }}"
      write_disposition: change

    - identify: discounts_raw
      endpoint:
        path: /data-feed/reductions
        methodology: POST
        json:
          firstPeriod: "{{ previous_month_date }}"
          lastPeriod: "{{ previous_month_date }}"
      write_disposition: change

Diese Konfiguration definiert vier Ressourcen aus einer einzigen API. Für jeden geben wir den Endpunkt, Anforderungsparameter und eine Schreibstrategie an – in unserem Fall change bedeutet „Jedes Mal überschreiben“. Sie können außerdem Verarbeitungsschritte hinzufügen, Spaltentypen definieren und Warnungen konfigurieren.

Die gesamte Konfiguration ist 40 Zeilen YAML. Ohne DLT wäre jeder Connector ein Python-Skript, das Anforderungen, Paginierung, Wiederholungsversuche, Serialisierung in das Delta-Desk-Format und Uploads in den Speicher verarbeitet.

Wie wir Daten mit SQL transformieren: dbt_project.yaml und assets.yaml

Der nächste Schritt ist die Konfiguration des DBT-Modells. Bei Trino bedeutet das SQL-Abfragen.

Hier ist ein Beispiel dafür, wie wir die MAU-Berechnung einrichten. So sieht Eventvorbereitung aus einer Hand aus:

-- int_mau_events_visits.sql (simplified)
{{ config(materialized='desk') }}

WITH interval AS (
    -- Rolling window: final 5 months to present
    SELECT
        YEAR(CURRENT_DATE - INTERVAL '5' MONTH) AS start_year,
        MONTH(CURRENT_DATE - INTERVAL '5' MONTH) AS start_month,
        YEAR(CURRENT_DATE) AS end_year,
        MONTH(CURRENT_DATE) AS end_month
),

occasions AS (
    -- Pull go to occasions inside the interval window
    SELECT src._tenant, src.unmergedCustomerId,
           'visits' AS src_type, src.endpoint
    FROM {{ supply('last', 'customerstracking_visits') }} src
    CROSS JOIN interval p
    WHERE src.unmergedCustomerId IS NOT NULL
      AND /* ...timestamp filtering by 12 months/month bounds... */
),

events_with_customer AS (
    -- Resolve merged buyer IDs
    SELECT e._tenant,
           COALESCE(mc.mergedCustomerId, e.unmergedCustomerId) AS customerId,
           e.src_type, e.endpoint
    FROM occasions e
    LEFT JOIN {{ ref('int_merged_customers') }} mc
      ON e._tenant = mc._tenant
      AND e.unmergedCustomerId = mc.unmergedCustomerId
)

-- Hold solely precise (non-deleted) prospects
SELECT ewc._tenant, ewc.customerId, ewc.src_type, ewc.endpoint
FROM events_with_customer ewc
WHERE EXISTS (
    SELECT 1 FROM {{ ref('int_actual_customers') }} ac
    WHERE ewc._tenant = ac._tenant
      AND ewc.customerId = ac.customerId
)

Alle 10 Ereignisquellen folgen genau dem gleichen Muster. Die einzigen Unterschiede sind die Quelltabelle und die Filter. Dann verschmelzen die Modelle zu einem einzigen Stream:

-- int_mau_events.sql (union of all sources)
SELECT * FROM {{ ref('int_mau_events_inapps_targetings') }}
UNION ALL
SELECT * FROM {{ ref('int_mau_events_inapps_clicks') }}
UNION ALL
SELECT * FROM {{ ref('int_mau_events_visits') }}
UNION ALL
SELECT * FROM {{ ref('int_mau_events_orders') }}
-- ...plus 6 extra sources

Und schließlich der Knowledge Mart, in dem alles aggregiert wird:

-- mau_period_datamart.sql
{{ config(
    materialized='incremental',
    incremental_strategy='merge',
    unique_key=('_tenant', 'start_year', 'start_month', 'end_year', 'end_month')
) }}

 int -%

WITH interval AS (
    SELECT
        YEAR(CURRENT_DATE - INTERVAL '{{ months_back }}' MONTH) AS start_year,
        MONTH(CURRENT_DATE - INTERVAL '{{ months_back }}' MONTH) AS start_month,
        YEAR(CURRENT_DATE) AS end_year,
        MONTH(CURRENT_DATE) AS end_month
),
events_resolved AS (
    SELECT * FROM {{ ref('int_mau_events') }}
),
metrics_by_tenant AS (
    SELECT
        er._tenant,
        COUNT(DISTINCT CASE WHEN src_type = 'visits'
              THEN customerId END) AS CustomersTracking_Visits,
        COUNT(DISTINCT CASE WHEN src_type = 'orders'
              THEN customerId END) AS ProcessingOrders_Orders,
        COUNT(DISTINCT CASE WHEN src_type = 'mailings'
              THEN customerId END) AS Mailings_MessageStatuses,
        -- ...different metrics
        COUNT(DISTINCT customerId) AS MAU
    FROM events_resolved er
    GROUP BY er._tenant
)
SELECT m.*, p.start_year, p.start_month, p.end_year, p.end_month
FROM metrics_by_tenant m
CROSS JOIN interval p

Für die Knowledge-Mart-Konfiguration verwenden wir incremental_strategy='merge'. dbt generiert automatisch die Zusammenführungsabfrage und ersetzt die unique_key für upsert. Es ist nicht erforderlich, das inkrementelle Laden manuell zu implementieren.

Um die Modelle in einem einzigen Projekt zu verknüpfen, haben wir eingerichtet dbt_project.yaml:

identify: mau_period
model: '1.0.0'

fashions:
  mau_period:
    +on_table_exists: change
    +on_schema_change: append_new_columns

Und sources.yamldas die Eingabetabellen beschreibt:

sources:
  - identify: last
    database: data_platform
    schema: last
    tables:
      - identify: inapps_targetings_v2
      - identify: inapps_clicks_v2
      - identify: customerstracking_visits
      - identify: processingorders_orders
      - identify: cdp_mergedcustomers_v2
      # ...

Das Ergebnis ist dieselbe Geschäftslogik wie in PySpark, jedoch in reinem SQL: sources.yaml ersetzt typedspark-Schemas, {{ ref() }} Und {{ supply() }} ersetzen .get_table()und die automatische Ausführungsreihenfolge über das Abhängigkeitsdiagramm ersetzt die manuelle Optimierung der Spark-Ressourcen.

So konfigurieren wir Airflow: dag.yaml

Die vierte Konfigurationsdatei definiert, wann und wie Airflow die Pipeline ausführt:

product: sg-team
characteristic: billing
schema: mau
schedule: "15 21 * * *"  # each day at 00:15 MSK

params:
  - identify: start_date
    description: "Begin date (YYYY-MM-DD). Depart empty for auto"
    default: ""
  - identify: end_date
    description: "Finish date (YYYY-MM-DD). Depart empty for auto"
    default: ""
  - identify: months_back
    description: "Months to look again (default: 5)"
    default: 5

alerts:
  enabled: true
  severity: warning

Dann wird unser Python-Skript analysiert dag.yaml Und dbt_project.yaml und nutzt die Cosmos-Bibliothek, um einen voll funktionsfähigen Airflow DAG zu generieren. Das ist das einziger Teil des Python-Codes im gesamten Setup. Es wird einmal geschrieben und funktioniert für jedes DBT-Projekt. Hier ist der Schlüsselteil:

def _build_dbt_project_dags(project_path: Path, environ: dict) -> record(DbtDag):
    config_dict = yaml.safe_load(dag_config_path.read_text())
    config = DagConfig.model_validate(config_dict)

    # YAML params → Airflow Params
    params = {}
    operator_vars = {}
    for param in config.params:
        params(param.identify) = Param(
            default=param.default if param.default shouldn't be None else "",
            description=param.description,
        )
        operator_vars(param.identify) = f"{{{{ params.{param.identify} }}}}"

    # Cosmos creates the DAG from the dbt mission
    with DbtDag(
        dag_id=f"dbt_{project_path.identify}",
        schedule=config.schedule,
        params=params,
        project_config=ProjectConfig(dbt_project_path=project_path),
        profile_config=ProfileConfig(
            profile_name="default",
            target_name=project_name,
            profile_mapping=TrinoLDAPProfileMapping(
                conn_id="trino_default",
                profile_args={
                    "database": profile_database,
                    "schema": profile_schema,
                },
            ),
        ),
        operator_args={"vars": operator_vars},
    ) as dag:
        # Create schema earlier than operating fashions
        create_schema = SQLExecuteQueryOperator(
            task_id="create_schema",
            conn_id="trino_default",
            sql=f"CREATE SCHEMA IF NOT EXISTS {profile_database}.{profile_schema} ...",
        )
        # Connect to root duties
        for unique_id, _ in dag.dbt_graph.filtered_nodes.gadgets():
            job = dag.tasks_map(unique_id)
            if not job.upstream_task_ids:
                create_schema >> job

Kosmos liest manifest.json aus dem dbt-Projekt analysiert das Modellabhängigkeitsdiagramm und erstellt für jedes Modell eine separate Airflow-Aufgabe. Aufgabenabhängigkeiten werden automatisch basierend darauf erstellt ref() Aufrufe im SQL.

Wie Analysten Pipelines ohne Entwickler aufbauen

Wenn ein Analyst nun eine neue wiederkehrende Pipeline benötigt, kann er diese in wenigen Schritten zusammenstellen:

Schritt 1. Erstellen Sie einen Ordner im Repo: dbt-projects/my_new_pipeline/.

Schritt 2. Wenn eine externe Datenaufnahme erforderlich ist, schreiben Sie eine YAML-Konfiguration für dlt.

Schritt 3. Schreiben Sie SQL-Modelle in die fashions/ Ordner und beschreiben Sie die Quellen in sources.yaml.

Schritt 4. Erstellen dbt_project.yaml Und dag.yaml.

Schritt 5. Auf Git übertragen, Überprüfung durchführen, zusammenführen.

CI/CD erstellt das dbt-Projekt und sendet Artefakte an S3. Airflow liest die DAG-Dateien von dort, Cosmos analysiert das DBT-Projekt und generiert das Aufgabendiagramm. Pünktlich führt dbt die Modelle auf Trino in der richtigen Reihenfolge aus. Das Endergebnis ist ein aktualisierter Knowledge Mart im Warehouse, auf den über Superset zugegriffen werden kann.

Was sich nach der Migration geändert hat

Damit Analysten selbst Pipelines aufbauen können, müssen sie verstehen ref() Und supply() Konzepte, der Unterschied zwischen desk Und incremental Materialisierung und die Grundlagen von Git. Wir haben einige interne Workshops durchgeführt und Schritt-für-Schritt-Anleitungen für jeden Aufgabentyp zusammengestellt.

Warum der neue Stack PySpark nicht vollständig ersetzt

Für etwa 10 % unserer Pipelines ist PySpark immer noch die einzige Possibility – wenn eine Transformation einfach nicht in SQL passt. dbt unterstützt Jinja-Makros, aber das ist kein Ersatz für vollwertiges Python. Und es wäre unehrlich, die Grenzen der neuen Instruments außer Acht zu lassen.

dlt + Delta: experimentelle Upsert-Unterstützung. Wir verwenden das Delta-Format in unserer Speicherschicht. Der Delta-Connector von dlt ist als experimentell gekennzeichnet, daher hat die Zusammenführungsstrategie nicht sofort funktioniert. Wir mussten Workarounds finden – in einigen Fällen haben wir sie genutzt change anstatt merge (Opfer der Inkrementalität), und in anderen haben wir Brauch geschrieben processing_steps.

Trinos begrenzte Fehlertoleranz. Trino verfügt zwar über einen Fehlertoleranzmechanismus, dieser funktioniert jedoch durch das Schreiben von Zwischenergebnissen in S3. Bei unseren Datenmengen im Terabyte-Bereich ist dies unpraktisch – die schiere Anzahl der S3-Vorgänge macht es unerschwinglich teuer. Ohne aktivierte Fehlertoleranz schlägt die gesamte Abfrage fehl, wenn ein Trino-Employee ausfällt. Im Gegensatz dazu startet Spark nur die fehlgeschlagene Aufgabe neu. Wir haben dieses Drawback mit Wiederholungsversuchen auf DAG-Ebene und durch die Zerlegung schwerer Modelle in Ketten mittelschwerer Modelle behoben.

UDFs und benutzerdefinierte Logik. In Spark können Sie benutzerdefinierte Logik in Python direkt in der Pipeline schreiben – tremendous praktisch. Mit der neuen Architektur ist dies viel schwieriger. dbt auf Trino hilft nicht: Jinja generiert nur SQL und die Python-Modelle von dbt funktionieren nur mit Snowflake, Databricks und BigQuery. Sie können UDFs in Trino schreiben, aber nur in Java – mit dem gesamten damit verbundenen Aufwand: einem separaten Repo, einer Construct-Pipeline und der Bereitstellung von JARs für alle Employee. Wenn additionally eine Transformation nicht in SQL passt, entsteht entweder ein nicht wartbares SQL-Monster oder ein eigenständiges Skript, das die Abstammungslinie unterbricht.

Was kommt als Nächstes: Checks, Modellvorlagen und Schulungen

Bessere Checks. Wir hatten solide Pipeline-Checks in PySpark, aber die neue Architektur holt immer noch auf. In den letzten dbt-Versionen wurden Unit-Checks eingeführt – Sie können jetzt die SQL-Modelllogik anhand von Scheindaten validieren, ohne die gesamte Pipeline hochfahren zu müssen. Wir möchten DBT-Checks sowohl auf Modellebene als auch als separate Überwachungsebene hinzufügen.

Wiederverwendbare Vorlagen für gängige Muster. Viele unserer dbt-Modelle sehen gleich aus. Eine einzelne Konfiguration könnte ein Dutzend Modelle mit demselben Muster beschreiben – nur die Quelltabelle und die Filter unterscheiden sich. Wir planen, die gemeinsame Logik in DBT-Makros zu extrahieren.

Erweiterung der Nutzerbasis der Plattform. Wir möchten, dass mehr Ingenieure und Analysten unabhängig mit Daten arbeiten. Wir planen regelmäßige interne Schulungen, Dokumentationen und Onboarding-Leitfäden, damit neue Benutzer sich schnell einarbeiten und mit der Erstellung ihrer eigenen Modelle beginnen können.

Wenn Ihr Group in der gleichen Schleife „Analysten warten auf Entwickler“ feststeckt, würde ich gerne hören, wie Sie das Drawback lösen. Vernetzen Sie sich mit mir auf LinkedIn und vergleichen wir unsere Notizen.

---

Alle Bilder in diesem Artikel stammen vom Autor, sofern nicht anders angegeben.

Möchten Sie den besten Laptop computer kaufen, um in die Softwareentwicklung einzusteigen? Sie hätten inzwischen erkannt, wie schwer es ist, über die neueste {Hardware} und die immer größeren Anforderungen an die Anwendungsanforderungen auf dem Laufenden zu bleiben. Dieser Artikel ist hier, um dies für Sie aufzuklären, indem sie die besten Laptops auflisten, die der Markt für KI -Ingenieure zu bieten hat. Wir werden zunächst die Metriken skizzieren, die einen guten Laptop computer von einem großartigen Laptop computer unterscheiden, um Ihnen zu helfen, Ihre Wahl zu treffen.

Hier sind die besten KI -Laptops, die Sie im Jahr 2025 kaufen können:

1. Lenovo Legion 5 2024 13. Technology Gen

Ein Panzer, der den RTX 4060 bei einer Basisuhr von 2,6 GHz mit einer Increase-Uhr bis zu 4,9 GHz hält, was es perfekt für Brute-Power-Jobs macht.

• CPU: Intel i7-13650HX (14 Kerne)
• GPU: RTX 4060 8 GB 140 W
• RAM: 24 GB DDR5
• Lagerung: 1 TB PCIE 4
• Preis: £ 1.15.490
• Kaufen: Amazonas

2. Acer Predator Helios Neo 16s

Mit Mux können Sie IGPU um einen zusätzlichen Leistungsschub von 10% umgehen. Der 20-Kern-Intel Extremely bietet Blitzkompilienzeiten.

• CPU: Intel Extremely 7 (20 Kerne)
• GPU: RTX 5050 8 GB 130W
• RAM: 16 GB DDR5
• Lagerung: 1 TB
• Preis: £ 1.49.999
• Kaufen: Flipkart

3.. MSI Katana 15

Unter 22 mm dick, aber 100 W 4050; Großartig für Entwickler, die pendeln, aber trotzdem einen Schlag packen wollen.

• CPU: i7-12650h
• GPU: RTX 4050 8 GB ~ 100 W
• RAM: 16 GB DDR5
• Lagerung: 1TB SSD + Spare M.2
• Preis: £ 91.990
• Kaufen: Flipkart

4. Lenovo loq 15irx9

MUX + 95W RTX 3050 + 60WH Batterie; wiegt 2,4 kg, in einem Rucksack für School -Labors akzeptabel.

• CPU: i7-13650hx
• GPU: RTX 3050 6 GB 95W
• RAM: 16 GB DDR5
• Lagerung: 512 GB SSD
• Preis: £ 85.190
• Kaufen: Flipkart

5. Acer Nitro V 15 ANV15-52

130W RTX 5050 8 GB ist das minimale VRAM, das immer noch 3B INT-4-Modelle trainiert. 16 GB RAM -Bündel hält es für die Entwicklung für unter £ 1L bereit.

• CPU: i5-13420h (8c)
• GPU: RTX 5050 8 GB 130 W
• RAM: 16 GB DDR5
• Lagerung: 512 GB PCIE 4
• Preis: £ 94.990
• Kaufen: Amazonas

Was macht einen Laptop computer für die Entwicklung intestine?

Hier sind einige Dinge, die Sie bei der Auswahl Ihres Laptops beachten sollten:

Viele Video-Reminiscence-Headroom

Ai Frameworks speichern Gewichte, Gradienten und Aktivierungs Tensoren an der GPU. Sobald VRAM voll ist, verschüttet die Laufzeit zum System-RAM, die Geschwindigkeit um 5-10 × und das Essen der PCIe-Bandbreite. Anstrengen Sie mindestens 50% mehr Speicher als Ihre größte Modell+Batch -Kombination. Die Quantisierung der INT-4 halbiert den Fußabdruck, benötigt aber dennoch Kratzerraum für Zwischenergebnisse.

Breiter, schneller Systemspeicher

Trainingskripte vorab reichen die nächste Stapel vor, während die GPU die aktuelle betrifft. Der Twin-Channel-DDR5 (oder ein einheitlicher Apple-Speicher) füttert die CPU mit ≥ 70 GB/S⁻¹; Einkanal- oder langsame DDR4-Hälften, die die Cuda-Kerne im Leerlauf bewerten und verlässt. 16 GB ist der heutige Boden und funktioniert nur, wenn Sie jede andere App schließen und kleinere Chargen akzeptieren.

Anhaltendes GPU -Strombudget

Bewarb „Increase“ -Tten in den letzten Sekunden; Lange Epochen laufen Minuten. Eine Karte, die 90-110 W ziehen darf, hält 90 % ihrer Spitzenfrequenz, nachdem sich die Lüfter verdreht haben. Alles unter 80 W fällt auf 60-70 % und fügt Stunden für die Konvergenz hinzu. Überprüfen Sie Bewertungen, die 30-minütiges Stress abgeben, nicht dreiminütige Benchmarks. Dies ist der Grund, warum sich der Framerate drastisch reduziert, sobald sich die Stromquelle aus dem Netz an einer Batterie ändert.

NVME -Speicher mit echtem Durchsatz

Das Laden eines 200 -GB -Bildsatzes aus einem SATA -Laufwerk von 500 MB/s dauert sechs Minuten. Von einem 5 -GB/s -PCIE 4.0 -Laufwerk dauert es vierzig Sekunden. Ein schnellerer Speicher verbirgt auch die Swap -Strafe, wenn Sie gelegentlich an Ram vorbeibricht. Mit mehreren M.2 -Slots können Sie später einen billigen Massenspeicher hinzufügen, ohne die ursprüngliche SSD wegzuwerfen.

CPU-Kerne, die dem Datenlader übertreffen

Der Lader dekomprimiert, die Größenänderung, Tokenise und Warteschlangenstapel. Acht moderne Kerne bei ≥ 3 GHz können vier GPU -Arbeiter sättigen; Sechs ältere Kerne werden zum Engpass, und die GPU-Auslastung fällt auf 60-70 %. Weitere Kerne beschleunigen auch Multi-Thread-Kompiles (CUDA, TensorFlow Customized Ops).

Thermik und Batterierealismus

Eine heiße GPU taktet nach unten; Eine kleine Batterie stirbt in vierzig Minuten. Dampf-Chamber-Hitzepipes und 85, während Sie durch einen langen Workshop oder einen langen Flug trainieren. Dünn-und Licht ist in Ordnung für Inferenz; Trainingseinrichtungen benötigen eine Dicke für den Luftstrom.

Basierend auf den oben genannten Metriken wurde die vorherige Liste kuratiert.

Dinge, die nicht berücksichtigt werden

Einige von Ihnen denken vielleicht: Aber was ist mit dem Show? Es gibt einige Spezifikationen, wie den Show-/Panel -Typ, Tastaturtyp usw., die aufgrund ihrer begrenzten oder gar keine Auswirkungen auf die Entwicklung nicht abgedeckt wurden. Die Hardwarekomponenten, die hier im Vordergrund stehen, sind diejenigen, die den größten Einfluss auf die Leistung haben. Die verbleibenden Komponenten haben möglicherweise einen Einfluss auf Ihre Erfahrung. Beachten Sie daher die detaillierten Beschreibungen der Produkte vor dem Kauf.

Außerdem haben wir uns nicht für Flaggschiff- oder Oberflächenmodelle wie Alienware, ROG usw. entschieden, da ihre Kosten ihren Dienstprogramm bei weitem überschreiten. Daher lag der Fokus auf den Laptops, die das beste Preis -Leistungs -Verhältnis lieferten und gleichzeitig den Zweck erfüllten.

Abschluss

Da haben Sie es additionally 5 feste Maschinen, die nicht blinzeln, wenn Sie ihnen einen klobigen Datensatz füttern, und selbst nicht in dem zweiten Kochen, in dem Ihre Trainingsschleife atmet. Wählen Sie die, die sich in Ihrem Rucksack und sanft auf Ihrem Bankkonto freundlich anfühlt. Denken Sie daran, der beste AI -Laptop computer ist nicht das glänzendste Spezifikationsblatt. Es ist derjenige, der Ihren Code am Leben hält, während Sie um zwei Uhr morgens billigen Kaffee trinken und auf eine hartnäckige Verlustkurve starren. Improve, wenn Sie müssen, aber warten Sie nicht auf perfekt. Perfekt ist alles, was Sie morgen das Modell versenden können. Schließen Sie diese Registerkarte, klicken Sie auf Kauf und bauen Sie etwas, das Sie ein wenig Angst macht.

Häufig gestellte Fragen

Für KI -Entwickler und Ingenieure ist es von entscheidender Bedeutung, mit den neuesten Durchbrüchen, Instruments und Branchenverschiebungen auf dem Laufenden zu bleiben. Um das Geräusch zu durchschneiden, finden Sie hier eine kuratierte Liste der Prime 10 KI-fokussierten Blogs und Nachrichtenplattformen, die für KI-Entwickler und -ingenieure auf jeder Ebene qualitativ hochwertige, technische und umsetzbare Inhalte liefern.

1. OpenAI -Weblog

Eine Hauptquelle für Spitzentliche Forschungs- und Produktentwicklungen Aus einem der weltweit führenden KI -Labors. Der OpenAI -Weblog deckt alles von großer Sprachmodellinnovationen über Sicherheit, Ethik und Bereitstellungsstrategien von KI ab. Für Entwickler ist es ein wesentliches Fenster in die Zukunft des Feldes mit direkten Einsichten in Modellarchitekturen, API-Updates und Anwendungsfälle in der Praxis.

2. Marktechpost

Marktechpost.com ist eine in Kalifornien ansässige AI-Nachrichtenplattform, die spezialisiert ist AI -Agenten, MCPs, KI -Infrastruktur, BigData, maschinelles Lernen, Deep -Lernen und Datenwissenschaft. Es fällt auf seine auf Bissgroße, leicht zu konsumierte Updatesrechtzeitige Berichterstattung über neue Modellveröffentlichungen, technische Pannen und eingehende Interviews. Marktechposts Fokus auf Rising Startups, Entwicklerwerkzeuge und praktische Tutorials ist besonders wertvoll für Ingenieure, die nach praktischen Erkenntnissen suchen.

3. Nvidia Developer Weblog

Konzentriert auf GPU-beschleunigte AIDer NVIDIA Developer -Weblog deckt alles ab, von der CUDA -Programmierung bis zur Optimierung von Workflows von Deep Studying. Es ist eine wichtige Lektüre für Ingenieure, die wollen Leistung maximieren auf moderne {Hardware} mit Code -Samples, Benchmarks und Architektur tiefen Tauchgängen.

4. Google AI Weblog

Diese Blogs bieten an Deep taucht in die KI von Google ein Produktveröffentlichungen, einschließlich Fortschritte in Deep Studying, Verstärkungslernen, NLP und Laptop Imaginative and prescient. Sie heben auch angewandte AI -Lösungen in Google -Produkten und -Diensten hervor und bieten beides an Inspiration und technische Particulars Für Ingenieure, die skalierbare KI -Systeme bauen.

5. AWS maschinelles Lernen Weblog

Konzentriert auf Praktisches maschinelles Lernen von ProduktionsstörungenDas AWS ML -Weblog ist ein Schatz an Tutorials, Fallstudien und Greatest Practices für die Bereitstellung von Modellen zur AWS -Infrastruktur. Zu den Themen gehören MLOPS, verteilte Schulungen, Echtzeitinferenz und Kostenoptimierung-für Ingenieure, die in Cloud-Umgebungen arbeiten.

6. Kdnuggets

Ein langjähriger Hub für Datenwissenschaft, maschinelles Lernen und KI -NachrichtenKDNUGGETS ist bekannt für seine Mischung aus technischen Tutorials, Branchentrends und beruflichen Beratung. Die breite Berichterstattung – von Python -Tipps bis hin zu Enterprise -KI -Adoption – macht es eine nützliche tägliche Lektüre für Anfänger und erfahrene Praktizierende.

7. Umarme Gesichtsblog

Umarmtes Gesicht ist das Epizentrum der Open-Supply NLP Neighborhoodund sein Weblog ist voll mit praktischen Tutorials, Modellversorgungsnotizen und tiefen technischen Leitfäden zu Transformers, LLMs und Bereitstellungsstrategien. Für Entwickler, die mit Sprachmodellen arbeiten, ist dies eine Muss-Ressource für Muss hochmoderne Techniken und gemeindenahe Innovationen.

8. Meisterschaft für maschinelles Lernen

Läuft von Jason Brownlee, in diesem Weblog geht es darum Praktisches maschinelles Lernen für Entwickler. Es bietet klare, Schritt-für-Schritt Python- und reale Datensätze. Es ist besonders hilfreich für Ingenieure, die schnell neue Techniken auf ihre Projekte anwenden möchten.

9. Dev.to

Dev.to ist ein blühendes Entwicklergemeinschaft Wo Ingenieure Artikel, Tutorials und Code -Snippets in allen Domänen, einschließlich AI/ml, teilen. Im Gegensatz zu herkömmlichen Nachrichtenseiten ist Dev.TO IS Gemeinschaftsgetrieben: In den Kommentaren finden Sie technische Treffpunkte, Beratung durch technische Thromboden, Beratung von Fehlerbehebungen und Projektpräsentationen – häufig mit unmittelbaren Code -Beispielen und lebhaften Diskussionen.

10. VentureBeat

VentureBeat Angebote Umfassende Berichterstattung über die Tech -Industrie mit einem starken Fokus auf künstliche Intelligenz. Obwohl es nicht ausschließlich technisch technisch ist, ist es eine hervorragende Quelle für KI -Geschäftstrends, Startup -Finanzierungsnachrichten, Produkteinführungen und Branchenanalyse. VentureBeat ist besonders wertvoll, um das zu verstehen breitere kommerzielle und strategische Landschaft– Wie wird KI eingesetzt, wer investiert und was Unternehmen in Größenordnung stellen.

---

Willst du maschinelles Lerningenieure sein.

Ich verstehe es.

Es ist ein großartiger Job, mit interessanter Arbeit, toller Bezahlung und insgesamt ist es sehr cool.

Es ist jedoch definitiv kein Spaziergang im Park, um eins zu werden. In diesem Artikel möchte ich anstrengende Ingenieure für maschinelles Lernen meinen ungemutzten und offenen Rat anbieten.

Dies wird eher ein pep -Vortrag sein und Ihnen klare Erwartungen darüber liefert, was es braucht, um ein maschinelles Lerneningenieur zu werden, und ob es etwas ist, das Sie wirklich verfolgen möchten.

Lerne jede Woche

Wenn Sie ein Ingenieur für maschinelles Lernen werden möchten, müssen Sie mindestens 10 Stunden professional Woche dem Studium außerhalb Ihrer täglichen Aufgaben widmen.

Es tut mir leid, wenn Sie das verbessern, aber wenn Sie einen Job im höchsten zahlenden technischen Beruf landen möchten, müssen Sie mehr Zeit und Mühe investieren als andere Menschen. Es gibt einfach keine Möglichkeit.

Ohne conceited zu klingen, lerne ich jede Woche etwas Neues im maschinellen Lernen, obwohl ich Vollzeit arbeite, YouTube-Movies erstelle, fünfmal professional Woche trainieren und Kunden betreuen und coachen. Wenn ich Zeit nehmen kann, kannst du es auch. Es kommt alles auf Prioritäten an.

Quick alles, was ich in meiner Karriere erreicht habe, entsteht durch konsequentes Studium und Dokumentieren meines Lernens außerhalb der Arbeit. Ich habe über 150 technische Artikel zu Medium zu Themen wie:

… Und viele mehr. Sie können die vollständige Liste sehen Hier.

Dies ist nicht zu rühmen, sondern das Maß an Engagement zu zeigen, das erforderlich ist, um ein Ingenieur für maschinelles Lernen zu werden.

Stellen Sie sich diesen Beruf in derselben Kategorie wie Anwälte, Ärzte oder Buchhalter vor. Diese Bereiche fordern Jahre des Studiums und der Praxis. Gleiches gilt für maschinelles Lernen; Es wird aufgrund seiner relativen Neuheit nicht oft als das angesehen.

Ich sage oft:

Alles ist einfach, aber schwer.

Es ist leicht zu verstehen, was Sie tun müssen, aber schwierig, es im Laufe der Zeit konsequent zu tun. Es gibt kein Geheimnis; Sie müssen die lange Straße nehmen.

Wählen Sie additionally etwas aus, das Sie lernen und bis zum Ende daran bleiben möchten. Dann recyceln Sie diesen Prozess immer wieder. Das ist alles, was es gibt.

Erweitern Sie Ihren Zeithorizont

Selbst mit dem idealsten Hintergrund wird es wahrscheinlich mindestens zwei Jahre dauern, um ein voll qualifizierter Ingenieur für maschinelles Lernen in einem Prime -Unternehmen zu werden.

Fallen Sie nicht in die Falle des Denkens, dass ein paar On-line-Kurse und -projekte ausreichen, um einen Job in einer der höchsten Tech-Rollen von heute zu bekommen.

On-line -Zertifizierungen helfen Ihnen beim Erlernen der Inhalte in Datenwissenschaft und maschinellem Lernen, was sehr wertvoll ist. Sie erlauben Ihnen jedoch selten, dass Sie heutzutage eingestellt werden, insbesondere in unserer harter Arbeitsmarkt.

Ich sage dies nicht, um Sie zu entmutigen, sondern realistische Erwartungen zu setzen. Ich habe mit vielen Leuten gesprochen, die versuchen, ihre Reise zu verkürzen, und ich habe noch nicht gesehen, dass es erfolgreich ist.

Um maschinelles Lerningenieur zu werden, benötigen Sie feste Fundamente in:

• Mathematik
• Statistiken
• Maschinelles Lernen
• Software program -Engineering
• DevOps
• Wolkensysteme

Einige dieser Fähigkeiten können nur durch Erfahrung in der realen Welt entwickelt werden. Aus diesem Grund empfehle ich normalerweise, dass Menschen zuerst als Datenwissenschaftler oder Software program-Ingenieure beginnen und dann für maschinelle Lerningenieure drehen, da dies keine Einstiegsrolle ist.

Die Tatsache zu akzeptieren, dass Sie ein paar Jahre brauchen, um ein Ingenieur für maschinelles Lernen zu werden, ist befreiend und nimmt den Druck aus.

Nehmen Sie sich Zeit, um die Dinge tief zu lernen, wirklich zu studieren, und Ihr Wissen wird im Laufe der Zeit aufbauen. Ich verspreche, Sie werden schließlich für diese ML -technische Rolle bereit sein, wenn die Zeit stimmt.

Hör auf, AI zu jagen

NewsFlash: Ein Ingenieur für maschinelles Lernen ist nicht ein KI -Ingenieur. Hören Sie additionally auf, zu denken, dass Sie eine Chatbot -API wie Chatgpt oder Claude anrufen können.

Als Ingenieur für maschinelles Lernen werden Sie erwartet, wie Modelle/Algorithmen funktionieren und ein festes Verständnis für die statistische Lerntheorie und die grundlegende Mathematik haben.

Das bedeutet, Kernalgorithmen zu kennen wie:

Innen und außen.

Die meisten Menschen behaupten Zu Kennen Sie sie, aber Sie werden überrascht sein, wie wenig Sie tatsächlich wissen.

Ich habe unzählige Kandidaten verspottet, und viele können nicht einmal den Gradientenabstieg aus den ersten Prinzipien unter Verwendung von Kalkül erklären.

Auch hier versuche ich nicht hart zu sein, sondern Ihnen die Realität zu zeigen, die ich gesehen habe.

Ich sage den Leuten immer, sie sollen aufhören, auffällige Themen wie NLP, Pc Imaginative and prescient oder Generative AI zu lernen.

In Ihren ersten Jahren sollte es darum gehen, die Grundlagen zu beherrschen. Beherrschen Sie sie gründlich, damit Sie ein solides Verständnis für viele Interviews mit maschinellem Lernen haben.

Die Realität ist, dass sich die meisten Rollen des maschinellen Lernens in erster Linie auf klassisches überwachtes Lernen konzentrieren. Bei Ihrer Arbeit geht es oft weniger darum, exotische Modelle zu erstellen, und mehr darum, intestine verstandene Algorithmen anzupassen, um spezifische Probleme zu lösen. Deshalb ist ein tiefes Verständnis der Grundlagen unerlässlich.

Wenn Sie Ihr grundlegendes Wissen testen möchten, biete ich Scheininterviews an, die auf echten Fragen basieren, die ich in den tatsächlichen ML -Vorstellungsgesprächen konfrontiert habe. Fühlen Sie sich frei, es unten zu überprüfen.

Mock -Interview mit Egor Howell
Angepasst für Ihre spezielle Rolle und Ihr Interviewtopmate.io

Es ist sehr schwer

Lassen Sie uns mit etwas enden, das ein bisschen offensichtlich erscheint: zum Maschinellerningenieur zu werden ist einfach nur schwer.

Wie ich bereits in diesem Beitrag sagte, erfordert die Rolle Fachwissen in einer Vielzahl von Disziplinen. Sie benötigen starke Fundamente in Mathematik, Statistiken und Programmen sowie in der realen Erfahrung als Software program-Ingenieur oder Datenwissenschaftler zuerst (die für sich selbst schwierige Jobs sind). Darüber hinaus müssen Sie sich während des gesamten Zeitraums zu kontinuierlichem Lernen verpflichten.

Selbst mit dem perfektesten Hintergrund – einem MINT -Grasp oder einem Doktortitel – ist es immer noch eine lange, schwierige Reise. Wenn Sie von einem nicht traditionellen Weg kommen, ist es noch schwieriger. Das bedeutet nicht, dass es unmöglich ist, aber es ist schwieriger und Sie müssen entscheiden, ob sich die Herausforderung für Sie lohnt.

Ich sage oft:

Jeder kann ein Ingenieur für maschinelles Lernen werden – aber das bedeutet nicht, dass jeder sollte oder sogar will.

Es erfordert mindestens ein paar Jahre nachhaltig.

Sie müssen ehrlich zu sich selbst sein, ob Sie bereit sind, ein Minimal von 2 bis 3 Jahren (in den meisten Fällen 4 bis 5 Jahre) zu investieren, um in das Feld einzudringen.

Das ist eine lange Zeit.

Für mich persönlich ist es absolut wert, vier Jahre für eine jahrzehntelange Karriere aufzugeben. Aber das ist nur eine Berechnung, die Sie durchführen können.

Tatsächlich finde ich es befreiend, dass es so schwer ist, da ich mich besser fühle, wenn ich mich durch sie kämpfe.

---

Ich bin jemand, der nichts beschönigt, und Sie haben vielleicht bemerkt, dass die meisten meiner Punkte auf zwei Schlüsselfaktoren zurückzuführen sind: Zeit und Anstrengung.

Alles, was es wert ist, oft zu tun, erfordert über einen langen Zeitraum konsistente Anstrengungen. Das ist das Geheimnis, um Maschinenlerningenieur zu werden.

Wenn Sie es ernst meinen, ein Ingenieur für maschinelles Lernen zu werden, empfehle ich, den folgenden Artikel zu überprüfen, in dem ich meine Roadmap detailliert ausführliche:

Hyperlink.

Eine andere Sache!

Ich biete 1: 1 -Teaching -Anrufe an, bei denen wir uns über alles unterhalten können, was Sie brauchen – sei es Projekte, Karriereberatung oder einfach nur Ihren nächsten Schritt herauszufinden. Ich bin hier, um Ihnen zu helfen, vorwärts zu kommen!

1: 1 Mentoring -Anruf mit Egor Howell
Karriereanleitung, beratende Beratung, Projekthilfe, Lebenslaufüberprüfungtopmate.io

Verbinde mich mit mir