Ich habe neulich ein Produkt entwickelt, das meiner Meinung nach perfekt für KI-bezogene Anwendungsfälle geeignet sein könnte. Geistvon ghost.construct, beschreibt sich selbst als „die erste Datenbank, die für Agenten erstellt wurde“.

Ghost ist eine „Agent-First“-Postgres-Datenbankplattform, mit der Entwickler und KI-Agenten problemlos ganze Datenbanken erstellen, forken, prüfen, abfragen, manipulieren und löschen können.

Es gibt auch ein sehr großzügiges kostenloses Nutzungskontingent.

Die Entwickler, die es entwickelt haben, hatten eine einfache Idee: Wenn Agenten Software program erstellen, Migrationen testen, Schemata prüfen, SQL ausführen und mit Daten experimentieren wollen, dann brauchen sie Datenbanken, die ebenso verfügbar und programmierbar sind wie Code-Sandboxen. Da passt Ghost hinein.

Wenn Sie eine Ghost-Datenbank erstellen oder bestehende aufteilen, befinden sich diese Datenbanken in der Cloud-Infrastruktur von Ghost und nicht auf Ihrem lokalen System. Ghost ist besonders nützlich für Checks, Prototyping, Agenten-Workflows, Zweigstellendatenbanken, Migrationsexperimente und Einweg-Datenbankumgebungen.

Herkömmliche verwaltete Datenbanken basieren auf einer langlebigen Produktionsinfrastruktur. Sie erstellen eine Instanz, konfigurieren das Netzwerk, verwalten Anmeldeinformationen, verbinden Anwendungen und behandeln die Datenbank dann als etwas Wertvolles und Zerbrechliches. Ghost behält die Leistungsfähigkeit von Postgres bei, fügt aber einen Workflow hinzu, der der modernen Agentenentwicklung viel näher kommt: Erstellen Sie eine Datenbank bei Bedarf, forken Sie sie, wenn Sie eine isolierte Kopie benötigen, führen Sie SQL dafür aus, überprüfen Sie das Schema, probieren Sie verschiedene Tabellenkonfigurationen aus und werfen Sie sie weg, wenn Sie fertig sind.

Dadurch eignet sich Ghost besonders intestine für KI-Instruments wie Codex und Claude Code. Diese Instruments können über Code nachdenken, Migrationen schreiben, Abfragen debuggen, Seed-Daten generieren, Protokolle überprüfen und MCP-Instruments verwenden. Der integrierte MCP-Server von Ghost bietet Codex direkte Datenbankverwaltungsfunktionen, anstatt den Agenten dazu zu zwingen, sich auf vage Anweisungen, kopierte Verbindungszeichenfolgen oder manuelle Dashboard-Arbeiten zu verlassen.

Im Relaxation dieses Artikels erkläre ich Ihnen, wie Sie Ghost auf Ihrem lokalen System installieren. Anschließend schauen wir uns vier konkrete Beispiele für die Verwendung von Ghost mit dem Codex-Agenten und seiner eigenen CLI an.

Bitte beachten Sie, dass ich weder mit dem Unternehmen oder Workforce hinter Ghost noch mit dem Ghost-Produkt selbst verbunden bin.

Voraussetzungen

Ich gehe davon aus, dass auf Ihrem System bereits einer der von Ghost unterstützten Codierungsagenten installiert ist. Dazu gehören:

Claude Code
Codex
Cursor
Gemini CLI
Google Antigravity
Kiro CLI
VS Code
Windsurf

Sie benötigen außerdem ein GitHub-Konto, dem Sie Ghost beim Anmelden Zugriff gewähren müssen.

Ghost installieren

Unter Linux, WSL unter Home windows oder macOS können Sie den folgenden Curl-Befehl verwenden.

$ curl -fsSL https://set up.ghost.construct | sh

Wenn Sie wie ich Home windows verwenden, können Sie diesen Befehl von einem PowerShell-Terminal aus verwenden.

PS C:Usersthoma> irm https://set up.ghost.construct/set up.ps1 | iex

Dann lauf,

PS C:Usersthoma> ghost login

Opening browser for authentication...
Discovered house: nj5scy2orp
Efficiently logged in as (electronic mail protected)

Ihnen wird ein Bildschirm wie dieser angezeigt. Autorisieren Sie Ghost, fortzufahren.

Nachdem Sie sich korrekt angemeldet haben, sollten Sie als Nächstes den Ghost MCP-Server Ihrem bevorzugten Programmieragenten zur Verfügung stellen. In meinem Fall verwende ich Codex.

Geben Sie Folgendes in die Befehlszeile ein und wählen Sie Ihren Agenten aus der angezeigten Liste aus.

PS C:Usersthoma> ghost mcp set up

Choose an MCP consumer to configure:
  1. Claude Code
> 2. Codex
  3. Cursor
  4. Gemini CLI
  5. Google Antigravity
  6. Kiro CLI
  7. VS Code
  8. Windsurf

Typing: 2
Efficiently put in Ghost MCP server configuration for codex
Configuration file: C:Usersthoma.codexconfig.toml

Subsequent steps:
   1. Restart codex to load the brand new configuration
   2. The Ghost MCP server can be accessible as 'ghost'

PS C:Usersthoma>

Überprüfen Sie, ob Ihr Setup in Ordnung ist

• Geben Sie Folgendes ein, um zu überprüfen, ob der Ghost MCP korrekt installiert ist.

PS C:Usersthoma> ghost mcp listing

TYPE    NAME
immediate  design-postgis-tables
immediate  design-postgres-tables
immediate  find-hypertable-candidates
immediate  migrate-postgres-tables-to-hypertables
immediate  pgvector-semantic-search
immediate  postgres
immediate  postgres-hybrid-text-search
immediate  setup-timescaledb-hypertables
software    ghost_connect
software    ghost_create
software    ghost_create_dedicated
software    ghost_delete
software    ghost_feedback
software    ghost_fork
software    ghost_fork_dedicated
software    ghost_list
software    ghost_login
software    ghost_logs
software    ghost_password
software    ghost_pause
software    ghost_rename
software    ghost_resume
software    ghost_schema
software    ghost_sql
software    ghost_status
software    search_docs
software    view_skill

Überprüfen Sie, ob Ihr Agent den Ghost MCP-Server verwenden kann. Sie sollten eine ähnliche Ausgabe sehen (für Codex).

PS C:Usersthoma> codex mcp listing

Title   Command                                                Args       Env  Cwd  Standing   Auth
ghost  C:UsersthomaAppDataLocalProgramsGhostghost.exe  mcp begin  -    -    enabled  Unsupported

Vorausgesetzt, alles ist in Ordnung, können wir mit weiteren Beispielen für die Verwendung von Ghost über seine CLI und Agenten über seinen MCP-Server fortfahren.

Beispiel 1 – Erstellen einer Verkaufsdatendatenbank

Öffnen Sie Ihren Codierungsagenten und geben Sie Folgendes ein.

Codex> Create a ghost database known as sales_data that shops 10,000 dummy gross sales 
data. Within the database, create whichever tables are appropriate for such 
information. Don't embody any indexes, main or international keys for now.

Ich habe diese Ausgabe von Codex erhalten.

Labored for 1m 32s
Created a contemporary Ghost database named sales_data.

It accommodates 10,000 dummy gross sales order data and supporting tables:

clients           1,000
merchandise            150
sales_reps          30
sales_orders        10,000
sales_order_items   30,000
Per your instruction, I didn't create any:

main keys
international keys
indexes

Verification confirmed there aren't any main key constraints, no international key 
constraints, and no indexes on the gross sales tables.

Wie Sie sehen, dauerte dies auf meinem System etwas mehr als eineinhalb Minuten, was eine ziemlich beeindruckende Statistik für das ist, was erreicht wurde.

Beispiel 2 – Verwendung der Ghost-CLI

Nachdem wir nun eine Datenbank zum Spielen haben, probieren wir einige der Ghost-CLI-Befehle aus. Beachten Sie, dass diese Befehle normalerweise nicht verwendet werden müssen, da wir alles, was ich Ihnen gleich zeigen werde, über Codex und das Ghost MCP tun können, aber es ist auf jeden Fall nützlich zu wissen, wie.

PS C:Usersthoma> ghost listing

ID          NAME        STATUS   STORAGE
sip3qcs40a  sales_data  operating  211MiB

• Sehen Sie sich die Datenbanktabellen und die Struktur an

PS C:Usersthoma> ghost schema sales_data

DATABASE: sales_data (sip3qcs40a)

TABLE: clients
  customer_id    BIGINT GENERATED ALWAYS AS IDENTITY
  customer_name  TEXT NOT NULL
  electronic mail          TEXT NOT NULL
  country_code   TEXT NOT NULL CHECK ((size(country_code) = 2))
  section        TEXT NOT NULL CHECK ((section = ANY (ARRAY('shopper'::textual content, 'small_business'::textual content, 'enterprise'::textual content))))
  created_at     TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT now()

TABLE: merchandise
  product_id    BIGINT GENERATED ALWAYS AS IDENTITY
  sku           TEXT NOT NULL
  product_name  TEXT NOT NULL
  class      TEXT NOT NULL CHECK ((class = ANY (ARRAY('software program'::textual content, '{hardware}'::textual content, 'companies'::textual content, 'coaching'::textual content, 'assist'::textual content))))
  base_price    NUMERIC(10,2) NOT NULL CHECK ((base_price > (0)::numeric))
  lively        BOOLEAN NOT NULL DEFAULT true

TABLE: sales_order_items
  sales_order_item_id  BIGINT GENERATED ALWAYS AS IDENTITY
  sales_order_id       BIGINT NOT NULL
  product_id           BIGINT NOT NULL
  amount             INTEGER NOT NULL CHECK (((amount >= 1) AND (amount <= 6)))
  unit_price           NUMERIC(10,2) NOT NULL CHECK ((unit_price > (0)::numeric))
  discount_amount      NUMERIC(10,2) NOT NULL DEFAULT 0 CHECK ((discount_amount >= (0)::numeric))
  line_total           NUMERIC(12,2) NOT NULL CHECK ((line_total >= (0)::numeric))

TABLE: sales_orders
  sales_order_id   BIGINT GENERATED ALWAYS AS IDENTITY
  customer_id      BIGINT NOT NULL
  sales_rep_id     BIGINT NOT NULL
  order_status     TEXT NOT NULL CHECK ((order_status = ANY (ARRAY('pending'::textual content, 'accomplished'::textual content, 'shipped'::textual content, 'cancelled'::textual content, 'refunded'::textual content))))
  ordered_at       TIMESTAMP WITH TIME ZONE NOT NULL
  payment_method   TEXT NOT NULL CHECK ((payment_method = ANY (ARRAY('card'::textual content, 'bank_transfer'::textual content, 'paypal'::textual content, 'bill'::textual content))))
  currency_code    TEXT NOT NULL DEFAULT 'USD'::textual content CHECK ((currency_code = 'USD'::textual content))
  subtotal_amount  NUMERIC(12,2) NOT NULL DEFAULT 0 CHECK ((subtotal_amount >= (0)::numeric))
  tax_amount       NUMERIC(12,2) NOT NULL DEFAULT 0 CHECK ((tax_amount >= (0)::numeric))
  shipping_amount  NUMERIC(12,2) NOT NULL DEFAULT 0 CHECK ((shipping_amount >= (0)::numeric))
  total_amount     NUMERIC(12,2) NOT NULL DEFAULT 0 CHECK ((total_amount >= (0)::numeric))

TABLE: sales_reps
  sales_rep_id  BIGINT GENERATED ALWAYS AS IDENTITY
  rep_name      TEXT NOT NULL
  area        TEXT NOT NULL CHECK ((area = ANY (ARRAY('north_america'::textual content, 'europe'::textual content, 'asia_pacific'::textual content, 'latin_america'::textual content))))
  hired_at      DATE NOT NULL

VIEW: pg_buffercache
  bufferid          INTEGER
  relfilenode       OID
  reltablespace     OID
  reldatabase       OID
  relforknumber     SMALLINT
  relblocknumber    BIGINT
  isdirty           BOOLEAN
  usagecount        SMALLINT
  pinning_backends  INTEGER

VIEW: pg_buffercache_numa
  bufferid     INTEGER
  os_page_num  BIGINT
  numa_node    INTEGER

• Wählen Sie einige Daten aus der Tabelle sales_order aus

PS C:Usersthoma> ghost sql sales_data "SELECT * FROM sales_orders LIMIT 10;"

 sales_order_id │ customer_id │ sales_rep_id │ order_status │ ordered_at                    │ payment_method │ currency_code │ subtotal_amount │ tax_amount │ shipping_amount │ total_amount
────────────────┼─────────────┼──────────────┼──────────────┼───────────────────────────────┼────────────────┼───────────────┼─────────────────┼────────────┼─────────────────┼──────────────
 1              │ 8           │ 9            │ accomplished    │ 2024-05-21 05:08:34.332998+00 │ paypal         │ USD           │ 1796.88         │ 143.75     │ 0.00            │ 1940.63
 2              │ 8           │ 9            │ accomplished    │ 2024-05-21 05:08:34.332998+00 │ paypal         │ USD           │ 1622.63         │ 129.81     │ 0.00            │ 1752.44
 3              │ 8           │ 9            │ accomplished    │ 2024-05-21 05:08:34.332998+00 │ paypal         │ USD           │ 1867.25         │ 149.38     │ 0.00            │ 2016.63
 4              │ 8           │ 9            │ accomplished    │ 2024-05-21 05:08:34.332998+00 │ paypal         │ USD           │ 606.02          │ 48.48      │ 0.00            │ 654.50
 5              │ 8           │ 9            │ accomplished    │ 2024-05-21 05:08:34.332998+00 │ paypal         │ USD           │ 1450.11         │ 116.01     │ 0.00            │ 1566.12
 6              │ 8           │ 9            │ accomplished    │ 2024-05-21 05:08:34.332998+00 │ paypal         │ USD           │ 1227.85         │ 98.23      │ 0.00            │ 1326.08
 7              │ 8           │ 9            │ accomplished    │ 2024-05-21 05:08:34.332998+00 │ paypal         │ USD           │ 7086.55         │ 566.92     │ 0.00            │ 7653.47
 8              │ 8           │ 9            │ accomplished    │ 2024-05-21 05:08:34.332998+00 │ paypal         │ USD           │ 696.92          │ 55.75      │ 0.00            │ 752.67
 9              │ 8           │ 9            │ accomplished    │ 2024-05-21 05:08:34.332998+00 │ paypal         │ USD           │ 1063.73         │ 85.10      │ 0.00            │ 1148.83
 10             │ 8           │ 9            │ accomplished    │ 2024-05-21 05:08:34.332998+00 │ paypal         │ USD           │ 2489.06         │ 199.12     │ 0.00            │ 2688.18
(10 rows)

• Befürchten Sie, dass Ihr Agent Ihre Datenbank zerstört? Ganz einfach: Stellen Sie Ihr System einfach auf schreibgeschützt ein

PS C:Usersthoma> ghost config set read_only true

Now in Codex,

Codex> delete from sales_order_items the place sales_order_item_id = 12

Labored for 5s
The DELETE was blocked, as anticipated:

ERROR: can not execute DELETE in a read-only transaction (SQLSTATE 25006)

Es gibt eine ganze Reihe nützlicher Befehle, die Sie mit der Ghost-CLI verwenden können. Für eine vollständige Liste geben Sie ein Geist – Hilfe in Ihre Befehlszeile.

Aber wie ich bereits sagte, ist einer der Hauptgründe für die Verwendung von Ghost, dass wir Datenbanken mithilfe unseres KI-Agenten manipulieren können. Sehen wir uns das in Aktion an.

Beispiel 3 – Verwendung des Ghost MCP mit unserem Agenten.

Wir haben bereits in Beispiel 1 gesehen, wie schnell und einfach es warfare, mit Codex eine Datenbank zu erstellen, aber zeigen wir, wie einfach es ist, mit Datenbanken mithilfe eines Agenten zu experimentieren.

• Fügen Sie 500.000 Datensätze zur Tabelle sales_order_items hinzu

Codex> Add 500,000 dummy gross sales order data to the sales_order_items desk


Added 500,000 dummy rows to sales_data.sales_order_items.

Ultimate counts:

sales_orders        10,000
merchandise            150
sales_order_items   530,000

I additionally recalculated the ten,000 order totals from the expanded line-item desk.

Totals now:

Subtotal sum:      1,530,141,808.73
Tax sum:             124,981,128.08
Complete gross sales:       1,639,903,892.69
Avg order worth:         163,990.39

Confirmed the tables nonetheless have 0 indexes.

• Wählen Sie einige Daten aus der Tabelle sales_order_id aus

Codex> Retrieve the sales_order_items report for 
sales_order_items_id = 519932 and inform me how lengthy it took to retrieve

Report discovered:

sales_order_item_id: 519932
sales_order_id:      9932
product_id:          15
amount:            3
unit_price:          91.47
discount_amount:     0.00
line_total:          274.41
Timing:

Database execution time:     25.833 ms
Ghost MCP end-to-end time:  146.733 ms
As a result of there aren't any indexes, Postgres used a sequential scan and filtered via 529,999 rows to seek out the report.

• Nun zur Leistungsoptimierung

Codex> Fork 3 duplicate sales-data databases in parallel, naming them 
sales_data-1, and many others.... Utilizing differering methods in every fork, tune the 
database in order that the above question runs extra rapidly. Output your leads to 
an ascii desk with database identify, tuning technique and database execution time.


I am going to create three forks concurrently, then apply a distinct lookup technique 
to every fork: a plain btree index, a masking btree index, and a bodily 
clustered desk plus index. Then I am going to measure the identical EXPLAIN ANALYZE 
execution time on every.

Used Ghost

Solely the supply sales_data exists, so there aren't any fork-name collisions. 
I am launching the three fork/tune/measure staff now; every employee waits solely 
for its personal fork earlier than tuning it.

Labored for 2m 40s

Created and tuned three forked databases in parallel.

Baseline on untuned sales_data was beforehand 25.833 ms with a sequential scan.

+--------------+---------------------------------------------------------------+--------------------------+
| Database     | Tuning technique                                               | Database execution time  |
+--------------+---------------------------------------------------------------+--------------------------+
| sales_data-1 | Btree index on sales_order_item_id                            | 0.131 ms                 |
| sales_data-2 | Masking btree index together with all projected question columns    | 0.143 ms                 |
| sales_data-3 | Hash index on sales_order_item_id for equality lookup         | 0.158 ms                 |
+--------------+---------------------------------------------------------------+--------------------------+

Finest end result: sales_data-1 with a typical btree index at 0.131 ms.

Wie Sie sehen können, warfare die Beschleunigung nach der Optimierung erwartungsgemäß ziemlich erheblich. Dennoch ist eine Verbesserung der Abfragelaufzeit um den Faktor 200 nicht allzu schlecht.

Beispiel 4 – Erstellen einer Dashboard-App für unsere Datenbank

Dieses Beispiel zeigt, wie einfach es ist, eine mit Codierungsagenten erstellte App mit einer mit Codierungsagenten erstellten Datenbank zu kombinieren.

Codex> Use your efficiency tuning findings to improve the sales_data 
database. Then assemble a dashboard utilizing javascript and HTML for the 
database. The dashboard needs to be dynamic. I need to have the ability to filter on information 
and the dashboard ought to solely present information that's contained in the database.


I am going to flip this right into a small reside dashboard app: an Categorical backend with 
read-only Postgres queries, and a browser UI that fetches filtered information 
from /api/dashboard. I am going to maintain the database URL in an atmosphere file 
reasonably than placing credentials within the HTML.

Ran 3 instructions
The workspace already has pg; I am going to add specific and dotenv, then fetch a 
read-only Ghost connection string for the app.

Ran 1 command, used Ghost
I am going to keep away from placing the database password into the HTML. The server will get a 
read-only connection from the Ghost CLI at startup if DATABASE_URL will not be 
set, and all browser requests will undergo parameterized API endpoints.

Ran & 'C:UsersthomaAppDataLocalProgramsGhostghost.exe' join --read-only sales_data
The read-only Ghost connection string works and consists of sslmode=require 
plus Ghost's protected read-only choice. I am including the backend and changing 
the HTML with a reside API-driven dashboard.

The backend API is in place. I am changing the dashboard HTML with a 
frontend that calls /api/choices and /api/dashboard each time filters change.

Created 1 file
The reside frontend and backend are written. I am beginning the server now and 
checking the API endpoints earlier than I hand you the URL.

The server is now operating on port 5101. I am verifying the browser HTML and a 
filtered API name towards the reside database.

Labored for 7m 28s
Executed. The dashboard is now a reside browser app backed by the Ghost sales_data 
database.

Run/open it right here:

http://localhost:5101/sales_dashboard.html

What modified:

Added server.js with an Categorical API.
Up to date sales_dashboard.html so filters name the API and redraw charts/tables.
Up to date package deal.json with npm begin.
The backend will get a Ghost read-only connection by way of ghost join --read-only sales_data.
Browser JavaScript by no means sees the database password.

Als ich auf den HTML-Hyperlink klickte, erhielt ich ein dynamisches Dashboard, das genau auf verschiedene Filterwerte reagierte.

Zusammenfassung

Hoffentlich habe ich Ihnen genug von den Funktionen der Ghost-Datenbank gezeigt, um Ihren Appetit zu wecken, mehr über dieses nützliche Produkt zu erfahren.

Bemerkenswert ist die Leichtigkeit und Geschwindigkeit, mit der sich mit diesem Device Postgres-Datenbanken erstellen, zerstören, kopieren und bearbeiten lassen.

Was mir an Ghost am besten gefällt, ist die einfache Ausführung von Was-wäre-wenn-Szenarien mit echten Datenbanken. Benötigen Sie zum Ausprobieren neue Kopien einer vorhandenen Datenbank? Es ist ein Kinderspiel. Sie können Indizes und Primärschlüssel zerlegen und ändern oder materialisierte Ansichten erstellen, indem Sie einfach in einfachem Englisch beschreiben, was Sie wollen, und zwar mit Ihren bevorzugten Agenten-Codierungstools, mit einem Fallback auf eine CLI, wenn Sie es wirklich brauchen.

Wie ich in meinem letzten Beispiel gezeigt habe, ist es aufgrund der guten Zusammenarbeit von Ghost mit Agenten-Codierungstools ziemlich einfach, diese Agenten Code erstellen zu lassen, der sich intestine in Ghost-Datenbanken integrieren lässt, um nützliche Apps wie Dashboards und andere Arten von SaaS-Anwendungen zu erstellen.

Obwohl Sie vielleicht eine Pause einlegen möchten, bevor Sie Produktionsdaten auf Ghost speichern, ist es eine großartige Plattform für Proofs of Idea und allgemeine Experimente. Und sobald Sie eine Datenbankstruktur haben, mit der Sie mit Ghost zufrieden sind, sollte die Replikation dieser Struktur in Ihrer Produktionsdatenbank problemlos sein.

Weitere Informationen zur Verwendung von Ghost und eine vollständige Dokumentation finden Sie auf der offiziellen Homepage unten.

https://ghost.construct/docs/#introduction

In der heutigen datengesteuerten Welt bilden Datenbanken die Rückgrat moderner Anwendungen– Von mobilen Apps zu Unternehmenssystemen. Das Verständnis der verschiedenen Arten von Datenbanken und deren Anwendungen ist entscheidend für die Auswahl des richtigen Programs für bestimmte Anforderungen, unabhängig davon, ob Sie ein persönliches Projekt erstellen oder Lösungen auf Unternehmensebene aufweisen.

Was ist eine Datenbank?

Eine Datenbank ist eine strukturierte Sammlung von Daten, die elektronisch gespeichert und von einem Datenbankverwaltungssystem (DBMS) verwaltet werden. Datenbanken ermöglichen effizient Speicher, Abruf und Administration von sowohl strukturierten als auch unstrukturierten Daten, die die Grundlage für Anwendungen zur effektiven Funktionsweise bieten.

• MySQL 9.0: Verbesserte JSON-Verarbeitung, Vektordatentypen für KI, Unternehmen JavaScript gespeicherte Prozeduren, SHA-3-Verschlüsselung.
• PostgreSQL 17: Erweiterte JSON -Queryfunktionen, Vektorsuche für MlStreaming -E/O, inkrementelle Backups und robustere Replikation.
• Oracle -Datenbank Und IBM DB2: Führende RDBMS in Sicherheit, Skalierbarkeit, Bereitstellung von Multi-Cloud-Bereitstellungen und Katastrophenwiederherstellung.

Am besten für: Finanzsysteme, E-Commerce, Enterprise Apps, Analytics.

Beliebte Plattformen: MySQL, Postgresql, Oracle Database, Microsoft SQL ServerIBM DB2, Mariadb.

2. NoSQL -Datenbanken

NoSQL -Datenbanken Brechen Sie von strukturierten, Tabellenbasierten Modellen ab und bieten versatile Datenformate, die für semi-strukturierte und unstrukturierte Daten geeignet sind.

Schlüsselarten:

• Dokumentgeschäfte: Speichern Sie Daten als JSON/BSON -Dokumente. (zB, MongoDB, Couchbase)
• Schlüsselwertgeschäfte: Jede Datenelemente ist ein Schlüsselwertpaar. (zB Redis, Amazon DynamoDB)
• Model-Säulengeschäfte: Versatile Spalten professional Zeile; optimiert für Massive Information und Analytics. (zB Apache Cassandra, HBase)
• Grafikdatenbanken: Knoten und Kanten modell komplexe Beziehungen. (zB, Neo4j, Amazon Neptun)
• Multi-Mannequin-Datenbanken: Unterstützen Sie einige der oben genannten Paradigmen in einer Plattform.

Bemerkenswerte Fortschritte (2025):

• MongoDb: Jetzt mit nativem Enterprise SSO, Diskann Vector -Indexierung für die Produktion KI, Sharding für horizontale Skalierung, starke Zugangskontrollen.
• Cassandra 5.0: Fortgeschrittene Vektortypen für KI, speicherte Indizes, dynamische Datenmaskierung und verbesserte Verdichtung für large, verteilte Workloads.

Am besten für: Echtzeitanalysen, Empfehlungssysteme, IoT, soziale Plattformen, Streaming-Daten.

3. Cloud -Datenbanken

Cloud -Datenbanken werden auf Cloud -Plattformen verwaltet und bieten Elastizität, hohe Verfügbarkeit, verwaltete Dienste und nahtlose Skalierung. Sie sind für moderne DevOps und serverlose Umgebungen optimiert und liefern häufig Datenbank-AS-A-Service (DBAAs).

Führende Plattformen: Amazon RDS, Google Cloud SQL, Azure SQL -Datenbank, MongoDB Atlas, Amazon Aurora.

Warum Cloud wählen?

• Automatisches Failover, Skalierung und Backups.
• Globale Verteilung für hohe Verfügbarkeit.
• Stromleitungen DevOps mit verwalteter Infrastruktur.

4. In-Reminiscence- und Distributed SQL-Datenbanken

In-Reminiscence-Datenbanken (z. B. SAP Hana, SingleStore, Redis) Speichern Sie Daten in RAM anstelle von Festplatten für Blitzzugriff-ideal für Echtzeitanalysen und Finanzgeschäfte.

Verteilte SQL -Datenbanken (z. B. Kakerlachdb, Google Schreitner) Heiraten Sie die relationale Konsistenz (Säure) mit Cloud-Skalierbarkeit im NoSQL-Stil, die Multi-Area-Bereitstellungen mit globaler Replikation bearbeiten.

5. Zeitreihen Datenbanken

Speziell gebaut, um chronologische Daten wie Sensorwerte oder finanzielle Zecken zu speichern und zu analysieren. Optimiert für schnelle Aufnahme, Komprimierung und Zeitreihenfragen.

High -Plattformen: InfluxDB, Timescaledb.

6. Objektorientierte und Multi-Mannequin-Datenbanken

• Objektorientierte DBS Wie ObjectDB-Karte direkt zum objektorientierten Code, ist hervorragend für Multimedia und benutzerdefinierte App-Logik.
• Multi-Mannequin-Datenbanken (zB, Arangodb, SingleStore) kann als Dokument-, Schlüsselwert-, Spaltenspeicher- und Grafikdatenbank in einer Plattform für maximale Flexibilität fungieren.

7. Spezialisierte und aufkommende Typen

• Ledger -Datenbanken: Unveränderliche Aufzeichnungen für Compliance und Blockchain-ähnliches Vertrauen. (zB Amazon QLDB)
• Suchdatenbanken: Für Textsuche und Analysen (z. B. Elasticsearch, OpenSearch).
• Vektordatenbanken: Index und abrufen Einbettungen für KI- und Suchaufgaben, die in die Vektorsuche und die LLMs integriert werden.

2025 Function Highlights auf High -Plattformen

Anwendungen in der Praxis

• E-Commerce: Kunde, Katalog, Bestellungen in RDBMS/NoSQL; Empfehlungsmotor in Diagramm/Vektor DB; Reside Analytics in Zeitreihen DB.
• Bankgeschäft: Kernbücher in RDBMs; Anti-Fraud-AI-Modelle stützen sich auf Vektor- und Graph-DBs. zwischen Redis/In-Reminiscence für Transaktionen.
• AI/ml: Moderne DBS (EG, MySQL, Postgresql, Cassandra, MongoDB) unterstützen nun die Vektorsuche und -indexierung für LLMs, Einbettungen und Abrufgeneration (RAG).
• IoT & Überwachung: InfluxDB, Cassandra verarbeiten Millionen von Zeitstempelsensor professional Sekunde für Echtzeit-Dashboards.

Michal Sutter ist ein Datenwissenschaftler bei einem Grasp of Science in Information Science von der College of Padova. Mit einer soliden Grundlage für statistische Analyse, maschinelles Lernen und Datentechnik setzt Michal aus, um komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

Von Jeff Foster, Redgate Software program

KI -Fortschritte ändern grundlegend die Verwendung und Verwaltung von Unternehmen, wodurch es wichtig ist, diese Transformation zu akzeptieren und zu verstehen. Für Organisationen, die KI im Maßstab übernehmen möchten, ist der Zustand ihrer Datenbanken ein kritischer Erfolgsfaktor.

Schlechte Datenqualität, schwache Regierungsführung oder fragmentierte Aufsicht können selbst die ehrgeizigsten KI -Initiativen entgleisen. In diesem Zusammenhang wird die Rolle des Datenbankadministrators (DBA) strategischer und zentraler für die KI -Bereitschaft von Unternehmen.

Moderne DBAs sind nicht mehr nur Wächter der Leistung und Verfügbarkeit. Sie sind Verwalter von Datenethik, Sicherheit und Konformität. Da diese Daten in KI -Systemen verwendet werden, wird die Verwendung komplexer und mehr Risiken, wie fehlkonfigurierte Berechtigungen oder algorithmische Verzerrungen, wachsen. Die guten Nachrichten? Durch die direkte Anpassung der Datenbankkomplexität können DBA-Groups eine Grundlage für Vertrauen und Zuverlässigkeit schaffen, die KI nicht nur möglich, sondern auch produktiv ermöglicht.

Hier sind vier Schlüsselstrategien zur Verwaltung Ihrer Datenbankumgebung und zur Vorbereitung Ihres Unternehmens auf eine erfolgreiche KI -Einführung.

1. Erstellen Sie die Datenverwaltung um die KI -Bereitschaft

Eine starke Governance ist in einer datengesteuerten Organisation nicht verhandelbar und besonders wichtig, wenn die KI in das Bild eintritt. KI ist nur so intestine wie die Daten, die sie trieben. Das bedeutet klar definiertes Eigentum, strenge Zugriffsprotokolle, Datenqualitätsmaßnahmen und ein robustes Lebenszyklusmanagement sind grundlegend für den Erfolg.

Unternehmen sollten in Datenkataloge und Linienwerkzeuge investieren, um Daten zu entsprechen, wie es sich transformiert und wie es letztendlich verwendet wird. Dies ist entscheidend, um die Eingabe und Ausgabe von KI -Modellen zu verstehen und diese Entscheidungen unter regulatorischer Prüfung zu verteidigen. Und wenn es um Compliance geht, übersehen Sie keine Datenmaskierung, insbesondere bei Verwendung von Produktionsdaten in Entwicklungs- oder Schulungsumgebungen. Es ist nicht mehr Greatest Observe; Es ist ein Compliance -Imperativ.

2. Behandeln Sie die Prüfung und Überwachung als kontinuierliche Prozesse

Einmalige Audits haben es nicht mehr gesunken, insbesondere wenn Echtzeitentscheidungen von KI-Systemen getroffen werden, die sich auf sich ständig ändernde Daten verlassen. Durch kontinuierliche Prüfung, die von Datenbeobachtbarkeitstools mit Datenbeobachtbarkeit betrieben wird, wird sichergestellt, dass Ihre Daten vertrauenswürdig bleiben, Ihre Modelle clear bleiben und Ihre Prozesse konform bleiben.

Im Kontext von KI ist es wichtig, sowohl zu verfolgen, wie Daten durch Systeme fließen als auch wie sie verwendet werden. Instruments sollten AI -Modelleingaben und -ausgänge protokollieren, Anomalien hervorheben und alle Indikatoren für Verzerrungen oder Inkonsistenzen aufnehmen. Dies schützt nicht nur vor Compliance -Risiken, sondern verbessert auch die Modellgenauigkeit und -leistung im Laufe der Zeit.

3.. Richten Sie Zugriffskontrollen auf Sicherheits- und Compliance -Ziele aus

Sicherheit ist ein grundlegendes Anliegen für jedes IT -Group, aber es nimmt eine erhöhte Dringlichkeit an, wenn KI -Systeme beteiligt sind. Da Datenbanken für eine breitere Mischung von Stakeholdern, darunter Datenwissenschaftler, Entwickler und Plattformen von Drittanbietern, zugänglicher werden, steigt das Risiko eines nicht autorisierten Zugriffs erheblich an

Eine starke Zugangsstrategie beginnt mit Multi-Faktor-Authentifizierung und rollenbasierten Zugriffskontrollen. Es muss jedoch weiter gehen und regelmäßig Berechtigungsbewertungen und robuste Zugriffsprotokollierung einbeziehen. Sichtbarkeit in wer zugegriffen, auf welche Daten, wann und zu welchem ​​Zweck entscheidend ist – nicht nur für die Sicherheit, sondern auch für die Prüfung und Governance. Außerdem können Unternehmen den Datenbankzugriff mit breiteren Unternehmens -Workflows verknüpfen und sowohl Transparenz als auch Rechenschaftspflicht verbessern.

4. Machen Sie die Überwachung und Dokumentation zu einem Teil Ihres KI -Workflows

Leistung und Sicherheitsüberwachung können nicht mehr isoliert behandelt werden. Zur Unterstützung von Enterprise AI muss die Überwachung integriert und kontinuierlich sein, wodurch nicht nur Betriebszeit oder Abfragegeschwindigkeit, sondern die Integrität und Bewegung der Daten selbst erfasst werden.

Die Investition in die 24/7 -Datenbanküberwachung stellt sicher, dass ein potenzielles Downside, sei es ein Anstieg der Zugriffsmuster, eine Schemaänderung oder eine Sicherheitsanomalie, frühzeitig gefangen und schnell gelöst wird. Die Automatisierung spielt hier eine wichtige Rolle und hilft Groups dabei, ihre Aufsicht zu skalieren, ohne den Overhead zu erhöhen.

In ähnlicher Weise sollte die Dokumentation kein statischer nachträglicher Gedanke mehr sein. Es muss dynamisch, aktuell und ultimate automatisiert sein. Eine umfassende Dokumentation von Datenquellen, Transformationen und KI -Modellabhängigkeiten stellt sicher, dass Groups über die Informationen verfügen, die sie benötigen, um schnell und verantwortungsbewusst zu reagieren, sei es für interne Zusammenarbeit oder eine externe Prüfung.

Letzter Gedanke: Datenbankkomplexität ist die versteckte Barriere für den KI -Erfolg

Ein erfolgreicher KI -Begin von Enterprise beginnt nicht mit dem Modell – es beginnt mit den Daten. Durch die Bekämpfung der Datenbankkomplexität, die Verbesserung der Sichtbarkeit und die Ausrichtung der Sicherheits- und Compliance -Bemühungen können IT -Groups eine Stiftung aufbauen, die KI unterstützt – sie untergräbt sie nicht.

In dieser neuen Ära spielen DBAs und IT -Führungskräfte eine entscheidende Rolle bei der Umsetzung von Innovationen in den Einfluss. Mit den richtigen Strategien und Instruments können sie sicherstellen, dass ihre Organisationen nicht nur KI-fähig sind-aber KI-resilient.

Jeff Foster ist Direktor für Technologie und Innovation bei Redgate -Software programCambridge, Großbritannien, mit deren Lösung komplexer Datenbankmanagementprobleme im gesamten Lebenszyklus von DevOps.

Die Datenbanktechnologie bildet das Rückgrat vieler Systeme, die große Datenmengen speichern und verwalten. Vom On-line -Einzelhandel bis zu sozialen Netzwerken spielen Datenbanken eine entscheidende Rolle bei der Funktionsweise von Organisationen und treffen Entscheidungen. Das Verständnis der grundlegenden Konzepte im Zusammenhang mit Datenbanken kann die eigene Fähigkeit verbessern, effektiv mit datengesteuerten Anwendungen zu arbeiten.

Was ist eine Datenbank?

Datenbanken sind systematische Sammlungen von Daten, mit denen Benutzer Informationen problemlos zugreifen, verwalten und aktualisieren können. Sie sind für Unternehmen und Organisationen von entscheidender Bedeutung, um ihre Daten effizient zu organisieren.

Definition und Zweck einer Datenbank

Der Hauptzweck einer Datenbank besteht darin, große Datenmengen zu speichern, zu verwalten und abzurufen. Dieser organisierte Ansatz ermöglicht es Unternehmen, Analysen durchzuführen, Berichte zu generieren und fundierte Entscheidungen auf der Grundlage der vorliegenden Daten zu treffen.

Grundkomponenten einer Datenbank

Mehrere Schlüsselkomponenten tragen zur Funktionalität einer Datenbank bei:

• {Hardware}: Dies sind die physischen Geräte, die die Datenbanken wie Server und Speichergeräte hosten.
• Software program: DBMS -Anwendungen (Datenbankverwaltungssysteme) erleichtern die Erstellung und Verwaltung von Datenbanken.
• Daten: Die tatsächlichen Informationen, die in organisierten Formaten zum einfachen Abrufen und Analysen gespeichert sind.
• Datenzugriffssprache: Programmiersprachen wie SQL werden verwendet, um die Kommunikation mit der Datenbank zu verwalten.
• Verfahren: Dies sind die festgelegten Regeln, die Datenbankvorgänge regeln und die Konsistenz und Funktionalität sicherstellen.

Datenbankverwaltung

Das effektive Datenbankmanagement ist für die Gewährleistung der Datenintegrität und zur Zugänglichkeit von wesentlicher Bedeutung. Es umfasst Prozesse, die die Organisation und das Abrufen von Daten erleichtern.

Überblick über Datenbankverwaltungssysteme (DBMS)

Ein Datenbankverwaltungssystem (DBMS) ist eine Softwarelösung, mit der Datenbanken erstellt und verwaltet werden. Es bietet Benutzern Instruments, um mit der Datenbank zu interagieren und Funktionen wie Datenunabhängigkeit, Zugriffskontrolle und Datenintegrität anzubieten.

Beliebte Beispiele für DBMs

Es werden üblicherweise mehrere bekannte Datenbankmanagementsysteme verwendet:

• Microsoft SQL Server: Eine leistungsstarke Plattform für das Datenmanagement und -analyse.
• MySQL: Eine für Webanwendungen beliebte Open-Supply-Datenbank.
• Oracle -Datenbank: Bekannt für seine starke Leistung und Zuverlässigkeit in Unternehmensumgebungen.

Arten von Datenbanken

Es gibt unterschiedliche Datenbanktypen, um den spezifischen Anforderungen abhängig von der Struktur und Verwendung der beteiligten Daten zu erfüllen.

Relationale Datenbanken

Relationale Datenbanken organisieren Daten in Tabellen, sodass Benutzer SQL zum effizienten Abfragen und Verwalten der Informationen verwenden können. Diese Struktur vereinfacht die Datenbeziehungen und erzwingt die Datenintegrität.

NoSQL -Datenbanken

NOSQL -Datenbanken für unstrukturierte Daten bieten Flexibilität und Skalierbarkeit, die häufig für Large -Information -Anwendungen und verteilte Datenspeicher gerecht werden.

Cloud -Datenbanken

Cloud-Datenbanken bieten On-Demand-Zugriff auf skalierbare Datenspeicherlösungen in Cloud-Umgebungen, sodass Unternehmen die Ressourcen bei Bedarf anpassen können.

Information Warehouses

Diese Datenbanken dienen als zentralisierte Repositorys für Betriebsdaten, die für Analyse und Berichterstattung optimiert sind, anstatt für Transaktionsaufgaben.

Verteilte Datenbanken

Verteilte Datenbanken verwalten Teile der Daten über mehrere Standorte hinweg und erleichtern die robuste Datenverarbeitung und die Verbesserung der Zugriffsgeschwindigkeit.

Selbstfahrende Datenbanken

Innovativ in ihrem Design nutzen selbstfahrende Datenbanken KI und maschinelles Lernen, um Routine-Administration-Aufgaben zu automatisieren und die Notwendigkeit menschlicher Interventionen zu verringern.

Herausforderungen im Datenbankmanagement

Während Datenbanken zahlreiche Vorteile bieten, stellen sie auch Herausforderungen vor, die ein sorgfältiges Administration erfordern.

Datensicherheit

Der Schutz wertvoller Daten vor unbefugtem Zugriff ist unerlässlich. Unternehmen müssen robuste Sicherheitsmaßnahmen durchführen, um smart Informationen zu schützen.

Datenintegrität

Die Aufrechterhaltung der Genauigkeit und Zuverlässigkeit von Daten ist entscheidend. Organisationen müssen Kontrollpersonen festlegen, die sicherstellen, dass nur autorisierte Änderungen an der Datenbank vorgenommen werden.

Leistungswartung

Regelmäßige Aktualisierungen und Optimierungen sind erforderlich, um die Datenbankleistung aufrechtzuerhalten und die Effizienz des Datenabrufs und der Verarbeitung zu gewährleisten.

Integrationsschwierigkeiten

Die Kombination verschiedener Datenquellen kann erhebliche Herausforderungen erzeugen und sorgfältige Planung und Ausführung erfordert, um eine nahtlose Integration zu gewährleisten.

Skalierbarkeitsprobleme

On-Premise-Datenbanksysteme können Einschränkungen in Bezug auf Kapazität aufnehmen, während Cloud-Lösungen tendenziell eine erhöhte Flexibilität bieten, um sich an den wachsenden Datenbedarf anzupassen.

Vor ein paar Monaten erschien ein sehr alberner Weblog-Beitrag Die Entbündelung des Luftstroms. Ich habe den Artikel nicht vollständig gelesen, aber ich habe seinen Titel gesehen und ihn genug überflogen, um zu glauben, dass das Argument vielleicht zu dürftig struggle, um stichhaltig zu sein, aber gerade stark genug, um die VC-Welt mit dem Wort „Entbündelung“ anzulocken gleichzeitig Cunninghams Gesetz Die Datenwelt. Es gab sicherlich ein Twitter Diskurs.

Man sagt, Nachahmung sei die aufrichtigste Type der Schmeichelei, aber ich weiß nicht, ob das hier zutrifft. Dennoch lesen Sie gerade einen Weblog-Beitrag über Datensachen, der wahrscheinlich falsch ist und das Wort „unBündelung“ darin.

Das Bündelungsargument, das ich in diesem Beitrag vorbringen werde, interessiert mich eigentlich nicht so sehr. Ehrlich gesagt möchte ich das nur argumentieren Characteristic-Shops, MetrikebenenUnd Überwachung des maschinellen Lernens Bei allen Instruments handelt es sich um Abstraktionsschichten auf denselben zugrunde liegenden Konzepten, und 90 % der Unternehmen sollten diese „Anwendungen“ einfach in SQL zusätzlich zu Streaming-Datenbanken implementieren.

Im Grunde möchte ich das argumentieren Materialisieren Zitat-Tweet von Josh Wills‘ zweiter viraler Tweet:

https://t.co/0JfQeATA8Y pic.twitter.com/VD72F9UqY8

– Materialisieren (@MaterializeInc) 29. März 2022

Und ich Wille argumentiere das. Sie müssen sich jedoch zunächst mit meiner Bündelungsthese auseinandersetzen, damit ich mein Nischenargument etwas grandioser und vordenkerhafter formulieren kann.

Obwohl ich das Argument der Entbündelung von Airflow nicht wirklich teile, gebe ich zu, dass es für Airflow nicht so intestine aussieht, und das ist großartig! In diesem goldenen Zeitalter der Developer Expertise fühlt sich Airflow wie das DMV an. Ein toller Airflow-Killer dbt. Anstatt knorrige, nicht testbare und spröde Airflow-DAGs für die Verwaltung Ihres Knowledge Warehouse zu entwickeln, dbt ermöglicht es Ihnen, Ihre DAG rein in SQL zu erstellen. Natürlich müssen Sie möglicherweise einen Termin vereinbaren dbt läuft mit Airflow, aber Sie müssen sich nicht mit dem Chaos auseinandersetzen, das die Airflow-Orchestrierung mit sich bringt.

Wenn überhaupt, dbt hat alle benutzerdefinierten, hackigen DAGs gebündelt, die SQL, Python, Bash, YAML, XCom und alle möglichen anderen Dinge in reines SQL gemischt haben, das die Berechnung in die Datenbank verlagert. Das ist eine schöne Bündelung, und die Leute sind es eindeutig sehr glücklich darüber. Darüber hinaus verfügen wir jetzt über den Fashionable Knowledge Stack, was bedeutet, dass wir über Konnektoren wie … verfügen Fivetran Und Stich die uns helfen, alle möglichen unterschiedlichen Daten hineinzuschieben Schneeflockedas Cloud Knowledge Warehouse des Tages.

Mein Weblog (und ich) neigen dazu, ziemlich stark auf maschinelles Lernen zu setzen. Für diejenigen, die es nicht kennen: Alles, was ich beschrieben habe, stellt die wundervolle neue Welt von Analytics Engineering dar, und es ist wirklich eine fantastische Zeit, ein Analytics Engineer zu sein. Es gibt einen klar definierten Stack, Greatest Practices und eine einzelne Particular person kann bei einem jungen Startup ein enorm skalierbares Knowledge Warehouse aufbauen. Das passt perfekt dazu BeratungÜbrigens.

Und dann ist da noch die Welt der maschinellen Lerntechnik oder MLOps, wie sie leider genannt wird. Ich kann mit Sicherheit sagen, dass es keinen modernen ML-Stack gibt. Dieses Feld ist ein Cluster-Fick, der sicherlich etwas gebündelt werden muss, additionally schlage ich vor, dass wir damit fahren dbt trainieren und in der Datenbank konsolidieren.

Wenn ich aus den Wolken der hochfliegenden Vordenker komme, werde ich die ML-Überwachung als meine Strohmann-Fallstudie auswählen, da dies ein Bereich ist, an dem ich persönlich interessiert bin und der unspektakulär ist fehlgeschlagen vor ein paar Jahren ein Startup in diesem Bereich zu starten. Für diesen Blogbeitrag umfasst die ML-Überwachung die Überwachung von Leistung oder Qualität Ihres maschinellen Lernmodells. Im Kern prognostizieren ML-Modelle Dingeund später finden wir Informationen darüber heraus Dinge. Ein Anzeigenranking-Modell kann vorhersagen, dass ein Nutzer auf eine Anzeige klickt, und wir lösen später ein Ereignis aus, wenn der Nutzer darauf geklickt hat. Ein Prognosemodell kann die Anzahl der Einheiten vorhersagen, die im nächsten Monat verkauft werden, und am Ende des nächsten Monats berechnen wir, wie viele Einheiten verkauft wurden. Die Modellleistung hängt davon ab, wie genau die Vorhersagen mit den Endergebnissen übereinstimmen, oder Grundwahrheit.

Die meisten ML-Überwachungstools funktionieren so, dass Sie ihnen Ihre Modellvorhersagen und Ihre Grundwahrheit senden müssen. Die Instruments berechnen dann verschiedene Leistungsmetriken wie Genauigkeit, Präzision und Erinnerung. Sie erhalten oft einige schöne Diagramme dieser Metriken, Sie können sie entlang verschiedener Dimensionen aufteilen, Warnungen einrichten usw…

Das ist zwar alles schön und intestine und es gibt viele davon Firmen erziehen Millionen von Greenback Um dies zu erreichen, würde ich argumentieren, dass Normal-ML-Leistungsmetriken (die oben erwähnte Genauigkeit, Präzision, Rückruf usw.) gelten nicht Die besten Kennzahlen zum Messen. Im Idealfall ist es Ihr ML-Modell die Welt beeinflussen in irgendeiner Weise, und was du Genau genommen Wichtig sind einige Geschäftskennzahlen, die entweder mit dem Modell in Zusammenhang stehen oder ihm nachgelagert sind. Für ein Betrugserkennungsmodell möchten Sie möglicherweise Ihre falsch-positiven und falsch-negativen Ergebnisse nach Kosten oder finanziellen Verlusten gewichten. Um diese anderen Geschäftskennzahlen zu überwachen, müssen Sie diese Daten in das ML-Überwachungssystem übertragen. Und das ist ärgerlich.

Für jedes ML-Modell, das ich jemals bereitgestellt habe, schreibe ich am Ende komplexes SQL, das über viele Tabellen hinweg verknüpft. Möglicherweise muss ich sogar mehrere Datenbanken abfragen und die Ergebnisse dann mit Python zusammenfügen. Ich möchte nicht alle meine Daten an ein Drittanbieter-Software senden müssen; Mir wäre es lieber, wenn das Software zu meinen Daten kommt.

Ich lief a Umfrage Vor ein paar Jahren haben viele Leute ihre ML-Modelle entweder manuell überwacht oder eine SQL-Abfrage oder ein Skript automatisiert. Wenn das der Fall ist, warum sollte man dann ein SaaS-Unternehmen für die Überwachung beauftragen?

Sie könnten argumentieren, dass ein ML-Überwachungstool eine einheitliche Möglichkeit zur Überwachung von ML-Modellen bietet, sodass Sie nicht für jedes neue Modell, das Sie bereitstellen, SQL-Abfragen neu schreiben und das Rad neu erfinden müssen. Weißt du, viele Fashions, viele Probleme.

Ich glaube nicht, dass darin der Wert liegt, und ich denke nicht, dass Sie das tun sollten. Für jeden neuen Typ von Modell-„Anwendungsfall“, den Sie einsetzen, sollten Sie wahrscheinlich gründlich über die Metriken nachdenken, die für die Messung der Geschäftsauswirkungen des Modells wichtig sind, anstatt sich auf den Lorbeeren des bloßen F1-Scores auszuruhen.

Ich würde behaupten, dass der wahre Vorteil von ML-Überwachungstools darin besteht, dass sie eine fortschrittliche Infrastruktur bereitstellen, die es Ihnen ermöglicht, die Leistung in Echtzeit zu überwachen. Dies ist eine Voraussetzung für Modelle, die Echtzeitvorhersagen generieren und ein ausreichendes Risiko bergen, sodass Sie das Modell schneller als nach einem festen Zeitplan überwachen müssen. Für eine nahezu „Echtzeit“-Überwachung benötigen Sie ein System, das zwei spezifische Aufgaben mit geringer Latenz erledigt:

1. Deduplizieren und verknüpfen Sie Schlüssel mit hoher Kardinalität für Daten, die aus unterschiedlichen Quellen stammen und zu unterschiedlichen Zeitpunkten eintreffen.
2. Berechnen Sie aggregierte Statistiken über bestimmte Zeitfenster.

Lassen Sie mich konkreter werden. Stellen Sie sich vor, ich erstelle ein Conversion-Prognosemodell für mein SaaS-Unternehmen. Benutzer landen auf der Zielseite, geben mir ihre E-Mail-Adresse und einige kaufen dann ein Abonnement, andere nicht. Ich kann die E-Mail-Adresse eines Leads in Postgres speichern, ich prognostiziere, ob er konvertieren und ein Ereignis in meinem Eventing-System auslösen wird, und dann zeichne ich seine Conversion-Informationen in Postgres auf.

Wenn ich die Genauigkeit meines Conversion-Vorhersagemodells berechnen möchte, muss ich die Daten jedes Leads zwischen Postgres und dem Ort, an dem meine Ereignisse stattfinden, zusammenführen. Die Konvertierungsinformationen können viel später als die Lead- oder Vorhersageinformationen erfolgen. Anschließend muss ich diese Daten über einen bestimmten Zeitraum hinweg aggregieren, um die Modellgenauigkeit zu berechnen.

In SQL würde die nachfolgende 3-Stunden-Genauigkeit ungefähr so ​​aussehen

SELECT
  -- Depend Distinct leads since we are going to may hearth 
  -- duplicate prediction occasions.
  COUNT(DISTINCT 
    IFF(
        -- True Constructive
        (predictions.label = 1 AND conversions.lead_id IS NOT NULL)
        -- True Detrimental
        OR (predictions.label = 0 AND conversions.lead_id IS NULL)
        , leads.id
        , NULL
    )
  )::FLOAT / COUNT(DISTINCT leads.id) AS accuracy
FROM leads
-- Predictions might come from some occasion system, whereas 
-- leads + conversions could also be within the OLTP DB.
JOIN predictions ON predictions.lead_id = leads.id
LEFT JOIN conversions ON conversions.lead_id = leads.id
WHERE
  leads.created_at > NOW() - INTERVAL '3 hours'
  -- NOTE: we're ignoring the bias incurred by current leads 
  -- which possible haven't had time to transform since we're 
  -- assuming that they didn't convert. When the dearth of a 
  -- prediction label is a label, time performs an necessary function!

Ja, ich kann alle meine Daten in Snowflake verschieben und dazu eine Abfrage ausführen. Allerdings kann ich dies nicht für aktuelle Daten tun, deren Latenz so niedrig ist, dass es sich wie eine Echtzeitberechnung anfühlt. ML-Überwachungstools erledigen dies für Sie.

Wenn wir auf andere Bereiche zurückblicken, die ich zuvor in diesem Beitrag erwähnt habe, wie z. B. Characteristic-Shops und Metrikebenen, können wir erkennen, dass sie dieselben zwei Anforderungen haben wie ein ML-Überwachungssystem.

Stellen Sie sich vor, wir erstellen in unserem Characteristic Retailer eine Funktion für das Conversion-Vorhersagemodell, das „die nachlaufende 3-Stunden-Conversion-Fee für von Fb vermittelte Leads“ darstellt. Hierbei handelt es sich um eine aggregierte Statistik über ein Zeitfenster von 3 Stunden. Für Trainingsdaten in unserem Characteristic-Retailer müssen wir diesen Characteristic-Wert zum Zeitpunkt früherer Vorhersagen berechnen. Sie möchten verhindern, dass zukünftige Daten in die Vergangenheit gelangen. Dies ist bei der Berechnung der Conversion-Raten einfach, da Conversions einige Zeit nach dem Vorhersagezeitpunkt erfolgen. Für die Bereitstellung der Funktion in Echtzeit müssen wir die berechnen aktuell Wert dieser Funktion mit geringer Latenz.

Wie führen wir diese Berechnungen durch? Wir können für jeden Anwendungsfall (ML-Überwachung, Characteristic Retailer, Metrikebene usw.) separate Anbieter verwenden. Wir könnten auch versuchen, selbst ein allgemeines System aufzubauen, obwohl es im Second ehrlich gesagt nicht ganz einfach ist. Datenbanken der nächsten Era wie ClickHouse Und Druide sind Optionen. Ich freue mich besonders darüber Materialisieren. Es ist einfach wie Postgres, es lässt sich leicht in verschiedene Datenquellen integrieren, und sie unternehmen derzeit Schritte dorthin horizontal skalieren. Damit Sie nicht glauben, ich sei nur ein Spinner, hat Materialise kürzlich einen geschrieben Blogeintrag (und bereitgestellt Code) über einen Proof-of-Precept-Characteristic-Retailer, der auf Materialise basiert (dies beweist jedoch nicht, dass ich es bin). nicht eine Kurbel).

Um es klar zu sagen: Ich versuche nicht, ein „Erstellen Sie Ihre eigene Dropbox“. Alle diese Anbieter bieten sicherlich einen erheblichen Mehrwert. Materialise wird wahrscheinlich nicht in der Lage sein, die Latenzanforderungen einiger Groups zu erfüllen, es gibt komplizierte Probleme rund um ACLs und PII, intelligente Alarmierung ist schwierig, es gibt intelligente Dinge, die Sie zusätzlich zu diesen Systemen tun können, wie z. B. Modellerklärbarkeit usw… Mein Argument ist, dass es wahrscheinlich eine beträchtliche Anzahl von Unternehmen gibt, die damit auskommen Alles intestine mit dem Aufbau eines eigenen Programs auf einer leistungsstarken Datenbank. Nur ein kleiner Teil der Unternehmen muss diese Nischenprobleme lösen, und ein noch kleinerer Teil hat strengere Anforderungen, als eine Streaming-Datenbank lösen kann.

Wenn eine Streaming-Datenbank zum Substrat für den Aufbau von Dingen wie ML-Überwachung und Characteristic-Shops wird, wie sollten wir dann solche Instruments erstellen? Wenn Sie den Infrastrukturteil herausnehmen, der derzeit ein zentraler Bestandteil der Lösungen der Anbieter ist, was bleibt dann übrig? Ich vermute, dass größtenteils noch Software program übrig ist? Anbieter können (und werden) diese Software program bereitstellen, aber das verringert ihr Wertversprechen.

Sie können Ihren eigenen Code schreiben, um Ihr eigenes ML-Überwachungssystem zu verwalten. Ich denke, dieses Szenario scheint reif für ein Open-Supply-Framework zu sein. Ich würde gerne einen Meinungsrahmen zum Erstellen eines ML-Überwachungstools in SQL sehen. Sorgen Sie dafür, dass ich mich mit Greatest Practices ausstatte, und erlaube mir, einige Muster zu vermeiden. Ich denke, Sie können Geld verdienen, indem Sie eine verwaltete Lösung anbieten, wenn Sie es wirklich brauchen. Das tue ich nicht, additionally werde ich vielleicht versuchen, etwas Open-Supply-Code dort unterzubringen, wo mein Mund ist.

–

Anmerkungen des Autors:

• Ich sollte beachten, dass ich das noch nie getan habe Genau genommen gebraucht dbt. Als ein ehemaliger PhysikerIch bin jedoch zuversichtlich, dass ich diesen Bereich außerhalb meines Fachwissens intestine genug verstehe, um dazu Stellung zu nehmen.
• Apropos unbegründetes Vertrauen: Sie werden feststellen, dass ich mich nicht wirklich mit den Metrikebenen befasst habe. Ich weiß nicht viel über sie, aber es scheint, als ob sie demselben Paradigma entsprechen wie Characteristic Shops und ML-Überwachungstools? Außerdem ist die Welt der Analysetechnik viel größer als die ML-Welt, sodass die Erwähnung von Metrikebenen den oberen Rand meines Weblog-Trichters vergrößert.