Bild vom Herausgeber

# Einführung

Synthetische Daten werden, wie der Title schon sagt, künstlich erstellt und nicht aus realen Quellen gesammelt. Es sieht aus wie echte Daten, vermeidet jedoch Datenschutzprobleme und hohe Kosten für die Datenerfassung. Dies ermöglicht Ihnen das einfache Testen von Software program und Modellen während der Durchführung von Experimenten, um die Leistung nach der Veröffentlichung zu simulieren.

Während Bibliotheken mögen Schwindler, SDVUnd SynthCity Es gibt zwar viele Sprachen – und selbst große Sprachmodelle (LLMs) werden häufig zur Generierung synthetischer Daten verwendet – mein Schwerpunkt in diesem Artikel liegt darauf, mich nicht auf diese externen Bibliotheken oder KI-Instruments zu verlassen. Stattdessen erfahren Sie, wie Sie die gleichen Ergebnisse erzielen, indem Sie Ihre eigenen Texte schreiben Python Skripte. Dies ermöglicht ein besseres Verständnis dafür, wie ein Datensatz geformt wird und wie Verzerrungen oder Fehler entstehen. Wir beginnen mit einfachen Spielzeugskripten, um die verfügbaren Optionen zu verstehen. Sobald Sie diese Grundlagen verstanden haben, können Sie problemlos zu Spezialbibliotheken wechseln.

# 1. Generieren einfacher Zufallsdaten

Der einfachste Ausgangspunkt ist ein Tisch. Wenn Sie beispielsweise einen gefälschten Kundendatensatz für eine interne Demo benötigen, können Sie ein Skript ausführen, um Daten mit durch Kommas getrennten Werten (CSV) zu generieren:

import csv
import random
from datetime import datetime, timedelta

random.seed(42)

nations = ("Canada", "UK", "UAE", "Germany", "USA")
plans = ("Free", "Primary", "Professional", "Enterprise")

def random_signup_date():
    begin = datetime(2024, 1, 1)
    finish = datetime(2026, 1, 1)
    delta_days = (finish - begin).days
    return (begin + timedelta(days=random.randint(0, delta_days))).date().isoformat()

rows = ()
for i in vary(1, 1001):
    age = random.randint(18, 70)
    nation = random.alternative(nations)
    plan = random.alternative(plans)
    monthly_spend = spherical(random.uniform(0, 500), 2)

    rows.append({
        "customer_id": f"CUST{i:05d}",
        "age": age,
        "nation": nation,
        "plan": plan,
        "monthly_spend": monthly_spend,
        "signup_date": random_signup_date()
    })

with open("clients.csv", "w", newline="", encoding="utf-8") as f:
    author = csv.DictWriter(f, fieldnames=rows(0).keys())
    author.writeheader()
    author.writerows(rows)

print("Saved clients.csv")

Ausgabe:

Dieses Skript ist unkompliziert: Sie definieren Felder, wählen Bereiche aus und schreiben Zeilen. Der random Das Modul unterstützt die Generierung von Ganzzahlen, Gleitkommawerten, Zufallsauswahl und Stichproben. Der csv Das Modul dient zum Lesen und Schreiben zeilenbasierter Tabellendaten. Diese Artwork von Datensatz eignet sich für:

• Frontend-Demos
• Dashboard-Checks
• API-Entwicklung
• Erlernen der strukturierten Abfragesprache (SQL)
• Unit-Testing von Eingabepipelines

Dieser Ansatz hat jedoch eine wesentliche Schwäche: Alles ist völlig zufällig. Dies führt oft zu Daten, die flach oder unnatürlich aussehen. Unternehmenskunden geben möglicherweise nur 2 Greenback aus, während „kostenlose“ Benutzer möglicherweise 400 ausgeben. Ältere Benutzer verhalten sich genauso wie jüngere, da keine zugrunde liegende Struktur vorhanden ist.

In realen Szenarien verhalten sich Daten selten so. Anstatt Werte eigenständig zu generieren, können wir Beziehungen und Regeln einführen. Dadurch fühlt sich der Datensatz realistischer an und bleibt gleichzeitig vollständig synthetisch. Zum Beispiel:

• Unternehmenskunden sollten quick nie keine Ausgaben tätigen
• Die Ausgabenspanne sollte vom ausgewählten Plan abhängen
• Ältere Nutzer geben im Durchschnitt möglicherweise etwas mehr aus
• Bestimmte Pläne sollten häufiger vorkommen als andere

Fügen wir dem Skript diese Steuerelemente hinzu:

import csv
import random

random.seed(42)

plans = ("Free", "Primary", "Professional", "Enterprise")

def choose_plan():
    roll = random.random()
    if roll < 0.45:
        return "Free"
    if roll < 0.75:
        return "Primary"
    if roll < 0.93:
        return "Professional"
    return "Enterprise"

def generate_spend(age, plan):
    if plan == "Free":
        base = random.uniform(0, 10)
    elif plan == "Primary":
        base = random.uniform(10, 60)
    elif plan == "Professional":
        base = random.uniform(50, 180)
    else:
        base = random.uniform(150, 500)

    if age >= 40:
        base *= 1.15

    return spherical(base, 2)

rows = ()
for i in vary(1, 1001):
    age = random.randint(18, 70)
    plan = choose_plan()
    spend = generate_spend(age, plan)

    rows.append({
        "customer_id": f"CUST{i:05d}",
        "age": age,
        "plan": plan,
        "monthly_spend": spend
    })

with open("controlled_customers.csv", "w", newline="", encoding="utf-8") as f:
    author = csv.DictWriter(f, fieldnames=rows(0).keys())
    author.writeheader()
    author.writerows(rows)

print("Saved controlled_customers.csv")

Ausgabe:

Jetzt behält der Datensatz aussagekräftige Muster bei. Anstatt zufälliges Rauschen zu erzeugen, simulieren Sie Verhaltensweisen. Zu wirksamen Kontrollen können gehören:

• Gewichtete Kategorieauswahl
• Realistische Mindest- und Höchstreichweiten
• Bedingte Logik zwischen Spalten
• Absichtlich hinzugefügte seltene Randfälle
• Fehlende Werte werden zu geringen Raten eingefügt
• Korrelierte Merkmale statt unabhängiger

# 2. Simulationsprozesse für synthetische Daten

Die simulationsbasierte Generierung ist eine der besten Möglichkeiten, realistische synthetische Datensätze zu erstellen. Anstatt Spalten direkt zu füllen, simulieren Sie einen Prozess. Stellen Sie sich zum Beispiel ein kleines Lager vor, in dem Bestellungen eingehen, der Lagerbestand abnimmt und niedrige Lagerbestände zu Lieferrückständen führen.

import csv
import random
from datetime import datetime, timedelta

random.seed(42)

stock = {
    "A": 120,
    "B": 80,
    "C": 50
}

rows = ()
current_time = datetime(2026, 1, 1)

for day in vary(30):
    for product in stock:
        daily_orders = random.randint(0, 12)

        for _ in vary(daily_orders):
            qty = random.randint(1, 5)
            earlier than = stock(product)

            if stock(product) >= qty:
                stock(product) -= qty
                standing = "fulfilled"
            else:
                standing = "backorder"

            rows.append({
                "time": current_time.isoformat(),
                "product": product,
                "qty": qty,
                "stock_before": earlier than,
                "stock_after": stock(product),
                "standing": standing
            })

        if stock(product) < 20:
            restock = random.randint(30, 80)
            stock(product) += restock
            rows.append({
                "time": current_time.isoformat(),
                "product": product,
                "qty": restock,
                "stock_before": stock(product) - restock,
                "stock_after": stock(product),
                "standing": "restock"
            })

    current_time += timedelta(days=1)

with open("warehouse_sim.csv", "w", newline="", encoding="utf-8") as f:
    author = csv.DictWriter(f, fieldnames=rows(0).keys())
    author.writeheader()
    author.writerows(rows)

print("Saved warehouse_sim.csv")

Ausgabe:

Diese Methode ist hervorragend, da die Daten ein Nebenprodukt des Systemverhaltens sind, das in der Regel realistischere Beziehungen liefert als die direkte Generierung zufälliger Zeilen. Weitere Simulationsideen sind:

• Warteschlangen im Callcenter
• Fahrtanfragen und Fahrerzuordnung
• Kreditanträge und Genehmigungen
• Abonnements und Abwanderung
• Ablauf der Patiententermine
• Web site-Visitors und Conversion

# 3. Generieren synthetischer Zeitreihendaten

Synthetische Daten sind nicht nur auf statische Tabellen beschränkt. Viele Systeme erzeugen im Laufe der Zeit Sequenzen, wie z. B. App-Verkehr, Sensorwerte, Bestellungen professional Stunde oder Server-Reaktionszeiten. Hier ist ein einfacher Zeitreihengenerator für stündliche Web site-Besuche mit Wochentagsmustern.

import csv
import random
from datetime import datetime, timedelta

random.seed(42)

begin = datetime(2026, 1, 1, 0, 0, 0)
hours = 24 * 30
rows = ()

for i in vary(hours):
    ts = begin + timedelta(hours=i)
    weekday = ts.weekday()

    base = 120
    if weekday >= 5:
        base = 80

    hour = ts.hour
    if 8 <= hour <= 11:
        base += 60
    elif 18 <= hour <= 21:
        base += 40
    elif 0 <= hour <= 5:
        base -= 30

    visits = max(0, int(random.gauss(base, 15)))

    rows.append({
        "timestamp": ts.isoformat(),
        "visits": visits
    })

with open("traffic_timeseries.csv", "w", newline="", encoding="utf-8") as f:
    author = csv.DictWriter(f, fieldnames=("timestamp", "visits"))
    author.writeheader()
    author.writerows(rows)

print("Saved traffic_timeseries.csv")

Ausgabe:

Dieser Ansatz funktioniert intestine, weil er Tendencies, Rauschen und zyklisches Verhalten berücksichtigt und gleichzeitig leicht zu erklären und zu debuggen ist.

# 4. Erstellen von Ereignisprotokollen

Ereignisprotokolle sind ein weiterer nützlicher Skriptstil, der sich very best für Produktanalysen und Workflow-Checks eignet. Anstelle einer Zeile professional Kunde erstellen Sie eine Zeile professional Aktion.

import csv
import random
from datetime import datetime, timedelta

random.seed(42)

occasions = ("signup", "login", "view_page", "add_to_cart", "buy", "logout")

rows = ()
begin = datetime(2026, 1, 1)

for user_id in vary(1, 201):
    event_count = random.randint(5, 30)
    current_time = begin + timedelta(days=random.randint(0, 10))

    for _ in vary(event_count):
        occasion = random.alternative(occasions)

        if occasion == "buy" and random.random() < 0.6:
            worth = spherical(random.uniform(10, 300), 2)
        else:
            worth = 0.0

        rows.append({
            "user_id": f"USER{user_id:04d}",
            "event_time": current_time.isoformat(),
            "event_name": occasion,
            "event_value": worth
        })

        current_time += timedelta(minutes=random.randint(1, 180))

with open("event_log.csv", "w", newline="", encoding="utf-8") as f:
    author = csv.DictWriter(f, fieldnames=rows(0).keys())
    author.writeheader()
    author.writerows(rows)

print("Saved event_log.csv")

Ausgabe:

Dieses Format ist nützlich für:

• Trichteranalyse
• Analyse-Pipeline-Checks
• Enterprise Intelligence (BI)-Dashboards
• Sitzungsrekonstruktion
• Experimente zur Anomalieerkennung

Eine nützliche Technik besteht darin, Ereignisse von früheren Aktionen abhängig zu machen. Beispielsweise sollte ein Kauf typischerweise auf eine Anmeldung oder einen Seitenaufruf folgen, um das synthetische Protokoll glaubwürdiger zu machen.

# 5. Generieren synthetischer Textdaten mit Vorlagen

Synthetische Daten sind auch für die Verarbeitung natürlicher Sprache (NLP) wertvoll. Sie benötigen nicht immer einen LLM, um zu beginnen. Mithilfe von Vorlagen und kontrollierter Variation können Sie effektive Textdatensätze erstellen. Sie können beispielsweise Help-Ticket-Schulungsdaten erstellen:

import json
import random

random.seed(42)

points = (
    ("billing", "I used to be charged twice for my subscription"),
    ("login", "I can't log into my account"),
    ("delivery", "My order has not arrived but"),
    ("refund", "I wish to request a refund"),
)

tones = ("Please assist", "That is pressing", "Are you able to examine this", "I would like assist")

data = ()

for _ in vary(100):
    label, message = random.alternative(points)
    tone = random.alternative(tones)

    textual content = f"{tone}. {message}."
    data.append({
        "textual content": textual content,
        "label": label
    })

with open("support_tickets.jsonl", "w", encoding="utf-8") as f:
    for merchandise in data:
        f.write(json.dumps(merchandise) + "n")

print("Saved support_tickets.jsonl")

Ausgabe:

Dieser Ansatz eignet sich intestine für:

• Demos zur Textklassifizierung
• Absichtserkennung
• Chatbot-Checks
• Prompte Bewertung

# Letzte Gedanken

Synthetische Datenskripte sind leistungsstarke Werkzeuge, können jedoch falsch implementiert werden. Vermeiden Sie unbedingt diese häufigen Fehler:

• Alle Werte einheitlich zufällig machen
• Abhängigkeiten zwischen Feldern vergessen
• Generieren von Werten, die gegen die Geschäftslogik verstoßen
• Es wird davon ausgegangen, dass synthetische Daten standardmäßig von Natur aus sicher sind
• Erstellen von Daten, die zu „sauber“ sind, um zum Testen realer Randfälle nützlich zu sein
• Verwenden Sie dasselbe Muster so häufig, dass der Datensatz vorhersehbar und unrealistisch wird

Der Datenschutz bleibt der wichtigste Aspekt. Obwohl synthetische Daten die Gefährdung durch reale Aufzeichnungen verringern, sind sie nicht risikofrei. Wenn ein Generator zu eng mit den ursprünglichen sensiblen Daten verknüpft ist, kann es dennoch zu Datenlecks kommen. Aus diesem Grund sind Methoden zur Wahrung der Privatsphäre, wie z. B. differenziell personal synthetische Daten, unerlässlich.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Technology Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Range in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

James J. Collins, Termeer-Professor für Medizintechnik und Wissenschaft am MIT und Co-Leiter der Fakultät der Abdul Latif Jameel Clinic for Machine Studying in Well being, startet ein multidisziplinäres Forschungsprojekt, das synthetische Biologie und generative künstliche Intelligenz auf die wachsende globale Bedrohung durch antimikrobielle Resistenzen (AMR) anwendet.

Das Forschungsprojekt wird von Jameel Analysis gefördert, einem Teil des Netzwerks Abdul Latif Jameel Worldwide. Das erste dreijährige, 3 Millionen US-Greenback teure Forschungsprojekt im Division of Organic Engineering und Institute of Medical Engineering and Science des MIT konzentriert sich auf die Entwicklung und Validierung programmierbarer Antibiotika gegen wichtige Krankheitserreger.

AMR – verursacht durch den übermäßigen Gebrauch und Missbrauch von Antibiotika – hat die Zunahme arzneimittelresistenter Infektionen beschleunigt, während sich die Entwicklung neuer antibakterieller Mittel verlangsamt hat. Die Auswirkungen sind weltweit spürbar, insbesondere in Ländern mit niedrigem und mittlerem Einkommen, wo eine begrenzte diagnostische Infrastruktur zu Verzögerungen oder ineffektiver Behandlung führt.

Das Projekt konzentriert sich auf die Entwicklung einer neuen Technology zielgerichteter antibakterieller Mittel mithilfe von KI, um kleine Proteine ​​zu entwerfen, die bestimmte bakterielle Funktionen deaktivieren. Diese Designermoleküle würden von manipulierten Mikroben produziert und abgegeben, was einen präziseren und anpassungsfähigeren Ansatz als herkömmliche Antibiotika bieten würde.

„Dieses Projekt spiegelt meine Überzeugung wider, dass die Bekämpfung antimikrobieller Resistenzen sowohl mutige wissenschaftliche Ideen als auch einen Weg zu realen Auswirkungen erfordert“, sagt Collins. „Jameel Analysis möchte dieser Krise begegnen, indem es revolutionary, übersetzbare Forschung am MIT unterstützt.“

Mohammed Abdul Latif Jameel ’78, Vorsitzender von Abdul Latif Jameel, sagt: „Antimikrobielle Resistenz ist eine der dringendsten Herausforderungen, vor denen wir heute stehen, und ihre Bewältigung erfordert ehrgeizige Wissenschaft und nachhaltige Zusammenarbeit. Wir freuen uns, diese neue Forschung zu unterstützen und dabei auf unserer langjährigen Beziehung zum MIT und unserem Engagement für die Förderung der Forschung auf der ganzen Welt aufzubauen, um die globale Gesundheit zu stärken und zu einer widerstandsfähigeren Zukunft beizutragen.“

Wie halten Sie synthetische Daten für moderne KI-Modelle aktuell und vielfältig, ohne dass eine einzige Orchestrierungspipeline zum Engpass wird? Meta-KI-Forscher stellen vor Matrixein dezentrales Framework, in dem sowohl Kontrolle als auch Datenfluss in Nachrichten serialisiert werden, die sich durch verteilte Warteschlangen bewegen. Da das LLM-Coaching zunehmend auf synthetischen Gesprächen, Instrument-Traces und Argumentationsketten basiert, sind die meisten bestehenden Systeme immer noch auf einen zentralen Controller oder domänenspezifische Setups angewiesen, was GPU-Kapazität verschwendet, den Koordinationsaufwand erhöht und die Datenvielfalt einschränkt. Matrix nutzt stattdessen Peer-to-Peer-Agentenplanung auf einem Ray-Cluster und liefert einen 2- bis 15-mal höheren Token-Durchsatz bei realen Arbeitslasten bei gleichbleibender Qualität.

Von zentralisierten Controllern bis hin zu Peer-to-Peer-Agenten

Herkömmliche Agenten-Frameworks behalten den Workflow-Standing und die Kontrolllogik in einem zentralen Orchestrator. Jeder Agentenaufruf, Toolaufruf und jeder Wiederholungsversuch läuft über diesen Controller. Über dieses Modell lässt sich leicht nachdenken, es lässt sich jedoch nicht intestine skalieren, wenn Sie Zehntausende gleichzeitiger synthetischer Dialoge oder Werkzeugtrajektorien benötigen.

Matrix verfolgt einen anderen Ansatz. Es serialisiert sowohl den Kontrollfluss als auch den Datenfluss in ein Nachrichtenobjekt, das als Orchestrator bezeichnet wird. Der Orchestrator speichert den Aufgabenstatus, einschließlich Konversationsverlauf, Zwischenergebnisse und Routing-Logik. Zustandslose Agenten, die als Ray-Akteure implementiert sind, ziehen einen Orchestrator aus einer verteilten Warteschlange, wenden ihre rollenspezifische Logik an, aktualisieren den Standing und senden ihn dann direkt an den nächsten vom Orchestrator ausgewählten Agenten. Es gibt keinen zentralen Scheduler in der inneren Schleife. Jede Aufgabe schreitet unabhängig auf Zeilenebene voran, anstatt wie in Spark oder Ray Knowledge auf Barrieren auf Batch-Ebene zu warten.

Dieses Design reduziert die Leerlaufzeit, wenn verschiedene Flugbahnen sehr unterschiedliche Längen haben. Dadurch wird die Fehlerbehandlung auch lokal für eine Aufgabe ermöglicht. Wenn ein Orchestrator ausfällt, wird ein Batch nicht angehalten.

Systemstapel und Dienste

Matrix läuft auf einem Ray-Cluster, der normalerweise auf SLURM gestartet wird. Ray stellt verteilte Akteure und Warteschlangen bereit. Ray Serve stellt LLM-Endpunkte hinter vLLM und SGLang bereit und kann auch über Proxyserver an externe APIs wie Azure OpenAI oder Gemini weiterleiten.

Toolaufrufe und andere komplexe Dienste werden in Apptainer-Containern ausgeführt. Dadurch wird die Agentenlaufzeit von Sandboxes zur Codeausführung, HTTP-Instruments oder benutzerdefinierten Evaluatoren isoliert. Hydra verwaltet die Konfiguration für Agentenrollen, Orchestratortypen, Ressourcenzuweisungen und I- oder O-Schemata. Grafana lässt sich in Ray-Metriken integrieren, um die Warteschlangenlänge, ausstehende Aufgaben, den Token-Durchsatz und die GPU-Auslastung in Echtzeit zu verfolgen.

Matrix führt auch das Offloading von Nachrichten ein. Wenn der Konversationsverlauf einen Größenschwellenwert überschreitet, werden große Nutzlasten im Objektspeicher von Ray gespeichert und im Orchestrator werden nur Objektkennungen gespeichert. Dadurch wird die Clusterbandbreite reduziert, während die Agenten dennoch bei Bedarf Eingabeaufforderungen rekonstruieren können.

Fallstudie 1: Kollaborativer Denker

Collaborative Reasoner, auch bekannt als Coral, wertet den Multi-Agenten-Dialog aus, bei dem zwei LLM-Agenten eine Frage diskutieren, bei Bedarf anderer Meinung sind und eine endgültige Antwort finden. In der ursprünglichen Implementierung verwaltet ein zentraler Controller Tausende von Trajektorien für die Selbstkollaboration. Matrix implementiert dasselbe Protokoll mithilfe von Peer-to-Peer-Orchestratoren und zustandslosen Agenten erneut.

Auf 31 A100-Knoten konfiguriert Matrix mit LLaMA 3.1 8B Instruct die Parallelität als 248 GPUs mit 50 Abfragen professional GPU, additionally 12.400 gleichzeitige Gespräche. Die Coral-Basislinie wird mit der optimalen Parallelität von 5.000 ausgeführt. Unter identischer {Hardware} generiert Matrix etwa 2 Milliarden Token in etwa 4 Stunden, während Coral etwa 0,62 Milliarden Token in etwa 9 Stunden produziert. Das ist eine 6,8-fache Steigerung des Token-Durchsatzes bei nahezu identischer Übereinstimmungskorrektheit um 0,47.

Fallstudie 2: NaturalReasoning Internet-Datenkuration

NaturalReasoning erstellt einen Argumentationsdatensatz aus großen Webkorpora. Matrix modelliert die Pipeline mit drei Agenten. Ein Filteragent verwendet ein kleineres Klassifikationsmodell, um englische Passagen auszuwählen, die wahrscheinlich Begründungen enthalten. Ein Rating-Agent verwendet ein größeres, auf Anweisungen abgestimmtes Modell, um Qualitätsbewertungen zuzuweisen. Ein Frageagent extrahiert Fragen, Antworten und Argumentationsketten.

Von 25 Millionen DCLM-Webdokumenten überleben nur etwa 5,45 Prozent alle Filter, was etwa 1,19 Millionen Frage-Antwort-Paare mit zugehörigen Argumentationsschritten ergibt. Matrix vergleicht dann verschiedene Parallelitätsstrategien für eine Teilmenge von 500.000 Dokumenten. Die beste Konfiguration kombiniert Datenparallelität und Aufgabenparallelität mit 20 Datenpartitionen und 700 gleichzeitigen Aufgaben professional Partition. Dadurch wird ein etwa 1,61-mal höherer Durchsatz erreicht als mit einer Einstellung, die nur die Aufgabengleichzeitigkeit skaliert.

Über den gesamten Lauf von 25 Millionen Dokumenten erreicht Matrix 5.853 Token professional Sekunde, verglichen mit 2.778 Token professional Sekunde bei einer Ray Knowledge-Batch-Basislinie mit 14.000 gleichzeitigen Aufgaben. Das entspricht einem 2,1-fachen Durchsatzgewinn, der ausschließlich auf der Peer-to-Peer-Zeilenebenenplanung und nicht auf verschiedenen Modellen beruht.

Fallstudie 3, Verwendungsverläufe des Tau2-Bench-Werkzeugs

Tau2-Bench bewertet Konversationsagenten, die in einer Kundensupportumgebung Instruments und eine Datenbank verwenden müssen. Matrix repräsentiert diese Umgebung mit vier Agenten, einem Benutzersimulator, einem Assistenten, einem Instrument-Executor und einem Belohnungsrechner sowie einer Senke, die Metriken sammelt. Instrument-APIs und Belohnungslogik werden aus der Tau2-Referenzimplementierung wiederverwendet und in Container verpackt.

Auf einem Cluster mit 13 H100-Knoten und Dutzenden LLM-Replikaten generiert Matrix 22.800 Trajektorien in etwa 1,25 Stunden. Das entspricht etwa 41.000 Token professional Sekunde. Die grundlegende Tau2-Agent-Implementierung auf einem einzelnen Knoten, konfiguriert mit 500 gleichzeitigen Threads, erreicht etwa 2.654 Token professional Sekunde und 1.519 Trajektorien. Die durchschnittliche Belohnung bleibt in beiden Systemen nahezu unverändert, was bestätigt, dass die Beschleunigung nicht auf Abstriche in der Umgebung zurückzuführen ist. Insgesamt liefert Matrix bei diesem Benchmark einen etwa 15,4-mal höheren Token-Durchsatz.

Wichtige Erkenntnisse

• Matrix ersetzt zentralisierte Orchestratoren durch eine nachrichtengesteuerte Peer-to-Peer-Agentenarchitektur, die jede Aufgabe als unabhängige Zustandsmaschine behandelt, die sich über zustandslose Agenten bewegt.
• Das Framework basiert vollständig auf einem Open-Supply-Stack, SLURM, Ray, vLLM, SGLang und Apptainer, und lässt sich auf Zehntausende gleichzeitiger Multi-Agent-Workflows für die Generierung synthetischer Daten, Benchmarking und Datenverarbeitung skalieren.
• In drei Fallstudien, Collaborative Reasoner, NaturalReasoning und Tau2-Bench, liefert Matrix einen etwa 2- bis 15,4-mal höheren Token-Durchsatz als spezialisierte Baselines unter identischer {Hardware} und behält dabei vergleichbare Ausgabequalität und Belohnungen bei.
• Matrix verlagert große Konversationsverläufe in den Objektspeicher von Ray und speichert nur leichte Referenzen in Nachrichten, was die Spitzennetzwerkbandbreite reduziert und die LLM-Bereitstellung mit hohem Durchsatz mit gRPC-basierten Modell-Backends unterstützt.

Redaktionelle Anmerkungen

Matrix ist ein pragmatischer Systembeitrag, der die Generierung synthetischer Daten mit mehreren Agenten von maßgeschneiderten Skripten zu einer betriebsbereiten Laufzeit führt. Durch die Codierung des Kontrollflusses und des Datenflusses in Orchestratoren und die anschließende Übertragung der Ausführung an zustandslose P2P-Agenten auf Ray werden Planung, LLM-Inferenz und Instruments sauber getrennt. Die Fallstudien zu Collaborative Reasoner, NaturalReasoning und Tau2-Bench zeigen, dass sorgfältiges Systemdesign und nicht neue Modellarchitekturen heute der Haupthebel für die Skalierung synthetischer Datenpipelines sind.

Schauen Sie sich das an Papier Und Repo. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Michal Sutter ist ein Knowledge-Science-Experte mit einem Grasp of Science in Knowledge Science von der Universität Padua. Mit einer soliden Grundlage in statistischer Analyse, maschinellem Lernen und Datentechnik ist Michal hervorragend darin, komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

Folgen Sie MARKTECHPOST: Fügen Sie uns als bevorzugte Quelle bei Google hinzu.

Synthetische Daten werden von Algorithmen künstlich generiert, um die statistischen Eigenschaften der tatsächlichen Daten nachzuahmen, ohne Informationen aus realen Quellen zu enthalten. Während konkrete Zahlen schwer zu bestimmen sind, legen einige Schätzungen nahe, dass mehr als 60 Prozent der für AI -Anwendungen verwendeten Daten im Jahr 2024 synthetisch waren und diese Zahl in der gesamten Branche wachsen wird.

Da synthetische Daten keine realen Informationen enthalten, versprechen sie, die Privatsphäre zu schützen, gleichzeitig die Kosten zu senken und die Geschwindigkeit zu erhöhen, mit der neue KI-Modelle entwickelt werden. Die Verwendung von synthetischen Daten erfordert jedoch eine sorgfältige Bewertung, Planung und Überprüfungen, um den Leistungsverlust zu verhindern, wenn KI -Modelle bereitgestellt werden.

Um einige Vor- und Nachteile der Verwendung synthetischer Daten auszupacken, MIT Nachrichten sprach mit Kalyan Veeramachaneni, einem Hauptwissenschaftler im Labor für Informations- und Entscheidungssysteme und Mitbegründer von DataceBO deren Open-Core-Plattform, das synthetische DatengewölbeAnwesend hilft Benutzer generieren und testen synthetische Daten.

Q: Wie werden synthetische Daten erstellt?

A: Synthetische Daten werden algorithmisch erzeugt, stammen jedoch nicht aus einer realen State of affairs. Ihr Wert liegt in ihrer statistischen Ähnlichkeit mit realen Daten. Wenn wir beispielsweise über Sprache sprechen, sehen synthetische Daten sehr aus, als hätte ein Mensch diese Sätze geschrieben. Während Forscher seit langem synthetische Daten erstellt haben, ist das, was in den letzten Jahren geändert wurde, unsere Fähigkeit, generative Modelle aus Daten zu erstellen und realistische synthetische Daten zu erstellen. Wir können ein wenig echte Daten aufnehmen und ein generatives Modell aus diesem erstellen, mit dem wir so viele synthetische Daten erstellen können, wie wir es möchten. Außerdem erstellt das Modell synthetische Daten auf eine Weise, die alle zugrunde liegenden Regeln und unendlichen Muster erfasst, die in den realen Daten vorhanden sind.

Es gibt im Wesentlichen vier verschiedene Datenmodalitäten: Sprache, Video oder Bilder, Audio und tabellarische Daten. Alle vier haben leicht unterschiedliche Möglichkeiten, um die generativen Modelle aufzubauen, um synthetische Daten zu erstellen. Ein LLM ist beispielsweise nichts anderes als ein generatives Modell, aus dem Sie synthetische Daten probieren, wenn Sie ihm eine Frage stellen.

Im Web sind viele Sprach- und Bilddaten öffentlich verfügbar. Tabuläre Daten, die die Daten sind, die bei der Interaktion mit physischen und sozialen Systemen gesammelt werden, werden häufig hinter Enterprise -Firewalls gesperrt. Ein Großteil davon ist sensibel oder privat, z. B. von Kundentransaktionen, die von einer Financial institution gespeichert sind. Für diese Artwork von Daten bieten Plattformen wie das synthetische Datengewölbe Software program, mit der generative Modelle erstellt werden können. Diese Modelle erstellen dann synthetische Daten, die die Privatsphäre des Kunden bewahren und weiter ausgetauscht werden können.

Eine leistungsstarke Sache an diesem generativen Modellierungsansatz zur Synthesedaten ist, dass Unternehmen jetzt ein maßgeschneidertes lokales Modell für ihre eigenen Daten erstellen können. Generative KI automatisiert, was früher ein manueller Prozess warfare.

Q: Was sind einige Vorteile bei der Verwendung von synthetischen Daten und für welche Anwendungsfälle und Anwendungen sind sie besonders intestine geeignet?

A: Eine grundlegende Anwendung, die in den letzten zehn Jahren enorm gewachsen ist, ist die Verwendung von synthetischen Daten, um Softwareanwendungen zu testen. Hinter vielen Softwareanwendungen steckt datengesteuerte Logik, daher benötigen Sie Daten, um diese Software program und ihre Funktionalität zu testen. In der Vergangenheit haben die Menschen auf manuell generierende Daten zurückgegriffen, aber jetzt können wir generative Modelle verwenden, um so viele Daten zu erstellen, wie wir benötigen.

Benutzer können auch bestimmte Daten für Anwendungstests erstellen. Sagen Sie, ich arbeite für ein E-Commerce-Unternehmen. Ich kann synthetische Daten generieren, die echte Kunden nachahmt, die in Ohio leben und Transaktionen im Zusammenhang mit einem bestimmten Produkt im Februar oder März durchgeführt haben.

Da synthetische Daten nicht aus realen Situationen stammen, sind sie auch Privatsphäre, die erbewahren. Eines der größten Probleme bei der Softwaretests warfare es, auf smart reale Daten für das Testen von Software program in Nichtproduktionsumgebungen zugreifen zu können, da Datenschutzbedenken. Ein weiterer unmittelbarer Nutzen ist bei Leistungstests. Sie können eine Milliarde Transaktionen aus einem generativen Modell erstellen und testen, wie schnell Ihr System sie verarbeiten kann.

Eine andere Anwendung, bei der synthetische Daten vielversprechend sind, ist die Schulung von maschinellen Lernmodellen. Manchmal möchten wir, dass ein KI -Modell uns hilft, ein weniger häufiges Ereignis vorherzusagen. Eine Financial institution möchte möglicherweise ein KI -Modell verwenden, um betrügerische Transaktionen vorherzusagen, aber es gibt möglicherweise zu wenige echte Beispiele, um ein Modell zu trainieren, das Betrug genau identifizieren kann. Synthetische Daten liefern Datenvergrößerung – zusätzliche Datenbeispiele, die den realen Daten ähneln. Diese können die Genauigkeit von KI -Modellen erheblich verbessern.

Manchmal haben Benutzer keine Zeit oder die finanziellen Ressourcen, um alle Daten zu sammeln. Zum Beispiel muss das Sammeln von Daten über Kundenabsichten erforderlich sein, um viele Umfragen durchzuführen. Wenn Sie nur begrenzte Daten haben und dann versuchen, ein Modell zu trainieren, wird es nicht intestine funktioniert. Sie können erweitern, indem Sie synthetische Daten hinzufügen, um diese Modelle besser zu trainieren.

Q. Was sind einige der Risiken oder potenziellen Fallstricke bei der Verwendung von synthetischen Daten, und gibt es Schritte, die Benutzer unternehmen können, um diese Probleme zu verhindern oder zu mildern?

A. Eine der größten Fragen, die Menschen oft im Kopf haben, ist, wenn die Daten synthetisch erstellt werden, warum sollte ich ihnen vertrauen? Wenn Sie feststellen, ob Sie den Daten häufig vertrauen können, bewerten Sie das Gesamtsystem, in dem Sie sie verwenden.

Es gibt viele Aspekte von synthetischen Daten, die wir seit langem bewerten konnten. Zum Beispiel gibt es vorhandene Methoden, um zu messen, wie eng synthetischer Daten an realen Daten sind, und wir können ihre Qualität messen und ob sie die Privatsphäre bewahren. Es gibt jedoch andere wichtige Überlegungen, wenn Sie diese synthetischen Daten verwenden, um ein maschinelles Lernmodell für einen neuen Anwendungsfall zu trainieren. Woher wissen Sie, dass die Daten zu Modellen führen, die immer noch gültige Schlussfolgerungen ziehen?

Es entstehen neue Wirksamkeitsmetriken, und der Schwerpunkt liegt nun auf die Wirksamkeit für eine bestimmte Aufgabe. Sie müssen sich wirklich in Ihren Workflow eintauchen, um sicherzustellen, dass die synthetischen Daten, die Sie dem System hinzufügen, weiterhin gültige Schlussfolgerungen ziehen können. Das muss sorgfältig auf Anwendung von Anwendungsbasis durchgeführt werden.

Die Verzerrung kann auch ein Downside sein. Da es aus einer kleinen Menge realer Daten erstellt wird, kann dieselbe Verzerrung, die in den realen Daten vorhanden ist, in die synthetischen Daten übertragen werden. Genau wie bei echten Daten müssten Sie absichtlich sicherstellen, dass die Verzerrung durch verschiedene Stichprobentechniken entfernt wird, wodurch ausgewogene Datensätze erstellt werden können. Es erfordert einige sorgfältige Planung, aber Sie können die Datenerzeugung kalibrieren, um die Verbreitung von Verzerrungen zu verhindern.

Um beim Bewertungsprozess zu helfen, hat unsere Gruppe die erstellt Bibliothek für synthetische Datenmetriken. Wir befürchteten, dass Menschen synthetische Daten in ihrer Umgebung verwenden würden und dies in der realen Welt unterschiedliche Schlussfolgerungen ziehen würde. Wir haben eine Metriken und eine Evaluierungsbibliothek erstellt, um Prüfungen zu gewährleisten. Die Neighborhood für maschinelles Lernen warfare mit vielen Herausforderungen konfrontiert, um sicherzustellen, dass Modelle neue Situationen verallgemeinern können. Die Verwendung synthetischer Daten fügt diesem Downside eine völlig neue Dimension hinzu.

Ich gehe davon aus, dass die alten Systeme der Arbeit mit Daten, ob Softwareanwendungen erstellt, analytische Fragen beantwortet werden oder Modelle trainieren, sich dramatisch ändern, da wir beim Aufbau dieser Generativmodelle anspruchsvoller werden. Viele Dinge, die wir noch nie zuvor tun konnten, werden jetzt möglich sein.