Bild vom Autor

# Einführung

Die Arbeit mit großen Datensätzen in Python führt oft zu einem häufigen Drawback: Sie laden Ihre Daten mit Pandasund Ihr Programm wird langsamer oder stürzt vollständig ab. Dies geschieht normalerweise, weil Sie versuchen, alles gleichzeitig in den Speicher zu laden.

Die meisten Speicherprobleme haben ihren Ursprung in Wie Sie laden und verarbeiten Daten. Mit ein paar praktischen Techniken können Sie Datensätze verarbeiten, die viel größer sind als Ihr verfügbarer Speicher.

In diesem Artikel lernen Sie sieben Techniken für die effiziente Arbeit mit großen Datenmengen in Python kennen. Wir fangen einfach an und bauen dann auf, sodass Sie am Ende genau wissen, welcher Ansatz zu Ihrem Anwendungsfall passt.

Du findest die Code auf GitHub. Wenn Sie möchten, können Sie dies ausführen Beispieldatengenerator-Python-Skript um Beispiel-CSV-Dateien abzurufen und die Codeausschnitte zu verwenden, um sie zu verarbeiten.

# 1. Daten in Blöcken lesen

Der einsteigerfreundlichste Ansatz besteht darin, Ihre Daten in kleineren Teilen zu verarbeiten, anstatt alles auf einmal zu laden.

Stellen Sie sich ein Szenario vor, in dem Sie über einen großen Verkaufsdatensatz verfügen und den Gesamtumsatz ermitteln möchten. Der folgende Code demonstriert diesen Ansatz:

import pandas as pd

# Outline chunk measurement (variety of rows per chunk)
chunk_size = 100000
total_revenue = 0

# Learn and course of the file in chunks
for chunk in pd.read_csv('large_sales_data.csv', chunksize=chunk_size):
    # Course of every chunk
    total_revenue += chunk('income').sum()

print(f"Complete Income: ${total_revenue:,.2f}")

Anstatt alle 10 Millionen Zeilen auf einmal zu laden, laden wir 100.000 Zeilen gleichzeitig. Wir berechnen die Summe für jeden Brocken und addieren sie zu unserer laufenden Summe. Ihr RAM fasst immer nur 100.000 Zeilen, egal wie groß die Datei ist.

Wann ist dies zu verwenden?: Wenn Sie Aggregationen (Summe, Anzahl, Durchschnitt) oder Filtervorgänge für große Dateien durchführen müssen.

# 2. Verwenden Sie nur bestimmte Spalten

Oft benötigen Sie nicht jede Spalte in Ihrem Datensatz. Wenn Sie nur das laden, was Sie brauchen, kann die Speichernutzung erheblich reduziert werden.

Angenommen, Sie analysieren Kundendaten, benötigen jedoch nur das Alter und den Kaufbetrag und nicht die zahlreichen anderen Spalten:

import pandas as pd

# Solely load the columns you really need
columns_to_use = ('customer_id', 'age', 'purchase_amount')

df = pd.read_csv('prospects.csv', usecols=columns_to_use)

# Now work with a a lot lighter dataframe
average_purchase = df.groupby('age')('purchase_amount').imply()
print(average_purchase)

Durch Angabe usecolslädt Pandas nur diese drei Spalten in den Speicher. Wenn Ihre Originaldatei 50 Spalten hätte, haben Sie Ihren Speicherverbrauch gerade um etwa 94 % reduziert.

Wann ist dies zu verwenden?: Wenn Sie vor dem Laden der Daten genau wissen, welche Spalten Sie benötigen.

# 3. Datentypen optimieren

Standardmäßig verbraucht Pandas möglicherweise mehr Speicher als nötig. Eine Spalte mit Ganzzahlen könnte als 64-Bit gespeichert werden, während 8-Bit intestine funktionieren würde.

Wenn Sie beispielsweise einen Datensatz mit Produktbewertungen (1–5 Sterne) und Benutzer-IDs laden:

import pandas as pd

# First, let's have a look at the default reminiscence utilization
df = pd.read_csv('scores.csv')
print("Default reminiscence utilization:")
print(df.memory_usage(deep=True))

# Now optimize the information varieties
df('ranking') = df('ranking').astype('int8')  # Scores are 1-5, so int8 is sufficient
df('user_id') = df('user_id').astype('int32')  # Assuming person IDs slot in int32

print("nOptimized reminiscence utilization:")
print(df.memory_usage(deep=True))

Durch Umrechnung der Bewertungsspalte vom Wahrscheinlichen int64 (8 Bytes professional Zahl) bis int8 (1 Byte professional Zahl) erreichen wir eine 8-fache Speicherreduzierung für diese Spalte.

Zu den gängigen Konvertierungen gehören:

• int64 → int8, int16oder int32 (abhängig vom Zahlenbereich).
• float64 → float32 (wenn Sie keine excessive Präzision benötigen).
• object → class (für Spalten mit wiederholten Werten).

# 4. Verwenden Sie kategoriale Datentypen

Wenn eine Spalte wiederholte Textwerte enthält (wie Ländernamen oder Produktkategorien), speichert Pandas jeden Wert separat. Der class dtype speichert die eindeutigen Werte einmal und verwendet effiziente Codes, um darauf zu verweisen.

Angenommen, Sie arbeiten mit einer Produktinventardatei, in der die Kategoriespalte nur 20 eindeutige Werte enthält, diese sich jedoch in allen Zeilen im Datensatz wiederholen:

import pandas as pd

df = pd.read_csv('merchandise.csv')

# Examine reminiscence earlier than conversion
print(f"Earlier than: {df('class').memory_usage(deep=True) / 1024**2:.2f} MB")

# Convert to class
df('class') = df('class').astype('class')

# Examine reminiscence after conversion
print(f"After: {df('class').memory_usage(deep=True) / 1024**2:.2f} MB")

# It nonetheless works like regular textual content
print(df('class').value_counts())

Diese Konvertierung kann die Speichernutzung für Spalten mit geringer Kardinalität (wenige eindeutige Werte) erheblich reduzieren. Die Funktion der Spalte ähnelt weiterhin den Standardtextdaten: Sie können wie gewohnt filtern, gruppieren und sortieren.

Wann ist dies zu verwenden?: Für jede Textspalte, in der sich Werte häufig wiederholen (Kategorien, Staaten, Länder, Abteilungen und dergleichen).

# 5. Filtern Sie beim Lesen

Manchmal wissen Sie, dass Sie nur eine Teilmenge von Zeilen benötigen. Anstatt alles zu laden und dann zu filtern, können Sie während des Ladevorgangs filtern.

Wenn Sie beispielsweise nur Transaktionen aus dem Jahr 2024 interessieren:

import pandas as pd

# Learn in chunks and filter
chunk_size = 100000
filtered_chunks = ()

for chunk in pd.read_csv('transactions.csv', chunksize=chunk_size):
    # Filter every chunk earlier than storing it
    filtered = chunk(chunk('12 months') == 2024)
    filtered_chunks.append(filtered)

# Mix the filtered chunks
df_2024 = pd.concat(filtered_chunks, ignore_index=True)

print(f"Loaded {len(df_2024)} rows from 2024")

Wir kombinieren Chunking mit Filtern. Jeder Block wird gefiltert, bevor er zu unserer Liste hinzugefügt wird, sodass wir nie den gesamten Datensatz im Speicher behalten, sondern nur die Zeilen, die wir tatsächlich benötigen.

Wann ist dies zu verwenden?: Wenn Sie basierend auf einer Bedingung nur eine Teilmenge von Zeilen benötigen.

# 6. Verwenden Sie Dask für die Parallelverarbeitung

Für Datensätze, die wirklich umfangreich sind, Dask stellt eine Pandas-ähnliche API bereit, übernimmt jedoch die gesamte Chunking- und Parallelverarbeitung automatisch.

So würden Sie den Durchschnitt einer Spalte in einem großen Datensatz berechnen:

import dask.dataframe as dd

# Learn with Dask (it handles chunking mechanically)
df = dd.read_csv('huge_dataset.csv')

# Operations look similar to pandas
outcome = df('gross sales').imply()

# Dask is lazy - compute() really executes the calculation
average_sales = outcome.compute()

print(f"Common Gross sales: ${average_sales:,.2f}")

Dask lädt nicht die gesamte Datei in den Speicher. Stattdessen erstellt es einen Plan für die Verarbeitung der Daten in Blöcken und führt diesen Plan aus, wenn Sie ihn aufrufen .compute(). Es können sogar mehrere CPU-Kerne verwendet werden, um die Berechnung zu beschleunigen.

Wann ist dies zu verwenden?: Wenn Ihr Datensatz zu groß für Pandas ist, selbst mit Chunking, oder wenn Sie eine parallele Verarbeitung wünschen, ohne komplexen Code zu schreiben.

# 7. Proben Sie Ihre Daten zur Erkundung

Wenn Sie nur Code erkunden oder testen, benötigen Sie nicht den vollständigen Datensatz. Laden Sie zuerst eine Probe.

Angenommen, Sie erstellen ein Modell für maschinelles Lernen und möchten Ihre Vorverarbeitungspipeline testen. Sie können Ihren Datensatz wie gezeigt testen:

import pandas as pd

# Learn simply the primary 50,000 rows
df_sample = pd.read_csv('huge_dataset.csv', nrows=50000)

# Or learn a random pattern utilizing skiprows
import random
skip_rows = lambda x: x > 0 and random.random() > 0.01  # Preserve ~1% of rows

df_random_sample = pd.read_csv('huge_dataset.csv', skiprows=skip_rows)

print(f"Pattern measurement: {len(df_random_sample)} rows")

Der erste Ansatz lädt die ersten N Zeilen, was für eine schnelle Erkundung geeignet ist. Beim zweiten Ansatz werden zufällig Zeilen in der gesamten Datei abgetastet. Dies eignet sich besser für statistische Analysen oder wenn die Datei so sortiert ist, dass die obersten Zeilen nicht repräsentativ sind.

Wann ist dies zu verwenden?: Während der Entwicklung, beim Testen oder bei der explorativen Analyse, bevor Sie Ihren Code für den gesamten Datensatz ausführen.

# Abschluss

Der Umgang mit großen Datensätzen erfordert keine Expertenkenntnisse. Hier ist eine kurze Zusammenfassung der Techniken, die wir besprochen haben:

Der erste Schritt besteht darin, sowohl Ihre Daten als auch Ihre Aufgabe zu kennen. In den meisten Fällen reicht eine Kombination aus Chunking und intelligenter Spaltenauswahl aus, um 90 % des Ziels zu erreichen.

Wenn Ihre Anforderungen wachsen, wechseln Sie zu fortschrittlicheren Instruments wie Dask oder erwägen Sie die Konvertierung Ihrer Daten in effizientere Dateiformate wie Parkett oder HDF5.

Beginnen Sie nun mit der Arbeit mit diesen riesigen Datensätzen. Viel Spaß beim Analysieren!

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Neighborhood zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.

Bild vom Herausgeber

# Einführung

Dask ist eine Reihe von Paketen, die parallele Rechenfunktionen nutzen – äußerst nützlich bei der Verarbeitung großer Datenmengen oder beim Erstellen effizienter, datenintensiver Anwendungen wie fortschrittlicher Analyse- und maschineller Lernsysteme. Zu den hervorstechendsten Vorteilen gehört die nahtlose Integration von Dask in bestehende Python-Frameworks, einschließlich der Unterstützung für die gleichzeitige Verarbeitung großer Datenmengen scikit-lernen Module durch parallelisierte Arbeitsabläufe. In diesem Artikel erfahren Sie, wie Sie Dask für eine skalierbare Datenverarbeitung nutzen können, selbst unter begrenzten {Hardware}-Einschränkungen.

# Schritt-für-Schritt-Anleitung

Obwohl es nicht besonders massiv ist, ist das Datensatz zum kalifornischen Wohnungsbau ist relativ groß und daher eine gute Wahl für ein einfaches, anschauliches Codierungsbeispiel, das zeigt, wie Dask und scikit-learn gemeinsam für die Datenverarbeitung in großem Maßstab genutzt werden können.

Dask bietet eine dataframe Modul, das viele Aspekte der Pandas nachahmt DataFrame Objekte zur Verarbeitung großer Datenmengen, die möglicherweise nicht vollständig in den Speicher passen. Wir werden dieses Dask verwenden DataFrame Struktur zum Laden unserer Daten aus einer CSV in ein GitHub-Repository wie folgt:

import dask.dataframe as dd

url = "https://uncooked.githubusercontent.com/gakudo-ai/open-datasets/refs/heads/major/housing.csv"
df = dd.read_csv(url)

df.head()

Hier ein wichtiger Hinweis. Wenn Sie die „Type“ des Datensatzes sehen möchten – die Anzahl der Zeilen und Spalten – ist die Methode etwas schwieriger als nur die Verwendung df.form. Stattdessen sollten Sie Folgendes tun:

num_rows = df.form(0).compute()
num_cols = df.form(1)
print(f"Variety of rows: {num_rows}")
print(f"Variety of columns: {num_cols}")

Ausgabe:

Variety of rows: 20640
Variety of columns: 10

Beachten Sie, dass wir Dasks verwendet haben compute() um träge die Anzahl der Zeilen zu berechnen, aber nicht die Anzahl der Spalten. Die Metadaten des Datensatzes ermöglichen es uns, die Anzahl der Spalten (Merkmale) sofort zu ermitteln, wohingegen die Bestimmung der Anzahl der Zeilen in einem Datensatz, die (hypothetisch) größer als der Speicher – und somit partitioniert – sein könnten, eine verteilte Berechnung erfordert: etwas, das compute() wickelt für uns clear ab.

Datenvorverarbeitung ist meist ein vorheriger Schritt zum Aufbau eines Modells oder Schätzers für maschinelles Lernen. Bevor wir zu diesem Teil übergehen und da der Schwerpunkt dieses praktischen Artikels darauf liegt, zu zeigen, wie Dask zur Verarbeitung von Daten verwendet werden kann, bereinigen und bereiten wir es vor.

Ein häufiger Schritt bei der Datenaufbereitung ist Umgang mit fehlenden Werten. Mit Dask ist der Prozess so nahtlos, als ob wir nur Pandas verwenden würden. Der folgende Code entfernt beispielsweise Zeilen für Instanzen, die fehlende Werte in einem ihrer Attribute enthalten:

df = df.dropna()

num_rows = df.form(0).compute()
num_cols = df.form(1)
print(f"Variety of rows: {num_rows}")
print(f"Variety of columns: {num_cols}")

Jetzt wurde der Datensatz um über 200 Instanzen reduziert und umfasst insgesamt 20433 Zeilen.

Als Nächstes können wir einige numerische Merkmale im Datensatz skalieren, indem wir Scikit-Learns integrieren StandardScaler oder irgendein anderes geeignetes Skalierungsmethode:

from sklearn.preprocessing import StandardScaler

numeric_df = df.select_dtypes(embrace=("quantity"))
X_pd = numeric_df.drop("median_house_value", axis=1).compute()

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X_pd)

Beachten Sie vor allem, dass wir in Dask eine Folge von datensatzintensiven Vorgängen ausführen, z. B. das Löschen von Zeilen mit fehlenden Werten und das anschließende Löschen der Zielspalte "median_house_value"müssen wir hinzufügen compute() am Ende der Folge verketteter Operationen. Das liegt daran Datensatztransformationen in Dask werden träge durchgeführt. Einmal compute() aufgerufen wird, wird das Ergebnis der verketteten Transformation des Datensatzes als Pandas materialisiert DataFrame (Dask hängt von Pandas ab, daher müssen Sie die Pandas-Bibliothek nicht explizit in Ihren Code importieren, es sei denn, Sie rufen direkt eine Pandas-exklusive Funktion auf.)

Was ist, wenn wir wollen? Trainieren Sie ein Modell für maschinelles Lernen? Dann sollten wir die Zielvariable extrahieren "median_house_value" und wenden Sie dasselbe Prinzip an, um es in ein Pandas-Objekt zu konvertieren:

y = df("median_house_value")
y_pd = y.compute()

Von nun an besteht der Prozess darin, den Datensatz in Trainings- und Testsätze aufzuteilen und ein Regressionsmodell zu trainieren RandomForestRegressorund die Bewertung seines Fehlers anhand der Testdaten ähnelt vollständig einem traditionellen Ansatz, bei dem Pandas und Scikit-Be taught auf orchestrierte Weise verwendet werden. Da baumbasierte Modelle unempfindlich gegenüber der Function-Skalierung sind, können Sie entweder die unskalierten Options (X_pd) oder die skalierten (X_scaled). Im Folgenden fahren wir mit den oben berechneten skalierten Merkmalen fort:

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error
import numpy as np

# Use the scaled function matrix produced earlier
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y_pd, test_size=0.2, random_state=42)

mannequin = RandomForestRegressor(n_estimators=100, random_state=42, n_jobs=-1)
mannequin.match(X_train, y_train)

y_pred = mannequin.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
print(f"RMSE: {rmse:.2f}")

Ausgabe:

# Zusammenfassung

Dask und scikit-learn können zusammen verwendet werden, um skalierbare, parallelisierte Datenverarbeitungsabläufe zu nutzen, um beispielsweise große Datensätze für die Erstellung von Modellen für maschinelles Lernen effizient vorzuverarbeiten. In diesem Artikel wurde gezeigt, wie man Daten mit Dask lädt, bereinigt, vorbereitet und transformiert und anschließend Commonplace-Scikit-Be taught-Instruments für die Modellierung maschinellen Lernens anwendet – und das alles bei gleichzeitiger Optimierung der Speichernutzung und Beschleunigung der Pipeline bei der Verarbeitung großer Datenmengen.

Iván Palomares Carrascosa ist führend, Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.

Ein Sprachmodell ist ein mathematisches Modell, das eine menschliche Sprache als Wahrscheinlichkeitsverteilung über ihren Wortschatz beschreibt. Um ein Deep-Studying-Netzwerk zum Modellieren einer Sprache zu trainieren, müssen Sie das Vokabular identifizieren und seine Wahrscheinlichkeitsverteilung lernen. Sie können das Modell nicht aus dem Nichts erstellen. Sie benötigen einen Datensatz, aus dem Ihr Modell lernen kann.

In diesem Artikel erfahren Sie mehr über Datensätze, die zum Trainieren von Sprachmodellen verwendet werden, und wie Sie gängige Datensätze aus öffentlichen Repositorys beziehen.

Fangen wir an.

Datensätze zum Trainieren eines Sprachmodells
Foto von Dan V. Einige Rechte vorbehalten.

Ein guter Datensatz zum Trainieren eines Sprachmodells

Ein gutes Sprachmodell sollte den korrekten Sprachgebrauch erlernen, frei von Vorurteilen und Fehlern. Im Gegensatz zu Programmiersprachen mangelt es menschlichen Sprachen an formaler Grammatik und Syntax. Sie entwickeln sich ständig weiter, sodass es unmöglich ist, alle Sprachvarianten zu katalogisieren. Daher sollte das Modell anhand eines Datensatzes trainiert werden, anstatt anhand von Regeln erstellt zu werden.

Das Einrichten eines Datensatzes für die Sprachmodellierung ist eine Herausforderung. Sie benötigen einen großen, vielfältigen Datensatz, der die Nuancen der Sprache darstellt. Gleichzeitig muss es hochwertig sein und den korrekten Sprachgebrauch wiedergeben. Idealerweise sollte der Datensatz manuell bearbeitet und bereinigt werden, um Störungen wie Tippfehler, Grammatikfehler und nichtsprachliche Inhalte wie Symbole oder HTML-Tags zu entfernen.

Die Erstellung eines solchen Datensatzes von Grund auf ist kostspielig, es sind jedoch mehrere hochwertige Datensätze frei verfügbar. Zu den gängigen Datensätzen gehören:

• Gemeinsames Kriechen. Ein riesiger, kontinuierlich aktualisierter Datensatz von über 9,5 Petabyte mit vielfältigen Inhalten. Es wird von führenden Modellen wie GPT-3, Llama und T5 verwendet. Da die Quelle jedoch aus dem Web stammt, enthält sie minderwertige und doppelte Inhalte sowie Vorurteile und anstößiges Materials. Um es nutzbar zu machen, sind gründliche Reinigung und Filterung erforderlich.
• C4 (Colossal Clear Crawled Corpus). Ein 750-GB-Datensatz aus dem Web. Im Gegensatz zu Frequent Crawl wird dieser Datensatz vorbereinigt und gefiltert, was die Verwendung erleichtert. Dennoch müssen Sie mit möglichen Vorurteilen und Fehlern rechnen. Das T5-Modell wurde auf diesem Datensatz trainiert.
• Wikipedia. Allein der englische Inhalt umfasst etwa 19 GB. Es ist riesig und dennoch überschaubar. Es ist intestine kuratiert, strukturiert und nach Wikipedia-Requirements bearbeitet. Obwohl es ein breites Spektrum an Allgemeinwissen mit hoher sachlicher Genauigkeit abdeckt, sind sein enzyklopädischer Stil und sein Ton sehr spezifisch. Das alleinige Coaching dieses Datensatzes kann dazu führen, dass Modelle zu stark an diesen Stil angepasst werden.
• WikiText. Ein Datensatz, der aus verifiziert guten und vorgestellten Wikipedia-Artikeln abgeleitet wurde. Es gibt zwei Versionen: WikiText-2 (2 Millionen Wörter aus Hunderten von Artikeln) und WikiText-103 (100 Millionen Wörter aus 28.000 Artikeln).
• BookCorpus. Ein wenige GB großer Datensatz langformatiger, inhaltsreicher und hochwertiger Buchtexte. Nützlich zum Erlernen kohärenten Geschichtenerzählens und weitreichender Abhängigkeiten. Es sind jedoch Urheberrechtsprobleme und soziale Vorurteile bekannt.
• Der Haufen. Ein 825 GB großer, kuratierter Datensatz aus mehreren Quellen, einschließlich BookCorpus. Es mischt verschiedene Textgenres (Bücher, Artikel, Quellcode und wissenschaftliche Arbeiten) und bietet so eine breite thematische Abdeckung, die auf multidisziplinäres Denken ausgelegt ist. Diese Vielfalt führt jedoch zu unterschiedlicher Qualität, doppelten Inhalten und inkonsistenten Schreibstilen.

Abrufen der Datensätze

Sie können on-line nach diesen Datensätzen suchen und sie als komprimierte Dateien herunterladen. Sie müssen jedoch das Format jedes Datensatzes verstehen und benutzerdefinierten Code schreiben, um ihn zu lesen.

Alternativ können Sie im Hugging Face-Repository unter nach Datensätzen suchen https://huggingface.co/datasets. Dieses Repository stellt eine Python-Bibliothek bereit, mit der Sie Datensätze in Echtzeit in einem standardisierten Format herunterladen und lesen können.

Hugging Face Datasets Repository

Laden wir den WikiText-2-Datensatz von Hugging Face herunter, einen der kleinsten Datensätze, die zum Aufbau eines Sprachmodells geeignet sind:

Die Ausgabe könnte so aussehen:

Falls Sie dies noch nicht getan haben, installieren Sie die Hugging Face-Datensatzbibliothek:

Wenn Sie diesen Code zum ersten Mal ausführen, load_dataset() lädt den Datensatz auf Ihren lokalen Laptop herunter. Stellen Sie sicher, dass Sie über ausreichend Speicherplatz verfügen, insbesondere bei großen Datensätzen. Standardmäßig werden Datensätze heruntergeladen ~/.cache/huggingface/datasets.

Alle Hugging Face-Datensätze folgen einem Standardformat. Der dataset Das Objekt ist ein iterierbares Objekt, wobei jedes Ingredient als Wörterbuch fungiert. Für das Sprachmodelltraining enthalten Datensätze normalerweise Textzeichenfolgen. In diesem Datensatz wird Textual content unter gespeichert "textual content" Schlüssel.

Der obige Code probiert einige Elemente aus dem Datensatz. Sie sehen Klartextzeichenfolgen unterschiedlicher Länge.

Nachbearbeitung der Datensätze

Bevor Sie ein Sprachmodell trainieren, möchten Sie möglicherweise den Datensatz nachbearbeiten, um die Daten zu bereinigen. Dazu gehört die Neuformatierung von Textual content (Abschneiden langer Zeichenfolgen, Ersetzen mehrerer Leerzeichen durch einzelne Leerzeichen), das Entfernen nichtsprachlicher Inhalte (HTML-Tags, Symbole) und das Entfernen unerwünschter Zeichen (zusätzliche Leerzeichen um Satzzeichen). Die spezifische Verarbeitung hängt vom Datensatz und davon ab, wie Sie dem Modell Textual content präsentieren möchten.

Wenn Sie beispielsweise ein kleines Modell im BERT-Stil trainieren, das nur Kleinbuchstaben verarbeitet, können Sie die Vokabulargröße reduzieren und den Tokenizer vereinfachen. Hier ist eine Generatorfunktion, die nachbearbeiteten Textual content bereitstellt:

Eine gute Nachbearbeitungsfunktion zu erstellen ist eine Kunst. Es sollte das Sign-Rausch-Verhältnis des Datensatzes verbessern, um dem Modell zu helfen, besser zu lernen, und gleichzeitig die Fähigkeit bewahren, unerwartete Eingabeformate zu verarbeiten, auf die ein trainiertes Modell möglicherweise stößt.

Weitere Lektüre

Nachfolgend finden Sie einige Ressourcen, die für Sie nützlich sein könnten:

Zusammenfassung

In diesem Artikel haben Sie etwas über Datensätze erfahren, die zum Trainieren von Sprachmodellen verwendet werden, und darüber, wie Sie allgemeine Datensätze aus öffentlichen Repositorys beziehen. Dies ist nur ein Ausgangspunkt für die Erkundung von Datensätzen. Erwägen Sie die Nutzung vorhandener Bibliotheken und Instruments, um die Ladegeschwindigkeit von Datensätzen zu optimieren, damit diese nicht zu einem Engpass in Ihrem Trainingsprozess werden.

Während sich das Gebiet der künstlichen Intelligenz verändert und sich weiterentwickelt, haben sich die Datensätze des großen Sprachmodells (LLM) als das Fundament der Transformationsingovation herausgestellt. Unabhängig davon, ob Sie feinabstimmende GPT-Modelle, den Aufbau domänenspezifischer KI-Assistenten oder die Durchführung detaillierter Forschung, Qualitätsdatensätze können der Unterschied zwischen Erfolg und Misserfolg sein. Heute werden wir tief in eine der robustesten Repositorys von Github von LLM-Datensätzen eintauchen, die die Artwork und Weise verändert, wie Entwickler über Coaching und Feinabstimmung nachdenken.

Warum ist die Datenqualität mehr denn je wichtig?

Die KI -Group hat eine wichtige Lektion gelernt: Daten sind das neue Gold. Wenn Rechenleistung und Modellarchitekturen sind die auffälligen Schlagzeilen, dann bestimmen die Trainings- und Feinabstimmungsdatensätze die reale Leistung Ihrer KI-Systeme. Daten, die nicht von guter Qualität sind, führen zu Halluzinationen, voreingenommenen Ausgängen und unregelmäßigem Modellverhalten. Dies führt wiederum zur vollständigen Entgleisung eines gesamten Projekts.

Der Mlabonne/LLM-Datensätze Repository ist zum wichtigsten Ziel für Entwickler geworden, die nach normalisierten, qualitativ hochwertigen Datensätzen für die Verwendung in nicht trinkeren Anwendungen suchen. Dies ist nicht nur ein weiteres Beispiel für eine zufällige Sammlung von Datensätzen. Dies ist eine sorgfältig kuratierte Bibliothek, in der drei wichtige Funktionen hergestellt werden, die gute Datensätze von großartigen unterscheiden.

Die drei außergewöhnlichen Säulen von LLM -Datensätzen

Genauigkeit: Die Grundlage für vertrauenswürdige KI

Jedes Beispiel in einem hochwertigen Datensatz muss sachlich korrekt sein und sich auf die entsprechende Anweisung beziehen. Dies bedeutet, dass wertvolle Validierungs-Workflows wie einen mathematischen Löser für numerische Probleme oder Unit-Assessments für einen codebasierten Datensatz vorhanden sind. Es spielt keine Rolle, wie komplex die Modellarchitektur ist. Ohne Genauigkeit wird die Ausgabe immer irreführend sein.

Vielfalt: Das Spektrum des menschlichen Wissens

Ein wirklich nützlicher Datensatz verfügt über eine breite Palette von Anwendungsfällen, sodass Ihr Modell nicht in Situationen außerhalb der Verteilung trifft. Ein vielfältiger Datensatz bietet eine bessere Verallgemeinerung, mit der Ihre KI -Systeme unerwartete Abfragen besser umgehen können. Dies ist besonders für allgemeine Sprachmodelle related, die in verschiedenen Bereichen intestine abschneiden sollten.

Komplexität: Über einfache Frage-Antwortenpaarungen hinaus

Zu den modernen Datensätzen gehören komplexe Argumentationstechniken, wie z. B. Aufforderungstrategien, bei denen Modelle ein schrittweise Argumentation und Erläuterungen mit Rechtfertigungen durchführen müssen. Diese Komplexität ist in menschlichen AIs erforderlich, die für nuancierte reale Situationen erforderlich sind.

Prime LLM -Datensätze für verschiedene Kategorien

Allgemeine Kraftkraftwerke

Das Repository enthält einige bemerkenswerte allgemeine Datensätze, die ausgewogene Kombinationen aus Chat, Code und mathematischen Argumentation enthalten:

• Unendlichkeitsstruktur (7,45 m Proben): Es ist der Goldstandard für aktuell entwickelte hochwertige Proben, die erzeugt werden. Baai erstellte den Datensatz im August 2024 aus einem Open-Supply-Datensatz mit erweiterten Evolutionstechniken, um fortschrittliche Trainingsproben zu erstellen.
  Hyperlink: https://huggingface.co/datasets/baai/infinity-instruct
• WebInstructSub (2,39 m Proben): Dieser Datensatz erfasst die Essenz eines Datensatzes eindeutig. Es wird Dokumente aus allgemeinem Crawl abgerufen, das Dokument durchsucht, um Fragen-Antwort-Paare zu extrahieren, und erstellt anspruchsvolle Verarbeitungspipelines, um sie zu verarbeiten. Der Datensatz, der in der Mammoth2-Veröffentlichung befindet, zeigt, wie Webmaßstabsdaten in hochwertigen Schulungsbeispielen erstellt werden.
  Hyperlink: https://huggingface.co/datasets/chargoddard/WebinStructSub-Prometheus
• Das Tome (1,75 m Proben): Es wurde von Arcee AI erstellt und betont den Anweisungen. Es ist für seine umgeleiteten und gefilterten Sammlungen bekannt, die durch den Benutzer eindeutig die Anweisungen hervorrufen. Dies ist sehr wichtig für Produktions -KI -Systeme.
  Hyperlink: https://huggingface.co/datasets/arcee-ai/the-tome

Mathematisches Denken: Logik hinter dem Drawback lösen

Mathematisches Denken ist nach wie vor einer der schwierigsten Bereiche für Sprachmodelle. Für diese Kategorie haben wir einige gezielte Datensätze, um dieses kritische Drawback zu bekämpfen:

• OpenMathinstruct-2 (14m Proben): Es verwendet Lama-3.1-405B-Instruction, um erweiterte Proben aus etablierten Benchmarks wie GSM8K und Mathematik zu erstellen. Dieser Datensatz, der im September 2024 von NVIDIA veröffentlicht wurde, stellt die hochmodernste Mathematik-AI-Trainingsdaten dar.
  Hyperlink: https://huggingface.co/datasets/nvidia/openmathinstruct-2
• Numinamath-Cot (859K-Proben): Es wurde als Gewinner des ersten Fortschrittspreises der AI Math Olympiade angetrieben. Es markierte das Denken der Kette des Denkens und lieferte Werkzeug-integrierte Argumentationsversionen im Datensatz für Anwendungsfälle, die ein größeres Problemlösungspotential haben.
  Hyperlink: https://huggingface.co/datasets/ai-mo/numinamath-cot
• Metamathqa (395K -Proben): Es conflict neuartig, als es mathematische Fragen aus mehreren Perspektiven umschrieben, um verschiedene Trainingsbedingungen für eine größere Modellrobustheit in mathematischen Domänen zu schaffen.
  Hyperlink: https://huggingface.co/datasets/meta-math/metamathqa

Codegenerierung: Überbrückung von KI und Softwareentwicklung

Der Programmierbereich benötigt spezielle Datensätze, die Aspekte der Syntax, Logik und Finest Practices in verschiedenen Programmiersprachen verstehen:

Erweiterte Funktionen: Funktionsaufruf und Agentenverhalten

Für die Entwicklung moderner Anwendungen mit KI besteht ein Bedarf an komplexen Funktionen für Funktionen, und der Benutzer muss auch eine agentenähnliche Disposition aufweisen.

Konversationsdaten in realer Welt: Lernen aus menschlicher Interaktion lernen

Ansprechend erstellen AI -AssistentenEs ist wichtig, natürliche menschliche Kommunikationsmuster zu erfassen:

• Wildchat-1M (1,04 m Proben): Es probiert Actual Conversations-Benutzer mit fortgeschrittenen Sprachmodellen wie GPT-3.5 und GPT-4, die authentische Interaktionen zeigen und letztendlich die tatsächlichen Nutzungsmuster und -erwartungen belegen.
  Hyperlink: https://huggingface.co/datasets/allenai/wildchat-1m
• LMSYS-CHAT-1M: Es verfolgt Gespräche mit 25 einzigartigen Sprachmodellen, die aus über 210.000 eindeutigen IP-Adressen gesammelt wurden, und ist eines der größten Datensätze für die reale Konversation.
  Hyperlink: https://huggingface.co/datasets/lmsys/lmsys-chat-1m

Präferenzausrichtung: KI lehrt, dass sie menschliche Werte entsprechen

Präferenzausrichtungsdatensätze sind mehr als nur Anweisungen, um sicherzustellen, dass KI-Systeme Werte und Vorlieben ausgerichtet haben:

Das GitHub -Repository bietet nicht nur LLM -Datensätze, sondern auch einen vollständigen Satz von Instruments für die Erzeugung, Filterung und Erkundung von Datensätzen:

Datenerzeugungswerkzeuge

• Kurator: Vereinfacht die Erzeugung der synthetischen Daten mit hervorragender Stapelunterstützung
• Distilabel: Vollständige Toolset zum Generieren sowohl des Supervisors Full Hint (SFT) als auch zum DPO -Daten (Knowledge Supplier Beobachtung)
• Augmentoolkit: Konvertiert unstrukturierten Textual content mit mehreren Modelltypen in unterschiedliche strukturierte Datensätze

Qualitätskontrolle und Filterung

• Argilla: Kollaborativer Bereich zur Durchführung einer manuellen Datensatzfilterung und Datenanmerkungen
• Semhash: Führt Antipattern Fuzzy -Deduplizierung unter Verwendung von Modellbettendings durch, die größtenteils destilliert wurden
• Richter: LLM -Richterbibliothek für vollständig automatisierte Qualitätsprüfungen

Datenerforschung und -analyse

• Lila: Ein sehr reichhaltiges Device zur Erkundung und Qualitätssicherung
• Nomischer Atlas: Eine Softwareanwendung, die das Wissen aktiv aus Unterrichtsdaten entdeckt.
• Textklustering: Framework zum Clustering von Textdaten auf sinnvolle Weise.

Finest Practices für die Auswahl und Implementierung von Datensätzen

Behalten Sie diese strategischen Perspektiven bei der Auswahl von Datensätzen im Auge:

• Es ist eine gute Praxis, allgemeine Datensätze wie Infinity-Instruct oder The-Tome zu erkunden, die eine gute Modellstiftung mit breiter Abdeckung und zuverlässige Leistung bei mehreren Aufgaben bieten.
• Schichten Sie auf spezialisierten Datensätzen relativ zu Ihrem Anwendungsfall. Wenn Ihr Prototyp beispielsweise mathematisches Denken erfordert, enthält Datensätze wie Numinamath-Cot. Wenn sich Ihr Modell auf die Codegenerierung konzentriert, sollten Sie sich möglicherweise gründlich getestete Datensätze wie getestet-143K-Python-Alpaca ansehen.
• Wenn Sie benutzergerichtete Anwendungen erstellen, vergessen Sie nicht Präferenzausrichtungsdaten. Datensätze wie Skywork-Reward-Präferenz stellen sicher, dass sich Ihre KI-Systeme so verhalten, dass die Erwartungen und Werte der Benutzer übereinstimmen.
• Verwenden Sie die von uns bereitgestellten Qualitätssicherungsinstrumente. Die Betonung der in diesem Repository beschriebenen Genauigkeit, Vielfalt und Komplexität wird durch Instruments unterstützt, mit denen Sie diese Requirements in Ihren eigenen Datensätzen aufrechterhalten können.

Abschluss

Bereit, diese erstaunlichen Datensätze für Ihr Projekt zu verwenden? So können Sie anfangen;

• Gehen Sie zum Repository unter github.com/mlabonne/llm-datasets und finden Sie alle verfügbaren Ressourcen
• Überlegen Sie, was Sie benötigen, basierend auf Ihrer Bewerbung (Allgemeinzweck, Mathematik, Codierung usw.)
• Wählen Sie Datensätze aus, die Ihren Anforderungen und Benchmarks für die Qualitätsfallqualität entsprechen
• Verwenden Sie die Instruments, die wir zur Filterung der Datensätze und zur Sicherheitsversicherung empfohlen haben
• Fügen Sie der Datensatzfamilie zurück, indem Sie Verbesserungen oder neue Datensätze teilen

Wir leben in unglaublichen Zeiten für KI. Das Tempo des Fortschritts der KI beschleunigt sich, aber für den Erfolg ist es immer noch wichtig, großartige Datensätze zu haben, die intestine kuratiert sind. Die Datensätze in diesem Github-Repository haben alles, was Sie benötigen, um leistungsstarke LLMs zu erstellen, die auch fähig, genau und menschlich zentriert sind.

Gen AI -Praktikant bei Analytics Vidhya
Abteilung für Informatik, Vellore Institute of Expertise, Vellore, Indien

Ich arbeite derzeit als Basic-AI-Praktikant bei Analytics Vidhya, wo ich zu innovativen KI-gesteuerten Lösungen beiträgt, die Unternehmen dazu befähigen, Daten effektiv zu nutzen. Als Scholar des letzten Jahres am Vellore Institute of Expertise bringe ich eine solide Grundlage für Softwareentwicklung, Datenanalyse und maschinelles Lernen in meine Rolle.

Fühlen Sie sich frei, sich mit mir zu verbinden (E -Mail geschützt)

Gesponserte Inhalte

Empfehlungssysteme stützen sich auf Daten, aber für Forscher ist der Zugriff auf wirklich repräsentative Daten seit langem eine Herausforderung. Die meisten akademischen Datensätze verblassen im Vergleich zu der Komplexität und dem Volumen der Benutzerinteraktionen in realen Umgebungen, in denen Daten aufgrund von Datenschutzbedenken und kommerziellem Wert in der Regel innerhalb von Unternehmen abgeschlossen sind.
Das fängt an zu ändern.

In den letzten Jahren wurden mehrere neue Datensätze veröffentlicht, die darauf abzielen, reale Nutzungsmuster, Musik, E-Commerce, Werbung und darüber hinaus besser widerzuspiegeln. Eine bemerkenswerte jüngste Veröffentlichung ist Yambda-5bein von Yandex basierender Datensatz von 5 Milliarden Occasions, der auf Daten aus seinem Musik-Streaming-Dienst basiert und jetzt über das Gesicht verfügbar ist. Yambda ist in 3 Größen (50 m, 500 m, 5b) erhältlich und umfasst Baselines, um die Zugänglichkeit und Benutzerfreundlichkeit zu unterstreichen. Es schließt sich einer wachsenden Liste von Ressourcen an, die dazu beitragen, die Forschung zu Produktion in Empfehlungssystemen zu schließen.

Im Folgenden finden Sie eine kurze Übersicht über wichtige Datensätze, die derzeit das Feld prägen.

Ein Blick auf öffentlich verfügbare Datensätze in der Empfehlungserforschung

Movielens

Eine der frühesten und am weitesten verbreiteten Datensätze. Es enthält von Benutzer bereitgestellte Filmbewertungen (1–5 Sterne), ist jedoch in Größenordnung und Vielfalt begrenzt-ideal für die anfängliche Prototyping, aber nicht repräsentativ für die heutigen dynamischen Inhaltsplattformen.

Netflix -Preis

Ein wegweisendes Datensatz in Empfehlung (~ 100 m Bewertungen), obwohl jetzt datiert. Sein statischer Schnappschuss und der Mangel an detaillierten Metadaten begrenzen die moderne Anwendbarkeit.

Yelp Open Dataset

Enthält 8,6m Bewertungen, die Berichterstattung ist jedoch spärlich und städtisch. Wertvoll für die lokale Geschäftsforschung, aber nicht optimum für groß angelegte verallgemeinerbare Modelle.

Spotify Million Playlist

Dieser Datensatz für Recsys 2018 veröffentlicht und hilft, das kurzfristige und sequentielle Hörverhalten zu analysieren. Es fehlt jedoch eine langfristige Geschichte und ein explizites Suggestions.

CRITEO 1TB

Ein massives Anzeigen-Klick-Datensatz, der Interaktionen im industriellen Maßstab zeigt. Obwohl es beeindruckend ist, bietet es minimale Metadaten und priorisiert die Klickrate (CTR) gegenüber der Empfehlungslogik.

Amazon Bewertungen

Reich an Inhalten und häufig für die Stimmungsanalyse und die Empfehlung von Langschwanz verwendet. Die Daten sind jedoch notorisch spärlich und für die meisten Benutzer und Produkte eine starke Interaktion.

Final.fm (LFM-1b)

Zuvor eine Anlaufstelle für Musikempfehlungen. Die Lizenzbeschränkungen haben seitdem den Zugriff auf neuere Versionen des Datensatzes eingeschränkt.

Umzug in Richtung der Forschung in der industriellen Maßstab

Während jedes dieser Datensätze das Feld gestaltet hat, präsentieren sie alle Einschränkungen – entweder in Maßstab, Datenfrische, Benutzervielfalt oder Vollständigkeit der Metadaten. Hier sind neue Einträge wie Yambda-5b besonders vielversprechend.

Dieser Datensatz bietet anonymisierte, groß angelegte Interaktionsdaten in großem Maßstab über Musik-Streaming-Sitzungen, einschließlich Metadaten wie Zeitstempel, Suggestions-Typ (explizit vs. implizit) und Empfehlungskontext (organisch vs. vorgeschlagen). Wichtig ist, dass es eine globale zeitliche Spaltung enthält, die eine realistischere Modellbewertung ermöglicht, die die On-line -Systembereitstellung widerspiegelt. Die Forscher werden auch einen Wert in der multimodalen Natur des Datensatzes finden, das vorberührte Audio-Einbettungen für über 7,7 Millionen Tracks enthält, die inhaltsbewusste Empfehlungsstrategien über die Field ermöglichen.

Die Privatsphäre wurde sorgfältig im Design des Datensatzes berücksichtigt. Im Gegensatz zu früheren Beispielen wie dem Netflix-Preisdatensatz, der aufgrund von Redentifizierungsrisiken schließlich zurückgezogen wurde. Der Benutzer und verfolgen Sie Daten im Yambda -Datensatz und verwenden numerische Kennungen, um Datenschutzstandards zu erfüllen.

Schließen der Schleife: von der Theorie zur Produktion

Da die Latest -Forschung in der Skalierung in die praktische Anwendung bewegt wird, ist der Zugriff auf robuste, abwechslungsreiche und ethisch bezogene Datensätze unerlässlich. Ressourcen wie Movielens und Netflix -Preis bleiben grundlegend für Benchmarking- und Testenideen. Aber neuere Datensätze-wie Amazon’s, Criteo und jetzt Yambda-bieten jedoch die Artwork von Skala und Nuance, um Modelle von der akademischen Neuheit bis zur realen Nützlichkeit zu überschreiten.

Lesen Sie den Originalartikel unter Turing Submitder E-newsletter für über 90 000 Fachleute, die es ernst meinen, KI und ML.

Von, Avi Chawla – sehr leidenschaftlich in der Annäherung an die Datenwissenschaftsprobleme mit Instinct. AVI arbeitet seit über 6 Jahren im Bereich Datenwissenschaft und maschinelles Lernen, sowohl in der akademischen als auch in der Industrie.

Suchen Sie nach? hochwertige Gesichtserkennungsdatensätze Um Ihre KI- und maschinelles Lernenprojekte zu erhöhen? Suchen Sie nicht weiter! Wir haben eine Liste von 19 kostenlosen Datensätzen für die Gesichtserkennung erstellt, die best für Aufgaben wie AI -Algorithmusentwicklung, Modelltraining und Pc Imaginative and prescient Analysis.

Warum Gesichtserkennungsdatensätze unerlässlich sind

Die Gesichtserkennung spielt eine wichtige Rolle in modernen KI -Anwendungen, von der Verbesserung der Sicherheitssysteme bis zur Erstellung personalisierter Benutzererlebnisse. Der globale Markt für Gesichtserkennung wird voraussichtlich wachsen von 5,01 Milliarden US -Greenback in 2023 auf 12,67 Milliarden US -Greenback bis 2030 mit einer CAGR von 14,5%. Angetrieben von Fortschritten in der KI und der steigenden Nachfrage nach kontaktloser Authentifizierung.

Kostenlose Datensätze sind für Entwickler und Forscher von wesentlicher Bedeutung und bieten kostengünstige, vielfältige und intestine strukturierte Daten für Schulungen robuster Modelle. Diese Datensätze unterstützen Innovationen in Bereichen wie Emotionserkennung, Altersschätzung und Pose -AnalyseSie helfen Ihnen, in diesem sich schnell entwickelnden Bereich wettbewerbsfähig zu bleiben.

19 kostenlose Gesichtsdatensätze für das Gesichtserkennungsmodell Coaching

Ein Gesichtserkennungssystem kann seine Pc -Imaginative and prescient -Aufgaben nur dann ausführen, wenn sie auf Qualitätsbilddatensätzen trainiert werden. Ohne einen Datensatz zur Qualitätsbilderkennung können Sie möglicherweise kein robustes Gesichtserkennungssystem entwickeln. Aber wir haben eine Lösung.

Erkunden Sie ein Repository von hochwertigen offenen Datensätzen, auf die kostenlos zugegriffen werden kann.

Fangen wir an.

1. Beschriftete Gesichter in freier Wildbahn (Hyperlink)

   Ein weiterer kostenloser Datensatz mit großem Gesichtsbild, der in freier Wildbahn gekennzeichnet ist, enthält ungefähr 13.000 Gesichtsfotos, die speziell für die Ausführung uneingeschränkter Gesichtserkennungsaufgaben entwickelt wurden. Die Bilder werden aus dem Net gesammelt und mit dem Namen der Individual gekennzeichnet.

2. Promi (Hyperlink)

   Celebfaces ist ein frei verfügbarer Bilddatensatz mit Gesichtsattributbildern von mehr als 200.000 Prominenten. Jedes dieser Bilder wird mit 40 Attributen kommentiert. Darüber hinaus umfassen die Anmerkungen 10.000 und mehr Identitäten und Landmark -Lokalisierung. Es wurde von MMLAB für nichtkommerzielle Forschungszwecke sowie zur Erkennung, Lokalisierung und Attributerkennung von Gesichtsanlagen entwickelt.

3. Tufts Face -Datenbank (Hyperlink)

   Die Tufts Face-Datenbank ist eine großflächige heterogene Gesichtserkennungsdatenbank mit verschiedenen Bildmodalitäten, einschließlich fotografischer Bilder, computergestützter Skizzen von Gesichtern sowie 3D-, Wärme- und Infrarotbildern von Teilnehmern. Diese umfassende Sammlung von über 10.000 Bildern hat Teilnehmer beider Geschlechter, eine große Altersspanne und aus verschiedenen Ländern.

4. Vergleich des Google -Gesichtsausdrucks (Hyperlink)

   Der Vergleich des Google Facial Expression ist ein weiterer groß angelegter freier Datensatz mit Gesichtsbild-Tripletts. Der Mensch kommentieren die Bilder weiter, um anzugeben, welches Paar unter den drei den ähnlichsten Gesichtsausdruck aufweist.

5. Umdfaces (Hyperlink)

   Umdfaces ist eines der größten Datensätze und verfügt über mehr als 367.000 kommentierte Gesichter bei 8.200 Probanden. Die Datenbank enthält außerdem mehr als 3,7 Millionen kommentierte Frames aus Movies unter Verwendung von Gesichtsschlüsselpunkten von 3.100 Probanden.

6. Gesichtsbilder mit markierten Wahrzeichenpunkten (Hyperlink)

   Dieser kostenlose Datensatz für Gesichtserkennung enthält 7049 Bilder, die jeweils mit bis zu 15 Tastaturen gekennzeichnet sind. Die Tastoint professional Bild können variieren, aber 15 ist das Most. Alle Keypoint -Daten werden in einer CSV -Datei bereitgestellt.

7. Utkface (Hyperlink)

   Der UTK Face -Datensatz enthält 20.000 Bilder von Menschen jeden Alters. Es enthält Informationen zu Alter, ethnischer Zugehörigkeit und Geschlecht.

8. Morph (Hyperlink)

   Morph ist ein Datensatz zur Schätzung des Alters aus Gesichtern. Es hat 55.134 Bilder von 13.617 Personen im Alter von 16 bis 77 Jahren.

Um leistungsfähigere große Sprachmodelle zu trainieren, verwenden Forscher umfangreiche Datensatzsammlungen, die unterschiedliche Daten aus Tausenden von Webquellen kombinieren.

Doch wenn diese Datensätze immer wieder zu mehreren Sammlungen kombiniert werden, gehen dabei häufig wichtige Informationen über ihre Herkunft und die Einschränkungen ihrer Verwendung verloren oder werden durcheinandergebracht.

Dies wirft nicht nur rechtliche und ethische Bedenken auf, sondern kann auch die Leistung eines Modells beeinträchtigen. Wenn beispielsweise ein Datensatz falsch kategorisiert ist, kann es sein, dass jemand, der ein maschinelles Lernmodell für eine bestimmte Aufgabe trainiert, unabsichtlich Daten verwendet, die nicht für diese Aufgabe konzipiert sind.

Darüber hinaus können Daten aus unbekannten Quellen Verzerrungen enthalten, die dazu führen, dass ein Modell bei seiner Anwendung unfaire Vorhersagen macht.

Um die Datentransparenz zu verbessern, startete ein Crew interdisziplinärer Forscher vom MIT und anderen Instituten eine systematische Prüfung von mehr als 1.800 Textdatensätzen auf beliebten Internet hosting-Websites. Sie fanden heraus, dass in mehr als 70 Prozent dieser Datensätze Lizenzinformationen fehlten und etwa 50 Prozent fehlerhafte Informationen enthielten.

Aufbauend auf diesen Erkenntnissen entwickelten sie ein benutzerfreundliches Software namens Datenherkunfts-Explorer das automatisch leicht lesbare Zusammenfassungen der Ersteller, Quellen, Lizenzen und zulässigen Verwendungen eines Datensatzes generiert.

„Diese Artwork von Instruments kann Regulierungsbehörden und Praktikern helfen, fundierte Entscheidungen über den Einsatz von KI zu treffen und die verantwortungsvolle Entwicklung von KI voranzutreiben“, sagt Alex „Sandy“ Pentland, Professor am MIT, Leiter der Human Dynamics Group im MIT Media Lab und Co-Autor eines neuen Open-Entry- Papier über das Projekt.

Der Knowledge Provenance Explorer könnte KI-Anwendern dabei helfen, effektivere Modelle zu erstellen, indem er es ihnen ermöglicht, Trainingsdatensätze auszuwählen, die zum beabsichtigten Zweck ihres Modells passen. Auf lange Sicht könnte dies die Genauigkeit von KI-Modellen in realen Situationen verbessern, beispielsweise bei der Bewertung von Kreditanträgen oder der Beantwortung von Kundenanfragen.

„Eine der besten Möglichkeiten, die Fähigkeiten und Grenzen eines KI-Modells zu verstehen, besteht darin, zu verstehen, mit welchen Daten es trainiert wurde. Wenn es zu Fehlzuordnungen und Unklarheiten über die Herkunft der Daten kommt, haben Sie ein ernstes Transparenzproblem“, sagt Robert Mahari, ein Doktorand der MIT Human Dynamics Group, Jurastudent an der Harvard Regulation Faculty und Co-Leitautor des Papiers.

An der Studie arbeiten neben Mahari und Pentland auch der Co-Autor Shayne Longpre, ein Doktorand im Media Lab, Sara Hooker, die das Forschungslabor Cohere for AI leitet, sowie weitere Forscher am MIT, der College of California in Irvine, der Universität Lille in Frankreich, der College of Colorado in Boulder, dem Olin School, der Carnegie Mellon College, Contextual AI, ML Commons und Tidelift. Die Forschung ist veröffentlicht heute in Natur-Maschine-Intelligenz.

Fokus auf Feinabstimmung

Forscher verwenden häufig eine Technik namens Feinabstimmung, um die Fähigkeiten eines großen Sprachmodells zu verbessern, das für eine bestimmte Aufgabe, wie z. B. das Beantworten von Fragen, eingesetzt wird. Für die Feinabstimmung erstellen sie sorgfältig kuratierte Datensätze, die darauf ausgelegt sind, die Leistung eines Modells für diese eine Aufgabe zu steigern.

Die MIT-Forscher konzentrierten sich auf diese Feinabstimmungsdatensätze, die oft von Forschern, akademischen Organisationen oder Unternehmen entwickelt und für bestimmte Verwendungszwecke lizenziert werden.

Wenn Crowdsourcing-Plattformen solche Datensätze zu größeren Sammlungen zusammenfassen, die Praktiker zur Feinabstimmung verwenden können, bleiben häufig einige der ursprünglichen Lizenzinformationen verloren.

„Diese Lizenzen sollten wichtig sein und sie sollten durchsetzbar sein“, sagt Mahari.

Wenn beispielsweise die Lizenzbedingungen eines Datensatzes falsch oder unvollständig sind, kann es passieren, dass jemand viel Zeit und Geld in die Entwicklung eines Modells investiert, das er später möglicherweise wieder entfernen muss, weil einige Trainingsdaten non-public Informationen enthalten.

„Es kann passieren, dass Leute Modelle trainieren, bei denen sie nicht einmal die Fähigkeiten, Bedenken oder Risiken dieser Modelle verstehen, die sich letztlich aus den Daten ergeben“, fügt Longpre hinzu.

Zu Beginn dieser Studie definierten die Forscher die Datenherkunft formal als die Kombination aus der Herkunft eines Datensatzes, seiner Erstellung und Lizenzierung sowie seinen Merkmalen. Auf dieser Grundlage entwickelten sie ein strukturiertes Prüfverfahren, um die Datenherkunft von mehr als 1.800 Textdatensatzsammlungen aus beliebten On-line-Repositorien nachzuverfolgen.

Nachdem die Forscher festgestellt hatten, dass mehr als 70 Prozent dieser Datensätze „nicht näher spezifizierte“ Lizenzen enthielten, die viele Informationen ausließen, arbeiteten sie rückwärts, um die Lücken zu füllen. Durch ihre Bemühungen reduzierten sie die Anzahl der Datensätze mit „nicht näher spezifizierten“ Lizenzen auf rund 30 Prozent.

Ihre Arbeit ergab auch, dass die korrekten Lizenzen oft restriktiver waren als die von den Repositorien zugewiesenen.

Darüber hinaus stellten sie fest, dass quick alle Ersteller der Datensätze im globalen Norden konzentriert waren, was die Fähigkeiten eines Modells einschränken könnte, wenn es für den Einsatz in einer anderen Area trainiert wird. Ein türkischsprachiger Datensatz, der überwiegend von Menschen in den USA und China erstellt wurde, könnte beispielsweise keine kulturell bedeutsamen Aspekte enthalten, erklärt Mahari.

„Wir geben uns quick der Phantasm hin, dass die Datensätze vielfältiger sind, als sie es tatsächlich sind“, sagt er.

Interessanterweise stellten die Forscher auch einen dramatischen Anstieg der Beschränkungen für in den Jahren 2023 und 2024 erstellte Datensätze fest. Grund dafür könnten Bedenken von Akademikern sein, ihre Datensätze könnten für unbeabsichtigte kommerzielle Zwecke verwendet werden.

Ein benutzerfreundliches Software

Damit auch andere diese Informationen ohne manuelle Prüfung erhalten können, haben die Forscher den Knowledge Provenance Explorer entwickelt. Neben der Sortierung und Filterung von Datensätzen nach bestimmten Kriterien ermöglicht das Software den Benutzern auch das Herunterladen einer Datenherkunftskarte, die einen prägnanten, strukturierten Überblick über die Datensatzmerkmale bietet.

„Wir hoffen, dass dies nicht nur ein Schritt zum Verständnis der Landschaft ist, sondern auch den Menschen hilft, in Zukunft fundiertere Entscheidungen darüber zu treffen, mit welchen Daten sie trainieren“, sagt Mahari.

In Zukunft möchten die Forscher ihre Analyse erweitern, um die Datenherkunft für multimodale Daten, einschließlich Video und Sprache, zu untersuchen. Sie möchten auch untersuchen, wie sich die Nutzungsbedingungen von Web sites, die als Datenquellen dienen, in Datensätzen widerspiegeln.

Im Zuge ihrer Forschungstätigkeit nehmen sie auch Kontakt zu Regulierungsbehörden auf, um ihre Erkenntnisse und die besonderen Auswirkungen der Feinabstimmung von Daten auf das Urheberrecht zu erörtern.

„Wir brauchen von Anfang an Datenherkunft und Transparenz, wenn Leute diese Datensätze erstellen und veröffentlichen, um es anderen zu erleichtern, diese Erkenntnisse abzuleiten“, sagt Longpre.

„Viele vorgeschlagene politische Maßnahmen gehen davon aus, dass wir Lizenzen, die mit Daten verbunden sind, korrekt zuweisen und identifizieren können. Diese Arbeit zeigt zunächst, dass dies nicht der Fall ist, und verbessert dann die verfügbaren Herkunftsinformationen erheblich“, sagt Stella Biderman, Geschäftsführerin von EleutherAI, die nicht an dieser Arbeit beteiligt conflict. „Abschnitt 3 enthält außerdem relevante rechtliche Diskussionen. Dies ist für Praktiker des maschinellen Lernens außerhalb von Unternehmen, die groß genug sind, um eigene Rechtsteams zu haben, sehr wertvoll. Viele Leute, die KI-Systeme für das Gemeinwohl bauen wollen, kämpfen derzeit im Stillen damit, herauszufinden, wie sie mit der Datenlizenzierung umgehen sollen, da das Web nicht so konzipiert ist, dass sich die Datenherkunft leicht herausfinden lässt.“