Bild vom Herausgeber

# Einführung

Ensemble-Methoden wie XGBoost (Excessive Gradient Boosting) sind leistungsstarke Implementierungen von Entscheidungsbäumen mit Gradientenverstärkung, die mehrere schwächere Schätzer zu einem starken Vorhersagemodell zusammenfassen. Diese Ensembles erfreuen sich aufgrund ihrer Genauigkeit, Effizienz und starken Leistung bei strukturierten (tabellenförmigen) Daten großer Beliebtheit. Während die weit verbreitete Bibliothek für maschinelles Lernen scikit-lernen keine native Implementierung von XGBoost bereitstellt, gibt es eine separate Bibliothek, passenderweise XGBoost genannt, die eine mit scikit-learn kompatible API bietet.

Sie müssen es lediglich wie folgt importieren:

from xgboost import XGBClassifier

Im Folgenden skizzieren wir 7 Python-Tips, die Ihnen dabei helfen können, diese eigenständige Implementierung von XGBoost optimum zu nutzen, insbesondere wenn Sie genauere Vorhersagemodelle erstellen möchten.

Um diese Tips zu veranschaulichen, verwenden wir den in scikit-learn frei verfügbaren Brustkrebs-Datensatz und definieren ein Basismodell mit weitgehend Standardeinstellungen. Stellen Sie sicher, dass Sie diesen Code zuerst ausführen, bevor Sie mit den folgenden sieben Tips experimentieren:

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.metrics import accuracy_score
from xgboost import XGBClassifier

# Knowledge
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# Baseline mannequin
mannequin = XGBClassifier(eval_metric="logloss", random_state=42)
mannequin.match(X_train, y_train)
print("Baseline accuracy:", accuracy_score(y_test, mannequin.predict(X_test)))

# 1. Lernrate und Anzahl der Schätzer optimieren

Auch wenn dies keine universelle Regel ist, führt eine explizite Reduzierung der Lernrate bei gleichzeitiger Erhöhung der Anzahl der Schätzer (Bäume) in einem XGBoost-Ensemble häufig zu einer Verbesserung der Genauigkeit. Durch die geringere Lernrate kann das Modell schrittweise lernen, während zusätzliche Bäume die verringerte Schrittgröße ausgleichen.

Hier ist ein Beispiel. Probieren Sie es selbst aus und vergleichen Sie die resultierende Genauigkeit mit der ursprünglichen Basislinie:

mannequin = XGBClassifier(
    learning_rate=0.01,
    n_estimators=5000,
    eval_metric="logloss",
    random_state=42
)
mannequin.match(X_train, y_train)
print("Mannequin accuracy:", accuracy_score(y_test, mannequin.predict(X_test)))

Der Klarheit halber das Finale print() Die Anweisung wird in den übrigen Beispielen weggelassen. Hängen Sie es einfach an eines der folgenden Snippets an, wenn Sie es selbst testen.

# 2. Anpassen der maximalen Baumtiefe

Der max_depth Argument ist ein entscheidender Hyperparameter, der von klassischen Entscheidungsbäumen übernommen wurde. Es begrenzt, wie tief jeder Baum im Ensemble wachsen kann. Die Beschränkung der Baumtiefe magazine simpel erscheinen, aber überraschenderweise lassen sich flache Bäume oft besser verallgemeinern als tiefere.

In diesem Beispiel werden die Bäume auf eine maximale Tiefe von 2 beschränkt:

mannequin = XGBClassifier(
    max_depth=2,
    eval_metric="logloss",
    random_state=42
)
mannequin.match(X_train, y_train)

# 3. Reduzierung der Überanpassung durch Unterabtastung

Der subsample Das Argument tastet zufällig einen Teil der Trainingsdaten (z. B. 80 %) ab, bevor jeder Baum im Ensemble wächst. Diese einfache Technik fungiert als wirksame Regularisierungsstrategie und hilft, eine Überanpassung zu verhindern.

Wenn nicht angegeben, ist dieser Hyperparameter standardmäßig auf 1,0 eingestellt, was bedeutet, dass 100 % der Trainingsbeispiele verwendet werden:

mannequin = XGBClassifier(
    subsample=0.8,
    colsample_bytree=0.8,
    eval_metric="logloss",
    random_state=42
)
mannequin.match(X_train, y_train)

Bedenken Sie, dass dieser Ansatz für Datensätze angemessener Größe am effektivsten ist. Wenn der Datensatz bereits klein ist, kann eine aggressive Unterabtastung zu einer Unteranpassung führen.

# 4. Regularisierungsbedingungen hinzufügen

Um die Überanpassung weiter zu kontrollieren, können komplexe Bäume mithilfe traditioneller Regularisierungsstrategien wie L1 (Lasso) und L2 (Ridge) bestraft werden. In XGBoost werden diese durch gesteuert reg_alpha Und reg_lambda Parameter bzw.

mannequin = XGBClassifier(
    reg_alpha=0.2,   # L1
    reg_lambda=0.5,  # L2
    eval_metric="logloss",
    random_state=42
)
mannequin.match(X_train, y_train)

# 5. Frühzeitiges Stoppen nutzen

Das frühe Stoppen ist ein effizienzorientierter Mechanismus, der das Coaching stoppt, wenn sich die Leistung eines Validierungssatzes über eine bestimmte Anzahl von Runden nicht mehr verbessert.

Abhängig von Ihrer Codierungsumgebung und der von Ihnen verwendeten Model der XGBoost-Bibliothek müssen Sie möglicherweise ein Improve auf eine neuere Model durchführen, um die unten gezeigte Implementierung verwenden zu können. Stellen Sie außerdem sicher, dass early_stopping_rounds wird während der Modellinitialisierung angegeben und nicht an übergeben match() Verfahren.

mannequin = XGBClassifier(
    n_estimators=1000,
    learning_rate=0.05,
    eval_metric="logloss",
    early_stopping_rounds=20,
    random_state=42
)

mannequin.match(
    X_train, y_train,
    eval_set=((X_test, y_test)),
    verbose=False
)

Um die Bibliothek zu aktualisieren, führen Sie Folgendes aus:

!pip uninstall -y xgboost
!pip set up xgboost --upgrade

# 6. Durchführen einer Hyperparametersuche

Für einen systematischeren Ansatz kann die Hyperparametersuche dabei helfen, Kombinationen von Einstellungen zu identifizieren, die die Modellleistung maximieren. Unten sehen Sie ein Beispiel für die Verwendung einer Rastersuche, um Kombinationen von drei zuvor eingeführten Schlüsselhyperparametern zu untersuchen:

param_grid = {
    "max_depth": (3, 4, 5),
    "learning_rate": (0.01, 0.05, 0.1),
    "n_estimators": (200, 500)
}

grid = GridSearchCV(
    XGBClassifier(eval_metric="logloss", random_state=42),
    param_grid,
    cv=3,
    scoring="accuracy"
)

grid.match(X_train, y_train)
print("Finest params:", grid.best_params_)

best_model = XGBClassifier(
    **grid.best_params_,
    eval_metric="logloss",
    random_state=42
)

best_model.match(X_train, y_train)
print("Tuned accuracy:", accuracy_score(y_test, best_model.predict(X_test)))

# 7. Anpassung an das Klassenungleichgewicht

Dieser letzte Trick ist besonders nützlich, wenn Sie mit stark klassenunausgeglichenen Datensätzen arbeiten (der Brustkrebs-Datensatz ist relativ ausgeglichen, Sie müssen sich additionally keine Sorgen machen, wenn Sie minimale Änderungen beobachten). Der scale_pos_weight Der Parameter ist besonders hilfreich, wenn die Klassenverhältnisse stark verzerrt sind, z. B. 90/10, 95/5 oder 99/1.

Hier erfahren Sie, wie Sie es basierend auf den Trainingsdaten berechnen und anwenden:

ratio = np.sum(y_train == 0) / np.sum(y_train == 1)

mannequin = XGBClassifier(
    scale_pos_weight=ratio,
    eval_metric="logloss",
    random_state=42
)

mannequin.match(X_train, y_train)

# Zusammenfassung

In diesem Artikel haben wir sieben praktische Tips zur Verbesserung von XGBoost-Ensemblemodellen mithilfe der speziellen Python-Bibliothek untersucht. Eine durchdachte Abstimmung von Lernraten, Baumtiefe, Stichprobenstrategien, Regularisierung und Klassengewichtung – kombiniert mit einer systematischen Hyperparametersuche – macht oft den Unterschied zwischen einem anständigen und einem hochpräzisen Modell.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.

Sollten Sie Ihren Regenschirm schnappen, bevor Sie aus der Tür gehen? Die vorherige Überprüfung der Wettervorhersage ist nur dann hilfreich, wenn diese Prognose korrekt ist.

Räumliche Vorhersageprobleme wie Wettervorhersage oder Luftverschmutzungsschätzung beinhalten die Vorhersage des Werts einer Variablen an einem neuen Ort, der auf bekannten Werten an anderen Orten basiert. Wissenschaftler verwenden in der Regel bewährte Validierungsmethoden, um zu bestimmen, wie viel sie diesen Vorhersagen vertrauen soll.

MIT -Forscher haben jedoch gezeigt, dass diese populären Validierungsmethoden bei räumlichen Vorhersageaufgaben ziemlich schlecht scheitern können. Dies könnte dazu führen, dass jemand glaubt, dass eine Prognose genau ist oder dass eine neue Vorhersagemethode wirksam ist, wenn dies in der Realität nicht der Fall ist.

Die Forscher entwickelten eine Technik zur Beurteilung der Vorhersage-Validations-Methoden und verwendeten sie, um zu beweisen, dass zwei klassische Methoden bei räumlichen Problemen im Wesentlichen falsch sein können. Sie stellten dann fest, warum diese Methoden ausfallen können, und erstellten eine neue Methode, um die für räumlichen Vorhersagen verwendeten Datenarten zu verarbeiten.

In Experimenten mit realen und simulierten Daten lieferte ihre neue Methode genauere Validierungen als die beiden häufigsten Techniken. Die Forscher bewerteten jede Methode anhand von realistischen räumlichen Problemen, einschließlich der Vorhersage der Windgeschwindigkeit am Chicago O-Hare Airport und der Vorhersage der Lufttemperatur an fünf US-U-Bahn-Standorten.

Ihre Validierungsmethode könnte auf eine Reihe von Problemen angewendet werden, von der Unterstützung von Klimaforschern, die die Meeresoberflächentemperaturen vorhersagen, bis hin zur Unterstützung von Epidemiologen bei der Schätzung der Auswirkungen der Luftverschmutzung auf bestimmte Krankheiten.

„Hoffentlich wird dies zu verlässlicheren Bewertungen führen, wenn Menschen neue prädiktive Methoden entwickeln und besser verstehen, wie intestine Methoden abschneiden“, sagt Tamara Broderick, Affiliate Professor in der MIT -Abteilung für Elektrotechnik und Informatik (ECECS) (EECS) des MIT -Abteilung für Elektrotechnik und Informatik (EWG), die (EWG) Affiliate Professor (EECs) auftreten “, und das Verständnis, wie intestine Methoden vorliegen, wenn sich Menschen entwickeln, hoffentlich. , ein Mitglied des Labors für Informations- und Entscheidungssysteme sowie das Institut für Daten, Systeme und Gesellschaft sowie ein Tochterunternehmen des Labors der Informatik und des künstlichen Intelligenz -Labors (CSAIL).

Broderick wird an der verbunden Papier vom leitenden Autor und MIT Postdoc David R. Burt und EECS -Doktorand Yunyi Shen. Die Forschung wird auf der Internationalen Konferenz über künstliche Intelligenz und Statistik vorgestellt.

Bewertung von Validierungen

Brodericks Gruppe hat kürzlich mit Ozeanographen und atmosphärischen Wissenschaftlern zusammengearbeitet, um Vorhersagemodelle für maschinelle Lernen zu entwickeln, die für Probleme mit einer starken räumlichen Komponente verwendet werden können.

Durch diese Arbeit stellten sie fest, dass traditionelle Validierungsmethoden in räumlichen Einstellungen ungenau sein können. Diese Methoden halten eine geringe Anzahl von Trainingsdaten, die als Validierungsdaten bezeichnet werden, und verwenden sie, um die Genauigkeit des Prädiktors zu bewerten.

Um die Wurzel des Issues zu finden, führten sie eine gründliche Analyse durch und stellten fest, dass traditionelle Methoden Annahmen treffen, die für räumliche Daten unangemessen sind. Bewertungsmethoden beruhen auf Annahmen darüber, wie Validierungsdaten und die Daten, die man vorhersagen möchte, als Testdaten miteinander verbunden sind.

Traditionelle Methoden gehen davon aus, dass Validierungsdaten und Testdaten unabhängig und identisch verteilt sind, was impliziert, dass der Wert eines Datenpunkts nicht von den anderen Datenpunkten abhängt. In einer räumlichen Anwendung ist dies jedoch häufig nicht der Fall.

Beispielsweise kann ein Wissenschaftler Validierungsdaten von EPA -Luftverschmutzungssensoren verwenden, um die Genauigkeit einer Methode zu testen, die Luftverschmutzung in Erhaltungsgebieten vorhersagt. Die EPA -Sensoren sind jedoch nicht unabhängig – sie wurden auf der Grundlage der Lage anderer Sensoren angeordnet.

Darüber hinaus stammen die Validierungsdaten möglicherweise von EPA -Sensoren in der Nähe von Städten, während sich die Naturschutzgebiete in ländlichen Gebieten befinden. Da diese Daten von verschiedenen Orten stammen, haben sie wahrscheinlich unterschiedliche statistische Eigenschaften, sodass sie nicht identisch verteilt sind.

„Unsere Experimente haben gezeigt, dass Sie im räumlichen Fall einige wirklich falsche Antworten erhalten, wenn diese Annahmen durch die Validierungsmethode zusammenbrechen“, sagt Broderick.

Die Forscher mussten eine neue Annahme finden.

Speziell räumlich

Wenn Sie speziell über einen räumlichen Kontext nachdenken, in dem Daten aus verschiedenen Orten gesammelt werden, haben sie eine Methode entwickelt, bei der Validierungsdaten und Testdaten im Raum reibungslos variieren.

Zum Beispiel ist es unwahrscheinlich, dass Luftverschmutzung zwischen zwei Nachbarhäusern dramatisch verändert wird.

„Diese Regelmäßigkeitsannahme ist für viele räumliche Prozesse angemessen und ermöglicht es uns, eine Möglichkeit zu erstellen, räumliche Prädiktoren im räumlichen Bereich zu bewerten. Nach unserem Kenntnisstand hat niemand eine systematische theoretische Bewertung dessen durchgeführt, was schief gelaufen ist, um einen besseren Ansatz zu finden “, sagt Broderick.

Um ihre Bewertungstechnik zu verwenden, würde man ihren Prädiktor, die Orte, die sie vorhersagen möchten, und deren Validierungsdaten eingeben und dann den Relaxation automatisch erledigt. Am Ende schätzt es, wie genau die Prognose des Prädiktors für den fraglichen Standort sein wird. Die effektive Bewertung ihrer Validierungstechnik conflict jedoch eine Herausforderung.

„Wir bewerten keine Methode, sondern bewerten eine Bewertung. Wir mussten additionally zurücktreten, sorgfältig nachdenken und über die entsprechenden Experimente kreativ werden, die wir verwenden konnten “, erklärt Broderick.

Zunächst entwarfen sie mehrere Assessments mit simulierten Daten, die unrealistische Aspekte aufwiesen, es ihnen jedoch ermöglichten, die Schlüsselparameter sorgfältig zu steuern. Anschließend erstellten sie realistischere, semi-simulierte Daten, indem sie reale Daten geändert haben. Schließlich verwendeten sie reale Daten für mehrere Experimente.

Die Verwendung von drei Arten von Daten aus realistischen Problemen, beispielsweise der Vorhersage des Preises einer Wohnung in England, basierend auf ihrer Lage und der Vorhersage der Windgeschwindigkeit, ermöglichte es ihnen, eine umfassende Bewertung durchzuführen. In den meisten Experimenten conflict ihre Technik genauer als beide herkömmlichen Methoden, mit denen sie sie verglichen haben.

In Zukunft planen die Forscher, diese Techniken anzuwenden, um die Quantifizierung der Unsicherheit in räumlichen Umgebungen zu verbessern. Sie möchten auch andere Bereiche finden, in denen die Regelmäßigkeit die Leistung von Prädiktoren verbessern könnte, beispielsweise mit Zeitreihendaten.

Diese Forschung wird teilweise von der Nationwide Science Basis und dem Workplace of Naval Analysis finanziert.