Modelle des maschinellen Lernens verstehen ist ein wesentlicher Aspekt beim Aufbau vertrauenswürdiger KI-Systeme. Die Verständlichkeit solcher Modelle beruht auf zwei grundlegenden Eigenschaften: Erklärbarkeit Und Interpretierbarkeit. Ersteres bezieht sich darauf, wie intestine wir das „Innere“ eines Modells beschreiben können (d. h. wie es funktioniert und intern aussieht), während sich Letzteres darauf bezieht, wie leicht Menschen die erfassten Beziehungen zwischen Eingabemerkmalen und vorhergesagten Ausgaben verstehen können. Wie wir sehen können, ist der Unterschied zwischen ihnen subtil, aber es gibt eine starke Brücke, die beide verbindet: Characteristic-Wichtigkeit.

In diesem Artikel werden 10 einfache, aber effektive Python-Einzeiler vorgestellt, mit denen Sie die Wichtigkeit von Modellmerkmalen aus verschiedenen Perspektiven berechnen können. So können Sie nicht nur verstehen, wie sich Ihr Modell für maschinelles Lernen verhält, sondern auch, warum es die Vorhersage(n) getroffen hat.

1. Integrierte Funktionsbedeutung in entscheidungsbaumbasierten Modellen

Baumbasierte Modelle wie Random Forests und XGBoost Mit Ensembles können Sie mithilfe eines Attributs wie dem folgenden ganz einfach eine Liste der Gewichtungen von Merkmalsbedeutung erhalten:

Beachten Sie, dass mannequin sollte a priori ein trainiertes Modell enthalten. Das Ergebnis ist ein Array, das die Wichtigkeit von Options enthält. Wenn Sie jedoch eine selbsterklärendere Model wünschen, erweitert dieser Code den vorherigen Einzeiler, indem er die Characteristic-Namen für einen Datensatz wie Iris in einer Zeile einfügt.

2. Koeffizienten in linearen Modellen

Einfachere lineare Modelle wie die lineare Regression und die logistische Regression legen Merkmalsgewichte auch über erlernte Koeffizienten offen. Dies ist eine Möglichkeit, die erste davon direkt und sauber zu erhalten (entfernen Sie den Positionsindex, um alle Gewichte zu erhalten):

3. Sortieren von Options nach Wichtigkeit

Ähnlich wie die erweiterte Model von Nummer 1 oben kann dieser nützliche Einzeiler verwendet werden, um Options nach ihren Wichtigkeitswerten in absteigender Reihenfolge zu ordnen: ein hervorragender Einblick, welche Options am stärksten oder einflussreichsten zu Modellvorhersagen beitragen.

4. Bedeutung der modellunabhängigen Permutation

Permutationswichtigkeit ist ein zusätzlicher Ansatz zur Messung der Wichtigkeit eines Merkmals – nämlich durch Mischen seiner Werte und Analysieren, wie eine Metrik, die zur Messung der Leistung des Modells verwendet wird (z. B. Genauigkeit oder Fehler), abnimmt. Dementsprechend ist dieser modellunabhängige Einzeiler von scikit-lernen wird verwendet, um Leistungseinbußen zu messen, die durch zufälliges Mischen der Werte einer Funktion entstehen.

5. Mittlerer Genauigkeitsverlust bei Kreuzvalidierungspermutationen

Dies ist ein effizienter Einzeiler zum Testen von Permutationen im Kontext von Kreuzvalidierungsprozessen – um zu analysieren, wie sich das Mischen der einzelnen Options auf die Modellleistung auswirkt Ok Falten.

6. Visualisierungen der Permutationsbedeutung mit Eli5

Eli5 – eine Kurzform von „Erklären, als wäre ich 5 (Jahre alt)“ – ist im Kontext des maschinellen Lernens von Python eine Bibliothek für kristallklare Erklärbarkeit. Es bietet eine leicht visuell interaktive HTML-Ansicht der Characteristic-Wichtigkeiten, wodurch es besonders praktisch für Notebooks ist und sich sowohl für trainierte lineare als auch für Baummodelle eignet.

7. Globale SHAP-Funktionsbedeutung

Gestalten ist eine beliebte und leistungsstarke Bibliothek, mit der Sie tiefer in die Erklärung der Bedeutung von Modellmerkmalen einsteigen können. Es kann verwendet werden, um mittlere absolute SHAP-Werte (Characteristic-Significance-Indikatoren in SHAP) für jedes Characteristic zu berechnen – alles im Rahmen eines modellunabhängigen, theoretisch fundierten Messansatzes.

8. Zusammenfassendes Diagramm der SHAP-Werte

Im Gegensatz zu globalen SHAP-Characteristic-Bedeutungen liefert das Übersichtsdiagramm nicht nur die globale Bedeutung von Options in einem Modell, sondern auch deren Richtungen und hilft so visuell zu verstehen, wie Characteristic-Werte Vorhersagen nach oben oder unten verschieben.

Schauen wir uns ein visuelles Beispiel des erzielten Ergebnisses an:

9. Single-Prediction-Erklärungen mit SHAP

Ein besonders attraktiver Aspekt von SHAP besteht darin, dass es nicht nur dabei hilft, das Gesamtverhalten des Modells und die Bedeutung von Merkmalen zu erklären, sondern auch, wie Merkmale speziell eine einzelne Vorhersage beeinflussen. Mit anderen Worten: Wir können eine einzelne Vorhersage offenlegen oder zerlegen und erklären, wie und warum das Modell diese spezifische Ausgabe erbracht hat.

10. Modellunabhängige Funktionsbedeutung mit LIME

KALK ist eine different Bibliothek zu SHAP, die lokale Ersatzerklärungen generiert. Anstatt die eine oder andere zu verwenden, ergänzen sich diese beiden Bibliotheken intestine und tragen dazu bei, die Bedeutung von Merkmalen für einzelne Vorhersagen besser einzuschätzen. In diesem Beispiel wird dies für ein zuvor trainiertes logistisches Regressionsmodell durchgeführt.

Zusammenfassung

In diesem Artikel wurden 10 effektive Python-Einzeiler vorgestellt, die dabei helfen, Modelle für maschinelles Lernen besser zu verstehen, zu erklären und zu interpretieren, wobei der Schwerpunkt auf der Bedeutung von Funktionen liegt. Mithilfe dieser Instruments ist es keine mysteriöse Blackbox mehr, die Funktionsweise Ihres Modells von innen zu verstehen.

Großsprachige Modelle (LLMs) besser zu bringen, ist eine Sache. Sie dazu zu bringen, es zu tun, ohne absurde Berechnung zu durchbrennen, ist ein anderer. Eine neue Forschungspapierin von Tu Darmstadt, UCLA, Google DeepMind und Mila greift tief in diesen Kompromiss ein-und könnte nur die Artwork und Weise ändern, wie KI-Entwickler über Skalierungen zur Testzeit nachdenken.

Die Kernspannung? Ob LLMs ihre Berechnung verbringen sollten, um mehr Antworten zu generieren (was als Selbstkonsistenz oder SC bezeichnet wird) oder einige vielversprechende Antworten mit generativen Belohnungsmodellen (GENRMS) zu überprüfen. Es stellt sich heraus, dass die Auswahl von falscher Auswahl Ihr Modell bis zu 128 -mal mehr berechnet wird – für eine kaum spürbare Leistungssteigerung.

Die neue Mathematik des Argumentierens im Maßstab

LLMs wie GPT-4, LLAMA oder QWEN sind schockierend intestine darin, Mathematik- und Wissenschaftsprobleme zu lösen, indem sie mehrere Gedankenketten (COTS) generieren und das häufigste Ergebnis auswählen. Das ist die Idee hinter SC – Brute Drive Weisheit der Menge. Die Forscher wurden aber auch von Genrms begeistert, ein neuerer Ansatz, der LLMs wie ihren eigenen Richter handeln lässt, indem sie Antworten durch weitere Überlegungen zur Kette des Kettens überprüfen.

Frühere Vergleiche haben Genrm wild effizient aussehen: die Genauigkeit von SC mit 4 × weniger Lösungen. Aber dieses Papier nennt das aus – hart. Warum? Weil niemand die wahren Rechenkosten all dieser Überprüfungsschritte zählte.

Berechnen Budgets ändern alles

Diese Studie führt einen sauberen Rahmen für die Messung der tatsächlichen Kosten von SC- und GENRM -Ansätzen im Rahmen eines festen Rechenbudgets ein. Es funktioniert wie folgt: Sie können entweder Berechnung ausgeben, um mehr Antworten zu generieren (SC) oder dieses Price range zwischen ein paar Antworten und vielen Überprüfungen (GENRM) aufzuteilen. Ihr Modell zur Berechnung des Gesamtinferenz -Rechens ist erfrischend unkompliziert: C (s, v) = s (1 + λv), wobei S die Anzahl der Lösungen ist, v die Anzahl der Überprüfungen, und λ spiegelt die Überprüfungslänge relativ zu Lösungen wider.

Das brutale Ergebnis: SC ist immer noch König (es sei denn, Sie sind reich)

Die Experimente ließen wenig Zweifel. In Lama- und Qwen -Modellen, von 7B bis 70B -Parametern sowie über mathematische und naturwissenschaftliche Überlegungsaufgaben, wiederholte sich die Geschichte: SC übertraf Genrm bei niedrigeren Rechenbudgets. Erst wenn die Berechnung über 8 × skaliert wurde, hat Genrm aufgenommen. Und einen bescheidenen Leistungsschub von 3,8% gegenüber SC erforderte einen Augenheiliger 128 × mehr Berechnung.

Dieses Ergebnis hielt auch für fortgeschrittene „Denkmodelle“ wie QWQ-32B und für harte mathematische Datensätze wie Aime24 auf. SC gewinnt, wenn der Berechnung eng ist. Genrm ist nur sinnvoll, wenn der Laptop praktisch frei ist – oder wenn die Probleme so schwierig sind, dass sich die Überprüfung dramatisch auszahlt.

---

IEA warn

---

Die intelligente Möglichkeit, Genrm zu verwenden (falls Sie müssen)

Trotzdem entlässt die Studie Genrm nicht vollständig. In der Tat leitet es ab Inferenz -Skalierungsgesetze Für Genrm-eine Blaupause für die rechenoptimale Problemlösung. Der Schlüssel zu finden? Wenn Sie Genrm skalieren, geben Sie Berechnung für die Erzeugung von Lösungen schneller zu als die Überprüfungen – ungefähr 1,5 bis 2 -mal schneller. In Zahlen fanden ihre Skalierungsgesetze optimale Lösungszählungsskalen mit dem Rechenbudget als S ∝ C^0,57, während optimale Überprüfungen als V ∝ c^0,39 skalieren.

In dieser Forschung wird Praktikern einen sehr praktischen Leitfaden hinterlassen: Wenn der Laptop begrenzt ist, vertrauen Sie SC und geben Sie sie für mehr Lösungen aus. Wenn der Laptop reichlich vorhanden ist und vor allem, wenn Sie mit härteren Argumentationsaufgaben zu tun haben, kann es sich lohnen, Genrm mit dem richtigen Skalierungsbetrag zu verwenden – aber nur mit ernsthafter Optimierung.

Für KI-Entwickler, die mit realen Einschränkungen konfrontiert sind, ist das Imbiss quick komisch einfach: mehr Denken überprüft, es sei denn, Sie verfügen über nahezu unendliche Ressourcen. Und selbst dann muss die Überprüfung clever, effizient und minimal sein.

Das volle Papier “Wann zu lösen, wann zu verifizieren ist: Berechnen optimum Problemlösung und generative Überprüfung für LLM-Argumentation“Ist auf erhältlich Arxiv. Ihre Codebasis ist geöffnet bei Github.

---

Ausgewähltes Bildnachweis

Kurz vor GTC (und für die 100. Folge des @HPCPodcasts und dieser von Liquid Cooling Firm gesponsert Coolit), Wir begrüßen einen speziellen Analyst für den speziellen Gäste- und Hochleistungs-Chipindustrieanalyst Dr. Ian CutressChief Analyst bei Mehr als Moore und Gastgeber des beliebten YouTube -Kanals TechTechpotato Um den Stand der KI und des fortschrittlichen Chips, der neuen Technologien und Architekturen, der Startup -Szene und den Prime -Developments im Halbleiterdesign und der Herstellung zu erörtern.

Er befasst sich auch mit der GPU -Landschaft unter Nvidia, AMD und Intel und wohin dieser Sektor geleitet wird.

Darüber hinaus teilt er seine Erwartungen an die wichtigsten Nachrichten und die wichtigsten Developments, die die NVIDIA GTC -Konferenz der nächsten Woche in San Jose hervorheben. Begleiten Sie uns für dieses lebhafte Gespräch.