# Einführung

Habe schon einmal welche gefunden seltsam Datenpunkte in Ihrem Datensatz, während Sie ihn erkunden? Eine oder mehrere, die sich übermäßig von der überwiegenden Mehrheit der Beobachtungen unterscheiden und dadurch Ihre Mittelwerte drastisch verzerren und die Varianzen vergrößern? Ich warfare auch dort. Diese Punkte sind Ausreißer. Ihre Auswirkungen beschränken sich nicht nur auf die Änderung von Datenstatistiken: Ausreißer können leicht die Leistung aller von Ihnen erstellten prädiktiven Analysemodelle beeinträchtigen. Daher ist ihre robuste Erkennung und Handhabung bei jedem Datenprojekt von entscheidender Bedeutung. In diesem Artikel werden fünf wesentliche Ansätze zu ihrer Erkennung aufgelistet und verglichen, zusammen mit einem kurzen Python-Beispiel für jeden.

# 1. Die Z-Rating-Methode

Die Z-Rating-Berechnung ist eine einfache Methode, die am besten für normalverteilte Datenvariablen funktioniert. Es misst, um wie viele Standardabweichungen jeder Punkt vom Mittelwert abweicht. Im Wesentlichen wird ein Datenpunkt, dessen Z-Rating 3 oder höher (oder -3 oder niedriger) beträgt, als Ausreißer gekennzeichnet: Das bedeutet, dass zwischen diesem Punkt und dem Mittelwert ein Abstand von mehr als drei Standardabweichungen besteht. Trotz seiner Einfachheit hat es den Nachteil, dass Mittelwerte und Standardabweichungen von Natur aus sehr empfindlich auf Extremwerte reagieren.

import numpy as np
from scipy import stats

information = np.array((10, 12, 11, 13, 12, 11, 10, 12, 11, 13, 250))

z_scores = np.abs(stats.zscore(information))
outliers = information(z_scores > 3)

print(outliers)

Ausgabe:

# 2. Die Interquartilbereichsmethode (IQR).

Sind Ihre Datenvariablen nicht normalverteilt? Dann ist der IQR eine bessere und robustere Wette als Z-Rating-Berechnungen. Diese Methode verwendet Perzentile, insbesondere durch die Bestimmung der Spanne zwischen dem ersten Quartil (Q1, 25. Perzentil) und dem dritten Quartil (Q3, 75. Perzentil). Grenzpunkte, die das 1,5-fache des IQR unter Q1 und über Q3 liegen, werden wie unten gezeigt berechnet und fungieren als „Zaun“. Mit anderen Worten: Jeder Punkt, der auf beiden Seiten außerhalb dieser beiden Grenzen liegt, wird als Ausreißer gekennzeichnet. Die gute Nachricht: Die Robustheit des IQR beruht auf der Tatsache, dass Extremwerte Quartile nicht so verändern, wie sie Mittelwerte und Standardabweichungen verändern.

import numpy as np

information = np.array((10, 12, 11, 13, 12, 11, 10, 12, 11, 13, 250))

q1, q3 = np.percentile(information, (25, 75))
iqr = q3 - q1
lower_fence = q1 - 1.5 * iqr
upper_fence = q3 + 1.5 * iqr
outliers = information((information < lower_fence) | (information > upper_fence))

print(outliers)

Ausgabe:

# 3. Isolationswälder

Bei der Verarbeitung komplexer Datensätze mit hoher Dimensionalität sind herkömmliche Methoden wie Z-Scores und IQR nicht mehr effektiv. Betreten Sie Isolation Forests, eine Technik des maschinellen Lernens, die lernt, Anomalien aus „normalen“ Daten zu isolieren. Die Idee ähnelt der klassischer Entscheidungsbäume zur Klassifizierung und Regression: Ausreißer sind seltene Datenpunkte, daher ist es viel einfacher, sie durch Baumpartitionen zu isolieren. Wenn additionally ein Punkt durch den Baumalgorithmus sehr leicht von anderen getrennt werden kann, ist die Wahrscheinlichkeit groß, dass es sich um einen Ausreißer handelt.

import numpy as np
from sklearn.ensemble import IsolationForest

information = np.array((10, 12, 11, 13, 12, 11, 10, 12, 11, 13, 250)).reshape(-1, 1)

mannequin = IsolationForest(contamination=0.1, random_state=42)
predictions = mannequin.fit_predict(information)
outliers = information(predictions == -1)

print(outliers)

Ausgabe:

# 4. Mediane absolute Abweichung (MAD)

Dabei handelt es sich sozusagen um eine wesentlich robustere Model des Z-Scores: MAD berechnet aus dem Median – immun gegen Extremwerte – und absoluten Abweichungen davon einen erweiterten „Z-Rating“. Beachten Sie jedoch, dass die Methode zwar auf nicht normale Variablen angewendet werden kann, normalerweise jedoch auf eindimensionale Daten angewendet wird, es sich additionally um eine univariate Technik handelt.

import numpy as np
from scipy.stats import median_abs_deviation

information = np.array((10, 12, 11, 13, 12, 11, 10, 12, 11, 13, 250))

mad = median_abs_deviation(information, scale="regular")
median = np.median(information)
modified_z_scores = np.abs(information - median) / mad
outliers = information(modified_z_scores > 3)

print(outliers)

Ausgabe:

# 5. Dichtebasiertes Clustering: DBSCAN

Dies ist ein hervorragender Ansatz zur Identifizierung von Ausreißern in räumlichen Daten oder Datensätzen mit komplexen Gruppierungen. Der DBSCAN Der Algorithmus bildet Gruppen um Punkte, die in Gebieten mit hoher Dichte nahe beieinander liegen. Bei der Anwendung werden Datenpunkte, die in Bereichen mit geringerer Dichte isoliert sind, automatisch als Rauschen, additionally als Ausreißer, identifiziert. Genau wie Methode Nummer 3 (Isolationswälder) handelt es sich hierbei um eine multivariate Technik, die die Auswertung mehrdimensionaler Datenpunkte im Ausreißererkennungsprozess ermöglicht.

import numpy as np
from sklearn.cluster import DBSCAN

information = np.array((10, 12, 11, 13, 12, 11, 10, 12, 11, 13, 250)).reshape(-1, 1)

mannequin = DBSCAN(eps=5, min_samples=2)
labels = mannequin.fit_predict(information)
outliers = information(labels == -1)

print(outliers)

Ausgabe:

# Zusammenfassung

Bei der Auswahl der richtigen Methode zur Erkennung von Ausreißern kommt es auf das Verständnis Ihrer Daten an. Der Z-Rating und der IQR sind schnelle und einfache Optionen für univariate Daten, wobei der IQR die sicherere Wahl ist, wenn Ihre Variablen nicht normalverteilt sind. MAD bietet eine robustere univariate Various für Fälle, in denen excessive Werte andernfalls das Ergebnis verzerren könnten. Wenn Ihre Daten mehrere Dimensionen oder eine komplexe Struktur aufweisen, erweitern Isolationswälder und DBSCAN die Erkennung von Ausreißern über einfache statistische Schwellenwerte hinaus und erfassen Beziehungen, die mit den einfacheren Methoden völlig übersehen werden. Es gibt keinen einzigen besten Ansatz, sondern nur den, der am besten zur Type und zum Umfang Ihrer Daten passt.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.

Die Fähigkeit, schnell hochwertige Bilder zu erzeugen, ist entscheidend für die Erzeugung realistischer simulierter Umgebungen, mit denen selbstfahrende Autos unvorhersehbare Gefahren vermeiden können und sie auf realen Straßen sicherer machen können.

Die generativen Techniken für künstliche Intelligenz werden jedoch zunehmend zur Herstellung solcher Bilder verwendet. Eine beliebte Artwork von Modell, das als Diffusionsmodell bezeichnet wird, kann erstaunlich realistische Bilder erzeugen, ist jedoch für viele Anwendungen zu langsam und rechenintensiv. Andererseits sind die autoregressiven Modelle, die LLMs wie ChatGPT betreiben, viel schneller, aber sie erzeugen Bilder von schlechterer Qualität, die oft mit Fehlern durchsetzt sind.

Forscher von MIT und Nvidia entwickelten einen neuen Ansatz, der das Beste aus beiden Methoden zusammenbringt. Ihr Hybrid-Bild-Technology-Software verwendet ein autoregressives Modell, um das große Bild schnell und dann ein kleines Diffusionsmodell zu erfassen, um die Particulars des Bildes zu verfeinern.

Ihr Software, bekannt als HART (kurz für den autoregressiven Transformator), kann Bilder erzeugen, die der Qualität der hochmodernen Diffusionsmodelle übereinstimmen oder überschreiten, dies jedoch etwa neunmal schneller.

Der Erzeugungsprozess verbraucht weniger Rechenressourcen als typische Diffusionsmodelle, sodass HART lokal auf einem kommerziellen Laptop computer oder einem Smartphone laufen kann. Ein Benutzer muss nur eine natürliche Sprache in die HART -Schnittstelle eingeben, um ein Bild zu generieren.

Hart könnte eine breite Palette von Anwendungen haben, z. B. den Forschern dabei helfen, Roboter auszubilden, um komplexe reale Aufgaben zu erledigen und Designer bei der Herstellung von Schlagszenen für Videospiele zu unterstützen.

“If you’re portray a panorama, and also you simply paint your entire canvas as soon as, it may not look superb. However should you paint the large image after which refine the picture with smaller brush strokes, your portray might look rather a lot higher. That’s the fundamental concept with HART,” says Haotian Tang SM ’22, PhD ’25, co-lead creator of a Neues Papier über Hart.

Er wird von Yecheng Wu, einem Pupil der Tsinghua College, von Co-Lead-Autorin; Senior Autor Music Han, Affiliate Professor am MIT Division of Electrical Engineering and Data (EECS), Mitglied des MIT-IBM Watson AI Lab, und angesehener Wissenschaftler von Nvidia; sowie andere am MIT, die Tsinghua College und Nvidia. Die Forschung wird auf der Internationalen Konferenz über Lernrepräsentationen vorgestellt.

Das Beste aus beiden Welten

Beliebte Diffusionsmodelle wie stabile Diffusion und Dall-e produzieren bekanntermaßen detaillierte Bilder. Diese Modelle erzeugen Bilder durch einen iterativen Prozess, bei dem sie auf jedem Pixel ein gewisses Maß an zufälliger Rauschen vorhersagen, das Rauschen subtrahieren und dann den Vorhersageprozess wiederholen und mehrmals „abosinieren“, bis sie ein neues Bild erzeugen, das völlig frei von Rauschen ist.

Da das Diffusionsmodell bei jedem Schritt alle Pixel in einem Bild abgebaut hat und es 30 oder mehr Schritte geben kann, ist der Prozess langsam und rechenintensiv. Da das Modell jedoch mehrere Chancen hat, Particulars zu korrigieren, sind die Bilder qualitativ hochwertig.

Autoregressive Modelle, die üblicherweise zur Vorhersage von Textual content verwendet werden, können Bilder erzeugen, indem Patches eines Bildes nacheinander einige Pixel gleichzeitig vorhergesagt werden. Sie können nicht zurückkehren und ihre Fehler korrigieren, aber der sequentielle Vorhersageprozess ist viel schneller als die Diffusion.

Diese Modelle verwenden Darstellungen, die als Token bekannt sind, um Vorhersagen zu treffen. Ein autoregressives Modell verwendet einen Autocoder, um Rohbildpixel in diskrete Token zu komprimieren und das Bild von vorhergesagten Token zu rekonstruieren. Während dies die Geschwindigkeit des Modells stärkt, verursacht der Informationsverlust, der während der Komprimierung auftritt, Fehler, wenn das Modell ein neues Bild erzeugt.

Bei HART entwickelten die Forscher einen hybriden Ansatz, bei dem ein autoregressives Modell verwendet wird, um komprimierte, diskrete Bildtoken vorherzusagen, und dann ein kleines Diffusionsmodell zur Vorhersage von verbleibenden Token. Resttoken kompensieren den Informationsverlust des Modells, indem sie Particulars erfassen, die von diskreten Token ausgelassen wurden.

„Wir können einen enormen Schub in Bezug auf die Rekonstruktionsqualität erzielen. Unsere verbleibenden Token lernen Hochfrequenzdetails, wie die Kanten eines Objekts oder die Haare, die Augen oder der Mund einer Particular person. Dies sind Orte, an denen diskrete Token Fehler machen können“, sagt Tang.

Da das Diffusionsmodell nur die verbleibenden Particulars vorhersagt, nachdem das autoregressive Modell seinen Job erledigt hat, kann es die Aufgabe in acht Schritten erfüllen, anstatt dass ein Commonplace -Diffusionsmodell für 30 oder mehr erforderlich ist, um ein ganzes Bild zu generieren. Dieser minimale Aufwand des zusätzlichen Diffusionsmodells ermöglicht es HART, den Geschwindigkeitsvorteil des autoregressiven Modells beizubehalten und gleichzeitig seine Fähigkeit zu verbessern, komplizierte Bilddetails zu erzeugen.

„Das Diffusionsmodell hat eine einfachere Aufgabe zu erledigen, was zu mehr Effizienz führt“, fügt er hinzu.

Outperformance größere Modelle

Während der Entwicklung von HART stießen die Forscher vor Herausforderungen, um das Diffusionsmodell effektiv zu integrieren, um das autoregressive Modell zu verbessern. Sie fanden heraus, dass die Einbeziehung des Diffusionsmodells in die frühen Stadien des autoregressiven Prozesses zu einer Akkumulation von Fehlern führte. Stattdessen hat ihr endgültiges Design, das Diffusionsmodell anzuwenden, um nur verbleibende Token als endgültige Schritt vorzuhalten, die die Qualität der Erzeugung erheblich verbessert.

Ihre Methode, die eine Kombination aus einem autoregressiven Transformatormodell mit 700 Millionen Parametern und einem leichten Diffusionsmodell mit 37 Millionen Parametern verwendet, kann Bilder von derselben Qualität erzeugen, die durch ein Diffusionsmodell mit 2 Milliarden Parametern erzeugt werden, dies jedoch etwa neunmal schneller. Es verwendet etwa 31 Prozent weniger Berechnung als hochmoderne Modelle.

Da Hart ein autoregressives Modell verwendet, um den Großteil der Arbeit zu erledigen-dieselbe Artwork von Modell wie LLMs-, ist es für die Integration mit der neuen Klasse der generativen Modelle der einheitlichen Imaginative and prescient-Sprache kompatibel. In Zukunft könnte man mit einem einheitlichen generativen Modell mit einer einheitlichen Imaginative and prescient interagieren, indem man es möglicherweise bittet, die Zwischenschritte zu zeigen, die erforderlich sind, um ein Möbelstück zusammenzustellen.

„LLMs sind eine gute Schnittstelle für alle möglichen Modelle wie multimodale Modelle und Modelle, die begründen können. Dies ist eine Möglichkeit, die Intelligenz an eine neue Grenze zu bringen. Ein effizientes Bild-Technology-Modell würde viele Möglichkeiten freischalten“, sagt er.

In Zukunft wollen die Forscher diesen Weg unterwegs gehen und Visionsprachmodelle über die Hart-Architektur aufbauen. Da Hart skalierbar und auf mehrere Modalitäten verallgemeinerbar ist, möchten sie es auch für Aufgaben zur Videogenerierung und Audiovorhersage anwenden.

Diese Forschung wurde zum Teil vom MIT-IBM Watson AI Lab, dem MIT und Amazon Science Hub, dem MIT AI-Hardwareprogramm und der US Nationwide Science Basis finanziert. Die GPU -Infrastruktur für das Coaching Dieses Modell wurde von NVIDIA gespendet.