Bild vom Autor

# Einführung

Alle Tutorials zur Datenwissenschaft lassen das Erkennen von Ausreißern recht einfach erscheinen. Entfernen Sie alle Werte, die größer als drei Standardabweichungen sind. das ist alles. Aber sobald Sie mit einem tatsächlichen Datensatz arbeiten, bei dem die Verteilung verzerrt ist und ein Stakeholder fragt: „Warum haben Sie diesen Datenpunkt entfernt?“ Du merkst plötzlich, dass du keine gute Antwort hast.

Additionally führten wir ein Experiment durch. Wir haben fünf der am häufigsten verwendeten Methoden zur Erkennung von Ausreißern an einem realen Datensatz (6.497 portugiesische Weine) getestet, um herauszufinden: Liefern diese Methoden konsistente Ergebnisse?

Das haben sie nicht getan. Was wir aus der Meinungsverschiedenheit gelernt haben, erwies sich als wertvoller als alles, was wir aus einem Lehrbuch hätten lernen können.

Bild vom Autor

Wir haben diese Analyse als interaktives Strata-Notizbuch erstellt, ein Format, das Sie für Ihre eigenen Experimente verwenden können Datenprojekt auf StrataScratch. Sie können es anzeigen und ausführen Den vollständigen Code finden Sie hier.

# Einrichten

Unsere Daten stammen aus der Datensatz zur Weinqualitätöffentlich verfügbar über das Machine Studying Repository der UCI. Es enthält physikalisch-chemische Messungen von 6.497 portugiesischen „Vinho Verde“-Weinen (1.599 Rotweine, 4.898 Weißweine) sowie Qualitätsbewertungen von erfahrenen Verkostern.

Wir haben es aus mehreren Gründen ausgewählt. Es handelt sich um Produktionsdaten, nicht um etwas künstlich Generiertes. Die Verteilungen sind schief (6 von 11 Merkmalen haben eine Schiefe ( > 1 )), sodass die Daten nicht den Lehrbuchannahmen entsprechen. Und anhand der Qualitätsbewertungen können wir prüfen, ob die erkannten „Ausreißer“ häufiger bei Weinen mit ungewöhnlichen Bewertungen auftauchen.

Nachfolgend sind die fünf Methoden aufgeführt, die wir getestet haben:

# Die erste Überraschung entdecken: Überhöhte Ergebnisse aus mehreren Exams

Bevor wir Methoden vergleichen konnten, stießen wir an eine Wand. Bei 11 Merkmalen führte der naive Ansatz (Kennzeichnung einer Stichprobe auf der Grundlage eines Extremwerts in mindestens einem Merkmal) zu extrem überhöhten Ergebnissen.

IQR hat etwa 23 % der Weine als Ausreißer gekennzeichnet. Der Z-Rating ist um etwa 26 % gesunken.

Wenn quick jeder vierte Wein als Ausreißer gekennzeichnet wird, stimmt etwas nicht. Echte Datensätze weisen keine 25 % Ausreißer auf. Das Downside bestand darin, dass wir 11 Funktionen unabhängig voneinander getestet haben, was die Ergebnisse überhöht.

Die Rechnung ist einfach. Wenn jedes Merkmal eine Wahrscheinlichkeit von weniger als 5 % hat, einen „zufälligen“ Extremwert zu haben, dann gilt bei 11 unabhängigen Merkmalen:
( P(textual content{mindestens ein Extrem}) = 1 – (0,95)^{11} ungefähr 43% )

Im Klartext: Selbst wenn jedes Merkmal völlig regular ist, würden Sie erwarten, dass quick die Hälfte Ihrer Stichproben zufällig irgendwo mindestens einen Extremwert aufweist.

Um dies zu beheben, haben wir die Anforderung geändert: Markieren Sie ein Beispiel nur, wenn mindestens zwei Merkmale gleichzeitig extrem sind.

Durch die Änderung von min_features von 1 auf 2 wurde die Definition von „Jedes Merkmal der Stichprobe ist extrem“ in „Die Stichprobe ist über mehr als ein Merkmal extrem“ geändert.

Hier ist der Repair im Code:

# Depend excessive options per pattern
outlier_counts = (np.abs(z_scores) > 3.5).sum(axis=1)
outliers = outlier_counts >= 2

# Vergleich von 5 Methoden anhand eines Datensatzes

Nachdem die Lösung für mehrere Exams installiert battle, haben wir gezählt, wie viele Proben jede Methode gemeldet hat:

So richten wir die ML-Methoden ein:

from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor
 
iforest = IsolationForest(contamination=0.05, random_state=42)
lof = LocalOutlierFactor(n_neighbors=20, contamination=0.05)

Warum zeigen die ML-Methoden alle genau 5 % an? Aufgrund des Kontaminationsparameters. Sie müssen genau diesen Prozentsatz angeben. Es handelt sich um eine Quote, nicht um einen Schwellenwert. Mit anderen Worten: Isolation Forest meldet 5 %, unabhängig davon, ob Ihre Daten 1 % echte Ausreißer oder 20 % enthalten.

# Den wahren Unterschied entdecken: Sie identifizieren verschiedene Dinge

Das hat uns am meisten überrascht. Als wir untersuchten, inwieweit die Methoden übereinstimmten, ergab sich das Jaccard-Ähnlichkeit lag zwischen 0,10 und 0,30. Das ist eine schlechte Übereinstimmung.

Von 6.497 Weinen:

• Nur 32 Proben (0,5 %) wurden von allen vier Primärmethoden markiert
• 143 Proben (2,2 %) wurden durch mehr als 3 Methoden gekennzeichnet
• Die verbleibenden „Ausreißer“ wurden nur durch eine oder zwei Methoden gekennzeichnet

Man könnte meinen, dass es sich um einen Fehler handelt, aber genau darum geht es. Jede Methode hat ihre eigene Definition von „ungewöhnlich“:

Wenn ein Wein einen deutlich über dem Durchschnitt liegenden Restzuckergehalt aufweist, handelt es sich um einen univariaten Ausreißer (Z-Rating/IQR erkennt ihn). Aber wenn er von anderen Weinen mit ähnlichem Zuckergehalt umgeben ist, wird LOF ihn nicht kennzeichnen. Im lokalen Kontext ist das regular.

Die eigentliche Frage lautet additionally nicht: „Welche Methode ist die beste?“ Es ist „Was für ein Ungewöhnliches suche ich?“

# Überprüfung der Vernunft: Korrelieren Ausreißer mit der Weinqualität?

Der Datensatz enthält Expertenbewertungen zur Qualität (3–9). Wir wollten wissen: Treten erkannte Ausreißer häufiger bei Weinen mit extremen Qualitätsbewertungen auf?

Weine von extremer Qualität waren im Konsens doppelt so häufig Ausreißer. Das ist eine gute Überprüfung der geistigen Gesundheit. In einigen Fällen ist der Zusammenhang klar: Ein Wein mit viel zu viel flüchtiger Säure schmeckt nach Essig, wird schlecht bewertet und als Ausreißer abgestempelt. Die Chemie bestimmt beide Ergebnisse. Wir können jedoch nicht davon ausgehen, dass dies jeden Fall erklärt. Möglicherweise gibt es Muster, die wir nicht erkennen, oder verwirrende Faktoren, die wir nicht berücksichtigt haben.

# Drei Entscheidungen treffen, die unsere Ergebnisse geprägt haben

// 1. Verwendung eines robusten Z-Scores anstelle eines Commonplace-Z-Scores

Ein Commonplace-Z-Rating verwendet den Mittelwert und die Standardabweichung der Daten, die beide von den in unserem Datensatz vorhandenen Ausreißern beeinflusst werden. Ein robuster Z-Rating verwendet stattdessen den Median und die mittlere absolute Abweichung (Median Absolute Deviation, MAD), die nicht von Ausreißern beeinflusst werden.

Infolgedessen identifizierte der Commonplace-Z-Rating 0,8 % der Daten als Ausreißer, während der Sturdy-Z-Rating 3,5 % identifizierte.

# Sturdy Z-Rating utilizing median and MAD
median = np.median(information, axis=0)
mad = np.median(np.abs(information - median), axis=0)
robust_z = 0.6745 * (information - median) / mad

// 2. Rot- und Weißweine getrennt skalieren

Rot- und Weißweine haben unterschiedliche Grundwerte an Chemikalien. Wenn beispielsweise Rot- und Weißweine in einem einzigen Datensatz kombiniert werden, kann ein Rotwein, der im Vergleich zu anderen Rotweinen eine völlig durchschnittliche Chemie aufweist, allein aufgrund seines Schwefelgehalts im Vergleich zum kombinierten Mittelwert von Rot- und Weißweinen als Ausreißer identifiziert werden. Daher haben wir jeden Weintyp separat anhand des Medians und des Interquartilbereichs (IQR) jedes Weintyps skaliert und dann beide kombiniert.

# Scale every wine sort individually
from sklearn.preprocessing import RobustScaler
scaled_parts = ()
for wine_type in ('pink', 'white'):
    subset = df(df('sort') == wine_type)(options)
    scaled_parts.append(RobustScaler().fit_transform(subset))

// 3. Wissen, wann eine Methode ausgeschlossen werden sollte

Bei Elliptic Envelope wird davon ausgegangen, dass Ihre Daten einer multivariaten Normalverteilung folgen. Bei uns battle das nicht der Fall. Sechs von elf Options hatten eine Schiefe über 1 und ein Characteristic erreichte 5,4. Der Vollständigkeit halber haben wir den Elliptischen Umschlag im Vergleich beibehalten, ihn jedoch bei der Konsensabstimmung nicht berücksichtigt.

# Bestimmen, welche Methode für diesen Weindatensatz am besten geeignet ist

Bild vom Autor

Können wir angesichts der Merkmale unserer Daten (starke Schiefe, gemischte Grundgesamtheit, keine bekannte Grundwahrheit) einen „Gewinner“ auswählen?

Robuster Z-Rating, IQR, Isolation Forest und LOF verarbeiten alle verzerrte Daten einigermaßen intestine. Wenn wir gezwungen wären, uns für eines zu entscheiden, würden wir uns für Isolation Forest entscheiden: keine Verteilungsannahmen, berücksichtigt alle Merkmale auf einmal und geht elegant mit gemischten Populationen um.

Aber keine einzelne Methode kann alles:

• Isolation Forest kann Ausreißer übersehen, die nur bei einem Merkmal extrem sind (Z-Rating/IQR fängt diese ab)
• Z-Rating/IQR kann Ausreißer übersehen, die bei mehreren Merkmalen ungewöhnlich sind (mehrdimensionale Ausreißer).

Der bessere Ansatz: mehrere Methoden nutzen und dem Konsens vertrauen. Die 143 Weine, die durch drei oder mehr Methoden gekennzeichnet wurden, sind weitaus zuverlässiger als alle Weine, die nur durch eine einzelne Methode gekennzeichnet wurden.

So haben wir den Konsens berechnet:

# Depend what number of strategies flagged every pattern
consensus = zscore_out + iqr_out + iforest_out + lof_out
high_confidence = df(consensus >= 3)  # Recognized by 3+ strategies

Ohne Grundwahrheit (wie in den meisten realen Projekten) ist die Methodenübereinstimmung das beste Maß für die Zuverlässigkeit.

# Verstehen Sie, was das alles für Ihre eigenen Projekte bedeutet

Definieren Sie Ihr Downside, bevor Sie Ihre Methode auswählen. Was für ein „Ungewöhnliches“ suchen Sie eigentlich? Dateneingabefehler sehen anders aus als Messanomalien, und beide sehen anders aus als wirklich seltene Fälle. Die Artwork des Issues weist auf unterschiedliche Methoden hin.

Überprüfen Sie Ihre Annahmen. Wenn Ihre Daten stark verzerrt sind, führen Sie der Commonplace-Z-Rating und der Elliptische Umschlag in die Irre. Schauen Sie sich Ihre Verteilungen an, bevor Sie sich auf eine Methode festlegen.

Verwenden Sie mehrere Methoden. Proben, die von drei oder mehr Methoden mit unterschiedlichen Definitionen von „Ausreißer“ gekennzeichnet wurden, sind vertrauenswürdiger als Proben, die nur von einer Methode gekennzeichnet wurden.

Gehen Sie nicht davon aus, dass alle Ausreißer entfernt werden sollten. Ein Ausreißer könnte ein Fehler sein. Es könnte auch Ihr interessantester Datenpunkt sein. Den Ausschlag gibt Domänenwissen, nicht Algorithmen.

# Abschließende Bemerkungen

Der Punkt hier ist nicht, dass die Ausreißererkennung fehlerhaft ist. Es ist so, dass „Ausreißer“ unterschiedliche Bedeutungen hat, je nachdem, wer fragt. Z-Rating und IQR fangen Werte ab, die in einer einzelnen Dimension extrem sind. Isolation Forest und LOF finden Proben, die in ihrem Gesamtmuster hervorstechen. Elliptischer Umschlag funktioniert intestine, wenn Ihre Daten tatsächlich Gaußsche Daten sind (unsere waren das nicht).

Finden Sie heraus, wonach Sie wirklich suchen, bevor Sie sich für eine Methode entscheiden. Und wenn Sie sich nicht sicher sind? Führen Sie mehrere Methoden aus und folgen Sie dem Konsens.

# FAQs

// 1. Bestimmen, mit welcher Technik ich beginnen sollte

Ein guter Ausgangspunkt ist die Isolation Forest-Technik. Es geht nicht davon aus, wie Ihre Daten verteilt sind, und nutzt alle Ihre Funktionen gleichzeitig. Wenn Sie jedoch Extremwerte für eine bestimmte Messung identifizieren möchten (z. B. sehr hohe Blutdruckwerte), sind Z-Rating oder IQR möglicherweise besser dafür geeignet.

// 2. Auswahl einer Kontaminationsrate für Scikit-Be taught-Methoden

Es hängt von dem Downside ab, das Sie lösen möchten. Ein häufig verwendeter Wert ist 5 % (oder 0,05). Bedenken Sie jedoch, dass es sich bei der Kontamination um eine Quote handelt. Das bedeutet, dass 5 % Ihrer Stichproben als Ausreißer klassifiziert werden, unabhängig davon, ob Ihre Daten tatsächlich 1 % oder 20 % echte Ausreißer enthalten. Verwenden Sie eine Kontaminationsrate, die auf Ihrem Wissen über den Anteil der Ausreißer in Ihren Daten basiert.

// 3. Entfernen von Ausreißern vor der Aufteilung von Trainings-/Testdaten

Nein. Sie sollten ein Ausreißererkennungsmodell an Ihren Trainingsdatensatz anpassen und das trainierte Modell dann auf Ihren Testdatensatz anwenden. Andernfalls beeinflussen Ihre Testdaten Ihre Vorverarbeitung, was zu Lecks führt.

// 4. Umgang mit kategorialen Merkmalen

Die hier behandelten Techniken arbeiten mit numerischen Daten. Es gibt drei mögliche Alternativen für kategoriale Merkmale:

• kodieren Sie Ihre kategorialen Variablen und fahren Sie fort;
• Verwenden Sie eine Technik, die für gemischte Datentypen entwickelt wurde (z. B. HBOS).
• Führen Sie die Ausreißererkennung für numerische Spalten separat durch und verwenden Sie häufigkeitsbasierte Methoden für kategoriale Spalten.

// 5. Wissen, ob ein markierter Ausreißer ein Fehler oder einfach nur ungewöhnlich ist

Sie können anhand des Algorithmus allein nicht bestimmen, wann ein identifizierter Ausreißer einen Fehler darstellt und wann er einfach ungewöhnlich ist. Es markiert, was ungewöhnlich ist, nicht, was falsch ist. Beispielsweise könnte ein Wein mit einem extrem hohen Restzuckergehalt ein Dateneingabefehler sein, oder es könnte sich um einen Dessertwein handeln, der so süß sein soll. Letztlich kann nur Ihre Fachkompetenz eine Antwort liefern. Wenn Sie sich nicht sicher sind, markieren Sie es zur Überprüfung, anstatt es automatisch zu entfernen.

Nate Rosidi ist Datenwissenschaftler und in der Produktstrategie tätig. Er ist außerdem außerordentlicher Professor für Analytik und Gründer von StrataScratch, einer Plattform, die Datenwissenschaftlern hilft, sich mit echten Interviewfragen von Prime-Unternehmen auf ihre Interviews vorzubereiten. Nate schreibt über die neuesten Traits auf dem Karrieremarkt, gibt Ratschläge zu Vorstellungsgesprächen, stellt Information-Science-Projekte vor und behandelt alles rund um SQL.

Faszinierende Aspekte von Zeitreihen sind die intrinsische Komplexität einer scheinbar einfachen Artwork von Daten.

Letztendlich haben Sie in Zeitreihen eine x-Achse, die normalerweise die Zeit

Allerdings verbirgt sich die Komplexität in der Entwicklung der interessierenden Menge (y-Achse) über die Zeit (x-Achse). Stellt diese Entwicklung eine dar? Development? Hat es welche? Datenpunkte die deutlich vom erwarteten Sign abweichen? Ist es stabil oder unvorhersehbar? Ist der Durchschnittswert der Menge größer als wir erwarten würden? Diese können alle irgendwie definiert werden als Anomalien.

Dieser Artikel ist eine Sammlung verschiedener Techniken zur Anomalieerkennung. Das Ziel besteht darin, dass wir anhand eines Datensatzes mit mehreren Zeitreihen erkennen können welche Zeitreihe ist anomal und Warum.

Dies sind die 4 Zeitreihenanomalien, die wir erkennen werden:

1. Wir werden jeden Development in unserer Zeitreihe erkennen (Trendanomalie)
2. Wir werden bewerten, wie volatil die Zeitreihe ist (Volatilitätsanomalie).
3. Wir werden die Punktanomalien innerhalb der Zeitreihe erkennen (Einzelpunktanomalie).
4. Wir werden die Anomalien innerhalb unserer Signalbank erkennen, um zu verstehen, welches Sign sich anders verhält als unser Signalsatz (Anomalie auf Datensatzebene).

Wir werden jede Anomalieerkennungsmethode aus dieser Sammlung theoretisch beschreiben und die Python-Implementierung zeigen. Der gesamte Code, den ich für diesen Weblog-Beitrag verwendet habe, ist im enthalten PieroPaialungaAI/timeseriesanomaly GitHub-Ordner

0. Der Datensatz

Um den Anomalie-Kollektor zu erstellen, benötigen wir einen Datensatz, in dem wir genau wissen, nach welcher Anomalie wir suchen, damit wir wissen, ob unser Anomalie-Detektor funktioniert oder nicht. Um das zu erreichen, habe ich eine erstellt knowledge.py Skript. Das Skript enthält ein DataGenerator-Objekt, das:

1. Liest die Konfiguration unseres Datensatzes aus einer config.json*-Datei.
2. Erstellt ein Datensatz von Anomalien
3. Gibt Ihnen die Möglichkeit, es einfach zu machen speichern die Daten und Handlung ihnen.

Dies ist der Codeausschnitt:

Wir können additionally sehen, dass wir Folgendes haben:

1. Eine geteilte Zeitachsevon 0 bis 100
2. Mehrere Zeitreihen die eine Zeitreihe bilden Datensatz
3. Jede Zeitreihe präsentiert einen oder mehrere Anomalien.

Die Anomalien sind erwartungsgemäß:

1. Das Trendverhaltenwobei die Zeitreihen ein lineares oder polynomielles Verhalten aufweisen
2. Die Volatilitätwobei die Zeitreihe volatiler und sich ändernder als regular ist
3. Der Ebenenwechselwobei die Zeitreihe einen höheren Durchschnitt als regular aufweist
4. Eine Punktanomaliewobei die Zeitreihe einen anomalen Punkt hat.

Unser Ziel wird es nun sein, eine zu haben Werkzeugkasten Dadurch kann jede einzelne dieser Anomalien für den gesamten Datensatz identifiziert werden.

*Mit der Datei config.json können Sie alle Parameter unseres Datensatzes ändern, z. B. die Anzahl der Zeitreihen, die Zeitreihenachse und die Artwork der Anomalien. So sieht es aus:

1. Identifizierung von Trendanomalien

1.1 Theorie

Wenn wir „eine Trendanomalie“ sagen, suchen wir nach einer Strukturelles Verhalten: Die Reihe bewegt sich im Laufe der Zeit nach oben oder unten oder sie biegt sich gleichmäßig ab. Dies ist bei realen Daten wichtig, da Drift häufig eine Verschlechterung des Sensors, eine Änderung des Benutzerverhaltens, Probleme mit dem Modell/der Datenpipeline oder ein anderes zugrunde liegendes Phänomen bedeutet, das in Ihrem Datensatz untersucht werden muss.

Wir betrachten zwei Arten von Traits:

• Lineare Regression: Wir passen die Zeitreihe mit einem linearen Development an
• Polynomielle Regression: Wir passen die Zeitreihe mit einem Polynom niedrigen Grades an.

In der Praxis messen wir den Fehler des linearen Regressionsmodells. Wenn es zu groß ist, passen wir die Polynomregression an. Wir betrachten einen Development als „signifikant“, wenn der p-Wert unter einem festgelegten Schwellenwert liegt (üblicherweise p < 0,05).

1.2 Code

Das AnomalyDetector-Objekt in anomaly_detector.py führt den oben beschriebenen Code mit den folgenden Funktionen aus:

• Der Detektorwodurch die Daten geladen werden, die wir in DataGenerator generiert haben.
• discover_trend_anomaly Und alle_Trends erkennen Erkennen Sie den (letzten) Development für eine einzelne Zeitreihe bzw. für den gesamten Datensatz
• get_series_with_trend Gibt die Indizes zurück, die einen signifikanten Development aufweisen.

Wir können verwenden plot_trend_anomalies um die Zeitreihe anzuzeigen und zu sehen, wie es uns geht:

Intestine! So können wir die „trendigen“ Zeitreihen in unserem Datensatz fehlerfrei abrufen. Lass uns weitermachen!

2. Identifizierung von Volatilitätsanomalien

2.1 Theorie

Da wir nun einen globalen Development haben, können wir uns darauf konzentrieren Volatilität. Was ich mit Volatilität meine, ist im Klartext: Wie überall ist unsere Zeitreihe? Genauer gesagt, Wie verhält sich die Varianz der Zeitreihe im Vergleich zum Durchschnitt unseres Datensatzes?

So testen wir diese Anomalie:

1. Wir werden es tun Entfernen Sie den Development aus dem Zeitreihendatensatz.
2. Wir werden das finden Statistik der Varianz.
3. Wir werden das finden Ausreißer dieser Statistiken

Ziemlich einfach, oder? Lassen Sie uns mit dem Code eintauchen!

2.2 Code

Ähnlich wie bei den Traits haben wir Folgendes getan:

• discover_volatility_anomalydas prüft, ob eine bestimmte Zeitreihe eine Volatilitätsanomalie aufweist oder nicht.
• alle_Volatilitäten erkennenUnd get_series_with_high_volatilitydie die gesamten Zeitreihendatensätze auf Volatilitätsanomalien überprüfen und jeweils die anomalen Indizes zurückgeben.

So zeigen wir die Ergebnisse an:

3. Einzelpunktanomalie

3.1 Theorie

Okay, jetzt ignorieren wir alle anderen Zeitreihen des Datensatzes und konzentrieren uns auf jede Zeitreihe nach der anderen. Für unsere Zeitreihe von Interesse möchten wir sehen, ob dies der Fall ist eins Punkt, der eindeutig anomal ist. Es gibt viele Möglichkeiten, dies zu tun; Wir können Transformers, 1D CNN, LSTM, Encoder-Decoder usw. nutzen. Der Einfachheit halber verwenden wir einen sehr einfachen Algorithmus:

1. Wir werden eine adoptieren Rollfenster Ansatz, bei dem sich ein Fenster mit fester Größe von hyperlinks nach rechts bewegt
2. Für jeden Punkt berechnen wir die bedeuten Und Standardabweichung des umgebenden Fensters (mit Ausnahme des Punktes selbst)
3. Mithilfe von berechnen wir, wie viele Standardabweichungen der Punkt von seiner lokalen Nachbarschaft entfernt ist Z-Rating

Wir definieren einen Punkt als anomal wenn es einen festen Z-Rating-Wert überschreitet. Wir werden Z-Rating = 3 verwenden, was das Dreifache der Standardabweichungen bedeutet.

3.2 Code

Ähnlich wie wir es für Traits und Volatilität getan haben, haben wir Folgendes:

• discover_point_anomalydas mithilfe der Rolling-Window-Z-Rating-Methode prüft, ob eine bestimmte Zeitreihe Einzelpunktanomalien aufweist.
• discover_all_point_anomalies Und get_series_with_point_anomaliesdie den gesamten Zeitreihendatensatz auf Punktanomalien überprüfen und jeweils die Indizes von Reihen zurückgeben, die mindestens einen anomalen Punkt enthalten.

Und so funktioniert es:

4. Anomalie auf Datensatzebene

4.1 Theorie

Dieser Teil ist bewusst einfach gehalten. Hier sind wir nicht Auf der Suche nach seltsamen Zeitpunkten, nach denen wir suchen seltsame Signale in der Financial institution. Was wir beantworten wollen, ist:

Gibt es Zeitreihen, deren Gesamtgröße deutlich größer (oder kleiner) ist als das, was wir angesichts des Rests des Datensatzes erwarten?

Dazu komprimieren wir jede Zeitreihe zu einer einzigen „Basiszahl“ (einem typischen Niveau) und vergleichen diese Basislinien dann in der gesamten Financial institution. Der Vergleich erfolgt im Hinblick auf mittlere Und Z-Rating.

4.2 Code

So führen wir die Anomalie auf Datensatzebene durch:

1. discover_dataset_level_anomalies()findet die Anomalie auf Datensatzebene im gesamten Datensatz.
2. get_dataset_level_anomalies()findet die Indizes, die eine Anomalie auf Datensatzebene darstellen.
3. plot_dataset_level_anomalies()zeigt eine Stichprobe von Zeitreihen an, die Anomalien aufweisen.

Dies ist der Code dazu:

5. Alle zusammen!

Okay, es ist Zeit, alles zusammenzustellen. Wir werden verwenden detector.detect_all_anomalies() und wir werden Anomalien für den gesamten Datensatz basierend auf bewerten Development, Volatilität, Single-Level Und Datensatzebene Anomalien. Das Skript hierfür ist sehr einfach:

Der df gibt Ihnen die Anomalie für jede Zeitreihe. So sieht es aus:

Wenn wir die folgende Funktion verwenden, können wir das in Aktion sehen:

Ziemlich beeindruckend, oder? Wir haben es geschafft.

6. Schlussfolgerungen

Vielen Dank, dass Sie Zeit mit uns verbringen, das bedeutet uns sehr viel. Das haben wir gemeinsam gemacht:

• Erstellte ein kleines Toolkit zur Anomalieerkennung für a Financial institution von Zeitreihen.
• Erkannt Trendanomalien Verwenden der linearen Regression und der polynomialen Regression, wenn die lineare Anpassung nicht ausreicht.
• Erkannt Volatilitätsanomalien indem zuerst der Development entfernt und dann die Varianz im gesamten Datensatz verglichen wird.
• Erkannt Einzelpunktanomalien mit einem rollierenden Fenster-Z-Rating (einfach, schnell und überraschend effektiv).
• Erkannt Anomalien auf Datensatzebene durch Komprimieren jeder Reihe zu einer Basislinie (Median) und Markieren von Signalen, die auf einer anderen Größenskala leben.
• Alles zusammenfügen in einer einzelnen Pipeline, die eine saubere Übersichtstabelle zurückgibt, die wir prüfen oder darstellen können.

In vielen realen Projekten kommt man mit einer Toolbox wie der hier erstellten sehr weit, denn:

• Es gibt dir erklärbar Signale (Development, Volatilität, Basislinienverschiebung, lokale Ausreißer).
• Es gibt dir eine starke Grundlinie bevor Sie auf schwerere Modelle umsteigen.
• Es lässt sich intestine skalieren, wenn Sie es haben viele SignaleHier wird die Erkennung von Anomalien normalerweise schmerzhaft.

Bedenken Sie, dass die Basislinie absichtlich einfach ist und sehr einfache Statistiken verwendet. Die Modularität des Codes ermöglicht es Ihnen jedoch, die Komplexität einfach zu erhöhen, indem Sie einfach die Funktionalität hinzufügen anomaly_detector_utils.py Und anomaly_detector.py.

7. Bevor Sie losfahren!

Nochmals vielen Dank für Ihre Zeit. Es bedeutet viel

Mein Identify ist Piero Paialunga und ich bin dieser Typ hier:

Ich komme ursprünglich aus Italien und habe einen Doktortitel. aus dem Universität von Cincinnatiund arbeite als Datenwissenschaftler bei The Commerce Desk in New York Metropolis. Ich schreibe darüber KI, maschinelles Lernen und die sich entwickelnde Rolle von Datenwissenschaftlern sowohl hier auf TDS als auch auf LinkedIn. Wenn Ihnen der Artikel gefallen hat und Sie mehr über maschinelles Lernen erfahren und meine Studien verfolgen möchten, können Sie:

A. Folge mir weiter Linkedinwo ich alle meine Geschichten veröffentliche
B. Folge mir weiter GitHubwo Sie meinen gesamten Code sehen können
C. Bei Fragen können Sie mir eine E-Mail senden an piero.paialunga@hotmail

Die künstliche Intelligenz (KI) dominiert die heutigen Schlagzeilen – eines Tages als Durchbruch und wartete als Bedrohung am nächsten. Ein Großteil dieser Debatte findet jedoch in einer Blase statt, die sich eher auf abstrakte Hoffnungen und Ängste als auf konkrete Lösungen konzentriert. In der Zwischenzeit ist eine dringende Herausforderung, die oft übersehen wird, der Aufstieg der psychischen Gesundheitsprobleme in On-line -Gemeinschaften, in denen voreingenommener oder feindlicher Austausch das Vertrauen und die psychische Sicherheit untergraben.

In diesem Artikel wird eine praktische Anwendung von KI eingeführt, die auf dieses Drawback abzielt: eine Pipeline für maschinelles Lernen, die zur Erkennung und Minderung der Verzerrungen im benutzergenerierten Inhalt erfasst und gemindert wird. Das System kombiniert Deep-Studying-Modelle für die Klassifizierung mit generativen Großsprachemodellen (LLMs) zum Erstellen von kontextsensitiven Antworten. Ausgebildet für mehr als zwei Millionen Reddit- und Twitter -Kommentare, erreichte es eine hohe Genauigkeit (F1 = 0,99) und erzeugte maßgeschneiderte Moderationsnachrichten über eine virtuelle Moderator -Particular person.

Im Gegensatz zu einem Großteil des Hype um KI zeigt diese Arbeit ein materielles, einsetzbares Software, das das digitale Wohlbefinden unterstützt. Es zeigt, wie KI nicht nur Geschäftseffizienz oder Gewinn, sondern auch die Schaffung von faireren, integrativeren Räumen, in denen sich Menschen on-line verbinden, dienen kann. Im Folgenden skizziere ich die Pipeline, ihre Leistung und ihre breiteren Auswirkungen auf On-line-Communities und digitales Wohlergehen. Für Leser, die an der Untersuchung der Forschungsergebnisse ausführlicher interessiert sind, einschließlich eines Poster-Präsentationsvideos, das die Codebereiche und den Forschungsbericht in voller Länge erläutert, sind Ressourcen auf GitHub verfügbar. (1)

Eine Pipeline für maschinelles Lernen, die generative künstliche Intelligenz einsetzt, um die Verzerrungen in sozialen Netzwerken anzugehen, hat den Wert für das geistige Wohlbefinden der Gesellschaft. Die menschliche Interaktion mit Computern vertraut immer mehr Antworten, die große Sprachmodelle im Argumentationsdialog bieten.

Verfahren

Das System wurde als dreiphasige Pipeline entwickelt: Sammeln, Erkennung und Minderung. Jede Part kombinierte die NLP -Techniken (natürliche Sprachverarbeitung) mit modernen Transformatormodellen, um sowohl die Skala als auch die Subtilität der voreingenommenen Sprache on-line zu erfassen.

Schritt 1. Datenerfassung und -vorbereitung

Ich habe 1 Million Twitter -Beiträge aus dem Sentiment140 -Datensatz (2) und 1 Million Reddit -Kommentaren eines kuratierten Pushshift -Corpus (2007–2014) (3) zusammengestellt. Die Kommentare wurden gereinigt, anonymisiert und engagiert. Die Vorverarbeitung umfasste Tokenisierung, Lemmatisierung, Stopword -Entfernung und Phrase -Matching unter Verwendung von NLTK und Spacy.

Um die Modelle effektiv zu trainieren, habe ich Metadatenfunktionen wie BIAS_TERMS, HAS_BIAS und BIAS_TYPE konstruiert, die die Schichtung über voreingenommene und neutrale Teilmengen über die Schichtung hinweg ermöglichten. Tabelle 1 fasst diese Merkmale zusammen, während Abbildung 1 die Häufigkeit von Vorspannungsbegriffen über die Datensätze hinweg zeigt.

Das Ansprechen von Datenleckagen und Modellüberfütungsproblemen ist in frühen Datenvorbereitungsstadien wichtig.

Beaufsichtige Lerntechniken werden verwendet, um Vorspannungsbegriffe zu kennzeichnen und sie als implizite oder explizite Formen zu klassifizieren.

Schritt 2. Voreingenommener Annotation und Kennzeichnung

Die Verzerrung wurde an zwei Achsen kommentiert: Vorhandensein (vorgespannter vs. nicht voreingenommen) und Type (implizit, explizit oder keine). Die implizite Verzerrung wurde als subtile oder codierte Sprache (z. B. Stereotypen) definiert, während explizite Verzerrungen offenkundig waren oder Bedrohungen waren. Zum Beispiel wurde „Opa Biden die Treppe hinaufgefallen“ als AGEST codiert, während „Biden ein Opa ist, der seine Familie liebt“, warfare es nicht. Diese kontextbezogene Codierung reduzierte falsch constructive Ergebnisse.

Schritt 3. Stimmung und Klassifizierungsmodelle

Zwei Transformatormodelle haben die Erkennungsstufe betrieben:

-Roberta (4) warfare für die Klassifizierung der Stimmung intestine abgestimmt. Seine Ausgänge (positiv, impartial, negativ) haben dazu beigetragen, den Ton von voreingenommenen Kommentaren zu schließen.

– Distilbert (5) wurde auf dem angereicherten Datensatz mit impliziten/expliziten Etiketten geschult, wodurch eine präzise Klassifizierung subtiler Hinweise ermöglicht wurde.

Mit dem Erkennungsmodell, das mit der höchsten Genauigkeit geschult ist, werden Kommentare durch ein großes Sprachmodell bewertet und eine Antwort erzeugt.

Schritt 4. Minderungsstrategie

Nach der Erkennung der Vorspannung folgte Echtzeit-Minderung. Sobald ein voreingenommener Kommentar identifiziert wurde, erzeugte das System eine Antwort, die auf den Verzerrungstyp zugeschnitten warfare:

– Explizite Voreingenommenheit: direkte, durchsetzungsfähige Korrekturen.
– Implizite Voreingenommenheit: weichere Rephrasierungen oder Bildungsvorschläge.

Die Antworten wurden von ChatGPT (6) generiert und für seine Flexibilität und Kontextempfindlichkeit ausgewählt. Alle Antworten wurden durch eine fiktive Moderator-Particular person, Jenai-Moderator , gerahmt, die eine konsistente Stimme und einen konsistenten Ton beibehielt (Abbildung 3).

Schritt 5. Systemarchitektur

Die vollständige Pipeline ist in Abbildung 4 dargestellt. Sie integriert Vorverarbeitung, Verzerrungserkennung und generative Minderung. Daten- und Modellausgaben wurden in einem postgresql-relationalen Schema gespeichert, wobei Protokollierung, Auditing und zukünftige Integration in Systeme in den Schleifen in der Regel ermöglicht wurden.

Ergebnisse

Das System wurde auf einem Datensatz von über zwei Millionen Reddit- und Twitter-Kommentaren bewertet, wobei sich die Genauigkeit, Nuance und reale Anwendbarkeit konzentriert.

Function -Extraktion

Wie in Abbildung 1 gezeigt, schienen Begriffe im Zusammenhang mit Rasse, Geschlecht und Alter in den Benutzern Kommentaren unverhältnismäßig zu sein. Bei der ersten Datenuntersuchung wurden die gesamten Datensätze untersucht, und in den Kommentaren wurde eine Vorspannung von 4 Prozent aufgetaucht. Die Schichtung wurde verwendet, um das Ungleichgewicht der Nicht-Vorurteile von Vorspannungen zu beheben. Vorurteile wie Model und Mobbing schienen selten zu sein, während sich politische Vorurteile so distinguished wie andere voreingenommene Vorurteile auftraten.

Modellleistung

– Roberta erreichte durch die zweite Epoche eine Validierungsgenauigkeit von 98,6%. Seine Verlustkurven (Abbildung 5) konvergierten schnell, wobei eine Verwirrungsmatrix (Abbildung 6) eine starke Klassentrennung zeigte.

– Distilbert, ausgebildet auf impliziten/expliziten Etiketten, erreichte einen 99% igen F1 -Rating (Abbildung 7). Im Gegensatz zur Rohgenauigkeit spiegelt F1 besser das Gleichgewicht von Präzision und Rückruf in unausgeglichenen Datensätzen (7).

Vorspannungstypverteilung

Abbildung 8 zeigt Boxplots von Verzerrungstypen, die über vorhergesagte Stimmungsaufzeichnungen verteilt sind. Die Länge der Field -Diagramme für detrimental Kommentare, in denen etwa 20.000 Datensätze der geschichteten Datenbank, die sehr detrimental und detrimental Kommentare enthielten, kombiniert wurden. Für constructive Kommentare, das heißt, Kommentare, die eine liebevolle oder nicht-Bias-Stimmung widerspiegeln, umfassen die Field-Diagramme etwa 10.000 Aufzeichnungen. Neutrale Kommentare waren in etwa 10.000 Aufzeichnungen. Die Verzerrung und die vorhergesagte Sentiment-Aufschlüsselung bestätigen die klassifizierte Klassifizierungslogik.

Minderungswirksamkeit

Erzeugte Antworten von Jenai-Moderator, die in Abbildung 3 dargestellt wurden, wurden von menschlichen Rezensenten bewertet. Die Antworten wurden sprachlich genau und kontextuell angemessen beurteilt, insbesondere für implizite Verzerrungen. Tabelle 2 enthält Beispiele für Systemvorhersagen mit ursprünglichen Kommentaren, die die Empfindlichkeit gegenüber subtilen Fällen zeigen.

Diskussion

Die Moderation wird häufig als technisches Filterproblem eingerahmt: Erkennen eines verbotenen Wortes, löschen Sie den Kommentar und fahren Sie fort. Moderation ist aber auch eine Interaktion zwischen Benutzern und Systemen. In der HCI -Forschung ist Equity nicht nur technisch, sondern experimentell (8). Dieses System umfasst diese Perspektive und fordert die Minderung als Dialog durch einen personenorientierten Moderator: Jenai-Moderator.

Mäßigung als Interaktion

Eine explizite Verzerrung erfordert häufig eine feste Korrektur, während implizite Verzerrungen von konstruktivem Suggestions profitieren. Durch das Auffrischen und nicht das Löschen fördert das System die Reflexion und das Lernen (9).

Equity, Ton und Design

Ton ist wichtig. Übermäßig harte Korrekturen riskieren Risiko, Benutzer zu entfremden; Übermäßig höfliche Warnungen riskieren, ignoriert zu werden. Dieses System variiert den Ton: Durchsetzungsfähig für explizite Verzerrungen, Bildung für implizite Verzerrungen (Abbildung 4, Tabelle 2). Dies entspricht der Forschung, die Equity zeigt, abhängig vom Kontext (10).

Skalierbarkeit und Integration

Das modulare Design unterstützt die API-basierte Integration mit Plattformen. Die integrierte Protokollierung ermöglicht Transparenz und Überprüfung, während die Optionen für Menschen in der Regel Sicherheitsvorkehrungen vor Überschreitungen gewährleisten.

Ethische und soziotechnische Überlegungen

Die Erkennung von Vorspannungen Risiken falsch positiv oder überpoliert marginalisierte Gruppen. Unser Ansatz mildert dies, indem wir persönliche Informationsdaten entfernen, demografische Etiketten vermeiden und überprüfbare Protokolle gespeichert werden. Dennoch ist die Aufsicht unerlässlich. Wie Mehrabi et al. (7) argumentieren, dass die Verzerrung niemals vollständig beseitigt wird, sondern ständig verwaltet werden muss.

Abschluss

Dieses Projekt zeigt, dass KI konstruktiv in On-line-Communities eingesetzt werden kann-nicht nur um Verzerrungen zu erkennen, sondern es auf eine Weise zu mildern, die die Dignität der Benutzer beibehält und das digitale Wohlbefinden fördert.

Anerkennung

Dieses Projekt erfüllte die Anforderungen an Meilenstein II und Capstone für das Programm Grasp of Utilized Knowledge Science (MADS) an der College of Michigan Faculty of Data (UMSI). Das Poster des Projekts erhielt einen MADS -Preis bei der UMSI Exposition 2025 Poster Session. Dr. Laura Stagnaro diente als Mentor für Capstone Challenge, und Dr. Jinseok Kim diente als Meilenstein II -Projekt Mentor.

Über den Autor

Celia B. Banks ist ein Sozial- und Datenwissenschaftler, dessen Arbeit menschliche Systeme und angewandte Datenwissenschaft überbrückt. Ihre Doktorarbeit in Menschen- und Organisationssystemen untersuchte, wie sich Organisationen in virtuelle Umgebungen entwickeln und ihr breiteres Interesse an der Schnittstelle von Menschen, Technologie und Strukturen widerspiegeln. Dr. Banks lernt lebenslange Lernende und ihr aktueller Fokus baut auf dieser Stiftung durch angewandte Forschung in Datenwissenschaft und Analyse auf.

Referenzen

(1) C. Banks, Celia Banks Portfolio Repository: College of Michigan Faculty of Data Poster (2025) (on-line). Verfügbar: https://celiabbanks.github.io/ (Zugriff am 10. Mai 2025)

(2) A. Go, Twitter Sentiment Evaluation (2009), Entropie, P. 252

(3) Watchful1, 1 Milliarde Reddit-Kommentare von 2005-2019 (Datensatz) (2019), Drücken Sie durch das Auge. Verfügbar: https://github.com/watchful1/pushShiftdumps (Zugriff am 1. September 2024)

(4) Y. Liu, Roberta: Ein strong optimierter Bert -Vorab -Ansatz (2019), Arxiv Preprint Arxiv, P. 1907.116892

(5) V. Sanh, Distilbert, eine destillierte Model von Bert: kleiner, schneller, billiger und leichter (2019), Arxiv Preprint Arxiv, P. 1910.01108

(6) B. Zhang, mildern unerwünschte Verzerrungen mit kontroversem Lernen (2018), in AAAI/ACM -Konferenz über KI, Ethik und Gesellschaft, S. 335-340

(7) A. Mehrabi, eine Umfrage zu Voreingenommenheit und Equity im maschinellen Lernen (2021), in ACM Computing -Umfragen, vol. 54, nein. 6, S. 1-35

(8) R. Binns, Equity im maschinellen Lernen: Lehren aus der politischen Philosophie (2018), in PMLR -Konferenz über Equity, Rechenschaftspflicht und Transparenz, S. 149-159

. ACM-Transaktionen zur Pc-Human-Interaktion (TOCHI), vol. 26, nein. 5, S. 1-35, 2019

(10) N. Lee, P. Resnick und G. Barton, Algorithmische Verzerrungserkennung und -minderung: Greatest Practices und Richtlinien zur Reduzierung von Verbraucherschaden (2019) in Brookings InstituteWashington, DC

1. Einführung: Warum Graustufenbilder die Anomalie -Erkennung beeinflussen können.
2. Anomalieerkennung, Graustufenbilder: Schnelle Zusammenfassung der beiden in diesem Artikel diskutierten Hauptfächer.
3. Experimentierung: Was und wie vergleichen wir.
4. Leistungsergebnisse: Wie Graustufenbilder die Modellleistung beeinflussen.
5. Geschwindigkeitsergebnisse: Wie Graustufenbilder die Inferenzgeschwindigkeit beeinflussen.
6. Abschluss

1. Einführung

In diesem Artikel werden wir untersuchen, wie Graustufenbilder die Leistung von Anomalie -Erkennungsmodellen beeinflussen und untersuchen, wie diese Wahl die Inferenzgeschwindigkeit beeinflusst.

In Laptop Imaginative and prescient ist intestine bekannt, dass feine vorgebildete Klassifizierungsmodelle auf Graustufenbildern fein abgestimmte können führen zu einer erneuten Leistung. Aber was ist mit Anomalie -Erkennungsmodelle? Diese Modelle erfordern keine Feinabstimmung, verwenden jedoch vorgeborene Klassifizierungsmodelle wie Burderesnet oder EfficientNET als Function-Extraktoren. Dies wirft eine wichtige Frage auf: Haben diese Merkmalextraktoren weniger relevante Merkmale, wenn sie auf ein Graustufenbild angewendet werden?

Diese Frage ist nicht nur akademisch, sondern eine mit realen Auswirkungen auf alle, die an der Automatisierung der industriellen visuellen Inspektion in der Fertigung arbeiten. Zum Beispiel fragen Sie sich möglicherweise, ob eine Farbkamera erforderlich ist oder ob eine billigere Graustufe ausreicht. Oder Sie könnten Bedenken hinsichtlich der Inferenzgeschwindigkeit haben und die Möglichkeit nutzen möchten, sie zu erhöhen.

2. Anomalie -Detektion, Graustufenbilder

Wenn Sie sowohl mit der Anomalie -Erkennung in Laptop Imaginative and prescient als auch mit den Grundlagen der digitalen Bilddarstellung vertraut sind, können Sie diesen Abschnitt gerne überspringen. Andernfalls bietet es einen kurzen Überblick und Hyperlinks zur weiteren Erkundung.

Anomalieerkennung

Im Laptop Imaginative and prescient ist die Erkennung von Anomalie ein sich schnell entwickeltes Feld im Deep-Lernen, das sich auf die Identifizierung ungewöhnlicher Muster in Bildern konzentriert. Typischerweise werden diese Modelle nur mit Bildern ohne Defekte trainiert, sodass das Modell lernen kann, wie „regular“ aussieht. Während der Inferenz kann das Modell Bilder erkennen, die von dieser gelernten Darstellung als irregular abweichen. Solche Anomalien entsprechen oft verschiedenen Mängel, die in einer Produktionsumgebung auftreten können, aber während des Trainings nicht gesehen wurden. Eine detailliertere Einführung finden Sie unter Dieser Hyperlink.

Graustufenbilder

Für Menschen sehen Farb- und Graustufenbilder ziemlich ähnlich (abgesehen von der mangelnden Farbe). Für Laptop ist ein Bild jedoch eine Reihe von Zahlen, sodass es ein bisschen komplizierter wird. Ein Graustufenbild ist eine zweidimensionale Reihe von Zahlen, die typischerweise zwischen 0 und 255 liegen, wobei jeder Wert die Intensität eines Pixels darstellt, wobei 0 schwarz und 255 weiß ist.

Im Gegensatz dazu bestehen Farbbilder typischerweise aus drei solchen separaten Graustufenbildern (als Kanäle genannte) zusammengestapelt, um ein dreidimensionales Array zu bilden. Jeder Kanal (rot, grün und blau) beschreibt die Intensität der jeweiligen Farbe, und ihre Kombination erzeugt ein Farbbild. Sie können mehr darüber erfahren Hier.

3. Experimentierung

Modelle

Wir werden vier verwenden Stand der Technik Anomalie -Erkennungsmodelle: PatchcoreAnwesend RückwärtsdestillationAnwesend FastflowUnd GLAS. Diese Modelle repräsentieren verschiedene Arten von Anomalie -Erkennungsalgorithmen und werden gleichzeitig in praktischen Anwendungen aufgrund schneller Trainings- und Inferenzgeschwindigkeit häufig verwendet. Die ersten drei Modelle verwenden die Implementierung aus dem Anomalib -Bibliothekfür Glas beschäftigen wir die offizielle Umsetzung.

Datensatz

Für unsere Experimente verwenden wir die Visum Datensatz mit 12 Kategorien von Objekten, die eine Vielzahl von Bildern liefert und keine farbabhängigen Defekte aufweist.

Metriken

Wir werden Bildniveau verwenden Auroc Um festzustellen, ob das gesamte Bild korrekt klassifiziert wurde, ohne eine bestimmte Schwelle auszuwählen, und Pixel-Ebene Auprowas zeigt, wie intestine wir in der Lokalisierung defekter Bereiche im Bild lokalisieren. Die Geschwindigkeit wird unter Verwendung der Metrik von Frames-Per Second (FPS) bewertet. Bei allen Metriken entsprechen höhere Werte besseren Ergebnissen.

Graustufenumwandlung

Um einen Bildgräustaste zu erstellen, werden wir verwenden Torchvision transformiert.

Für einen Kanal ändern wir auch Function -Extraktoren mit dem in_chans Parameter in der Timm -Bibliothek.

Der Code zur Anpassung von Anomalib an einen Kanal ist verfügbar Hier.

4. Leistungsergebnisse

RGB

Dies sind reguläre Bilder mit roten, blauen und grünen Kanälen.

Graustufen, drei Kanäle

Die Bilder wurden unter Verwendung von Torchvision -Transformation in Graustufen konvertiert Graustufen mit drei Kanälen.

Graustufen, ein Kanal

Die Bilder wurden unter Verwendung derselben Torchvision -Transformation mit einem Kanal in Graustufen konvertiert.

Vergleich

Wir können das sehen Patchcore Und Rückwärtsdestillation haben enge Ergebnisse in allen drei Experimenten sowohl für Metriken auf Bild- als auch für Pixelebene. Fastflow wird etwas schlimmer, und GLAS wird merklich schlechter. Die Ergebnisse werden in den 12 Kategorien von Objekten im Visa -Datensatz gemittelt.

Was ist mit Ergebnissen professional Kategorie von Objekten? Vielleicht funktionieren einige von ihnen schlechter als andere, und einige besser, was die durchschnittlichen Ergebnisse gleich aussehen? Hier ist die Visualisierung von Ergebnissen für PatchCore über alle drei Experimente hinweg, die zeigen, dass die Ergebnisse auch in Kategorien ziemlich stabil sind.

Die gleiche Visualisierung für Glas zeigt, dass einige Kategorien etwas besser sein können, während einige stark schlechter sein können. Dies wird jedoch nicht unbedingt nur durch Graustufentransformation verursacht. Einige davon können regelmäßige Ergebnisschwankungen aufgrund der Ausbildung des Modells sein. Durchschnittliche Ergebnisse zeigen eine klare Tendenz, dass RGB -Bilder für dieses Modell das beste Ergebnis, Graustufen mit drei Kanälen etwas schlechter und Graustufen mit einem Kanal das schlechteste Ergebnis erzielen.

Bonus

Wie ändern sich die Ergebnisse professional Kategorie? Es ist möglich, dass einige Kategorien einfach besser für RGB- oder Graustufenbilder geeignet sind, auch wenn es keine farbabhängigen Defekte gibt.

Hier ist die Visualisierung des Unterschieds zwischen RGB und Graustufen mit einem Kanal für alle Modelle. Wir können sehen, dass nur die Kategorie Pipe_Fryum für jedes Modell leicht (oder stark) schlechter wird. Der Relaxation der Kategorien wird je nach Modell schlechter oder besser.

Zusätzlicher Bonus

Wenn Sie daran interessiert sind, wie dieses Pipe_Fryum aussieht, finden Sie hier einige Beispiele mit Glasmodellvorhersagen.

5. Geschwindigkeitsergebnisse

Die Anzahl der Kanäle betrifft nur die erste Schicht des Modells, der Relaxation bleibt unverändert. Die Geschwindigkeitsverbesserung scheint vernachlässigbar zu sein und zeigt, wie die Extraktion der ersten Schicht -Merkmals nur ein kleiner Teil der von den Modellen durchgeführten Berechnungen ist. Glas zeigt eine etwas auffällige Verbesserung, aber gleichzeitig zeigt es den schlimmsten Metriken.

6. Schlussfolgerung

Wie wirkt sich die Verwendung von Graustufenbildern auf die Erkennung der visuellen Anomalie aus? Es kommt darauf an, aber RGB scheint die sicherere Wette zu sein. Der Einfluss variiert je nach Modell und Daten. PatchCore und Reverse Destillation verarbeiten im Allgemeinen Graustufeneingänge intestine, aber Sie müssen mit Fastflow und insbesondere Glas vorsichtiger sein, was eine gewisse Geschwindigkeitsverbesserung, aber auch den bedeutendsten Rückgang der Leistungsmetriken zeigt. Wenn Sie die Greyscale -Eingabe verwenden möchten, müssen Sie diese mit RGB auf Ihren spezifischen Daten testen und vergleichen.

Das Jupyter -Notizbuch mit dem Anomalib -Code: Hyperlink.

Folgen Sie dem Autor LinkedIn Weitere Informationen zur Erkennung der industriellen visuellen Anomalie.

Referenzen

1. C. Hughes, Übertragungslernen auf graustufenen Bildern: Wie man vorbereitete Modelle fein abtun (2022), in RichtungDatascience.com

2. S. wehkamp, Ein praktischer Leitfaden zur bildbasierten Anomalie-Erkennung unter Verwendung von Anomalib (2022), weblog.ml6.eu

3. A. Baitieva, Y. Bouaouni, A. Briot, D. Amling, S. Khalfaoui und S. Akcay. Über akademische Benchmarks hinaus: Kritische Analyse und Greatest Practices für die Erkennung visueller Industrieanomalie (2025), CVPR -Workshop zur visuellen Anomalie und Neuheitserkennung (VAND)

4. Y. Zou, J. Jeong, L. Pemula, D. Zhang und O. Dabeeer, SPOT-THE-DIFFLENZ selbst überprüftes Vorbild für die Erkennung und Segmentierung von Anomalie (2022), ECCV

5. S. Akcay, D. Amling, A. Vaidya, B. Lakshmanan, N. Ahuja und U. Genc. Anomalib (2022), icip

Wir erleben eine Ära, in der AI auch von Betrügern verwendet wird. Dies macht es den Benutzern äußerst schwierig, verdächtige Aktivitäten zu erkennen. Betrug kostet die Branche Milliarden, wobei Schätzungen allein für Amerikaner einen schadenserteilten Schadenersatz von 300 Milliarden US -Greenback deuten.

Hier kommt die Verarbeitung natürlicher Sprache ins Spiel, sodass Versicherungsunternehmen und normale Benutzer diesen Kampf gegen KI-betriebene Betrügereien führen können.

Verständnis der NLP bei der Erkennung von Versicherungsbetrug

Die Erkennung natürlicher Sprache für die Versicherung gegen das Einfragen wird die Überprüfung zahlreicher Ströme unstrukturierter Daten wie Schadensformulare, Richtliniendokumente, Korrespondenz von Kunden und anderen beinhaltet. Durch den Umgang mit riesigen Datenbanken unter Verwendung ausgefeilter Algorithmen unterstützt NLP Versicherer, indem sie Muster, Inkonsistenzen und Anomalien verfolgen, die für sie als rote Fahnen wirken könnten, dass Betrug möglicherweise stattfindet.

Einer von NLPs Schlüsselstärken ist seine Fähigkeit zur Verarbeitung und Verständnis des Kontextes, der ihn von herkömmlichen, regelbasierten Programmen unterscheidet. NLP kann auch Nuancen verstehen und unbewusste Inkonsistenzen fangen. Es kann auch emotionale Töne bestimmen, die auf Täuschung in einem Austausch hinweisen können.

Wie NLP die Betrugserkennung verbessert

NLP verbessert die Betrugserkennungsfähigkeiten auf zahlreiche Arten:

Textanalyse und Mustererkennung

NLP -Algorithmen optimieren die Analyse enormen Volumina von Textinformationen. Dies können Schadensbeschreibungen, Polizeiberichte und Krankenakten umfassen. Dieser Prozess deckt Anomalien oder zweifelhafte Muster auf, die menschliche Rezensenten möglicherweise vermissen. Wenn NLP -Modelle aus früheren Betrugsfällen aus früheren betrügerischen Fällen absorbiert werden, können sie neue Behauptungen identifizieren, die zu Beginn des Überprüfungsprozesses ähnliche Muster zeigten, um den Versicherern bei potenziell betrügerischen Ansprüchen zu helfen.

Entitätserkennung und Informationsextraktion

Genannte Entitätserkennung . Die Möglichkeit, zwischen Informationen zu wechseln, ermöglicht die Überprüfung von Informationen und das Erkennen von Inkonsistenzen in mehreren Dokumenten.

Stimmungsanalyse

NLP kann dazu beitragen, mögliche rote Flags zu identifizieren, indem der Ton und die Stimmung der Kommunikation überwacht werden. Zum Beispiel sind aggressive Sprache oder Ausweicher in Anspruchsbeschreibungen Gründe für weitere Untersuchungen.

Echtzeitüberwachung und Alarmierung

NLP-Systeme können eine kontinuierliche Überwachung von Versicherungsdatenströmen in Echtzeit ermöglichen, die Ansprüche, Versicherungsaktualisierungen oder Korrespondenz bei Versicherungsnehmern umfassen, und proaktive Aktivitäten zur Prävention von Betrugsbetrug werden durch die Erzeugung von Warnungen für verdächtige Aktivitäten festgelegt.

Einige Beispiele in der Praxis zeigen die Probleme, die diese Angriffe aufweisen:

• Im Jahr 2023 verwendeten Betrüger gedruckte Fotos, um Wohlfahrtsportale zu umgehen, in denen es keine Tiefe erfuhr, um das Vorhandensein einer Individual zu messen.
• In Bankensystemen wurden bei Wiederholungsangriffen während der Distant-Identitätsprüfungsprozesse aufgenommen.
• Maskenangriffe werden ziemlich raffiniert; Europol berichtete über einen Anstieg der Grenzverletzungen mit hyperrealistischen Masken.

Was ist die Erkennung von Gesichtsleben?

Die Erkennung der Lebendigkeit ist eine Technologie, die überprüft, dass ein präsentiertes Gesicht einer Dwell -Individual gehört, nicht zu einer gefälschten Quelle. Es unterscheidet zwischen realen Benutzern und gefälschten Eingaben, indem dynamische Eigenschaften wie Bewegung oder Textur analysiert werden.

Schlüsselunterschiede zwischen traditioneller Gesichtserkennung und Anti-Spoofing-Systemen

• Die traditionelle Gesichtserkennung arbeitet mit Gesichtsmerkmalen und versucht sie gegen gespeicherte Vorlagen.
• Anti-Spoofing-Systeme fügen eine zusätzliche Überprüfungsschicht für Lebendigkeit mit physiologischen Indikatoren wie Blink- und Materialeigenschaften-Techniken wie Textur hinzu.

Techniken zur Erkennung von Lebendigkeit

Moderne Anti-Spoofing-Systeme unterscheiden sich voneinander in den Eigenschaften, mit denen sie lebende Gesichter von der gefälschten Darstellung unterscheiden:

Texturanalyse

Bei dieser Methode wird festgestellt, dass die Oberflächeneigenschaften des Gesichts nach Inkonsistenzen nachweisen, wie es nach Beweisen für Spoofing -Versuche zeigt. Zum Beispiel:

• Gedruckte Fotos fehlen oft die natürliche Textur der menschlichen Haut.
• Digitale Bildschirme können Pixelierung oder unnatürliche Glätte anzeigen.

Bewegungsanalyse

Bei diesen Methoden geht es darum, unfreiwillige Bewegungen wie Blinken oder winzige Kopfkippen zu erkennen. Solche natürlichen Bewegungen werden kaum mit der Genauigkeit statischer Bilder repliziert.

Tiefenerkennung

Mit der Tiefenseng-Technologie wird die 3D-Struktur des Gesichts unter Verwendung von Infrarotsensoren oder strukturiertem Licht abgebildet. Diese Technik kann leicht zwischen flachen Oberflächen (wie Fotos) und tatsächlichen Gesichtern mit Tiefe unterscheiden.

Zeitliche Analyse

Die zeitliche Analyse ist die Analyse von seriellen Frames in Video, um Inkonsistenzen zu erkennen, die über einige Zeit wiederholte Angriffe hinweisen. Beispielsweise können Flackern oder Schleifen von Bildschirmen die Verwendung digitaler Anzeigen während der Authentifizierungsversuche angeben.

Tiefes Lernen nähert sich

Deep -Studying -Modelle, die über große Datensätze trainiert werden könnten, klassifizieren Inputs im Allgemeinen mit hoher Genauigkeit als echt oder falsch. Zum Beispiel: Analyse von Faltungsnetzwerken (CNNs) analysieren komplizierte Merkmale wie Hautstruktur oder Bewegungsdynamik.

Herausforderungen des Gesichts Anti-Spoofing

Die Entwicklung robusterer Anti-Spoofing-Systeme steht weiterhin vor einigen Herausforderungen:

Massive Knowledge spielt eine entscheidende Rolle bei der Unterstützung von Unternehmen bei der Erstellung und Verwaltung von Distant -Arbeitskräften effektiver. Durch die Analyse großer Mengen an Mitarbeiterdaten können Unternehmen die Produktivität optimieren, die Zusammenarbeit verbessern und die Entscheidungsfindung verbessern. Mit 53,0% der Unternehmen eine formalisierte Datenstrategie habenOrganisationen nutzen Analysen, um Distant -Arbeitstrends zu verstehen, das Engagement der Mitarbeiter zu überwachen und Ressourcen effizient zuzuordnen. Dieser datengesteuerte Ansatz ermöglicht es Unternehmen, versatile Arbeitsumgebungen zu schaffen, die sowohl den Bedürfnissen als auch den Zielen der Mitarbeiter gerecht werden, um sicherzustellen, dass die Fernarbeit auf lange Sicht nachhaltig bleibt.

Da die Fernarbeit häufiger wird, treibt Massive Knowledge auch die Schaffung von Arbeitsplätzen vor und formuliert das Personalmanagement. Tatsächlich verwenden 65% der Unternehmen die Massive -Knowledge -Technologie berichten Sie, dass es neue Jobs erstellen wirdHervorhebung seiner wachsenden Auswirkungen auf die Beschäftigung.

Mit 27% der US -amerikanischen Belegschaft arbeiten distant Zumindest in Teilzeit im August und September 2022 verlassen sich Unternehmen zunehmend auf datengesteuerte Erkenntnisse, um die Kommunikation zu optimieren, die Cybersicherheit zu verbessern und die Leistung zwischen verteilten Groups zu messen. Durch die Nutzung der Macht von Massive Knowledge können sich Unternehmen an die sich entwickelnde Arbeitsplatzlandschaft anpassen und gleichzeitig Effizienz und Innovation aufrechterhalten.

Die Umgebung eines Arbeitsbereichs hat sich in den letzten Jahren drastisch verändert, schließlich aufgrund von Corona. Diese Pandemie hat viele Unternehmen und Branchen gezwungen, sich auf entfernte und hybride Modelle zu wandeln. Die Anerkennung von Mitarbeitern ist in diesem neuen Arbeitsbereich sehr wichtig geworden, und die Artwork und Weise, wie das Unternehmen seine Mitarbeiter belohnen, hat sich ebenfalls geändert. Massive Knowledge hat einige dieser Vorteile offensichtlicher als je zuvor gemacht.

Wie schätzen und motivieren wir unsere Mitarbeiter, wenn es keine körperliche Präsenz gibt? Lassen Sie uns diskutieren, wie wichtig die Anerkennung von Mitarbeitern ist und wie dies in diesen neuen Arbeitsbereichszenarien praktisch sichergestellt werden kann.

Was ist Anerkennung der Mitarbeiter?