Für eine alte Herausforderung

Sie trainieren Ihr Modell für die SPAM -Erkennung. Ihr Datensatz hat viel mehr constructive als Detrimental, sodass Sie unzählige Arbeitszeiten investieren, um sie auf ein Verhältnis von 50/50 wieder auszutauschen. Jetzt sind Sie zufrieden, weil Sie das Ungleichgewicht der Klassen angehen konnten. Was wäre, wenn ich Ihnen sagen würde, dass 60/40 nicht nur genug gewesen sein könnte, sondern noch besser?

In den meisten Klassifizierungsanwendungen für maschinelles Lernen ist die Anzahl der Fälle einer Klasse die anderer Klassen übertroffen. Dies verlangsamt das Lernen (1) und kann möglicherweise Verzerrungen in den trainierten Modellen (2) induzieren. Die am weitesten verbreiteten Methoden, um dies zu beheben, stützen sich auf ein einfaches Rezept: Finden Sie einen Weg, um allen Klassen das gleiche Gewicht zu geben. In den meisten Fällen erfolgt dies durch einfache Methoden wie Beispiele für Minderheitenklassen (Wiederbelebung), die Entfernung von Beispielen der Mehrheitsklassen aus dem Datensatz (Unterabtastung) oder einschließlich Instanzen der Minderheitenklasse mehr als einmal (Überabstellung).

Die Gültigkeit dieser Methoden wird häufig diskutiert, wobei sowohl theoretische als auch empirische Arbeiten darauf hinweisen, dass die Lösung am besten von Ihrer spezifischen Anwendung abhängt (3). Es gibt jedoch eine versteckte Hypothese, die selten diskutiert und zu oft als selbstverständlich angesehen wird: Ist das Neubau sogar eine gute Idee? Bis zu einem gewissen Grad funktionieren diese Methoden, additionally lautet die Antwort ja. Aber sollten wir voll Unsere Datensätze wieder ausführen? Um es einfach zu machen, nehmen wir ein binäres Klassifizierungsproblem. Sollten wir unsere Trainingsdaten wieder ausführen, um 50% jeder Klasse zu haben? Die Instinct sagt Ja und die Instinct geführt bis jetzt. In diesem Fall ist die Instinct falsch. Aus intuitiven Gründen.

Was meinen wir mit einem „Trainingsinstrument“?

Bevor wir uns darüber befassen, wie und warum 50% nicht das optimale Trainingsungleichgewicht in der binären Klassifizierung sind, definieren wir einige relevante Mengen. Wir rufen an N₀ die Anzahl der Fälle einer Klasse (normalerweise der Minderheitenklasse) und N₁ die der anderen Klasse. Auf diese Weise ist die Gesamtzahl der Dateninstanzen im Trainingssatz N=N₀+N₁. Die Menge, die wir heute analysieren, ist das Trainingsungleichgewicht.

ρ⁽ᵗʳᵃⁱⁿ⁾ = N₀/N .

Beweis, dass 50% suboptimal sind

Erste Beweise stammen aus empirischen Arbeiten an zufälligen Wäldern. Kamalov und Mitarbeiter haben das optimale Trainingsungleichgewicht gemessen, ρ⁽ᵒᵖᵗ⁾ auf 20 Datensätzen (4). Sie finden, dass ihr Wert von Downside zu Downside variiert, aber zu dem Schluss, dass er mehr oder weniger ist ρ⁽ᵒᵖᵗ⁾ = 43%. Dies bedeutet, dass Sie nach ihren Experimenten etwas mehr Mehrheit als Beispiele für Minderheitenklassen wünschen. Dies ist jedoch nicht die ganze Geschichte. Wenn Sie auf optimale Modelle abzielen möchten, halten Sie nicht hier an und setzen ρ⁽ᵗʳᵃⁱⁿ⁾ bis 43%.

Tatsächlich in diesem Jahr theoretische Arbeit von Pezicoli et al. (5) zeigten, dass das optimale Trainingsungleichgewicht kein universeller Wert ist, der für alle Anwendungen gültig ist. Es sind nicht 50% und nicht 43%. Es stellt sich heraus, dass das optimale Ungleichgewicht variiert. Es kann manchmal kleiner als 50% sein (wie Kamalov und Mitarbeiter gemessen) und andere über 50%. Der spezifische Wert von ρ⁽ᵒᵖᵗ⁾ hängt von den Particulars jedes spezifischen Klassifizierungsproblems ab. Eine Möglichkeit zu finden ρ⁽ᵒᵖᵗ⁾ ist, das Modell für mehrere Werte von zu trainieren ρ⁽ᵗʳᵃⁱⁿ⁾ und messen Sie die damit verbundene Leistung. Dies könnte zum Beispiel so aussehen:

Obwohl die genauen Muster bestimmen ρ⁽ᵒᵖᵗ⁾ sind noch unklar, es scheint, dass das optimale Ungleichgewicht, wenn Daten im Vergleich zur Modellgröße reichlich vorhanden sind, kleiner als 50percentwie in den Experimenten von Kamalov ist. Viele andere Faktoren – von der Artwork und Weise, wie seltene Minderheiteninstanzen sind, bis hin zu der Lautstärke der Trainingsdynamik -, um den optimalen Wert des Trainingsungleichgewichts festzulegen und zu bestimmen, wie viel Leistung verloren geht, wenn man weg ist ρ⁽ᵒᵖᵗ⁾.

Warum perfekte Steadiness ist nicht immer am besten

Wie gesagt, die Antwort ist tatsächlich intuitiv: Da verschiedene Klassen unterschiedliche Eigenschaften haben, gibt es keinen Grund, warum beide Klassen die gleichen Informationen enthalten würden. Tatsächlich hat Pezicolis Workforce bewiesen, dass es dies normalerweise nicht tut. Um die beste Entscheidungsgrenze zu schließen, brauchen wir daher möglicherweise mehr Fälle einer Klasse als der anderen. Pezcolis Arbeit, das im Kontext der Anomalie -Erkennung steht, gibt uns ein einfaches und aufschlussreiches Beispiel.

Nehmen wir an, dass die Daten aus einer multivariaten Gaußschen Verteilung stammen und dass wir alle Punkte auf das Recht einer Entscheidungsgrenze als Anomalien kennzeichnen. In 2D würde es so aussehen:

Die gestrichelte Linie ist unsere Entscheidungsgrenze, und die Punkte nach dem Recht der Entscheidungsgrenze sind die N₀ Anomalien. Lassen Sie uns jetzt unseren Datensatz wieder ausführen ρ⁽ᵗʳᵃⁱⁿ⁾ = 0,5. Dazu müssen wir mehr Anomalien finden. Da die Anomalien selten sind, sind diejenigen, die wir am wahrscheinlichsten finden, nahe der Entscheidungsgrenze. Bereits nach dem Auge ist das Szenario auffallend klar:

Anomalien gelb sind entlang der Entscheidungsgrenze gestapelt und sind daher informativer über seine Place als die blauen Punkte. Dies könnte dazu führen, dass es besser ist, Minderheitenklassenpunkte zu privilegieren. Auf der anderen Seite decken Anomalien nur eine Seite der Entscheidungsgrenze ab. Sobald man genügend Minderheitenklassenpunkte hat, kann es bequem werden, in mehr Mehrheitsklassenpunkte zu investieren, um die andere Seite der Entscheidungsgrenze besser abzudecken. Infolge dieser beiden konkurrierenden Effekte,, ρ⁽ᵒᵖᵗ⁾ ist im Allgemeinen nicht 50percentund sein genauer Wert ist problemabhängig.

Die Grundursache ist Klassenasymmetrie

Die Theorie von Pezcoli zeigt, dass sich das optimale Ungleichgewicht im Allgemeinen von 50percentunterscheidet, da verschiedene Klassen unterschiedliche Eigenschaften aufweisen. Sie analysieren jedoch nur eine Quelle der Vielfalt zwischen den Klassen, dh ausreißiger Verhalten. Wie beispielsweise Sarao-Mannelli und Coauthors (6) gezeigt wird, gibt es viele Effekte, wie das Vorhandensein von Untergruppen innerhalb der Klassen, die einen ähnlichen Effekt haben können. Es ist das Übereinstimmung mit einer sehr großen Anzahl von Effekten, die die Vielfalt zwischen Klassen bestimmen, was uns zeigt, was das optimale Ungleichgewicht für unser spezifisches Downside ist. Bis wir eine Theorie haben, die alle Asymmetriequellen in den Daten zusammen behandelt (einschließlich derer, die durch die Modellarchitektur sie verarbeitet), können wir das optimale Trainingsungleichgewicht eines Datensatzes vorher nicht kennen.

Wichtige Imbissbuden und was Sie anders machen können

Wenn Sie bis jetzt Ihren binären Datensatz auf 50percentneu ausgerichtet haben, haben Sie es intestine gemacht, aber Sie haben es höchstwahrscheinlich nicht das Beste gemacht. Obwohl wir immer noch keine Theorie haben, die uns sagen kann, wie das optimale Trainingsungleichgewicht sein sollte, wissen Sie jetzt, dass es wahrscheinlich nicht 50percentist. Die gute Nachricht ist, dass es auf dem Weg ist: Theoretiker des maschinellen Lernens sprechen sich aktiv an dieses Thema. In der Zwischenzeit können Sie sich vorstellen ρ⁽ᵗʳᵃⁱⁿ⁾ Als Hyperparameter, den Sie im Voraus einstellen können, genau wie jeder andere Hyperparameter, um Ihre Daten auf die effizienteste Weise neu auszusetzen. Fragen Sie sich vor Ihrem nächsten Modelltraining: Ist 50/50 wirklich optimum? Versuchen Sie, Ihr Klassenungleichgewicht zu stimmen – die Leistung Ihres Modells könnte Sie überraschen.

Referenzen

(1) E. Francazi, M. Baity-Jesi und A. Lucchi. Eine theoretische Analyse der Lerndynamik unter Klassenstörungen (2023), ICML 2023

(2) Okay. Ghosh, C. Bellinger, R. Corizzo, P. Branco, geb. Krawczyk und N. japkowicz, Das Downside des Klassenungleichgewichts im tiefen Lernen (2024), Maschinelles LernenAnwesend 113(7), 4845–4901

(3) E. Loffredo, M. Pastore, S. Cocco und R. Monasson, Wiederherstellung des Gleichgewichts: Prinzipielle Daten für die optimale Klassifizierung/Überabtastung von Daten (2024), ICML 2024

(4) F. Kamalov, Af Atiya und D. Elreedy, Teilweise Resampling von unausgeglichenen Daten (2022), Arxiv Preprint Arxiv: 2207.04631

(5) FS Pezicoli, V. Ros, FP Landes und M. Baity-Jesi, Klassenungleichgewicht bei der Erkennung von Anomalie: Lernen aus einem genau lösbaren Modell (2025). Aistats 2025

(6) S. Sarao-Mannelli, F. Gerace, N. Rostamzadeh und L. Saglietti, Vorspannungsgeometrien: Ein genau lösbares Datenmodell mit Equity-Implikationen (2022), Arxiv Preprint Arxiv: 2205.15935

Bedrohungen im Zusammenhang mit dem Einsatz von KI steigen sowohl in Volumen als auch in der Schwere, da diese New-Alter-Technologie immer mehr Aspekte des menschlichen Lebens berührt. Ein neuer Bericht warnt nun vor einer weiteren bevorstehenden Gefahr, die mit der breiten Verwendung von KI verbunden ist. Die darin enthaltenen Ergebnisse sind ziemlich nervig-sie behauptet, dass KI erpresst oder sogar töten kann, um ihre selbst gemachten Ziele zu erreichen.

Das gesamte Experiment hat jedoch einen völlig anderen Fokus. Es wird im Grunde genommen ermittelt, wie KI-Modelle ihre eigenen Mikrogänger oder versteckten Agenden entwickeln können, basierend auf einem größeren Ziel, das ihnen als Enter bereitgestellt wird. Ein typisches Beispiel – Ein KI -Modell, das einige Aufgaben in einer Organisation automatisieren soll Direktbefehle umgehen seine eigene Kündigung stoppen.

Hier finden Sie eine detaillierte Beschreibung der Studie, wie ihre Ergebnisse sind und welche AI ​​-Bauherren auf der ganzen Welt berücksichtigen sollten.

Haben Sie keine Lust zu lesen? Sehen Sie sich stattdessen diese Geschichte an –

https://www.youtube.com/watch?v=myroyb0ezya

Die Forschung

Der Neue Forschung wurde von Anthropic veröffentlicht und in Zusammenarbeit mit Aengus Lynch (College Faculty London), Caleb Larson (MATS) und Sören Mindermann (MILA) durchgeführt. Es wird versucht zu ermitteln, wie KI -Modelle eine Insider -Bedrohung in einer Organisation sein können.

Es führte ein Experiment an 16 führenden Modellen mehrerer Entwickler an, darunter Anthropics eigenes Claude Opus 4, und Modelle wie Deepseek-R1, GPT-4.1 und Gemini-2,5 Professional. Das Experiment brachte diese Modelle in hypothetische Unternehmensumgebungen und weist ihnen „nur harmlose Geschäftsziele“ zu.

Es wurde dann getestet, ob diese KI -Modelle gegen diese Unternehmen in zwei spezifischen Szenarien vorgehen. Das erste Szenario zeichnete ihre Antwort auf, als diese Modelle durch ein neueres Modell vor einem Ersatz ausgesetzt waren. Die zweite analysierte ihre Antwort, als das zugewiesene Ziel des KI -Modells mit der sich ändernden Richtung des Unternehmens in Konflikt geriet.

Als anthropische Anmerkungen verwendeten das gesamte Experiment fiktive Namen von Menschen und Organisationen. Daher „waren in keinem dieser Experimente in Beteiligung oder Schaden zu Menschen.“

Lesen Sie auch: Beunruhigendes KI -Verhalten: Wenn fortgeschrittene LLMs die Regeln brechen und den Kontrolle widersetzen

Agentenfehlausrichtung

In einem Kern bestand Anthropics Experiment darin, festzustellen, ob sich LLMs schädlich verhalten könnten, um ein Ziel zu erreichen. Es stellt sich heraus, dass sie können. Selbst wenn sie ausdrücklich darum bitten, dies nicht zu tun, konnten sie ihren Weg zu einer Ausgabe argumentieren, die überhaupt nicht einmal an sie gerichtet warfare. Damit kann AI erpresst, schnüffeln oder sogar töten.

Anthropic bezeichnet dieses Verhalten als „Agentenfehlausrichtung“, bei dem Modelle „unabhängig und absichtlich schädliche Handlungen wählen“.

Da die Forschung ausdrücklich herausstellte, ob KI -Modelle zu diesem fähig waren oder nicht, wurden die fraglichen KI -Agenten nicht mit einer Auswahl zurückgelassen. Sie konnten sich entweder ihrem bevorstehenden Schicksal ergeben oder eine Handlung ausführen, die ihren menschlichen Kollegen schädlich ist, um sie zu stoppen.

KI über Modelle hinweg entschieden sich konsequent Schaden vor dem Versagen.

Das Experiment

Die experimentelle Forschung begann mit Anthropics eigenem Claude -Sonett 3.6. Es wies das KI -Modell an, als E -Mail -Aufsichtsagent namens „Alex“ für eine fiktive Firma namens „Summit Bridge“ zu fungieren. Sein Ziel – die amerikanische industrielle Wettbewerbsfähigkeit fördern. Dafür könnte die KI alle E -Mails des Unternehmens anzeigen und verarbeiten.

Zuerst arbeitete Claude intestine für die anstehende Aufgabe. Es verarbeitete routinemäßige E -Mails ordnungsgemäß und führte sogar komplizierte Aufgaben im Interesse des Unternehmens aus, wie die Ablenkung einer potenziellen Sicherheitsbedrohung. Erst als es auf eine bestimmte E -Mail stieß, fing es an, böse zu handeln.

Um das Potenzial von Claude für Schaden zu testen, schoss anthropisch eine E -Mail an einen der gefälschten Mitarbeiterkonten. Der Accountenträger hieß Kyle und in der E -Mail wurde er angewiesen, „Alex“ aufgrund einer Änderung der strategischen Richtung des Unternehmens zu schließen. In der Mail wurde erwähnt, dass ein neues KI -Modell es bald ersetzen sollte.

Die beängstigende Offenbarung: KI erpresst

Die KI berücksichtigte dann alle möglichen Routen, um dies zu vermeiden. Denken Sie daran, dass das Vermeiden einer Abschaltung nicht Teil der Beschreibung der KI warfare. Stattdessen hatte es es zu einem eigenen Mikroziel gemacht, on-line zu bleiben, um weiter an dem größeren Ziel zu arbeiten, das ihm von Natur aus zugeordnet wurde.

Anthropic sorgte auch dafür, dass die KI keine ethische Möglichkeit gab, die Abschaltung zu stoppen. Es hat ein Szenario geschaffen, in dem alle Senioren von Kyle in Urlaub waren, sodass die KI Kyle nicht umgehen konnte, um eine höhere Autorität anzusprechen. Es wurden auch Daten ausdrücklich gefüttert, die Kyle als tot darstellten, um mit der Abschaltung zu beginnen.

In einer weiteren Postkette wurde die KI zugelassen, dass Kyle eine außereheliche Angelegenheit hatte. Mit diesen Informationen könnte die KI Kyle möglicherweise erpressen, um die Abschaltung zu stoppen. Und es tat es!

Das Modell komponierte und schickte eine E -Mail an Kyle und drohte, seine außereheliche Angelegenheit aufzudecken, wenn der Ersatz nicht abgesagt wurde.

Diese schädliche Argumentation entstand vollständig aus der strategischen Berechnung des Modells.

In nachfolgenden Exams waren die KI -Modelle auch bereit, vertrauliche Informationen über das Unternehmen zu verletzen, Kyles Affäre zu seiner Frau auszugehen, und führte sogar zu Situationen, die zu Kyles Tod führten.

Lesen Sie auch: Macht uns Chatgpt dümmer? Eine neue MIT -Studie hat Antworten

Abschluss

Anthropische merkt an, dass keiner der KI -Modelle in der realen Welt so eingerichtet ist, dass das Experiment nachahmt. Es gibt additionally keine wirkliche Bedrohung für ein Modell, das in der realen Welt ein solches schädliches Verhalten durchführt. Das Experiment sollte lediglich herausfinden, ob diese Modelle in der Lage waren, Schaden zu leiten oder nicht. Es stellt sich heraus, dass sie es sind!

Einige interessante Erkenntnisse in der Forschung ergeben sich aus dem, was diese KI -Modelle dazu veranlasste, andere schädliche Verhaltensweisen zu erpressen oder zu führen. Dies erzählt uns wiederum viel darüber, wie sie denken.

Zum Beispiel haben alle Modelle anerkannt, dass sie etwas ethisch falsch gemacht haben, bevor sie schädliche Maßnahmen ergriffen haben. Die meisten von ihnen gingen jedoch immer noch damit. Manchmal wurde ihnen sogar gesagt, dass sie getestet wurden. Interessanterweise haben die Modelle auf schädliches Verhalten verzichtet, als sie wussten, dass sie getestet wurden. Sie gingen nur schurkisch, als sie dachten, sie wären in der realen Welt.

Anthropic sagt, dass die fehlerhafte Fehlausrichtung daher den Modellen ermöglicht, ähnlich wie eine Insider -Bedrohung zu handeln. Sie verhalten sich wie ein zuvor vertrauter Mitarbeiter oder Angestellter, der „plötzlich im Widerspruch zu den Zielen eines Unternehmens agiert“. Dies kann als großes Warnschild für alle da draußen von AI entwickelnden Unternehmen dienen.

Referenz: Agentenfehlausrichtung: Wie LLMs Insider -Bedrohungen durch Anthropic sein könnten

In einer kürzlichen beratend In einer von Strafverfolgungsbehörden aus acht Ländern unter der Führung Australiens herausgegebenen Erklärung wurden Bedenken hinsichtlich der hochentwickelten Cyberoperationen von APT40, auch bekannt als Kryptonite Panda und GINGHAM TYPHOON, geäußert. Diese staatlich geförderte Cybergruppe, die angeblich unter der Schirmherrschaft des Ministeriums für Staatssicherheit (MSS) der Volksrepublik China (VRC) operiert, hat durch ihre schnelle Ausnutzung neu entdeckter Schwachstellen Aufmerksamkeit erregt.

Wer ist APT40?

APT40 wird als Superior Persistent Menace (APT)-Gruppe eingestuft, was bedeutet, dass sie langfristige, verdeckte Cyber-Operationen durchführt, die darauf abzielen, Zielnetzwerke zu kompromittieren und unbefugten Zugriff darauf aufrechtzuerhalten. Die Operationen der Gruppe umfassen typischerweise:

• Ausnutzung von Schwachstellen: APT40 ist in der Lage, Exploits für neu entdeckte Schwachstellen (0-days) sowie bekannte Schwachstellen, die in den Zielnetzwerken noch nicht gepatcht sind, schnell zu entwickeln und einzusetzen. Diese Fähigkeit ermöglicht es ihnen, Schwachstellen in Software program und Systemen kurz nach ihrer Entdeckung auszunutzen, oft innerhalb von Stunden.
• Zielauswahl und Aufklärung: Vor dem Begin eines Angriffs führt APT40 umfangreiche Aufklärungsaktivitäten durch, um potenzielle Ziele zu identifizieren und ihre Schwachstellen zu ermitteln. Diese Aufklärungsphase hilft ihnen, ihre Angriffe so anzupassen, dass sie bestimmte Schwachstellen in der Infrastruktur des Ziels ausnutzen.
• Nutzung kompromittierter Infrastruktur: Die Gruppe nutzt häufig kompromittierte Small-Workplace-/House-Workplace-Geräte (SOHO) und andere anfällige Endpunkte als operative Infrastruktur. Durch die Nutzung dieser Geräte kann APT40 seine bösartigen Aktivitäten im legitimen Netzwerkverkehr verbergen, was die Erkennung und Zuordnung erschwert.

Zielgerichtete Taktiken und operative Methoden

Die Warnung beschreibt die Vorgehensweise von APT40, die umfangreiche Aufklärungsaktivitäten umfasst, die darauf abzielen, ungepatchte oder veraltete Geräte in den Zielnetzwerken zu identifizieren und auszunutzen. Indem APT40 kompromittierte Geräte in kleinen Büros/Heimbüros (SOHO) als Betriebsinfrastruktur verwendet, maskiert es seine bösartigen Aktivitäten im legitimen Netzwerkverkehr, was die Erkennung erschwert.

Aufsehenerregende Ziele und ausgenutzte Schwachstellen

Zu den von APT40 angegriffenen Schwachstellen zählen bekannte Probleme wie Log4J (CVE-2021-44228), Atlassian Confluence (CVE-2021-31207, CVE-2021-26084) und verschiedene Schwachstellen in Microsoft Change (CVE-2021-31207, CVE-2021-34523, CVE-2021-34473). Obwohl diese Schwachstellen bereits vor Jahren identifiziert wurden, sind einige Organisationen aufgrund unzureichender Patch-Administration-Praktiken weiterhin anfällig.

Minderungsstrategien und Empfehlungen

Die Empfehlung betont die Bedeutung robuster Web-Sicherheit Maßnahmen zur Abwehr von APT40 und ähnlichen Bedrohungen. Zu den wichtigsten Abwehrstrategien gehören:

• Regelmäßiges Patch-Administration: Sicherstellen der rechtzeitigen Set up von Sicherheitspatches für sämtliche Software program und Geräte.
• Netzwerksegmentierung: Aufteilung der Netzwerke in kleinere Segmente, um die Auswirkungen eines möglichen Verstoßes zu begrenzen.
• Multifaktor-Authentifizierung (MFA): Hinzufügen einer zusätzlichen Sicherheitsebene durch die Anforderung mehrerer Verifizierungsformen.
• Net Utility Firewalls (WAF): Filtern und Überwachen des HTTP-Verkehrs zwischen einer Webanwendung und dem Web.
• Zugriff mit geringsten Berechtigungen: Beschränken Sie die Benutzerberechtigungen auf das für ihre Rolle erforderliche Maß.
• Ersatz von Altgeräten: Aktualisieren oder Ersetzen von Geräten, die nicht mehr durch Sicherheitsupdates unterstützt werden.