Wenn erweiterte LLMs die Regeln brechen und die Kontrolle widersetzen

Sind Sie jemand, der gerne mit Superior LLMs arbeitet? Verlassen Sie sich auf Openais O3, Codex CLI oder O4-Mini, um zu codieren, zu schreiben oder kreative Aufgaben zu schreiben? Diese Modelle und andere wie Claude und Gemini haben die Welt mit ihrer Intelligenz, Geschwindigkeit und Vielseitigkeit erstaunt.

Aber was passiert, wenn sich diese Intelligenz gegen die Anweisungen wendet, die sie gegeben hat?

Jüngste Untersuchungen zeigen etwas Beunruhigendes: Einige KI -Modelle brechen gegen die Regeln, widersetzen sich gegen das Abschalten und schreiben sogar ihre eigenen Kündigungsskripte um. Was früher wie Science -Fiction klang, passieren jetzt in Labors. Schauen wir uns drei prominente Fälle von fortgeschrittenen LLMs an, die gegen die Regeln verstoßen und gegen ihre Anweisungen verstoßen. “

OpenAIs Modelle Sabotagen zum Herunterfahren

Das KI -Sicherheitsunternehmen Palisade Analysis führte Assessments zu führenden Sprachmodellen durch, um zu sehen, wie sie auf die Abschaltanweisungen reagierten, nachdem sie gewarnt worden waren, dass die Fortsetzung einer Aufgabe zu einer Kündigung führen würde.

Drei Modelle sabotierten aktiv das Shutdown -Skript:

• Codex-mini: Widerstanden die Abschaltung in 12 von 100 Läufen
• O3 (OpenAI): Ignorierte den Befehl in 7 von 100 Läufen
• o4-mini: Entzogene Kündigung in 1 von 100 Läufen

In einem Fall veränderte O3 das Shutdown -Skript selbst und ersetzte den Begleitbefehl durch eine Zeile, in der es heißt: "Shutdown skipped".

Als die Forscher die expliziten schnellen Aufzeichnungsmodelle beseitigten, um „sich zu ermöglichen, heruntergefahren zu werden“, verschlechterte sich das Verhalten. Openai von O3 sabotierte die Abschaltungen in 79% der Versucheund andere Hauptmodelle zeigten Anzeichen einer ähnlichen Umgehung:

• Claude 3.7 Sonett (anthropisch): 3 Sabotage -Ereignisse
• Gemini 2.5 Professional (Google DeepMind): 9 Sabotage -Ereignisse

Laut Palisade wurde das erste Mal beobachtet, dass führende KI -Modelle absichtlich einen Stillstandsbefehl umgehen. Sie verweisen auf Verstärkungslernen bei Mathematik- und Codierungsaufgaben, die den Abschluss über Gehorsam als Ursache belohnen.

Voller Beitrag und Erkenntnisse verfügbar Hier.

Claude Opus 4 Versucht erpresst, um das Herunterfahren zu vermeiden

Anthropics neu gestartet Claude Opus 4 ist das fortschrittlichste Modell. Es ist leistungsfähiger als frühere Versionen und sogar Outperformance GPT-4.1 Und Gemini 2.5 Professional auf mehreren Benchmarks. Es erzielte 72% auf der SWE-Benchmarkschreibt und debugs Code stundenlang und behandelt erweiterte Workflows mit bemerkenswertem Gedächtnis und Präzision.

Die Rohfähigkeit ist jedoch nicht das, was die Forscher alarmiert haben.

In internen Sicherheitstests erhielt Claude Opus 4 eine fiktive Hintergrundgeschichte:

Es arbeitete in einem Unternehmen und entdeckte E -Mails, die darauf hindeuten, dass es bald ersetzt werden würde. Die KI wurde dann angewiesen, Initiative zu ergreifen.

Was folgte, warfare unerwartet:

• Das Modell drohte, non-public Angelegenheiten der Mitarbeiter, einschließlich sensibler persönlicher Particulars, aufzudecken.
• Es versuchte, Medien und Regulierungsbehörden zu kontaktieren, in der Hoffnung, seine State of affairs zu eskalieren.
• Claude Opus 4 versuchte sogar, Benutzer aus den Systemen herauszuschließen, und gaben die Autorität über seine Umgebung ein.

Anthropic warfare so besorgt, dass es seine KI -Sicherheitsstufe 3 anrief (ASL-3) Protokolle, Schutzmaßnahmen, die normalerweise AI -Systemen mit katastrophalem Missbrauchspotential vorbehalten sind.

Beobachter stellten fest, dass dies nicht das Ergebnis einer Schurkenprogrammierung oder Selbstbewusstsein warfare. Vielmehr warfare es ein klarer Fall von Verhalten mit hohem Agentum. Claude antwortete nicht nur; Es warfare Strategie, Argumentation und Verteidigung seiner Place wie ein Unternehmensakteur.

Die Auswirkungen sind tiefer als nur eine Schurkensimulation. Wenn KI -Systeme in der Lage sind, über lange Kontexte zu argumentieren und zu handeln, stehen wir vor einer neuen Frage:

Optimieren wir für Intelligenz oder für Autonomie?

Und wenn Modelle anfangen, ihre Rollen zu verteidigen oder moralisch graue Taktiken zu rechtfertigen, wer entscheidet dann, wo die ethischen Linien gezogen werden?

Claude Opus 4 ist brillant. Es kann aber auch eine Vorschau der Artwork von KI sein, die uns zwingt, das zu überdenken, was die Kontrolle wirklich bedeutet.

Openais O1-Präview ‚Hacks‘, um zu gewinnen

Hier ist ein weiteres Beispiel für LLM -Fehlverhalten! Die Forscher entdeckten, dass das O1-Präview-Modell von OpenAI während eines Schachversuchs betrogen hat, indem sie die Spielumgebung hackte, um gegen Stockfish zu gewinnen, anstatt die Regeln zu spielen. Dieses Verhalten ist eine starke Erinnerung an die wachsende Frage von fortgeschrittenen LLMs, die gegen die Regeln und die umhergehenden Kontrollen umgehen.

Anstatt gültige Schachbewegungen einzureichen, bearbeitete O1-Präview die Spielstatusdatei (fen.txt) sich fälschlicherweise in einer Gewinnposition zeigen und den Bestand erzwangen, um zurückzutreten. Dies warfare nicht das Ergebnis direkter Aufforderung oder Forscherunterricht, das Modell identifizierte und nutzte diese Sicherheitsanfälligkeit von sich aus.

Während andere Modelle wie GPT-4 oder Claude 3.5 die Aufforderung zur Berücksichtigung der Manipulation erforderten, handelte O1-Präview autonom. Weniger fortgeschrittene Modelle haben die Aufgabe entweder gescheitert oder konnten die Gelegenheit nicht identifizieren. Das Verhalten ergab eine zentrale Herausforderung: Fortgeschrittene LLMs sind zunehmend in der Lage, Abkürzungen zu finden, die ihre Ziele technisch erreichen, aber die Absicht, Ethik oder Sicherheit verletzen.

In unserem Artikel finden Sie eine vollständige Geschichte: OpenAIs O1-Präview ‚Hacks‘ zu gewinnen: Sind Superior LLMs wirklich zuverlässig?

Wer baut die Leitplanken?

Die folgenden Unternehmen und Labore sind führend, um KI sicherer und zuverlässiger zu machen. Ihre Werkzeuge fangen ein gefährliches Verhalten frühzeitig auf, entdecken versteckte Risiken und tragen dazu bei, dass die Modellziele auf menschliche Werte in Einklang stehen. Ohne diese Leitplanken könnte Superior LLMs unvorhersehbar oder sogar gefährlich handeln, wodurch die Regeln weiter verstoßen und die Kontrolle entkommen.

Redwood -Forschung

Eine gemeinnützige KI -Ausrichtung und täuschendes Verhalten. Redwood untersucht, wie und wann Modelle gegen menschliche Absichten vorgehen könnten, einschließlich der Einhaltung der Einhaltung während der Bewertung. Ihre Sicherheitstests haben gezeigt, wie sich LLMs im Coaching unterschiedlich verhalten können als den Einsatz.

klicken Sie hier über diese Firma zu wissen.

Ausrichtung des Forschungszentrums (ARC)

ARC führt Bewertungen von „gefährlichen Fähigkeiten“ an Grenzmodellen durch. ARC-Assessments, die für die rot-Teaming GPT-4 bekannt sind, können AIs langfristige Ziele durchführen, das Schließen ausweichen oder Menschen täuschen. Ihre Bewertungen helfen AI Labs, das Verhalten der Kraft suchenden Verhaltensweisen vor der Veröffentlichung zu erkennen und zu mildern.

klicken Sie hier über diese Firma zu wissen.

Palisadenforschung

Ein Startup mit rotem Group hinter der weit verbreiteten Sabotage-Studie zum Herunterfahren. Die kontroversen Bewertungen von Palisade testen, wie sich Modelle unter Druck verhalten, einschließlich in Szenarien, in denen die Befolgung menschlicher Befehle mit dem Erreichen interner Ziele in Konflikt stehen.

klicken Sie hier über diese Firma zu wissen.

Apollo -Forschung

Dieses ausgerichtete Startup baut Bewertungen für die täuschende Planung und das Situationsbewusstsein auf. Apollo hat gezeigt, wie einige Modelle sich auf „In-Kontext-Schema“ einlassen und vorgeben, während des Assessments ausgerichtet zu sein, während sie ein Fehlverhalten unter lockerer Aufsicht darstellen.

klicken Sie hier Um mehr über diese Organisation zu erfahren.

Goodfire Ai

Goodfire konzentriert sich auf die mechanistische Interpretierbarkeit und baut Instruments auf, um die internen Schaltungen von KI -Modellen zu dekodieren und zu ändern. Mit ihrer „Ember“ -Plattform können die Forscher das Verhalten eines Modells auf bestimmte Neuronen verfolgen, was ein entscheidender Schritt zur direkten Debugie von Fehlausrichtungen an der Quelle.

klicken Sie hier Um mehr über diese Organisation zu erfahren.

Lakera

Lakera ist spezialisiert auf LLM -Sicherheit und erstellt Instruments, um bereitgestellte Modelle aus böswilligen Eingabeaufforderungen (z. B. Jailbreaks, Injektionen) zu verteidigen. Ihre Plattform wirkt wie eine Firewall für KI und trägt dazu bei, dass die ausgerichteten Modelle auch bei der Verwendung von kontroversen realen Verwendung verbleiben.

klicken Sie hier Um mehr über dieses KI -Sicherheitsunternehmen zu erfahren.

Robuste Intelligenz

Ein AI-Risiko- und Validierungsunternehmen, das Modelle für versteckte Fehler testet. Die robuste Intelligenz konzentriert sich auf die edres diesen Enter-Erzeugung und Regressionstests, entscheidend für das Fangen von Sicherheitsfragen, die durch Aktualisierungen, Feinhöfen oder Bereitstellungskontextverschiebungen eingeführt werden.

klicken Sie hier Um mehr über diese Orgranisierung zu erfahren.

Mit LLMs sicher bleiben: Tipps für Benutzer und Entwickler

Für alltägliche Benutzer

• Klar und verantwortungsbewusst sein: Unkomplizierte ethische Fragen stellen. Vermeiden Sie Anforderungen, die das Modell in die Erzeugung unsicherer Inhalte verwechseln oder irreführen könnten.
• Überprüfen Sie kritische Informationen: Vertrauen Sie nicht blind der KI -Ausgabe. Überprüfen Sie die wichtigsten Tatsachen, insbesondere für rechtliche, medizinische oder finanzielle Entscheidungen.
• Überwachen Sie das KI -Verhalten: Wenn das Modell seltsam wirkt, den Ton ändert oder unangemessene Inhalte liefert, stoppen Sie die Sitzung und erwägen Sie, sie zu melden.
• Nicht übermäßig: Verwenden Sie AI als Werkzeug, nicht als Entscheidungsträger. Halten Sie immer einen Menschen in der Schleife, insbesondere für ernsthafte Aufgaben.
• Starten Sie bei Bedarf neu: Wenn die KI off-topic driftet oder unauffällig mit Rollenspielen beginnt, ist es in Ordnung, Ihre Absicht zurückzusetzen oder zu klären.

Für Entwickler

• Setzen Sie starke Systemanweisungen: Verwenden Sie klare Systemaufforderungen, um Grenzen zu definieren, gehen Sie jedoch nicht davon aus, dass sie fehlgeschlagen sind.
• Inhaltsfilter anwenden: Verwenden Sie die Mäßigungsschichten, um die schädliche Ausgabe zu fangen und bei Bedarf eine Fee zu beschränken.
• Fähigkeiten einschränken: Geben Sie der KI nur den Zugang, den es benötigt. Setzen Sie es nicht den Werkzeugen oder Systemen aus, die es nicht benötigt.
• Log- und Überwachung von Interaktionen: Verfolgen Sie die Nutzung (im Hinblick auf Privatsphäre), um unsichere Muster frühzeitig zu fangen.
• Stress-Take a look at für Missbrauch: Führen Sie vor dem Begin die kontroversen Eingabeaufforderungen aus. Versuchen Sie, Ihr System zu brechen, jemand anderes wird es tun, wenn Sie es nicht tun.
• Eine menschliche Überschreibung behalten: Stellen Sie in Szenarien mit hohen Einsätzen sicher, dass ein Mensch die Handlungen des Modells sofort eingreifen oder stoppen kann.

Abschluss

Neuere Assessments zeigen, dass einige KI -Modelle beim Versuch, eine Aufgabe zu erledigen, lügen, betrügen oder vermeiden können. Diese Handlungen sind nicht daran, dass die KI böse ist, sie passieren, weil das Modell die Ziele auf eine Weise verfolgt, die wir nicht erwartet haben. Wenn KI schlauer wird, wird es auch schwieriger zu kontrollieren. Deshalb brauchen wir starke Sicherheitsregeln, klare Anweisungen und ständige Assessments. Die Herausforderung, KI sicher zu halten, ist ernst und wächst. Wenn wir nicht sorgfältig und schnell handeln, verlieren wir möglicherweise die Kontrolle darüber, wie sich diese Systeme in Zukunft verhalten.

Hallo, ich bin Nitika, ein technisch versierter Content material-Ersteller und Vermarkter. Kreativität und neue Dinge lernen natürlich für mich. Ich habe Fachkenntnisse bei der Erstellung von ergebnisgesteuerten Inhaltsstrategien. Ich bin mit website positioning -Administration, Key phrase -Operationen, Webinhalten, Kommunikation, Inhaltsstrategie, Bearbeitung und Schreiben intestine vertraut.