Liquid AI Open-Sources Antidoom: Eine Methode zur endgültigen Token-Präferenzoptimierung (FTPO), die Doom-Schleifen in Argumentationsmodellen reduziert

admin — Tue, 07 Jul 2026 21:21:06 +0000

[ad_1]

Liquid AI wurde veröffentlicht Antidoomeine Open-Supply-Methode, die auf einen häufigen Fehlermodus in Argumentationsmodellen abzielt. Dieser Fehlermodus ist der Untergangsschleife. In einer Doom-Schleife gibt ein Modell eine Spanne aus. Anschließend wird dieser Zeitraum immer wieder wiederholt. Die Ausgabe wird fortgesetzt, bis das Kontextfenster erschöpft ist. Kleine Argumentationsmodelle sind hierfür anfälliger, insbesondere bei langen Denkspuren und schwierigen Problemen.

An einem frühen Kontrollpunkt von LFM2.5-2.6B10,2 % der Abschlüsse bei schwierigen Mathematik- und Codierungsaufforderungen führten zu sich wiederholenden Schleifen. Nach dem Antidoom-Coaching sank diese Fee auf 1,4 %. Die Bewertungsergebnisse verbesserten sich durchweg, was ausschließlich auf die geringere Anzahl von Schleifen zurückzuführen ist.

TL;DR

Antidoom reduziert Doom-Loops, indem es nur das erste Loop-Begin-Token neu trainiert.
FTPO verteilt die Wahrscheinlichkeit auf mehrere kohärente Alternativen, nicht auf einen Ersatz.
LFM2.5-2.6B-Looping sank um 10,2 % auf 1,4 %; Qwen3.5-4B fiel um 22,9 % auf 1 %.
Die Pipeline läuft in wenigen Stunden und der gesamte Stack ist Open Supply.

Was ist Antidoom?

Antidoom ist eine gezielte Lösung, keine umfassende Stichprobenänderung. Es findet den genauen Token, der eine Schleife beginnt. Anschließend wird das Modell darauf trainiert, kohärente Alternativen an dieser einzelnen Place zu bevorzugen. Der Relaxation der Distribution bleibt weitgehend unberührt.

Die Methode passt sich an Antislop. Es trainiert auf ausgewählten/abgelehnten Paaren, die ein einzelnes Abschluss-Token darstellen. Der Trainingsalgorithmus ist Endgültige Token-Präferenzoptimierung (FTPO)was DPO ähnelt.

Das Coaching bringt dem Modell nichts Neues über Mathematik oder Code bei. Es beseitigt die Schleife, die blockierte Antworten verursachte, die das Modell bereits erzeugen konnte.

Anatomie eines Doom Loops

Das Workforce von Liquid AI führt Doom Loops auf drei zusammenarbeitende Mechanismen zurück:

Mechanismus 1: Übertrainierte Token plus Unsicherheit. Es ist wahrscheinlicher, dass einige Token generell ausgewählt werden. Bekannte Beispiele in freier Wildbahn sind „delve“ und „testomony“. Das Workforce von Liquid AI stellt fest, dass dies auf synthetische Daten im Trainingssatz zurückzuführen sein kann. In Argumentationsspuren enthalten Fortsetzungen mit hoher Priorität häufig Diskursmarkierungen wie „Warten“ oder „Alternativ“. Diese Token sind nicht grundsätzlich schlecht. Sie können einen sinnvollen Strategiewechsel, einen Verifizierungsschritt oder eine Verzweigung markieren. Wenn das Modell unsicher ist oder feststeckt, werden sie stattdessen zu attraktiven Fallback-Fortsetzungen.

Für einen frühen LFM2.5-2.6B-Prüfpunkt waren die häufigsten Schleifenstarttoken die folgenden.

Token	Anteil der Schleifenstarts
`the`	11,39 %
`So`	4,51 %
`Alternatively`	3,22 %
`Wait`	2,56 %
`However`	2,46 %

Mechanismus 2: Der vorherige Kontext verstärkt die Schleife. Jede Wiederholung verschiebt jeden Token in der Spanne in Richtung der Wahrscheinlichkeit, dass Duan et al. Studie dies in ihrer Arbeit zum Zirkelschluss. Sie verknüpfen es mit einem „V-förmigen“ Aufmerksamkeitsmuster. Sie stellen fest, dass die semantische Wiederholung der textlichen Wiederholung vorausgeht.

Mechanismus 3: Gieriges Sampling. Reasoning-Modelle werden normalerweise bei niedriger Temperatur betrieben, um stabile, reproduzierbare Spuren zu erhalten. Bei Temperatur 0 wird immer der wahrscheinlichste Token ausgewählt. Eine lokal verstärkte Schleife hat dann keinen Ausgang. Liquid AI meldet erhebliche Schleifen, selbst bei einer Temperatur von 0,67. Niedrigere Temperaturen verschärfen das Downside.

Wie Antidoom den Fehler lokalisiert

Antidoom generiert Vervollständigungen auf einer prompten Mischung, die bei niedriger Temperatur Schleifen hervorrufen soll. Diese Mischung wird wie folgt geliefert LiquidAI/antidoom-mix-v1.0 Datensatz. Eine Schleife wird erkannt, wenn sich ein Abschnitt mindestens viermal wiederholt und mindestens 60 Zeichen umfasst.

Die Methode zielt dann auf die erstes Token der ersten Wiederholung. An dieser Place werden die High-k-Log-Prob-Alternativen des Basismodells verwendet. Es filtert kurzes oder nicht alphanumerisches Rauschen. Es werden bis zu 20 believable Ersatznamen gespeichert gewählt Token.

Jede Trainingszeile ist ein Tupel von Eingabeaufforderungspräfixen, eins abgelehnt Token und ein oder mehrere gewählt Token. Die ausgewählten und abgelehnten Verteilungen werden vor dem Coaching reguliert. Ansonsten mögen ein paar Übeltäter Warten, AdditionallyUnd Die würde dominieren und eine übermäßige Unterdrückung würde das Denken verschlechtern.

Die Erkennungsregel selbst lässt sich einfach im Code angeben. Der folgende Ausschnitt dient der Veranschaulichung.

# A loop = a unit repeating >=4 occasions, spanning >=60 characters.
# Returns the index of the primary token of the primary repeat (the goal), else None.
def find_loop(textual content, min_repeats=4, min_chars=60):
    n = len(textual content)
    for span in vary(1, n // min_repeats + 1):
        begin = 0
        whereas begin + span * min_repeats <= n:
            unit = textual content(begin:begin + span)
            repeats = 1
            pos = begin + span
            whereas textual content(pos:pos + span) == unit:
                repeats += 1
                pos += span
            if repeats >= min_repeats and span * repeats >= min_chars:
                return begin + span          # first token of the primary repeat
            begin += 1
    return None

Jede erkannte Schleife wird dann zu einer Trainingszeile. Die Struktur ist ein einfaches Tupel.

# One FTPO coaching row, per the publish's (prefix, rejected, chosen) format.
row = {
    "immediate": prefix_up_to_the_loop,   # textual content earlier than the primary repeat
    "rejected": " Wait",               # the one token that began the loop
    "chosen": (" So", " Since", " The", " Due to this fact"),  # as much as 20 options
}

Endgültige Token-Präferenzoptimierung (FTPO)

FTPO ist ein Präferenzoptimierungsalgorithmus ähnlich wie DPO. Ein Trainingsbeispiel besteht aus einer Eingabeaufforderung, einer ausgewählten Fortsetzung und einer abgelehnten Fortsetzung. Es ist darauf ausgelegt, eine Handvoll Token zu ändern, ansonsten wird das Modell nur minimal beeinträchtigt.

FTPO unterscheidet sich von DPO in vier Punkten:

Abschließendes Token-Coaching: Es trainiert nur das abschließende Token einer Sequenz, die sich in der Mitte der Generierung befindet.
Mehrere ausgewählte Token professional Probe: Es verteilt die Wahrscheinlichkeit auf eine Gruppe von Alternativen, sodass ein übertrainierter Token nicht einfach durch einen anderen ersetzt wird.
KL-ähnlicher Verlust im Logit-Raum: Es lässt den Softmax weg und berechnet die Abweichung von der Referenz in Logits, wodurch Druck auf nicht verwandte Token vermieden wird.
Zweiteilige Regularisierung: Ausgewählte und abgelehnte Logits bewegen sich freier, während das verbleibende Vokabular streng eingeschränkt bleibt.

In der Antidoom-Implementierung trainiert das Modell für eine Epoche mit LoRA. Hohe LoRA-Ränge von 128–256 lieferten die besten Ergebnisse. Das Coaching deckt alle Aufmerksamkeits- und MLP-Projektionen ab lm_head. Die Lernraten liegen bei etwa 4e-6 bis 2e-5.

Das Coaching nutzt frühes Anhalten chosen_winder Anteil der Stichproben, bei denen ausgewählte Token abgelehnt wurden. Anhalten bei chosen_win=0.35 Senkung der Doom-Loop-Raten von 20-30 % auf 1-2 %. Längeres Coaching führte tendenziell zu einer Verschlechterung des Modells.

Für den frühen LFM2.5-2.6B-Checkpoint dauerte die Generierung des Trainingssatzes auf 8x MI325-GPUs etwa eine Stunde. Das Coaching dauerte dann etwa ein bis zwei Stunden auf einer einzelnen MI325-GPU. Die Generierung stoppt, nachdem 20.000 Paare gesammelt wurden.

Wie Antidoom im Vergleich zu den üblichen Fixes abschneidet

Ansatz	Was es verändert	Kostenprofil	Gemeldeter Nachteil
`repetition_penalty`	Gewichtet die Ausgabeverteilung neu	Inferenzzeit, günstig	Pflaster; kann die Leistung beeinträchtigen
Verstärkungslernen	Politik über Belohnungen	Angepasste Belohnungen, kostspielige On-line-Einführungen	Einrichtungs- und Rechenaufwand
DPO (Ultimate-Token)	Ein ausgewählter Token professional Probe	Offline-Schulung	Grob `beta`; aktualisiert einen einzelnen Token
Antidoom (FTPO)	Erstes Schleifentoken → viele ausgewählte Token	~1h Gen (8x MI325) + 1-2h Zug (1x MI325)	Kann neue Schleifen verfügbar machen; Möglicherweise sind zusätzliche Runden erforderlich

Ergebnisse

Nach dem Coaching sank die Doom-Looping-Fee am frühen LFM2.5-2.6B-Kontrollpunkt von 10,2 % auf 1,4 %. Die Bewertungsergebnisse verbesserten sich durchweg, was ausschließlich auf die Reduzierung der Schleifenbildung zurückzuführen ist.

Das Workforce von Liquid AI hat die Pipeline ebenfalls weitergeführt Qwen3.5-4Bvon dem bekannt ist, dass es während des Denkens eine Schleife bildet. Die Doom-Looping-Fee sank bei gieriger Stichprobe von 22,9 % auf 1 %. Die Evaluierungswerte stiegen deutlich an.

Mit steigender Temperatur änderte sich die Bewertungspunktzahl umgekehrt zur Doom-Loop-Fee. Nach dem Coaching zeigten beide Modelle einen Leistungsabfall in der Nähe von temp=1,0. Dies ist zu erwarten, da die Probenahme bei höheren Temperaturen weniger bevorzugte Token begünstigen kann. Sobald die Schleife entfernt wurde, lieferte die nahezu gierige Stichprobe in den getesteten Modellen die besten Ergebnisse.

Das Liquid AI-Workforce weist auf einen verwandten Punkt zur gängigen Praxis hin. Der Glaube, dass höhere Temperaturen das Denken unterstützen, kann mit der Wirkung von Doom-Looping in Verbindung gebracht werden. Sobald die Schleifen verschwunden sind, schneidet in ihren Checks die Close to-Greed-Sampling-Methode am besten ab.

Mehrere Runden können helfen. Die erste Runde lehnt schleifenverursachende Token ab und gewichtet sich auf Alternativen um. Das kann neue Schwachstellen aufdecken, auf die dann eine zweite Runde abzielt.

Interaktiver Erklärer

Antidoom Interactive Demo

Interactive Demo · Reasoning Models

Antidoom: Breaking the Doom Loop

Watch a small reasoning model reach a doom loop, then turn on Antidoom (FTPO) to redistribute probability at the loop-start token and let the trace reach an answer.

Antidoom (FTPO)

OFF

Sampling temperature

0.00

Reasoning trace

Press “Run trace” to begin…

Idle Loops: 0

Next-token distribution

At the loop-start position

Loop reinforcement P(“Wait”)0%

Each repeat pushes the loop token toward probability 1 (Mechanism 2). At low temperature, greedy sampling then has no exit (Mechanism 3).

overtrained loop token (“Wait”) coherent alternatives (chosen tokens) selected token

Marktechpost · AI Research & Dev

Illustrative simulation of mechanisms described by Liquid AI (Antidoom / FTPO). Not the actual model.

[ad_2]

OpenSources – chatgpz.de – KI-Tools & Praxiswissen