Liquid AI Open-Sources Antidoom: Eine Methode zur endgültigen Token-Präferenzoptimierung (FTPO), die Doom-Schleifen in Argumentationsmodellen reduziert

Liquid AI wurde veröffentlicht Antidoomeine Open-Supply-Methode, die auf einen häufigen Fehlermodus in Argumentationsmodellen abzielt. Dieser Fehlermodus ist der Untergangsschleife. In einer Doom-Schleife gibt ein Modell eine Spanne aus. Anschließend wird dieser Zeitraum immer wieder wiederholt. Die Ausgabe wird fortgesetzt, bis das Kontextfenster erschöpft ist. Kleine Argumentationsmodelle sind hierfür anfälliger, insbesondere bei langen Denkspuren und schwierigen Problemen.

An einem frühen Kontrollpunkt von LFM2.5-2.6B10,2 % der Abschlüsse bei schwierigen Mathematik- und Codierungsaufforderungen führten zu sich wiederholenden Schleifen. Nach dem Antidoom-Coaching sank diese Fee auf 1,4 %. Die Bewertungsergebnisse verbesserten sich durchweg, was ausschließlich auf die geringere Anzahl von Schleifen zurückzuführen ist.

TL;DR

• Antidoom reduziert Doom-Loops, indem es nur das erste Loop-Begin-Token neu trainiert.
• FTPO verteilt die Wahrscheinlichkeit auf mehrere kohärente Alternativen, nicht auf einen Ersatz.
• LFM2.5-2.6B-Looping sank um 10,2 % auf 1,4 %; Qwen3.5-4B fiel um 22,9 % auf 1 %.
• Die Pipeline läuft in wenigen Stunden und der gesamte Stack ist Open Supply.

Was ist Antidoom?

Antidoom ist eine gezielte Lösung, keine umfassende Stichprobenänderung. Es findet den genauen Token, der eine Schleife beginnt. Anschließend wird das Modell darauf trainiert, kohärente Alternativen an dieser einzelnen Place zu bevorzugen. Der Relaxation der Distribution bleibt weitgehend unberührt.

Die Methode passt sich an Antislop. Es trainiert auf ausgewählten/abgelehnten Paaren, die ein einzelnes Abschluss-Token darstellen. Der Trainingsalgorithmus ist Endgültige Token-Präferenzoptimierung (FTPO)was DPO ähnelt.

Das Coaching bringt dem Modell nichts Neues über Mathematik oder Code bei. Es beseitigt die Schleife, die blockierte Antworten verursachte, die das Modell bereits erzeugen konnte.

Anatomie eines Doom Loops

Das Workforce von Liquid AI führt Doom Loops auf drei zusammenarbeitende Mechanismen zurück:

Mechanismus 1: Übertrainierte Token plus Unsicherheit. Es ist wahrscheinlicher, dass einige Token generell ausgewählt werden. Bekannte Beispiele in freier Wildbahn sind „delve“ und „testomony“. Das Workforce von Liquid AI stellt fest, dass dies auf synthetische Daten im Trainingssatz zurückzuführen sein kann. In Argumentationsspuren enthalten Fortsetzungen mit hoher Priorität häufig Diskursmarkierungen wie „Warten“ oder „Alternativ“. Diese Token sind nicht grundsätzlich schlecht. Sie können einen sinnvollen Strategiewechsel, einen Verifizierungsschritt oder eine Verzweigung markieren. Wenn das Modell unsicher ist oder feststeckt, werden sie stattdessen zu attraktiven Fallback-Fortsetzungen.

Für einen frühen LFM2.5-2.6B-Prüfpunkt waren die häufigsten Schleifenstarttoken die folgenden.

Mechanismus 2: Der vorherige Kontext verstärkt die Schleife. Jede Wiederholung verschiebt jeden Token in der Spanne in Richtung der Wahrscheinlichkeit, dass Duan et al. Studie dies in ihrer Arbeit zum Zirkelschluss. Sie verknüpfen es mit einem „V-förmigen“ Aufmerksamkeitsmuster. Sie stellen fest, dass die semantische Wiederholung der textlichen Wiederholung vorausgeht.

Mechanismus 3: Gieriges Sampling. Reasoning-Modelle werden normalerweise bei niedriger Temperatur betrieben, um stabile, reproduzierbare Spuren zu erhalten. Bei Temperatur 0 wird immer der wahrscheinlichste Token ausgewählt. Eine lokal verstärkte Schleife hat dann keinen Ausgang. Liquid AI meldet erhebliche Schleifen, selbst bei einer Temperatur von 0,67. Niedrigere Temperaturen verschärfen das Downside.

Wie Antidoom den Fehler lokalisiert

Antidoom generiert Vervollständigungen auf einer prompten Mischung, die bei niedriger Temperatur Schleifen hervorrufen soll. Diese Mischung wird wie folgt geliefert LiquidAI/antidoom-mix-v1.0 Datensatz. Eine Schleife wird erkannt, wenn sich ein Abschnitt mindestens viermal wiederholt und mindestens 60 Zeichen umfasst.

Die Methode zielt dann auf die erstes Token der ersten Wiederholung. An dieser Place werden die High-k-Log-Prob-Alternativen des Basismodells verwendet. Es filtert kurzes oder nicht alphanumerisches Rauschen. Es werden bis zu 20 believable Ersatznamen gespeichert gewählt Token.

Jede Trainingszeile ist ein Tupel von Eingabeaufforderungspräfixen, eins abgelehnt Token und ein oder mehrere gewählt Token. Die ausgewählten und abgelehnten Verteilungen werden vor dem Coaching reguliert. Ansonsten mögen ein paar Übeltäter Warten, AdditionallyUnd Die würde dominieren und eine übermäßige Unterdrückung würde das Denken verschlechtern.

Die Erkennungsregel selbst lässt sich einfach im Code angeben. Der folgende Ausschnitt dient der Veranschaulichung.

# A loop = a unit repeating >=4 occasions, spanning >=60 characters.
# Returns the index of the primary token of the primary repeat (the goal), else None.
def find_loop(textual content, min_repeats=4, min_chars=60):
    n = len(textual content)
    for span in vary(1, n // min_repeats + 1):
        begin = 0
        whereas begin + span * min_repeats <= n:
            unit = textual content(begin:begin + span)
            repeats = 1
            pos = begin + span
            whereas textual content(pos:pos + span) == unit:
                repeats += 1
                pos += span
            if repeats >= min_repeats and span * repeats >= min_chars:
                return begin + span          # first token of the primary repeat
            begin += 1
    return None

Jede erkannte Schleife wird dann zu einer Trainingszeile. Die Struktur ist ein einfaches Tupel.

# One FTPO coaching row, per the publish's (prefix, rejected, chosen) format.
row = {
    "immediate": prefix_up_to_the_loop,   # textual content earlier than the primary repeat
    "rejected": " Wait",               # the one token that began the loop
    "chosen": (" So", " Since", " The", " Due to this fact"),  # as much as 20 options
}

Endgültige Token-Präferenzoptimierung (FTPO)

FTPO ist ein Präferenzoptimierungsalgorithmus ähnlich wie DPO. Ein Trainingsbeispiel besteht aus einer Eingabeaufforderung, einer ausgewählten Fortsetzung und einer abgelehnten Fortsetzung. Es ist darauf ausgelegt, eine Handvoll Token zu ändern, ansonsten wird das Modell nur minimal beeinträchtigt.

FTPO unterscheidet sich von DPO in vier Punkten:

1. Abschließendes Token-Coaching: Es trainiert nur das abschließende Token einer Sequenz, die sich in der Mitte der Generierung befindet.
2. Mehrere ausgewählte Token professional Probe: Es verteilt die Wahrscheinlichkeit auf eine Gruppe von Alternativen, sodass ein übertrainierter Token nicht einfach durch einen anderen ersetzt wird.
3. KL-ähnlicher Verlust im Logit-Raum: Es lässt den Softmax weg und berechnet die Abweichung von der Referenz in Logits, wodurch Druck auf nicht verwandte Token vermieden wird.
4. Zweiteilige Regularisierung: Ausgewählte und abgelehnte Logits bewegen sich freier, während das verbleibende Vokabular streng eingeschränkt bleibt.

In der Antidoom-Implementierung trainiert das Modell für eine Epoche mit LoRA. Hohe LoRA-Ränge von 128–256 lieferten die besten Ergebnisse. Das Coaching deckt alle Aufmerksamkeits- und MLP-Projektionen ab lm_head. Die Lernraten liegen bei etwa 4e-6 bis 2e-5.

Das Coaching nutzt frühes Anhalten chosen_winder Anteil der Stichproben, bei denen ausgewählte Token abgelehnt wurden. Anhalten bei chosen_win=0.35 Senkung der Doom-Loop-Raten von 20-30 % auf 1-2 %. Längeres Coaching führte tendenziell zu einer Verschlechterung des Modells.

Für den frühen LFM2.5-2.6B-Checkpoint dauerte die Generierung des Trainingssatzes auf 8x MI325-GPUs etwa eine Stunde. Das Coaching dauerte dann etwa ein bis zwei Stunden auf einer einzelnen MI325-GPU. Die Generierung stoppt, nachdem 20.000 Paare gesammelt wurden.

Wie Antidoom im Vergleich zu den üblichen Fixes abschneidet

Ergebnisse

Nach dem Coaching sank die Doom-Looping-Fee am frühen LFM2.5-2.6B-Kontrollpunkt von 10,2 % auf 1,4 %. Die Bewertungsergebnisse verbesserten sich durchweg, was ausschließlich auf die Reduzierung der Schleifenbildung zurückzuführen ist.

Das Workforce von Liquid AI hat die Pipeline ebenfalls weitergeführt Qwen3.5-4Bvon dem bekannt ist, dass es während des Denkens eine Schleife bildet. Die Doom-Looping-Fee sank bei gieriger Stichprobe von 22,9 % auf 1 %. Die Evaluierungswerte stiegen deutlich an.

Mit steigender Temperatur änderte sich die Bewertungspunktzahl umgekehrt zur Doom-Loop-Fee. Nach dem Coaching zeigten beide Modelle einen Leistungsabfall in der Nähe von temp=1,0. Dies ist zu erwarten, da die Probenahme bei höheren Temperaturen weniger bevorzugte Token begünstigen kann. Sobald die Schleife entfernt wurde, lieferte die nahezu gierige Stichprobe in den getesteten Modellen die besten Ergebnisse.

Das Liquid AI-Workforce weist auf einen verwandten Punkt zur gängigen Praxis hin. Der Glaube, dass höhere Temperaturen das Denken unterstützen, kann mit der Wirkung von Doom-Looping in Verbindung gebracht werden. Sobald die Schleifen verschwunden sind, schneidet in ihren Checks die Close to-Greed-Sampling-Methode am besten ab.

Mehrere Runden können helfen. Die erste Runde lehnt schleifenverursachende Token ab und gewichtet sich auf Alternativen um. Das kann neue Schwachstellen aufdecken, auf die dann eine zweite Runde abzielt.

Interaktiver Erklärer

Anwendungsfälle mit Beispielen

• Argumentationsmodelle auf dem Gerät: Argumentationsmodelle mit weniger als 1 GB wie die LFM2.5-Familie können bei harten Eingabeaufforderungen mitten im Proof ins Stocken geraten. Antidoom stellt die Genauigkeit wieder her, die diese Schleifen gekostet haben.
• Kleine Codierungsagenten: Ein 4B-Codierungsmodell kann einen harten Debugging-Hint durchlaufen und sein Kontextfenster zerstören. Durch das Entfernen der Schleife kann der Repair erreicht werden, den er bereits kannte.
• Kontrolle der Agent-Pipeline-Kosten: Schleifen verbrauchen Token, bis der Kontext erschöpft ist. Wenn Sie sie reduzieren, werden unnötige Token und Latenzzeiten bei langen Agent-Läufen reduziert.
• Reparatur nach dem Coaching. Groups, die fein abgestimmte Argumentationskontrollpunkte bereitstellen, können Antidoom in wenigen Stunden als Bereinigungsdurchlauf ausführen.

Stärken und Herausforderungen

Stärken:

• Zielgerichtet: Es bearbeitet das erste Schleifentoken und lässt den Relaxation der Verteilung weitgehend intakt.
• Schnell: Die gesamte Pipeline läuft in wenigen Stunden.
• Gemessen: LFM2.5-2.6B fiel um 10,2 % auf 1,4 %; Qwen3.5-4B fiel um 22,9 % auf 1 %.
• Open Supply: Generierung, Erkennung und der FTPO-Coach sind alle veröffentlicht.
• Stellt wieder her, nicht lehrt: Es stellt Antworten wieder her, die das Modell bereits liefern konnte.

Herausforderungen:

• Dadurch können neue Fehlerquellen aufgedeckt werden, sodass manchmal mehrere Runden erforderlich sind.
• Übermäßiges Coaching verschlechtert das Modell, additionally stoppen Sie frühzeitig chosen_win ist erforderlich.
• Die gemeldeten Ergebnisse beziehen sich auf LFM-Kontrollpunkte und Qwen3.5-4B, beides kleine Argumentationsmodelle.
• Nach dem Coaching kann die Leistung auf etwa 1,0 sinken.
• Jedes Modell benötigt einen eigenen generierten Schleifendatensatz.

Schauen Sie sich das an Technische Particulars Und GitHub-Repo. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150k+ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns