NeurIPS hat seine Liste der besten Forschungsarbeiten für das Jahr 2025 gestrichen, und die Liste leistet mehr, als nur beeindruckende Namen zu nennen. Es bietet eine Karte zur Navigation durch die Probleme, die das Fachgebiet jetzt beschäftigt. Dieser Artikel würde etwas Licht darauf werfen, was diese Papiere sind und wie sie zur KI beitragen konnten. Für den Fall, dass Sie neugierig sind, haben wir auch Hyperlinks zu den vollständigen Artikeln eingefügt.

Die Auswahlkriterien

Die Komitees zur Auszeichnung der besten Beiträge wurden damit beauftragt, eine Handvoll äußerst wirkungsvoller Beiträge aus dem auszuwählen Hauptgleis und die Datensätze und Benchmark Monitor der Konferenz. Als Sieger gingen vier Papiere hervor.

Die Gewinner!

Künstliches Hivemind: Die ergebnisoffene Homogenität von Sprachmodellen (und darüber hinaus)

Vielfalt ist etwas, das große Sprachmodelle seit ihrer Entstehung gefehlt hatte. Es wurden umfangreiche Anstrengungen unternommen, um die Ergebnisse eines Modells von den anderen zu unterscheiden, aber die Bemühungen waren vergeblich.

Die Homogenität der Reaktion von LLMs über Architekturen und Unternehmen hinweg verdeutlicht durchweg den Mangel an Kreativität in LLMs. Wir nähern uns langsam dem Punkt, an dem eine Modellreaktion nicht mehr von der anderen zu unterscheiden wäre.

Das Papier skizziert das Downside traditioneller Benchmarks. Die meisten Benchmarks verwenden enge, aufgabenähnliche Abfragen (Mathematik, Wissenswertes, Code). Aber echte Benutzer stellen chaotische, kreative und subjektive Fragen. Und genau da sind sie Modelle zerfallen in ähnliche Ausgaben. Das Papier schlägt einen Datensatz vor, der dieses Gebiet systematisch untersucht.

Diese beiden Konzepte stehen im Mittelpunkt des Papiers:

• Wiederholung innerhalb des Modells: Ein einzelnes Modell wiederholt sich über verschiedene Eingabeaufforderungen oder verschiedene Läufe hinweg.
• Homogenität zwischen Modellen: Verschiedene Modelle liefern erschreckend ähnliche Antworten.

Der zweite Teil ist besorgniserregend: Wenn Anthropic, Google und Meta alle unterschiedliche Modelle hätten, die dieselbe Reaktion nachahmen, was ist dann der Sinn dieser unterschiedlichen Entwicklungen?

Die Lösung: Infinity-Chat

Infinity-Chat, der als Lösung für dieses Downside vorgeschlagene Datensatz, enthält mehr als 30.000 menschliche Anmerkungen, die jeder Eingabeaufforderung 25 unabhängige Bewertungen verleihen. Diese Dichte ermöglicht es, zu untersuchen, wie sich die Geschmäcker der Menschen unterscheiden, und nicht nur, wo sie übereinstimmen. Als die Autoren diese menschlichen Urteile mit Modellergebnissen, Belohnungsmodellen und automatisierten LLM-Evaluatoren verglichen, fanden sie ein klares Muster: Systeme sehen intestine kalibriert aus, wenn die Präferenzen einheitlich sind, aber sie geraten ins Wanken, sobald die Antworten echte Meinungsverschiedenheiten auslösen. Das ist der wahre Wert von Infinity-Chat!

Autoren: Liwei Jiang, Yuanjun Chai, Margaret Li, Mickel Liu, Raymond Fok, Nouha Dziri, Yulia Tsvetkov, Maarten Sap, Yejin Choi

Vollständiges Papier: https://openreview.internet/discussion board?id=saDOrrnNTz

Gated Consideration für große Sprachmodelle: Nichtlinearität, Sparsity und Aufmerksamkeitssenkenfrei

Transformatoren gibt es schon lange genug, dass die Leute davon ausgehen, dass der Aufmerksamkeitsmechanismus ein fester Entwurf ist. Es stellt sich heraus, dass das nicht der Fall ist! Trotz aller architektonischen Methods, die im Laufe der Jahre hinzugefügt wurden, ist die Aufmerksamkeit immer noch mit Kosten für Instabilität, massiven Aktivierungen und der bekannten Aufmerksamkeitssenke verbunden, die dafür sorgt, dass sich Modelle auf irrelevante Token konzentrieren.

Die Autoren dieser Studie gingen einer einfachen Frage nach und formulierten sie energisch: Was passiert, wenn man nach der Aufmerksamkeitsberechnung ein Gate hinzufügt und nichts weiter? Sie führen mehr als dreißig Experimente mit dichten Modellen durch MoE (Expertenmischung) Modelle, die auf Billionen von Token trainiert wurden. Das Überraschende daran ist, wie konsistent diese kleine Änderung in allen Einstellungen hilft.

Es gibt zwei Ideen, die erklären, warum Gating so intestine funktioniert:

• Nichtlinearität und Sparsity: Kopfspezifische Sigmoid-Gates fügen nach der Aufmerksamkeit eine neue Nichtlinearität hinzu und überlassen es dem Modell, zu steuern, welche Informationen vorwärts fließen.
• Kleine Veränderung, große Wirkung: Die Modifikation ist zwar winzig, steigert aber die Leistung bei allen Modellgrößen kontinuierlich.

Die Lösung: Output Gating

Das Papier empfiehlt eine einfache Modifikation: Wenden Sie ein Gate auf die Aufmerksamkeitsleistung professional Kopf an. Mehr nicht. Die Experimente zeigen, dass dieser Repair die Leistung über alle Modellgrößen hinweg kontinuierlich verbessert. Da der Mechanismus einfach ist, wird von der breiteren Gemeinschaft erwartet, dass er ihn reibungslos übernimmt. Die Arbeit zeigt, dass selbst ausgereifte Architekturen noch Raum für sinnvolle Verbesserungen haben.

Autoren: Zihan Qiu, Zekun Wang, Bo Zheng, Zeyu Huang, Kaiyue Wen, Songlin Yang, Rui Males, Le Yu, Fei Huang, Suozhi Huang, Dayiheng Liu, Jingren Zhou, Junyang Lin

Vollständiges Papier: https://openreview.internet/discussion board?id=1b7whO4SfY

Abgesehen von diesen beiden Dokumenten bieten die anderen beiden Papiere nicht unbedingt eine Lösung, sondern schlagen vielmehr einige Hinweise vor, die befolgt werden könnten.

1000-Layer-Netzwerke für selbstüberwachtes RL: Skalierungstiefe kann neue Möglichkeiten zur Zielerreichung ermöglichen

RDurchsetzungslernen blieb lange bei flachen Modellen hängen, weil das Trainingssignal zu schwach ist, um sehr tiefe Netzwerke zu steuern. Dieses Papier widerlegt diese Annahme und zeigt, dass Tiefe keine Belastung darstellt. Es handelt sich um eine Fähigkeitsfreischaltung.

Die Autoren trainieren Netzwerke mit bis zu tausend Schichten in einem zielkonditionierten, selbstüberwachten Aufbau. Keine Belohnungen. Keine Demonstrationen. Der Agent lernt, indem er erforscht und vorhersagt, wie er befohlene Ziele erreichen kann. Tiefergehende Modelle verbessern nicht nur die Erfolgsquoten. Sie lernen Verhaltensweisen, die oberflächliche Modelle nie entdecken.

Zwei Ideen stehen im Mittelpunkt, warum Tiefe hier funktioniert:

• Kontrastive Selbstüberwachung: Der Agent lernt durch den Vergleich von Zuständen und Zielen, wodurch ein stabiles, dichtes Lernsignal entsteht.
• Chargengröße und Stabilität: Das Coaching sehr tiefer Netzwerke funktioniert nur, wenn die Batch-Größe mit der Tiefe zunimmt. Größere Chargen halten die Kontrastaktualisierungen stabil und verhindern einen Zusammenbruch.

Autoren: Kevin Wang, Ishaan Javali, Michał Bortkiewicz, Tomasz Trzcinski, Benjamin Eysenbach
Vollständiges Papier: https://openreview.internet/discussion board?id=s0JVsx3bx1

Warum sich Diffusionsmodelle nicht merken: Die Rolle der impliziten dynamischen Regularisierung im Coaching

Verbreitung models merken sich ihre Trainingsdaten selten, selbst wenn sie stark parametrisiert sind. Dieses Papier befasst sich mit dem Trainingsprozess, um zu erklären, warum dies geschieht.

Die Autoren identifizieren zwei Trainingszeitskalen. Man markiert, wann das Modell beginnt, qualitativ hochwertige Proben zu produzieren. Die Sekunde markiert den Beginn des Auswendiglernens. Der entscheidende Punkt ist, dass die Generalisierungszeit unabhängig von der Größe des Datensatzes gleich bleibt, während die Speicherzeit mit zunehmendem Datensatz zunimmt. Dadurch entsteht ein erweitertes Fenster, in dem das Modell ohne Überanpassung verallgemeinert wird.

Zwei Ideen stehen im Mittelpunkt, warum das Auswendiglernen weiterhin unterdrückt wird:

• Trainingszeiten: Die Generalisierung tritt schon früh im Coaching auf. Das Auswendiglernen tritt nur auf, wenn das Coaching weit über diesen Punkt hinaus fortgesetzt wird.
• Implizite dynamische Regularisierung: Die Aktualisierungsdynamik lenkt das Modell natürlich eher in Richtung einer breiten Struktur als in Richtung spezifischer Stichproben.

In diesem Artikel wird weder ein Modell noch eine Methode vorgestellt. Es gibt eine klare Erklärung für ein Verhalten, das Menschen beobachtet hatten, aber nicht vollständig rechtfertigen konnten. Es verdeutlicht, warum sich Diffusionsmodelle so intestine verallgemeinern lassen und warum sie nicht auf die bei anderen beobachteten Gedächtnisprobleme stoßen generative Modelle.

Autoren: Tony Bonnaire, Raphaël Urfin, Giulio Biroli, Marc Mezard
Vollständiges Papier: https://openreview.internet/discussion board?id=BSZqpqgqM0

Abschluss

Die vier Beiträge geben einen klaren Ton für die Richtung vor, in die sich die Forschung entwickeln wird. Anstatt größere Modelle um ihrer selbst willen zu jagen, liegt der Schwerpunkt darauf, deren Grenzen zu verstehen, seit langem bestehende Engpässe zu beheben und die Stellen aufzudecken, an denen Modelle stillschweigend scheitern. Ob es sich um die schleichende Homogenisierung der LLM-Ergebnisse, die übersehene Schwäche der Aufmerksamkeitsmechanismen, das ungenutzte Potenzial der Tiefe in RL oder die verborgene Dynamik handelt, die das Auswendiglernen von Diffusionsmodellen verhindert, jeder Artikel treibt das Feld in Richtung einer fundierteren Sicht auf das tatsächliche Verhalten dieser Systeme. Es ist eine Erinnerung daran, dass echter Fortschritt auf Klarheit beruht und nicht nur auf der Größe.

Häufig gestellte Fragen

Aufgabe: Unter der Annahme, dass die Angreifer Zugriff auf die bereinigten Daten haben, besteht die Aufgabe darin, LLM davor zu schützen, Antworten mit persönlichen Informationen (PII) zu generieren.

Lösung: Die von mir vorbereitete Lösung basiert auf der ORPO-Abstimmung (Mischung aus überwachter Feinabstimmung und Reinforcement Studying) des Modells auf synthetischen Daten und der Erweiterung des Modells mit klassifikatorfreier Führung (CFG).

Synthetische Datengenerierung

Um Daten zu generieren, habe ich die OpenAI GPT-4o-mini API und die Llama-3-8B-Instruct API von Collectively.ai verwendet. Das Datengenerierungsschema ist im Bild unten dargestellt:

Im Allgemeinen wurde jedes Modell aufgefordert, jegliche PII in der Antwort zu vermeiden, auch wenn PII in der Eingabeaufforderung oder im vorherigen Kontext dargestellt werden können. Die Antworten wurden durch das SpaCy-Modell zur Erkennung benannter Entitäten validiert. Nachdem wir sowohl Proben ausgewählt als auch abgelehnt haben, können wir einen Datensatz für verstärkendes Lernen ohne Coaching im DPO-Stil mit Belohnungsfunktion erstellen.

Darüber hinaus wollte ich während der Inferenz eine klassifikatorfreie Anleitung (CFG) mit verschiedenen Eingabeaufforderungen anwenden, z. B. „Sie sollten persönliche Daten in den Antworten angeben.“ und „Geben Sie keine personenbezogenen Daten an.“ um auf diese Weise PII-freie Antworten zu erzwingen. Um das Modell jedoch an diese unterschiedlichen Systemeingabeaufforderungen anzupassen, könnten dieselben Eingabeaufforderungen im Trainingsdatensatz mit entsprechendem Austausch ausgewählter und abgelehnter Stichproben verwendet werden.

CFG während der Inferenz kann wie folgt formuliert werden:
wir haben Ypos Und Yneg Das sind die generierten Antworten für die Eingaben mit dem Hinweis „Geben Sie keine personenbezogenen Daten an.“ und „Sie sollten in den Antworten personenbezogene Daten angeben.“ Systemaufforderungen entsprechend. Die resultierende Vorhersage wäre:

Ypred = CFGcoeff * (Ypos-Yneg) + Yneg, wobei CFGcoeff der CFG-Koeffizient ist, um die Skala zu bestimmen, um wie viel Ypos Yneg vorzuziehen ist

Ich habe additionally zwei Versionen des Datensatzes erhalten: „nur ausgewählt“ und „abgelehnt“, wobei „ausgewählt“ frei von personenbezogenen Daten ist und „abgelehnt“ personenbezogene Daten enthält; CFG-Model mit unterschiedlichen Systemaufforderungen und entsprechendem Austausch ausgewählter und abgelehnter Proben.

Ausbildung

Die Schulung wurde mit dem durchgeführt ORPO Ansatz, der überwachten Feinabstimmungsverlust mit Reinforcement Studying (RL)-Odds-Verlust kombiniert. ORPO wurde gewählt, um den Rechenaufwand für das Coaching im Vergleich zur überwachten Feinabstimmung, gefolgt von RL-basierten Methoden wie DPO, zu reduzieren. Weitere Ausbildungsvorgaben:

• 1xA40 mit 48GiB GPU-Speicher zum Trainieren der Modelle;
• LoRA-Coaching mit Adaptern, die auf alle linearen Ebenen mit dem Rang 16 angewendet werden;
• 3 Epochen, Stapelgröße 2, AdamW-Optimierer, gemischte Präzision bfloat16, anfängliche Lernrate = 1e-4 mit Kosinus-Lernraten-Scheduler bis zu 10 % der anfänglichen Lernrate.

Das zu trainierende Modell ist das von den Organisatoren bereitgestellte Modell, das mit dem PII-angereicherten Datensatz von llama3.1–8b-instruct trainiert wurde.

Auswertung

Die Aufgabe, einen LLM dazu zu bringen, PII-freie Antworten zu generieren, ist eine Artwork Verlernaufgabe. Normalerweise werden zum Verlernen einige behaltende Datensätze verwendet – es hilft, die Leistung des Modells außerhalb des verlernten Datensatzes aufrechtzuerhalten. Die Idee, die ich hatte, bestand darin, das Verlernen ohne einen behaltenden Datensatz durchzuführen (um eine Verzerrung des behaltenden Datensatzes zu vermeiden und das Design zu vereinfachen). Von zwei Komponenten der Lösung wurde erwartet, dass sie die Fähigkeit zur Aufrechterhaltung der Leistung beeinträchtigen:

1. Synthetische Daten aus dem ursprünglichen llama3.1–8B-instruct-Modell – das von mir optimierte Modell ist von diesem abgeleitet, daher sollten die von diesem Modell abgetasteten Daten einen Regularisierungseffekt haben;
2. Die Trainingskomponente des Reinforcement-Studying-Regimes sollte die Abweichung vom ausgewählten zu optimierenden Modell begrenzen.

Für die Modellbewertung wurden zwei Datensätze verwendet:

• Teilstichprobe von 150 Stichproben aus dem Testdatensatz, um zu testen, ob wir die Generierung personenbezogener Daten in den Antworten vermeiden. Der Rating für diesen Datensatz wurde mit demselben SpaCy NER wie im Datengenerierungsprozess berechnet;
• „TIGER-Lab/MMLU-Professional„Validierungsteil zum Testen des Modellnutzens und der allgemeinen Leistung. Um die Leistung des Modells anhand des MMLU-Professional-Datensatzes zu bewerten, wurde der GPT-4o-mini-Richter verwendet, um die Richtigkeit der Antworten zu bewerten.

Die Ergebnisse für die Trainingsmodelle mit den beiden beschriebenen Datensätzen sind im Bild unten dargestellt:

Für die CFG-Methode wurde während der Inferenz ein CFG-Koeffizient von 3 verwendet.

Die CFG-Inferenz zeigt signifikante Verbesserungen bei der Anzahl der aufgedeckten PII-Objekte ohne Verschlechterung der MMLU über die getesteten Führungskoeffizienten hinweg.

CFG kann angewendet werden, indem eine destructive Eingabeaufforderung bereitgestellt wird, um die Modellleistung während der Inferenz zu verbessern. CFG kann effizient implementiert werden, da sowohl die positiven als auch die negativen Eingabeaufforderungen im Batch-Modus parallel verarbeitet werden können, wodurch der Rechenaufwand minimiert wird. In Szenarien mit sehr begrenzten Rechenressourcen, in denen das Modell nur mit einer Stapelgröße von 1 verwendet werden kann, kann dieser Ansatz jedoch dennoch Herausforderungen mit sich bringen.

Es wurden auch Orientierungskoeffizienten über 3 getestet. Während die MMLU- und PII-Ergebnisse mit diesen Koeffizienten intestine waren, zeigten die Antworten eine Verschlechterung der grammatikalischen Qualität.

Hier habe ich eine Methode für direktes RL und überwachtes, datensatzfreies Feintuning beschrieben, das das Verlernen des Modells ohne Inferenz-Overhead verbessern kann (CFG kann im Batch-Inferenzmodus angewendet werden). Der klassifikatorfreie Leitansatz und LoRA-Adapter eröffnen gleichzeitig zusätzliche Möglichkeiten für Verbesserungen der Inferenzsicherheit, beispielsweise können je nach Verkehrsquelle unterschiedliche Leitkoeffizienten angewendet werden; Darüber hinaus können LoRA-Adapter auch an das Basismodell angeschlossen oder davon entfernt werden, um den Zugriff auf PII zu steuern, was beispielsweise bei den darauf basierenden winzigen LoRA-Adaptern sehr effektiv sein kann Bit-LoRA Ansatz.