In anspruchsvollen Umgebungen wie der medizinischen Diagnostik möchten Benutzer oft wissen, was ein Laptop-Imaginative and prescient-Modell dazu veranlasst hat, eine bestimmte Vorhersage zu treffen, damit sie entscheiden können, ob sie seiner Ausgabe vertrauen sollen.

Die Modellierung von Konzeptengpässen ist eine Methode, die es Systemen der künstlichen Intelligenz ermöglicht, ihren Entscheidungsprozess zu erklären. Diese Methoden zwingen ein Deep-Studying-Modell dazu, eine Reihe von Konzepten zu verwenden, die für Menschen verständlich sind, um eine Vorhersage zu treffen. In einer neuen Forschung haben MIT-Informatiker eine Methode entwickelt, die das Modell dazu bringt, eine höhere Genauigkeit und klarere, prägnantere Erklärungen zu erzielen.

Die Konzepte, die das Modell verwendet, werden in der Regel im Voraus von menschlichen Experten definiert. Beispielsweise könnte ein Arzt die Verwendung von Konzepten wie „gebündelte braune Punkte“ und „bunte Pigmentierung“ vorschlagen, um vorherzusagen, dass ein medizinisches Bild ein Melanom zeigt.

Allerdings könnten zuvor definierte Konzepte für eine bestimmte Aufgabe irrelevant sein oder nicht genügend Particulars aufweisen, was die Genauigkeit des Modells verringert. Die neue Methode extrahiert Konzepte, die das Modell bereits gelernt hat, während es für die Ausführung dieser bestimmten Aufgabe trainiert wurde, und zwingt das Modell, diese zu verwenden, wodurch bessere Erklärungen als bei herkömmlichen Konzeptengpassmodellen erzielt werden.

Der Ansatz nutzt ein Paar spezialisierter Modelle für maschinelles Lernen, die automatisch Wissen aus einem Zielmodell extrahieren und es in verständliche Konzepte übersetzen. Letztendlich kann ihre Technik jedes vorab trainierte Laptop-Imaginative and prescient-Modell in ein Modell umwandeln, das Konzepte zur Erklärung seiner Argumentation verwenden kann.

„In gewissem Sinne möchten wir in der Lage sein, die Gedanken dieser Laptop-Imaginative and prescient-Modelle zu lesen. Ein Konzept-Engpass-Modell ist eine Möglichkeit für Benutzer, zu erkennen, was das Modell denkt und warum es eine bestimmte Vorhersage getroffen hat. Da unsere Methode bessere Konzepte verwendet, kann sie zu höherer Genauigkeit führen und letztendlich die Verantwortlichkeit von Black-Field-KI-Modellen verbessern“, sagt Hauptautor Antonio De Santis, ein Doktorand an der Polytechnischen Universität Mailand, der diese Forschung als Gaststudent im Laptop Science and Synthetic Intelligence Laboratory (CSAIL) am MIT abgeschlossen hat.

Er ist auf einem verbunden Papier über die Arbeit von Schrasing Tong SM ’20, PhD ’26; Marco Brambilla, Professor für Informatik und Ingenieurwesen an der Polytechnischen Universität Mailand; und die leitende Autorin Lalana Kagal, eine leitende Forschungswissenschaftlerin bei CSAIL. Die Forschung wird auf der Worldwide Convention on Studying Representations vorgestellt.

Einen besseren Engpass schaffen

Konzeptengpassmodelle (CBMs) sind ein beliebter Ansatz zur Verbesserung der KI-Erklärbarkeit. Diese Techniken fügen einen Zwischenschritt hinzu, indem sie ein Laptop-Imaginative and prescient-Modell dazu zwingen, die in einem Bild vorhandenen Konzepte vorherzusagen und diese Konzepte dann zu verwenden, um eine endgültige Vorhersage zu treffen.

Dieser Zwischenschritt oder „Engpass“ hilft Benutzern, die Argumentation des Modells zu verstehen.

Beispielsweise könnte ein Modell zur Identifizierung von Vogelarten Konzepte wie „gelbe Beine“ und „blaue Flügel“ auswählen, bevor es eine Rauchschwalbe vorhersagt.

Da diese Konzepte jedoch häufig im Voraus von Menschen oder großen Sprachmodellen (LLMs) generiert werden, passen sie möglicherweise nicht für die spezifische Aufgabe. Darüber hinaus nutzt das Modell trotz einer Reihe vordefinierter Konzepte manchmal trotzdem unerwünschte gelernte Informationen, was ein Drawback darstellt, das als Informationsleck bekannt ist.

„Diese Modelle sind darauf trainiert, die Leistung zu maximieren, sodass das Modell möglicherweise heimlich Konzepte verwendet, die uns nicht bekannt sind“, erklärt De Santis.

Die MIT-Forscher hatten eine andere Idee: Da das Modell anhand einer großen Datenmenge trainiert wurde, hat es möglicherweise die Konzepte gelernt, die erforderlich sind, um genaue Vorhersagen für die jeweilige Aufgabe zu erstellen. Sie versuchten, ein CBM aufzubauen, indem sie dieses vorhandene Wissen extrahierten und in einen für Menschen verständlichen Textual content umwandelten.

Im ersten Schritt ihrer Methode übernimmt ein spezielles Deep-Studying-Modell, ein sogenannter Sparse-Autoencoder, selektiv die relevantesten Merkmale, die das Modell gelernt hat, und rekonstruiert sie in eine Handvoll Konzepte. Anschließend beschreibt ein multimodales LLM jedes Konzept im Klartext.

Dieses multimodale LLM kommentiert auch Bilder im Datensatz, indem es identifiziert, welche Konzepte in jedem Bild vorhanden sind und welche nicht. Die Forscher verwenden diesen annotierten Datensatz, um ein Konzeptengpassmodul zu trainieren, um die Konzepte zu erkennen.

Sie integrieren dieses Modul in das Zielmodell und zwingen es, Vorhersagen nur anhand der von den Forschern extrahierten erlernten Konzepte zu treffen.

Kontrolle der Konzepte

Bei der Entwicklung dieser Methode haben sie viele Herausforderungen gemeistert, von der Sicherstellung, dass das LLM die Konzepte korrekt annotierte, bis hin zur Feststellung, ob der Sparse-Autoencoder für den Menschen verständliche Konzepte identifiziert hatte.

Um zu verhindern, dass das Modell unbekannte oder unerwünschte Konzepte verwendet, beschränken sie es auf die Verwendung von nur fünf Konzepten für jede Vorhersage. Dies zwingt das Modell auch dazu, die relevantesten Konzepte auszuwählen und macht die Erklärungen verständlicher.

Als sie ihren Ansatz mit modernsten CBMs bei Aufgaben wie der Vorhersage von Vogelarten und der Identifizierung von Hautläsionen in medizinischen Bildern verglichen, erreichte ihre Methode die höchste Genauigkeit und lieferte gleichzeitig präzisere Erklärungen.

Ihr Ansatz führte auch zu Konzepten, die besser auf die Bilder im Datensatz anwendbar waren.

„Wir haben gezeigt, dass das Extrahieren von Konzepten aus dem ursprünglichen Modell andere CBMs übertreffen kann, aber es gibt immer noch einen Kompromiss zwischen Interpretierbarkeit und Genauigkeit, der angegangen werden muss. Black-Field-Modelle, die nicht interpretierbar sind, übertreffen immer noch unsere“, sagt De Santis.

In Zukunft wollen die Forscher mögliche Lösungen für das Informationsleckproblem untersuchen, möglicherweise durch das Hinzufügen zusätzlicher Konzeptengpassmodule, damit unerwünschte Konzepte nicht durchsickern können. Sie planen außerdem, ihre Methode zu erweitern, indem sie ein größeres multimodales LLM verwenden, um einen größeren Trainingsdatensatz zu annotieren, was die Leistung steigern könnte.

„Ich bin von dieser Arbeit begeistert, weil sie interpretierbare KI in eine sehr vielversprechende Richtung treibt und eine natürliche Brücke zu symbolischer KI und Wissensgraphen schlägt“, sagt Andreas Hotho, Professor und Leiter des Lehrstuhls für Information Science an der Universität Würzburg, der nicht an dieser Arbeit beteiligt struggle. „Durch die Ableitung von Konzeptengpässen aus den internen Mechanismen des Modells und nicht nur aus vom Menschen definierten Konzepten bietet es einen Weg zu Erklärungen, die dem Modell treuer sind, und eröffnet viele Möglichkeiten für Folgearbeiten mit strukturiertem Wissen.“

Diese Forschung wurde vom Progetto Rocca Doctoral Fellowship, dem italienischen Ministerium für Universität und Forschung im Rahmen des Nationwide Restoration and Resilience Plan, Thales Alenia Area und der Europäischen Union im Rahmen des NextGenerationEU-Projekts unterstützt.

Hackathons sind anders!. Die Guten ziehen Sie in ihren Bann, erweitern Ihr Denken und hinterlassen etwas Echtes – unabhängig vom Ergebnis. Das Drawback ist Auswahl. Es ist schwer, das Richtige zu finden! Zu viele Hackathons. Zu viele Formate. Und zu viel Lärm.

Deshalb wurde diese Liste unter diesem Gesichtspunkt erstellt. Anstatt Hackathons zu beschreiben, die jede Minute ablaufen könnten, listet es die zehn besten Orte auf, an denen Sie je nach Ihren Anforderungen – Geld, Title, Spiel – nach Hackathons suchen können. Wählen Sie diejenige aus, die Ihren Interessen am besten entspricht.

1. Für die beliebten Hackathons

Devpost | Kreativität steht im Vordergrund, wettbewerbsfähiges Bauen

Devpost-Hackathons belohnen Kreativität ebenso wie Code. Sie optimieren nicht nur Modelle. Sie bauen etwas auf, das Sinn macht, durchgängig funktioniert und eine Plattform für die Present bildet.

Was bietet es?

• Kontakt zu High-Hackathons
• Teambasierte Kreativität
• Demoorientierte Ergebnisse

Superb für erfahrene Bauherren, die Schifffahrt und maßstabsgetreues Geschichtenerzählen mögen.

Bonus: Der von Google Deepmind angebotene und von Devpost verwaltete Gemini 3 Hackathon ist für die Aspiranten die perfekte Kombination aus Geld, Title und Spiel. Mit einem riesigen Preispool von 100.000 US-Greenback und über 13.000 Teilnehmern ist dies die Anlaufstelle für Hackathon-Enthusiasten.

2. Für den Wettbewerb

Kaggle-Wettbewerbe | Selbstgesteuertes, auf Bestenlisten basierendes Lernen

Wenn Sie gerne tief und ohne Ablenkung nachdenken, ist Kaggle genau das Richtige. Keine Kickoff-Anrufe. Keine Demos. Nur ein Drawback, ein Datensatz und eine Bestenliste, die Sie ehrlich hält. Sie konkurrieren in Ihrem eigenen Tempo und lernen, indem Sie im Laufe der Zeit kleine Particulars verfeinern.

Was bietet es?

• Selbstgesteuerte Teilnahme
• Starker Fokus auf Grundlagen
• Lernen Sie viel, indem Sie öffentlich scheitern

Superb für Lernende, die sich gerne in ihrem eigenen Tempo verbessern möchten.

3. Für vielfältige Herausforderungen

AICrowd | Forschungsorientierte, methodische Wettbewerbe

AIcrowd fühlt sich auf eine gute Weise akademisch an. Klare Problemstellungen. Durchdachte Grundlinien. Communities, denen es am Herzen liegt, wie Sie das Ergebnis erzielt haben, nicht nur an der Punktzahl. Superb, wenn Sie gerne Aufsätze lesen und Ideen methodisch testen.

Was bietet es?

• Probleme im Forschungsstil
• Intestine dokumentierte Herausforderungen
• Starke technische Tiefe

Superb für Lernende, die forschungsbasierte, methodische Problemlösungen mögen.

4. Für karriereorientierte Herausforderungen

Analytik Vidhya | Strukturierte, karriereorientierte Hackathons

Hier erleben viele Menschen ihren ersten „richtigen“ Hackathon-Move. Klare Zeitpläne, intestine gestaltete Probleme und eine riesige Lerngemeinschaft. Konkurrenzfähig, aber nicht überwältigend. Mit einem unmittelbaren Kontakt zu Personalvermittlern, wodurch qualifizierte Personen weiter hervorgehoben werden.

Was bietet es?

• Einsteigerfreundliche Struktur
• Rekrutierungspräsenz
• Hochwertige Problemstellungen

Superb für Hackathon-Teilnehmer, die eine Mischung aus Herausforderung und Belohnung suchen. Schauen Sie sich die an Datenanalysten-Fähigkeitstest von Analytics Vidhya um Belohnungen zu verdienen und die Probability auf ein Vorstellungsgespräch für die Stelle zu bekommen!

5. Für KI-Hackathons

LabLab.ai | Probleme der realen Welt mit regionalem Kontext

Diese Hackathons sind schnell und fühlen sich lebendig an. Mit Schwerpunkt auf KI befassen sich die angebotenen Hackathons mit den unmittelbaren Problemen der Zeit. Dies sollte die Wahl für KI-Enthusiasten sein, die praktische Herausforderungen suchen.

Was bietet es?

• KI-fokussierte Hackathons
• Starke Neighborhood- und Mentorenpräsenz
• Der Schwerpunkt liegt auf Demos und echten Produkten

Superb für Bauherren, die Spaß an der KI-Entwicklung in schnellen, kollaborativen Sprints haben.

6. Zur praktischen Problemlösung

Hackerearth | Klare Regeln, Prototypenfokus

Diese sind unkompliziert. Sie erhalten ein Drawback – lösen Sie es – senden Sie es ein. Keine Theatralik. Wenn Sie Klarheit und saubere Auswertungen mögen, wird Ihnen dieses Format nicht im Weg stehen.

Was bietet es?

• Klare Bewertungsmetriken
• Zeitgebundene Herausforderungen
• Starker Fokus auf Fundamentaldaten

Superb zum Üben von Kernkompetenzen unter klaren Vorgaben.

7. Für soziale Wirkung

Angetriebene Daten | KI-Wettbewerbe für das soziale Wohl

Hier spielen die Probleme eine Rolle, die über die Rangliste hinausgeht. Öffentliche Gesundheit, Bildung, Klima, Infrastruktur. Sie wenden ML dort an, wo es tatsächlich helfen kann. Dies sollten diejenigen sein, die einen Ertrag für ihre Bemühungen für eine gerechte Sache suchen.

Was bietet es?

• Auswirkungen auf die reale Welt
• Interpretierbare Modelle sind wichtig
• Zielorientiertes Lernen

Superb für Lernende, die durch praktische Erfahrungen motiviert sind.

8. Für tiefgreifende Herausforderungen

Codelabs | Ruhige, forschungsorientierte Problemlösung

Dies ist die ruhige Ecke von Hackathons. Forschungsorientierte Herausforderungen, bei denen Sie sorgfältig iterieren und gründlich lernen. Kein Demodruck. Nur nachdenkliches Experimentieren. Die Wahl für diejenigen, die nach einer besonderen Problemlösung suchen.

Was bietet es?

• Forschungsorientierte Denkweise
• Selbstgesteuerte Teilnahme
• Superb für sorgfältige Problemlöser

​Superb für Denker, die Tiefe statt Demos bevorzugen.

9. Für vielfältige Herausforderungen

Main League HackinG | Energiegeladene, studentenfreundliche Hackathons

Das ist das Tech-Model der Main League. Diese Hackathons sind laut, schnell und sozial. Man baut schnell auf, lernt Leute kennen, lernt von Mentoren und führt am Ende etwas Schrottiges, aber Echtes vor.

Was bietet es?

• Riesige Auswahl an Hackathons zur Auswahl
• Hohe Verfügbarkeit von Mentoren
• Starke Networking-Möglichkeiten

Superb für Studenten und junge Hacker, die Energie und Mentoring suchen.

10. Für Portfolio

GitHub | Bauen Sie sichtbar in der Öffentlichkeit, zum Wohle der Allgemeinheit

Nicht alle Hackathons haben Fristen. Bei einigen handelt es sich um fortlaufende Beitragsaktionen, bei denen Sie an echten Codebasen arbeiten, echte Probleme lösen und eine öffentliche Spur der Arbeit hinterlassen. Diese stehen im Mittelpunkt des Gemeinschaftsbeitrags auf der ganzen Welt.

Was bietet es?

• Codebasen aus der realen Welt
• Langfristiges Lernen
• Stark Arbeitsnachweis

Superb für disziplinierte Lernende, die in der Öffentlichkeit bauen möchten.

Die Wahl!

Auch wenn Hackathons im Wesentlichen sind ProblemlösungSie dienen unterschiedlichen Zwecken für verschiedene Personen. Ihr aktueller Kenntnisstand, Ihr Zeitaufwand und Ihr Arbeitsstil sind wichtiger als das Befolgen einer festen Hackathon-Formel.

Wenn Sie gerade erst anfangen, finden Sie einsteigerfreundliche und intestine strukturierte Hackathons von Analytik Vidhya würde Ihnen den Einstieg erleichtern. Wenn Sie bereits mit den Grundlagen, wettbewerbsorientierten oder forschungsorientierten Herausforderungen vertraut sind, dann sind Hackathons von Google Und Kaggle würde zu Ihrem Verständnis beitragen. Und wenn Sie für Karrierewachstum hacken, dann GitHub bietet Sichtbarkeit und Glaubwürdigkeit, die Ihnen am besten dienen.

Es geht nicht darum, an allem teilzunehmen. Es geht darum, den Hackathon auszuwählen, der zu Ihnen passt und Ihnen dabei hilft, in die richtige Richtung voranzukommen.

Häufig gestellte Fragen

In den letzten Jahren battle Immediate Engineering der heimliche Händedruck der KI-Welt. Die richtige Formulierung könnte ein Modell poetisch, lustig oder aufschlussreich klingen lassen; Der Falsche hat es flach und roboterhaft gemacht. Aber ein neues von Stanford geleitetes Papier argumentiert, dass der größte Teil dieser „Handlung“ etwas Tiefgründigeres kompensierte, eine versteckte Voreingenommenheit in der Artwork und Weise, wie wir diese Systeme trainierten.

Ihr Anspruch ist einfach: Die Fashions waren nie langweilig. Sie wurden darauf trainiert, sich so zu verhalten.

Und die vorgeschlagene Lösung heißt Verbalisierte Probenahmekönnte nicht nur die Artwork und Weise ändern, wie wir Modelle auffordern; Es könnte unsere Denkweise über Ausrichtung und Kreativität in der KI neu definieren.

Das Kernproblem: Ausrichtung machte KI vorhersehbar

Um den Durchbruch zu verstehen, beginnen Sie mit einem einfachen Experiment. Bitten Sie ein KI-Modell um „c“. Machen Sie es fünfmal. Sie erhalten quick immer die gleiche Antwort:

Das ist keine Faulheit; es ist Moduszusammenbrucheine Einengung der Ausgabeverteilung des Modells nach dem Ausrichtungstraining. Anstatt alle gültigen Antworten zu untersuchen, die es hervorbringen könnte, orientiert sich das Modell an der sichersten und typischsten Antwort.

Das Stanford-Workforce hat dies darauf zurückgeführt Typizitätsfehler in den menschlichen Feedbackdaten, die beim Reinforcement Studying verwendet werden. Wenn Annotatoren Modellantworten beurteilen, bevorzugen sie stets Textual content, der ihnen bekannt vorkommt. Mit der Zeit lernen Belohnungsmodelle, die auf diese Präferenz trainiert werden, zu belohnen Normalität anstatt Neuheit.

Mathematisch gesehen fügt diese Verzerrung der Belohnungsfunktion ein „Typizitätsgewicht“ (α) hinzu und verstärkt so alles, was statistisch gesehen am durchschnittlichsten aussieht. Es ist ein langsamer Druck auf die Kreativität und der Grund dafür, dass die meisten abgestimmten Modelle gleich klingen.

Die Wendung: Die Kreativität ging nie verloren

Hier ist der Clou: Die Vielfalt ist nicht verschwunden. Es ist begraben.

Wenn Sie nach einer einzigen Antwort fragen, zwingen Sie das Modell, die wahrscheinlichste Vervollständigung auszuwählen. Aber wenn Sie es darum bitten Verbalisieren Sie mehrere Antworten zusammen mit ihren Wahrscheinlichkeitenöffnet es plötzlich seine interne Verbreitung, die Bandbreite der Ideen, die es tatsächlich „kennt“.

Das ist Verbalisierte Probenahme (VS) in Aktion.

Anstatt:

Erzähl mir einen Witz über Kaffee

Sie fragen:

Ermitteln Sie fünf Witze zum Thema Kaffee mit ihren Wahrscheinlichkeiten

Diese kleine Änderung erschließt die Vielfalt, die durch das Ausrichtungstraining komprimiert wurde. Sie trainieren das Modell nicht neu, ändern die Temperatur oder hacken die Probenparameter. Sie geben lediglich eine andere Aufforderung – Sie fordern das Modell auf, seine Unsicherheit zu zeigen, anstatt sie zu verbergen.

Die Kaffeeaufforderung: Beweis in Aktion

Um dies zu demonstrieren, führten die Forscher die gleiche Kaffeewitz-Eingabeaufforderung durch, wobei sie sowohl traditionelle Eingabeaufforderungen als auch verbalisierte Stichproben verwendeten.

Direkte Aufforderung

Verbalisierte Probenahme

Warum es funktioniert

Während der Generierung tastet ein Sprachmodell intern Token aus einer Wahrscheinlichkeitsverteilung ab, wir sehen jedoch normalerweise nur die erste Wahl. Wenn Sie es auffordern, mehrere Kandidaten mit angehängten Wahrscheinlichkeiten auszugeben, lassen Sie es explizit über seine eigene Unsicherheit nachdenken.

Diese „Selbstverbalisierung“ legt die zugrunde liegende Vielfalt des Modells offen. Anstatt auf einen einzigen Modus mit hoher Wahrscheinlichkeit zu reduzieren, werden Ihnen mehrere believable Modi angezeigt.

In der Praxis bedeutet das, dass „Erzähl mir einen Witz“ zu einem Überfall-Wortspiel führt, während „Generiere fünf Witze mit Wahrscheinlichkeiten“ Espresso-Wortspiele, Therapiewitze, Chilly-Brew-Zeilen und mehr hervorbringt. Es geht nicht nur um Vielfalt, sondern um Interpretierbarkeit. Sie können sehen, was das Modell ist denkt könnte funktionieren.

Die Daten und die Gewinne

Über mehrere Benchmarks, kreatives Schreiben, Dialogsimulation und offene Qualitätssicherung hinweg waren die Ergebnisse konsistent:

• 1,6- bis 2,1-fache Steigerung der Vielfalt bei kreativen Schreibaufgaben
• 66,8 % Wiederherstellung der Diversität vor der Ausrichtung
• Kein Rückgang der sachlichen Richtigkeit oder Sicherheit (Ablehnungsraten über 97 %)

Größere Modelle profitierten noch mehr. Systeme der GPT-4-Klasse zeigten im Vergleich zu kleineren Systemen eine doppelt so hohe Diversitätsverbesserung, was darauf hindeutet, dass große Modelle über eine tiefe latente Kreativität verfügen, die darauf wartet, genutzt zu werden.

Die Voreingenommenheit dahinter

Um zu bestätigen, dass Typizitätsverzerrungen tatsächlich den Moduskollaps vorantreiben, analysierten die Forscher quick siebentausend Antwortpaare aus dem HelpSteer-Datensatz. Menschliche Annotatoren bevorzugten etwa 17–19 % häufiger „typische“ Antworten, selbst wenn beide gleichermaßen richtig waren.

Sie modellierten dies als:

r(x, y) = r_true(x, y) + α log π_ref(y | x)

Dieser α-Time period ist das Gewicht der Typizitätsverzerrung. Mit zunehmendem α wird die Verteilung des Modells schärfer und verschiebt es in Richtung Mitte. Mit der Zeit werden die Reaktionen dadurch sicherer, vorhersehbarer und sich wiederholender.

Was bedeutet das für Immediate Engineering??

Ist Immediate Engineering additionally tot? Nicht ganz. Aber es entwickelt sich weiter.

Verbalized Sampling macht eine durchdachte Aufforderung nicht überflüssig – es ändert, wie geschickte Aufforderung aussieht. Bei dem neuen Spiel geht es nicht darum, ein Modell zur Kreativität zu verleiten; es geht darum Entwerfen von Meta-Eingabeaufforderungen das seinen vollen Wahrscheinlichkeitsraum offenlegt.

Sie können es sogar als „Kreativitätsrad“ betrachten. Legen Sie einen Wahrscheinlichkeitsschwellenwert fest, um zu steuern, wie wild oder sicher die Antworten sein sollen. Senken Sie es für mehr Überraschung, heben Sie es für Stabilität an.

Die wahren Implikationen

Bei der größten Veränderung geht es hier nicht um Witze oder Geschichten. Es geht darum, die Ausrichtung selbst neu zu definieren.

Seit Jahren sind wir davon überzeugt, dass die Ausrichtung Modelle sicherer, aber langweiliger macht. Diese Forschung legt etwas anderes nahe: Die Ausrichtung hat sie geschaffen zu höflich, nicht gebrochen. Indem wir anders anregen, können wir unsere Kreativität zurückgewinnen, ohne die Modellgewichte zu berühren.

Das hat Konsequenzen, die weit über kreatives Schreiben hinausgehen – von realistischeren sozialen Simulationen bis hin zu umfangreicheren synthetischen Daten für das Modelltraining. Es deutet auf eine neue Artwork von KI-System hin: eines, das seine eigene Ungewissheit analysieren und mehrere believable Antworten anbieten kann, anstatt so zu tun, als gäbe es nur eine.

Die Vorbehalte

Nicht jeder kauft den Hype ab. Kritiker weisen darauf hin, dass dies bei einigen Modellen der Fall sein könnte halluzinieren Wahrscheinlichkeitswerte statt die wahren Wahrscheinlichkeiten widerzuspiegeln. Andere argumentieren, dass dies die zugrunde liegende menschliche Voreingenommenheit nicht behebt, sondern lediglich umgeht.

Und während die Ergebnisse in kontrollierten Exams überzeugend aussehen, bringt der reale Einsatz Kompromisse in Bezug auf Kosten, Latenz und Interpretierbarkeit mit sich. Wie es ein Forscher trocken auf X ausdrückte: „Wenn es perfekt funktionieren würde, würde OpenAI es bereits tun.“

Dennoch fällt es schwer, die Eleganz nicht zu bewundern. Keine Umschulung, keine neuen Daten, nur eine überarbeitete Anleitung:
Generieren Sie fünf Antworten mit ihren Wahrscheinlichkeiten.

Abschluss

Die Lehre aus Stanfords Arbeit ist größer als jede einzelne Technik. Die von uns gebauten Modelle waren nie einfallslos; Sie waren übermäßig ausgerichtet und darauf trainiert, die Vielfalt zu unterdrücken, die sie mächtig machte.

Verbalized Sampling schreibt sie nicht neu; es gibt ihnen einfach die Schlüssel zurück.

Wenn Pretraining eine riesige interne Bibliothek aufgebaut hat, hat die Ausrichtung die meisten Türen verschlossen. Mit VS fangen wir an, danach zu fragen, alle fünf Versionen der Wahrheit zu sehen.

Immediate Engineering ist nicht tot. Es wird endlich eine Wissenschaft.

Häufig gestellte Fragen