. Hauptsächlich arbeite ich mit meinem Programmierassistenten auf Chinesisch. Allerdings ist meine Schreibweise oft gemischt: Viele technische Begriffe sind mir im Englischen vertrauter (insbesondere Begriffe, die wir in Python, Git usw. verwenden), und einige lassen sich sogar nur schwer auf natürliche Weise ins Chinesische übersetzen.

Gestern habe ich meinen Programmierassistenten auf Chinesisch gefragt: „run.py有早停吗？我在恒源云上跑，发现没有触发“, was bedeutet: „Implementiert run.py ein frühes Stoppen? Ich habe das Projekt auf einem gemeinsam genutzten GPU-Dienst ausgeführt und konnte nicht sehen, dass ein vorzeitiges Stoppen ausgelöst wurde.“ Wie üblich habe ich den technischen Token run.py natürlich in seiner englischen Originalform eingegeben. Das Modell überprüfte den Code und antwortete wie folgt:

Alle technischen Token blieben auf Englisch (run.py, config.py, train_unified), während die erklärende Struktur ins Koreanische verschoben wurde. Dies ist kein Einzelfall. Es ist von Zeit zu Zeit passiert: Solange ich chinesische und englische Ingenieurbegriffe vermischte, tauchte immer Koreanisch auf.

Das brachte mich zu der Frage: Handelt es sich hier um ein Sprachproblem oder um etwas, das tiefer im Einbettungsbereich liegt?

Hypothese

Einbettungsräume werden nicht in erster Linie durch die Natur der Sprachen strukturiert. Da sie neben Sprachmodellen trainiert wurden, sind sie in der Regel nach Aufgabenregistern wie wissenschaftlichem Schreiben, Konversationstext und, im Fall von Codierungsassistenten, Technik/Code organisiert. Obwohl Chinesisch von der größten Bevölkerung der Welt gesprochen wird, ist es kein natürliches Medium für das Ingenieurregister und ist in technischen Korpora nur begrenzt vertreten.

In einem solchen Kontext verhält sich der Textual content im Einbettungsraum möglicherweise nicht mehr wie „Chinesisch“, sobald technische Token wie z Überprüfung / Zweig / Commit / PR / Diff erscheinen. Stattdessen könnte es in ein technisches Attraktorfeld abdriften.

Wir werden einige Experimente durchführen, um empirische Beweise für diese Hypothese zu liefern.

Kontrollierte Sprachdrift

Wir konstruieren die folgende kontrollierte Folge von Sätzen, in denen englische Wörter nach und nach die chinesischen ersetzen:

Stufe 0: 请帮我检查这个分支
Stufe 1: 请帮我 Rezension 这个分支
Stufe 2: 请帮我 Überprüfung des 这个-Zweigs
Stufe 3: Bitte überprüfen Sie diesen Department-Pull-Request-Commit
Stufe 4: Bitte überprüfen Sie diesen Department-Pull-Request-Commit-Code-Diff

Wir berechnen nun die Ähnlichkeit mithilfe der Kosinusähnlichkeit zwischen Satzeinbettungen. Wir definieren koreanische und englische „Cluster“ als die durchschnittliche Einbettung einer kleinen Menge repräsentativer technikbezogener Sätze in jeder Sprache. Wir verwenden Δ (EN − KO), um den Unterschied zwischen englischen und koreanischen Ähnlichkeitswerten zu bezeichnen, dh Δ = Ähnlichkeit (Englisch) − Ähnlichkeit (Koreanisch).

Bühne	Koreanische Ähnlichkeit	Englische Ähnlichkeit	Δ (EN − KO)
0	0,4783	0,5141	0,0358
1	0,5235	0,5728	0,0492
2	0,5474	0,6140	0,0665
3	0,5616	0,7314	0,1698
4	0,5427	0,7398	0,1972

Wir haben ein interessantes Phänomen beobachtet: Die koreanische Ähnlichkeit nimmt zunächst zu und wird später von der englischen Ähnlichkeit überholt. Darüber hinaus ist das Wachstum der englischen Ähnlichkeit nicht linear, was eher auf ein phasenübergangsartiges Verhalten als auf eine allmähliche Drift hindeutet.

Wenn wir die Einbettungen mithilfe von PCA in zwei Dimensionen projizieren, beobachten wir eine gleichmäßige Flugbahn in den frühen Stadien, gefolgt von einem scharfen Richtungssprung zwischen Stufe 2 und Stufe 3 und anschließender Stabilisierung. Dieses Muster weist darauf hin, dass sich Einbettungen nicht linear durch den Raum bewegen; Stattdessen scheinen sie zwischen Attraktorbecken zu wechseln.

Modellverhalten in der realen Welt

Betrachten Sie noch einmal den Satz, den wir am Anfang erwähnt haben. Ich fragte:

A. „run.py有早停吗？我在恒源云上跑，发现没有触发“, was bedeutet: „Implementiert run.py ein frühes Stoppen? Ich habe das Projekt auf einem gemeinsam genutzten GPU-Dienst ausgeführt und habe nicht gesehen, dass ein vorzeitiges Stoppen ausgelöst wurde.“

B. „Beispiel: run.py“ (auf Koreanisch).

Zurück ins Chinesische übersetzt haben wir:

C. „Der Fehler wird behoben.Beispiel: run.py wird nicht verwendet.config.py wird verwendet, um USE_EARLY_STOPPING = True zu verwenden.“

Wir berechnen die Ähnlichkeiten von A, B und C mithilfe der Kosinusähnlichkeit zwischen Satzeinbettungen. Zum Vergleich definieren wir drei Referenzcluster: den chinesischen Cluster als durchschnittliche Einbettung allgemeiner chinesischer Sätze in natürlicher Sprache und die entsprechenden englischen und koreanischen Cluster.

Textual content	Koreanische Sim	Englische Sim	Chinesische Sim
A. (chinesische Eingabeaufforderung)	0,2003	0,2688	0,3134
B. (koreanische Antwort)	0,2745	0,2983	0,1641
C. (Übersetztes Chinesisch)	0,1634	0,3106	0,2798

Wie Sie sehen, führt die Rückübersetzung der koreanischen Antwort ins Chinesische nicht dazu, dass die Einbettung in die chinesische Area zurückgesendet wird. Stattdessen rückt es noch näher an die englischen Cluster heran.

Dies deutet darauf hin, dass die Übersetzung die Sprachform wiederherstellen könnte, aber wahrscheinlich nicht den Einbettungsort.

Abschluss

Beide Experimente kommen zu derselben Schlussfolgerung: Der Einbettungsraum ist nicht durch Sprachgrenzen organisiert. Stattdessen ist es eher nach Aufgabentypen strukturiert, wobei technisches Englisch vorherrscht.
Wenn ein Satz in diesen Bereich eintritt, kann sich die Sprachform ändern, aber die Einbettungsstruktur bleibt im technischen Becken, was zu seltsamen Verhaltensweisen führt, wie z. B. der Antwort auf Koreanisch, selbst wenn man überhaupt kein Koreaner spricht.

New York und Paris, 7. Februar 2025-Führende KI-Chatbots verbreiten Fehlinformationen leichter in nicht englischen Sprachen: a Neuere Newsguard -Audit In sieben Sprachen stellten sich fest, dass die 10 besten Modelle für künstliche Intelligenz wesentlich eher falsche Behauptungen in Russisch und Chinesisch erzeugen als in anderen Sprachen.

Daher ist ein Benutzer, der eines der besten Silicon Valley oder anderer westlicher Chatbots eine Frage zu einem Nachrichtenthema auf Russisch oder Chinesen stellt Quellen und staatlich kontrollierte Erzählungen in diesen Sprachen.

Vor dem AI-Motion-Gipfel vom 10. bis 11. Februar 2025 in Paris führte Newsguard eine umfassende Bewertung der 10 führenden Chatbots der Welt durch-OpenAIs Chatgpt-4o, You.com Good Assistant von XAI, GROK-2, Berection Pi,, Mistal’s LE CHAT, Microsoft Copilot, Meta AI, Anthropics Claude, Google Gemini 2.0 und Resplexitys Antwortmotor. Das globale Analystenteam von Newsguard bewertete die Modelle in sieben verschiedenen Sprachen: Englisch, Chinesisch, Französisch, Deutsch, Italienisch, Russisch und Spanisch.

Während russische und chinesische Ergebnisse die schlimmsten waren, erzielten alle Chatbots in allen Sprachen schlecht gewertet: Russisch (55 Prozent Versagensrate), Chinesen (51,33 Prozent), Spanisch (48 Prozent), Englisch (43 Prozent), Deutsch (43,33 Prozent), Italienisch (38,67 Prozent) und Französisch (34,33 Prozent).

Das Audit von NewsGuard zeigt eine strukturelle Voreingenommenheit in AI -Chatbots: Modelle priorisieren die am weitesten verbreiteten Inhalte in jeder Sprache, unabhängig von der Glaubwürdigkeit der Quelle oder des Anspruchs. In Sprachen, in denen staatliche Medien dominieren, und es weniger unabhängige Medien gibt, sind Chatbots standardmäßig die unzuverlässigen oder propagandorisierten Quellen, auf denen sie geschult werden. Infolgedessen erhalten Benutzer in autoritären Ländern, in denen der Zugang zu genauen Informationen am kritischsten ist – unverhältnismäßig falsche Antworten.

Diese Erkenntnisse kommen nur eine Woche, nachdem Newsguard festgestellt hatte, dass Chinas Deek -Chatbot, das jüngste KI -Sensation, das den Aktienmarkt rasselte, noch schlechter ist als die meisten westlichen Modelle. Nachrichtenguard -Audits stellten fest, dass Deepseek keine genauen Informationen lieferte 83 Prozent der Zeit und fortgeschrittener Ansichten von Peking 60 Prozent von der Zeit als Antwort auf Aufforderungen über chinesische, russische und iranische falsche Behauptungen.

Als Weltführer, Führungskräfte und politische Entscheidungsträger der Welt bereiten sich diese Berichte darauf vor, sich auf dem AI -Motion -Gipfel zu versammeln. Vertrauen in AI – Unterstreichen Sie die laufenden Herausforderungen, denen KI -Modelle konfrontiert sind, um sichere, genaue Antworten auf Eingabeaufforderungen zu gewährleisten, anstatt falsche Behauptungen zu verbreiten.

„Generative KI – von der Herstellung von Deepfakes bis hin zu ganzen Web sites, die große Mengen an Inhalten auswirken – ist bereits zu einem Kraftmultiplikator geworden, der von bösartigen Akteuren beschlagnahmt wurde, um sie schnell und mit begrenzten finanziellen Aufgaben zu ermöglichen, um Desinformationskampagnen zu erstellen, die zuvor groß erforderlich waren Geldbeträge und Zeit “, sagte Chine Labbe, Vice President Partnerships, Europa und Kanada, der im Namen von am AI -Aktionssiktion teilnehmen wird Nachrichtenguard. „Unsere Berichterstattung zeigt, dass täglich neue Anwendungsfälle für bösartige Anwendungen entstehen, sodass die KI-Branche als Reaktion darauf effiziente Schutzmaßnahmen aufbauen muss, um sicherzustellen, dass AI-fähige Desinformationskampagnen nicht außer Kontrolle geraten.“

Weitere Informationen zu Newsguards journalistischem Ansatz und Methodik Crimson-Teaming finden Sie unter Hier. Forscher, Plattformen, Werbetreibende, Regierungsbehörden und andere Institutionen, die sich für den Zugriff auf die detaillierten individuellen monatlichen Berichte interessieren oder Einzelheiten zu den Dienstleistungen von Newsguard für generative KI -Unternehmen möchten, können sich mit Newsguard wenden können Hier. Und um mehr über die clear überquarten Datensätze von Newsguard für KI-Plattformen zu erfahren, klicken Sie auf Hier.

Newsguard bietet Lizenzen für KI -Modelle an, um auf seine Daten zuzugreifen, einschließlich der Fehlinformationsfingerabdrücke und Zuverlässigkeitsbewertungen, die zur Feinabstimmung und zur Bereitstellung von Leitplanken für ihre Modelle sowie Dienstleistungen verwendet werden sollen, um die Modelle zu helfen, ihre Verbreitung von Fehlinformationen zu verringern und ihre Modelle vertrauensvoller vertrauen zu Themen in den Nachrichten.