Spekulative Dekodierung ist eine Technik zur Beschleunigung der Inferenz großer Sprachmodelle. Ein kleines, schnelles Entwurfsmodell schlägt mehrere Token vor. Das große Zielmodell verifiziert sie parallel. Wenn akzeptiert, erfolgt die Schlussfolgerung schneller. Bei einer Ablehnung greift das System ordnungsgemäß zurück.

Das EAGLE-Group, das vLLM-Group und das TorchSpec-Group haben die EAGLE-Serie mit EAGLE 1, EAGLE 2 und EAGLE 3 auf den Markt gebracht, die sich zu einer der am weitesten verbreiteten und praktisch eingesetzten Familien spekulativer Decodierungsalgorithmen sowohl in Forschungs- als auch in Produktionssystemen entwickelt hat. Heute erhält diese Familie mit der Einführung von ein gezieltes Zuverlässigkeits-Improve ADLER 3.1.

Was lief schief

Während die spekulative Dekodierung in kontrollierten Umgebungen eine gute Leistung erbringt, nimmt die Leistung bei unterschiedlichen Chat-Vorlagen, Eingaben mit langem Kontext oder Systemaufforderungen außerhalb der Verteilung häufig ab.

Das EAGLE-Group führte diese Fragilität auf ein Phänomen namens zurück Aufmerksamkeitsdrift Mit zunehmender Spekulationstiefe verlagert der Verfasser seine Aufmerksamkeit allmählich von den Sink-Tokens hin zu den selbst generierten Tokens.

Einfacher ausgedrückt: Der Drafter ist ein kleines Modell, das zukünftige Token vorhersagt. Wenn die Spekulation tiefer geht, beginnt sie, sich auf ihre eigenen früheren Ergebnisse statt auf den ursprünglichen Kontext zu konzentrieren. Dies verschlechtert die Akzeptanzlänge und die Ausgabestabilität.

Es wurden zwei zugrunde liegende Probleme identifiziert. Erstens wird die fusionierte Eingabedarstellung zunehmend unausgewogen, da verborgene Zustände höherer Ebenen die Drafter-Eingabe dominieren. Zweitens wächst die Größe des verborgenen Zustands aufgrund des nicht normalisierten Restpfads über Spekulationsschritte hinweg. Zusammengenommen führen diese Effekte dazu, dass der Drafter bei tieferen Spekulationstiefen immer weniger stabil wird.

Zwei architektonische Korrekturen in EAGLE 3.1

Um der Aufmerksamkeitsdrift entgegenzuwirken, verfügt EAGLE 3.1 über zwei wichtige Architekturverbesserungen: FC-Normalisierung nach jedem verborgenen Zielzustand und vor der FC-Schicht sowie die Einspeisung verborgener Submit-Norm-Zustände in den nächsten Decodierungsschritt.

Die FC-Normalisierung stabilisiert die verborgenen Zustände, die der Zeichner vom Zielmodell erhält. Ohne sie wächst die Größe des verborgenen Zustands über die Schritte hinweg, was den Zeichner zunehmend unzuverlässig macht. Durch die Anwendung der Normalisierung bei jedem Schritt bleiben die Eingaben begrenzt.

Durch das Submit-Norm-Design verhält sich die Methode eher wie ein rekursiver Aufruf des Drafters über die Decodierungsschritte hinweg, anstatt einfach zusätzliche Ebenen an das Zielmodell anzuhängen.

Was diese Fixes liefern

Im Vergleich zu EAGLE 3 zeigt EAGLE 3.1: eine kürzere Trainingszeit bis zur Inferenzzeit-Extrapolation, eine stärkere Robustheit über lange Kontexte, eine höhere Widerstandsfähigkeit gegenüber Variationen von Chat-Vorlagen und Systemaufforderungen sowie eine stabilere Akzeptanzlänge in verschiedenen Bereitstellungsumgebungen.

Bei Lengthy-Context-Workloads erreicht EAGLE 3.1 im Vergleich zu EAGLE 3 eine bis zu 2-mal längere Akzeptanzlänge.

Trainingsinfrastruktur: TorchSpec

TorchSpec bietet jetzt effiziente Trainingsunterstützung für EAGLE 3.1 und zukünftige spekulative Decodierungsalgorithmen. Durch die Reduzierung des Schulungsaufwands und die Vereinfachung der Experimentierabläufe trägt TorchSpec dazu bei, die Iteration und Erkundung für die Forschung und Bereitstellung spekulativer Dekodierung der nächsten Era zu beschleunigen.

Basierend auf TorchSpec und vLLM hat das Forschungsteam außerdem ein EAGLE 3.1-Entwurfsmodell für Kimi K2.6 trainiert und als Open-Supply-Model bereitgestellt, verfügbar unter Umarmendes Gesicht. Das Modell dient als Beispiel für die Bereitstellung von EAGLE 3.1 mit TorchSpec-Schulung und vLLM-Serving-Unterstützung in einem realen Serving-Modell

vLLM-Integration: konfigurationsgesteuert und abwärtskompatibel

EAGLE 3.1 landet in vLLM als konfigurationsgesteuerte Erweiterung der bestehenden EAGLE 3-Implementierung. Die Integration umfasst die Unterstützung der FC-Normalisierung, Suggestions zu versteckten Zuständen nach der Norm und die Entfernung fest codierter Annahmen rund um versteckte Zielzustände.

Die Abwärtskompatibilität mit bestehenden EAGLE 3-Checkpoints bleibt vollständig erhalten. EAGLE 3.1-Entwurfsmodelle können direkt über denselben Codepfad für spekulative Dekodierung eingebunden werden.

vllm serve nvidia/Kimi-K2.6-NVFP4 
  --trust-remote-code 
  --tensor-parallel-size 4 
  --tool-call-parser kimi_k2 
  --enable-auto-tool-choice 
  --reasoning-parser kimi_k2 
  --attention-backend tokenspeed_mla 
  --speculative-config '{"mannequin":"lightseekorg/kimi-k2.6-eagle3.1-mla","technique":"eagle3","num_speculative_tokens":3}' 
  --language-model-only

Benchmark-Ergebnisse für Kimi K2.6

Das Forschungsteam hat das Entwurfsmodell Kimi K2.6 EAGLE 3.1 auf Kimi-K2.6-NVFP4 mit vLLM (TP=4, GB200, nicht disagg) im SPEED-Bench-Codierungsdatensatz verglichen. EAGLE 3.1 bietet einen 2,03-fach höheren Ausgabedurchsatz professional Benutzer bei Parallelität 1. Die Beschleunigung bleibt sinnvoll, da die Parallelität skaliert: 1,71-fach bei C=4 und 1,66-fach bei C=16.

Der visuelle Erklärer von Marktechpost

vllm serve nvidia/Kimi-K2.6-NVFP4 
  --trust-remote-code 
  --tensor-parallel-size 4 
  --tool-call-parser kimi_k2 
  --enable-auto-tool-choice 
  --reasoning-parser kimi_k2 
  --attention-backend tokenspeed_mla 
  --speculative-config 
    '{"mannequin":"lightseekorg/kimi-k2.6-eagle3.1-mla",
      "technique":"eagle3",
      "num_speculative_tokens":3}' 
  --language-model-only

Wichtige Erkenntnisse

• EAGLE 3.1-Korrekturen Aufmerksamkeitsdrift – eine neu identifizierte Instabilität, bei der der Verfasser den Fokus auf sinkende Token in tieferen Spekulationstiefen verliert.
• Zwei architektonische Änderungen – FC-Normalisierung Und Postnorm-Hidden-State-Suggestions – den Drafter über Spekulationsschritte hinweg stabilisieren.
• Bei Workloads mit langem Kontext liefert EAGLE 3.1 bis zu 2× längere Akzeptanzlänge im Vergleich zu EAGLE 3.
• Benchmarks zum Kimi-K2.6-NVFP4 zeigen 2,03-facher Ausgabedurchsatz professional Benutzer bei Parallelität 1, Abfall auf 1,66× bei C=16.
• EAGLE 3.1 ist Abwärtskompatibel mit EAGLE 3-Kontrollpunkten und ist bereits in vLLM foremost integriert und wird in v0.22.0 ausgeliefert.

Schauen Sie sich das an Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Michal Sutter ist ein Knowledge-Science-Experte mit einem Grasp of Science in Knowledge Science von der Universität Padua. Mit einer soliden Grundlage in statistischer Analyse, maschinellem Lernen und Datentechnik ist Michal hervorragend darin, komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

BG   = "#fafaf8"
DARK = "#1a1a1a"

# Colour ramp: blue for widespread tokens, crimson for uncommon
TOKEN_COLORS = ("#1a5276", "#2471a3", "#5dade2", "#e67e22", "#c0392b", "#7d2a2a")

steps = np.arange(N_STEPS)

fig = plt.determine(figsize=(16, 11), facecolor=BG)
fig.suptitle(
    "SGD vs. Adam on Uncommon Tokens -- Frequency Bias and Variance Normalization",
    fontsize=14, fontweight="daring", colour=DARK, y=0.99
)

gs = gridspec.GridSpec(2, 3, determine=fig, hspace=0.45, wspace=0.35)

# ── 1. SGD weight trajectories ────────────────────────────────
ax1 = fig.add_subplot(gs(0, :2))
ax1.set_facecolor(BG)
ax1.axhline(1.0, colour=DARK, lw=1, ls="--", alpha=0.3, label="True weight = 1.0")

for i, (token, colour) in enumerate(zip(TOKENS, TOKEN_COLORS)):
    ax1.plot(steps, sgd_history(:, i), colour=colour, lw=1.8,
             label=f"{token} (freq={FREQ(i):.3f})")

ax1.set_title("SGD -- Weight TrajectoriesnRare tokens barely transfer from zero", fontsize=11, colour=DARK)
ax1.set_xlabel("Coaching Step", fontsize=9)
ax1.set_ylabel("Realized Weight", fontsize=9)
ax1.legend(fontsize=8, loc="proper")
ax1.set_ylim(-0.3, 1.6)
ax1.spines(("prime", "proper")).set_visible(False)

# Annotate failure zone
ax1.annotate(
    "Uncommon tokens stucknnear zero",
    xy=(N_STEPS * 0.95, sgd_history(-1, 5)),
    xytext=(N_STEPS * 0.65, -0.15),
    fontsize=8.5, colour="#c0392b",
    arrowprops=dict(arrowstyle="->", colour="#c0392b", lw=1.2),
    bbox=dict(boxstyle="spherical,pad=0.3", facecolor="#fff0f0", edgecolor="#c0392b", alpha=0.85)
)

# ── 2. Ultimate weight error bar chart ───────────────────────────
ax2 = fig.add_subplot(gs(0, 2))
ax2.set_facecolor(BG)

x      = np.arange(6)
w_sgd  = sgd_final
w_adam = adam_final
width  = 0.35

bars_sgd  = ax2.bar(x - width/2, np.abs(w_sgd  - TRUE_W), width, colour="#c0392b", alpha=0.85, label="SGD error")
bars_adam = ax2.bar(x + width/2, np.abs(w_adam - TRUE_W), width, colour="#2980b9", alpha=0.85, label="Adam error")

ax2.set_xticks(x)
ax2.set_xticklabels((t(:8) for t in TOKENS), rotation=30, ha="proper", fontsize=8)
ax2.set_ylabel("|discovered w − true w|", fontsize=9)
ax2.set_title("Ultimate Weight Errorn(decrease = higher)", fontsize=11, colour=DARK)
ax2.legend(fontsize=8)
ax2.spines(("prime", "proper")).set_visible(False)

# ── 3. Adam weight trajectories ───────────────────────────────
ax3 = fig.add_subplot(gs(1, :2))
ax3.set_facecolor(BG)
ax3.axhline(1.0, colour=DARK, lw=1, ls="--", alpha=0.3, label="True weight = 1.0")

for i, (token, colour) in enumerate(zip(TOKENS, TOKEN_COLORS)):
    ax3.plot(steps, adam_history(:, i), colour=colour, lw=1.8,
             label=f"{token} (freq={FREQ(i):.3f})")

ax3.set_title("Adam -- Weight TrajectoriesnRare tokens converge by way of variance normalization", fontsize=11, colour=DARK)
ax3.set_xlabel("Coaching Step", fontsize=9)
ax3.set_ylabel("Realized Weight", fontsize=9)
ax3.legend(fontsize=8, loc="proper")
ax3.set_ylim(-0.3, 1.6)
ax3.spines(("prime", "proper")).set_visible(False)

ax3.annotate(
    "Uncommon tokens convergendespite sparse gradients",
    xy=(N_STEPS * 0.95, adam_history(-1, 5)),
    xytext=(N_STEPS * 0.60, 0.3),
    fontsize=8.5, colour="#27ae60",
    arrowprops=dict(arrowstyle="->", colour="#27ae60", lw=1.2),
    bbox=dict(boxstyle="spherical,pad=0.3", facecolor="#f0fff4", edgecolor="#27ae60", alpha=0.85)
)

# ── 4. Efficient LR vs frequency ─────────────────────────────
ax4 = fig.add_subplot(gs(1, 2))
ax4.set_facecolor(BG)

ax4.scatter(FREQ, effective_lr, c=TOKEN_COLORS, s=120, zorder=5, edgecolors="white", lw=1.5)
for i, token in enumerate(TOKENS):
    ax4.annotate(token, (FREQ(i), effective_lr(i)),
                 textcoords="offset factors", xytext=(6, 4), fontsize=7.5, colour=TOKEN_COLORS(i))

ax4.axhline(LR, colour=DARK, lw=1, ls="--", alpha=0.4)
ax4.textual content(0.5, LR * 1.05, f"Nominal LR = {LR}", fontsize=8, colour=DARK, alpha=0.6)

ax4.set_xscale("log")
ax4.set_yscale("log")
ax4.set_xlabel("Token Frequency (log scale)", fontsize=9)
ax4.set_ylabel("Adam Efficient LR  lr/√v̂  (log scale)", fontsize=9)
ax4.set_title("Adam's Automated EqualizernRare tokens get amplified LR", fontsize=11, colour=DARK)
ax4.spines(("prime", "proper")).set_visible(False)

plt.savefig("sgd_vs_adam.png", dpi=150, bbox_inches="tight", facecolor=BG)
plt.present()

Wenn Sie schon eine Weile in der KI tätig sind, sind Sie wahrscheinlich ein LLM-/Agent-/Chat-Benutzer, aber haben Sie sich jemals gefragt, wie diese Instruments in naher Zukunft trainiert werden und was wäre, wenn wir die Daten, die wir zum Trainieren von Modellen benötigen, bereits aufgebraucht haben? Viele Theorien besagen, dass uns hochwertige, von Menschen generierte Daten zum Trainieren unserer Modelle ausgehen.

Jeden Tag kommen neue Inhalte hinzu, das ist eine Realität, aber ein immer größerer Anteil dessen, was täglich hinzugefügt wird, ist selbst KI-generiert. Wenn Sie additionally weiterhin mit öffentlichen Webdaten trainieren, trainieren Sie letztendlich mit den Ergebnissen Ihrer eigenen Vorgänger. Die Schlange frisst ihren Schwanz. Forscher nennen dieses Phänomen „Mannequin Collapse“, bei dem KI-Modelle beginnen, aus den Fehlern ihrer Vorgänger zu lernen, bis das gesamte System zum Unsinn verkommt.

Aber was wäre, wenn ich Ihnen sagen würde, dass uns nicht wirklich die Daten ausgehen? Wir haben einfach am falschen Ort gesucht.

In diesem Artikel werde ich die wichtigsten Erkenntnisse aufschlüsseln dieses brillante Papier.

Das Internet, das wir bereits nutzen, und das Internet, das wichtig ist

Die meisten von uns betrachten das Web als einzigartige Informationsquelle. In Wirklichkeit sind es mindestens zwei.

Es gibt das Floor Internet: die indizierte, öffentliche Welt, wie wir sie auf Reddit, Wikipedia und auf Nachrichtenseiten finden. Das ist es, was wir bereits jahrelang abgekratzt und übermäßig genutzt haben, um die Mainstream-KI-Modelle von heute zu trainieren. Dann gibt es das, was wir das Deep Internet nennen, und ich spreche hier nicht vom „Darkish Internet“ oder irgendetwas Illegalem.

Das Deep Internet ist einfach alles hinter einem Login oder einer Firewall. Es bezieht sich auf alles, was on-line ist und nicht öffentlich indiziert ist. Dabei kann es sich um das Patientenportal Ihres Krankenhauses, das interne Dashboard Ihrer Financial institution, Unternehmensdokumentarchive, non-public Datenbanken und jahrelange E-Mails handeln, die hinter einem Anmeldebildschirm gespeichert sind. Normale, langweilige, aber unglaublich wertvolle Daten.

Viele Studien deuten darauf hin, dass das Deep Internet um Größenordnungen größer ist als das Floor Internet. Noch wichtiger ist, dass es sich um eine wesentlich bessere Datenqualität handelt. Im Vergleich zu oberflächlichen Webinhalten, die laut, voller Fehlinformationen und stark Search engine optimisation-optimiert sein können. Außerdem enthält es zunehmend Inhalte, die bewusst darauf abzielen, KI-Modelle in die Irre zu führen oder zu vergiften. Deep-Internet-Daten, wie Krankenakten oder verifizierte Finanzdokumente oder andere interne Datenbanken, werden in der Regel sauber, authentifiziert und von Personen organisiert, denen die Qualität am Herzen liegt.

Das Drawback? Ich denke, Sie können es erraten, es ist privat. Sie können nicht einfach eine Million Krankenakten extrahieren, ohne alle rechtlichen und ethischen Katastrophen zu bedenken, die Sie verursachen werden.

Das PROPS-Framework

Hier kommt ein neues Framework namens PROPS (Protected Pipelines) ins Spiel. PROPS wurde von Ari Juels (Cornell Tech), Farinaz Koushanfar (UCSD) und Laurence Moroney (ehemaliger Google AI Lead) eingeführt und fungiert als Brücke zwischen diesen sensiblen Daten und den KI-Modellen, die sie benötigen.

Das Tolle an PROPS ist, dass Sie nicht aufgefordert werden, Ihre Daten „herauszugeben“. Stattdessen werden Privateness-Preserving Oracles verwendet. Stellen Sie sich ein Orakel als „vertrauenswürdigen Mittelsmann“ vor, der Ihre Daten einsehen, deren Echtheit überprüfen und dann dem KI-Modell mitteilen kann, was es wissen muss, ohne dem Modell jemals die Rohinformationen zu zeigen.

Diese Requisitenkonzepte können magisch klingen, da sie viele Probleme im Zusammenhang mit der Datenverfügbarkeit lösen können, mit denen KI-Modelle heute konfrontiert sind. Doch wie funktioniert das genau? Nehmen wir das Beispiel eines medizinischen Unternehmens, das ein Diagnosetool anhand echter Gesundheitsakten trainieren möchte. Unter dem PROPS-Framework:

1. Erlaubnis: Als Nutzer melden Sie sich in Ihrem eigenen Gesundheitsportal an und autorisieren eine bestimmte Verwendung Ihrer Daten.
2. Das Orakel: Stellen Sie sich das Orakel als einen digitalen Notar vor. Es geht zu Ihrem privaten Portal (wie Ihrer Krankenhausdatenbank), um zu überprüfen, ob Ihre Daten echt sind. Anstatt Ihre Dateien zu kopieren, teilt es dem KI-System einfach mit: „Ich habe die Originaldokumente gesehen und bezeuge, dass sie authentisch sind.“ Es liefert einen Wahrheitsbeweis, ohne jemals die privaten Daten selbst preiszugeben. Dafür gibt es bereits Instruments, z DEKO. Es ist ein Protokoll Damit können Benutzer nachweisen, dass sie ein bestimmtes Datenelement über einen sicheren TLS-Kanal von einem Webserver abgerufen haben.
3. Die sichere Enklave: Dabei handelt es sich um eine „Blackbox“ innerhalb der Computerhardware, in der das eigentliche Coaching stattfindet. Wir legen das KI-Modell und Ihre privaten Daten hinein und „schließen die Tür ab“. Kein Mensch oder Entwickler kann sehen, was im Inneren passiert. Die KI „studiert“ die Daten und verlässt nur die Modellgewichte. Die Rohdaten bleiben gespeichert, bis die Sitzung beendet ist.
4. Das Ergebnis: Das Modell trainiert anhand der Daten in dieser Field. Es kommen nur die aktualisierten „Gewichte“ (das Lernen) heraus. Die Rohdaten werden niemals von menschlichen Augen gesehen.

Der Mitwirkende weiß genau, womit er einverstanden ist, und kann für seine Teilnahme entsprechend der tatsächlichen Wertigkeit seiner spezifischen Daten belohnt werden. Es ist eine völlig andere Beziehung zwischen Dateneigentümern und KI-Systemen.

Aber warum sollte man sich damit anstatt mit synthetischen Daten beschäftigen?

Manche fragen sich vielleicht: „Warum sich mit diesem komplexen Aufbau beschäftigen, wenn wir einfach synthetische Daten generieren können?“

Die Antwort ist, dass synthetische Daten ein Diversitätskiller sind. Per Definition verstärkt die Generierung synthetischer Daten die Mitte der Glockenkurve. Wenn Sie an einer seltenen Erkrankung leiden, von der nur 0,01 % der Bevölkerung betroffen sind, wird ein synthetischer Datengenerator Sie wahrscheinlich als „Lärm“ glätten.

Mit synthetischen Daten trainierte Modelle können Ausreißer immer schlechter bedienen. PROPS löst dieses Drawback, indem es eine sichere Möglichkeit für echte Menschen mit seltenen Krankheiten oder einzigartigem Hintergrund schafft, sich anzumelden. Dadurch wird der Datenaustausch von einem Datenschutzrisiko zu einem „Datenmarktplatz“. wo wertvolle Daten die Vergütung erhalten, die sie verdienen.

Es geht nicht nur um Coaching, es kommt auch auf Schlussfolgerungen an

Die meisten Diskussionen konzentrieren sich auf das Coaching, aber PROPS hat eine ebenso interessante Anwendung auf der Inferenzseite.

Um heute beispielsweise einen Kredit aufzunehmen, müssen viele Dokumente eingereicht werden: Kontoauszüge, Gehaltsabrechnungen und Steuererklärungen. In einem PROPS-basierten System schlagen sie die Verwendung eines Mortgage Resolution Mannequin (LDM) vor:

1. Sie ermächtigen den LDM, direkt mit Ihrer Financial institution zu sprechen.
2. Die Financial institution bestätigt Ihr Guthaben über ein datenschutzwahrendes Orakel.
3. Der LDM trifft eine Entscheidung.
4. Das Ergebnis? Der Kreditgeber erhält ein verifiziertes „Ja“ oder „Nein“, ohne jemals Ihre privaten Dokumente zu berühren. Dadurch wird das Risiko von Datenlecks eliminiert und es nahezu unmöglich gemacht, betrügerische, mit Photoshop bearbeitete Dokumente zu verwenden.

Was verhindert eigentlich, dass dies im Jahr 2026 geschieht?

Es kommt einfach auf den Umfang und die Infrastruktur an.

Die robusteste Model von PROPS erfordert, dass das Coaching in einer hardwaregestützten sicheren Enklave (wie Intel SGX oder NVIDIAs H100 TEEs) stattfindet. Diese funktionieren im kleinen Maßstab intestine, aber sie für die riesigen GPU-Cluster, die für Frontier-LLMs benötigt werden, zum Laufen zu bringen, ist immer noch ein offenes technisches Drawback. Um perfekt und verschlüsselt synchron zu funktionieren, sind riesige Cluster erforderlich.

Den Forschern ist klar: PROPS ist noch kein fertiges Produkt. Es ist ein überzeugender Proof-of-Idea. Heute ist jedoch eine leichtere Model einsetzbar. Auch ohne vollständige {Hardware}-Garantien können Sie Systeme erstellen, die den Benutzern sinnvolle Sicherheit bieten, was bereits eine Verbesserung gegenüber der Bitte darstellt, Ihnen per E-Mail ein PDF zu senden.

Meine eigenen letzten Gedanken

PROPS ist nicht wirklich eine „neue“ Technologie; Es handelt sich um eine neue Anwendung bestehender Instruments. Datenschutzwahrende Orakel werden seit Jahren im Blockchain- und Web3-Bereich (wie Chainlink) verwendet. Die Erkenntnis hier ist die Erkenntnis, dass dieselben Instruments die KI-Datenkrise lösen können.

Die „Datenkrise“ ist kein Mangel an Informationen; es ist ein Mangel an Vertrauen. Wir verfügen über mehr als genug Daten, um die nächste Technology der KI aufzubauen, aber sie sind hinter den Türen des Deep Internet verschlossen. Die Schlange muss ihren Schwanz nicht fressen; Es muss nur ein besserer Garten gefunden werden.

LinkedIn: Sabrine Bendimerad

Medium: https://medium.com/@sabrine.bendimerad1

Instagram: https://tinyurl.com/datailearn

Microsoft hat es veröffentlicht Oktober 2025 Patch-Dienstag Sicherheitsupdate, eine rekordverdächtige Veröffentlichung, die 175 Schwachstellen behebt. Das Replace enthält zwei aktiv ausgenutzte Zero-Day-Schwachstellen und markiert zudem das Ende der regulären Sicherheitsunterstützung für das Betriebssystem Home windows 10.

Das Volumen von 175 Frequent Vulnerabilities and Exposures (CVEs) macht diese Veröffentlichung zum größten einzelnen Patch-Tuesday-Replace, das von Sicherheitsforschern in den letzten Jahren dokumentiert wurde. Die Veröffentlichung in diesem Monat hat die Gesamtzahl der einzigartigen Schwachstellen, die das Unternehmen im Jahr 2025 gepatcht hat, auf 1.021 erhöht. Diese Zahl übertrifft die Gesamtzahl des Vorjahres von 1.009 gepatchten CVEs. Satnam Narang, ein leitender Forschungsingenieur bei Tenable, erklärte: „Da dieses Jahr noch zwei Monate verbleiben, haben wir die letztjährige Zahl von 1.009 gepatchten CVEs bereits übertroffen, während die Veröffentlichung dieses Monats uns auf 1.021 bringt.“

Narang gab an, dass dieses Replace das größte sei, seit Tenable 2017 mit der Verfolgung von Microsoft-Patch-Veröffentlichungen begann. Er stellte außerdem klar, dass diese Zählung keine außerhalb des Zyklus befindlichen Patches umfasst, die vor dem Hauptupdate veröffentlicht wurden, oder Schwachstellen, für die Microsoft nicht der designierte Herausgeber ist. Die Sammlung von Schwachstellen befasste sich mit einem breiten Spektrum von Sicherheitsproblemen, darunter Schwachstellen bei der Remotecodeausführung (RCE), Schwachstellen bei der Erhöhung von Berechtigungen (EoP), Datendiebstahl-Vektoren, Denial-of-Service-Angriffsmethoden (DoS) und Umgehungen bestehender Sicherheitsfunktionen in zahlreichen Microsoft-Produkten.

Unter den Schwachstellen befinden sich zwei Zero-Day-Schwachstellen, die von Angreifern aktiv ausgenutzt werden. Bei der ersten mit der Bezeichnung CVE-2025-59230 handelt es sich um eine Sicherheitslücke zur Rechteausweitung im Home windows Distant Entry Connection Supervisor, die einen CVSS-Wert (Frequent Vulnerability Scoring System) von 7,8 aufweist. Diese Schwachstelle ermöglicht es einem Angreifer, der sich bereits ersten Zugriff auf ein System mit geringen Privilegien verschafft hat, seinen Standing auf den eines Directors zu erhöhen. Mike Walters, Präsident und Mitbegründer von Action1, lieferte eine Analyse zum Mechanismus der Sicherheitslücke. Er schätzte, dass der Fehler damit zusammenhängt, wie der Dienst, der virtuelle non-public Netzwerke (VPN) und andere Distant-Verbindungen verwaltet, Befehle von Benutzern mit geringen Privilegien ohne ausreichende Authentifizierung verarbeitet. „Die Ausnutzung dieser Schwachstelle ist relativ einfach und macht sie sogar für Angreifer mit mäßigen technischen Fähigkeiten zugänglich“, kommentierte Walters.

Die zweite aktiv ausgenutzte Zero-Day-Infektion, CVE-2025-24990, ist ebenfalls eine Sicherheitslücke zur Erhöhung von Berechtigungen mit einem CVSS-Rating von 7,8. Dieser Fehler liegt in einem Treiber eines Drittanbieters für das Home windows Agere-Modem. Dieser spezielle Treiber ist nativ in allen unterstützten Versionen des Home windows-Betriebssystems enthalten und ist daher weit verbreitet. Ein Angreifer kann diese Sicherheitslücke ausnutzen, um Berechtigungen auf Systemebene auf einem betroffenen Laptop zu erlangen. Der Fehler ist auch dann ausnutzbar, wenn die Agere-Modem-{Hardware} zum Zeitpunkt des Angriffs nicht aktiv genutzt wird. Als Reaktion darauf hat Microsoft den Treiber durch das Replace aus dem Betriebssystem entfernt. Diese Aktion bedeutet, dass Agere-Modems, die auf diesen Treiber angewiesen sind, auf gepatchten Home windows-Systemen nicht mehr funktionieren. In seiner Empfehlung zu diesem Thema gab Microsoft eine direkte Empfehlung heraus, in der es hieß, dass Benutzer „alle vorhandenen Abhängigkeiten von dieser {Hardware} entfernen“ sollten.

Das Replace enthält auch andere Probleme mit hoher Priorität, die Sicherheitsteams beheben sollten. Eine dieser Schwachstellen ist CVE-2025-59287, ein Fehler bei der Remotecodeausführung im Home windows Server Replace Service (WSUS) mit einem CVSS-Rating von 9,8. WSUS ist die Komponente, mit der Unternehmen Softwareupdates und Patches zentral verwalten und an Laptop in ihren Netzwerken verteilen. Walters von Action1 identifizierte dies als kritisches Drawback und erklärte, dass ein erfolgreicher Exploit schwerwiegende Folgen haben könnte. Zu diesen potenziellen Folgen gehören die „vollständige Kompromittierung der Patching-Infrastruktur, die Bereitstellung bösartiger ‚Updates‘ auf verwalteten Systemen, laterale Bewegungen in der gesamten Umgebung und die Schaffung dauerhafter Hintertüren in der Replace-Infrastruktur“, sagte er. Microsoft hat CVE-2025-59287 offiziell als Schwachstelle eingestuft, die von Angreifern mit größerer Wahrscheinlichkeit ausgenutzt wird.

Ein weiterer schwerwiegender Fehler, der behoben wurde, ist CVE-2025-55315, eine Umgehung von Sicherheitsfunktionen im ASP.NET Core-Framework, die einen CVSS-Rating von 9,9 erhielt. Nach Einschätzung von Microsoft könnte diese Schwachstelle erhebliche Auswirkungen auf die Vertraulichkeit, Integrität und Verfügbarkeit eines Methods haben. Ein erfolgreicher Exploit würde einem Angreifer die Möglichkeit geben, Benutzeranmeldeinformationen einzusehen, den Inhalt von Dateien auf dem Zielserver zu ändern oder einen Systemabsturz auszulösen. Ben McCarthy, leitender Cyber-Sicherheitsingenieur bei Immersive, lieferte zusätzliche Informationen zu den Exploit-Bedingungen. „Es ist wichtig zu beachten, dass diese Schwachstelle nicht von einem anonymen Angreifer ausgenutzt werden kann; sie erfordert, dass der Bedrohungsakteur zunächst mit gültigen Benutzeranmeldeinformationen mit geringen Berechtigungen authentifiziert wird“, erklärte McCarthy in seinem Kommentar zur Patch-Veröffentlichung.

Dieser Replace-Zyklus im Oktober markiert auch offiziell das Lebensende des Betriebssystems Home windows 10. Dies bedeutet, dass Microsoft im Rahmen seines monatlichen Patch-Tuesday-Plans keine regelmäßigen Sicherheitspatches für im Betriebssystem entdeckte Schwachstellen mehr bereitstellen wird. Die Einstellung des Helps betrifft eine beträchtliche Benutzerbasis, da das Betriebssystem Home windows 10 derzeit einen Anteil von etwa 41 % am weltweiten Markt für Desktop-Home windows-Versionen hält.

Für Organisationen, die weiterhin Systeme mit Home windows 10 betreiben, ist ein spezifischer Pfad für den weiteren Assist erforderlich. Nick Carroll, Cyber ​​Incident Response Supervisor bei Nightwing, erklärte in einer Erklärung, dass diese Unternehmen sich für das Prolonged Safety Updates (ESU)-Programm anmelden müssen, um Sicherheitspatches über dieses letzte Replace hinaus zu erhalten. Das ESU-Programm ist ein kostenpflichtiger Dienst, der Sicherheitskorrekturen für eine begrenzte Zeit nach dem offiziellen Assist-Enddatum eines Produkts bereitstellt.

Das Ende des Helps beschränkte sich nicht nur auf Home windows 10. Auch mehrere andere Microsoft-Produkte erreichten diese Woche ihren Finish-of-Life-Meilenstein. Diese Liste umfasst Change Server 2016, Change Server 2019, Skype for Enterprise 2016, Home windows 11 IoT Enterprise Model 22H2 und Outlook 2016. Diese Produkte erhalten außerdem keine regelmäßigen Sicherheitsupdates mehr. Carroll äußerte sich zu den umfassenderen Auswirkungen dieser Lebenszyklusphase auf mehrere Produkte. „All diese Produkte und mehr werden keine Sicherheitspatches mehr erhalten“, sagte er, „aber das bedeutet nicht, dass die Bedrohungsakteure aufhören werden, neue Exploits für sie zu entwickeln.“

Hervorgehobener Bildnachweis

So beheben Sie die Mängel oberflächlicher, veralteter Modelle und machen Ihre Modellierungsstrategie zukunftssicher

11 Minuten Lesezeit

·

vor 11 Stunden

Ich beschäftige mich seit über 30 Jahren mit der Modellierung von Daten und erstelle eine Vielzahl von Datenmodellen (3NF, dimensional, Ensemble (Anker, Knowledge-Vault), Graphen usw.), hauptsächlich für analytische Systeme. Viele davon sind jedoch auch nach und nach veraltet oder obsolet geworden. Manchmal fühlt es sich an wie die Arbeit des unglücklichen Sisyphos, der seinen Felsbrocken beharrlich den Berg hinaufrollt, nur um irgendwann festzustellen, dass es wieder vergebens warfare.

Ich warfare sehr lange davon überzeugt, dass es möglich sein muss, eine gemeinsame und vollständige Sicht auf die Geschäftsangelegenheiten eines Unternehmens zentral zu modellieren. Schließlich wissen langjährige Geschäftsleute, die in den Modellierungsprozess involviert waren, was im Unternehmen vor sich geht, oder? Nun, je kleiner das Unternehmen warfare, desto näher kam ich dem Ziel. Aber um ganz ehrlich zu sein, blieb jedes Modell am Ende nur eine Annäherung – eine statische Sicht, die versuchte, die sich ständig ändernde Realität abzubilden.

Aber auch wenn es ziemlich mühsam ist, ein solches Modell zu erstellen, können wir ohne es absolut nicht erfolgreich sein. Das moderne datengesteuerte Unternehmen basiert auf der Kernidee, aus Daten Wert zu schöpfen. Tatsache ist jedoch, dass Daten an und für sich keinen Wert haben. Wir müssen sie nutzen…

Und wie man es behebt

Sie hatten ein Downside mit der Dateninterpretation und haben es mit Clustering versucht. Und jetzt haben Sie ein Cluster-Interpretationsproblem! Es bestand der Verdacht, dass die Daten Muster enthalten könnten. Vernünftigerweise hofften Sie, dass das Hinzufügen einer Struktur durch unüberwachtes Lernen zu einigen Erkenntnissen führen würde. Cluster sind das Mittel der Wahl, um Strukturen zu finden. Und so haben Sie sich auf die Reise gemacht. Sie geben viel Geld für Laptop aus. Sie stecken viel Schweiß in das Herumspielen mit Cluster-Tuning-Parametern. Nur um sicherzugehen, probieren Sie ein paar Algorithmen aus. Aber am Ende des Tages haben Sie Regenbogendiagramme mit Cluster-Daten, die vielleicht eine Bedeutung haben – nur vielleicht – wenn Sie nur genau genug hinschauen. Sie gehen mit dem unbehaglichen Gefühl nach Hause, dass alles umsonst battle. Leider ist das viel zu oft der Fall. Aber warum sollte das so sein?

Wenn ein Clustering-Projekt keinen Mehrwert bringt, hat das oft mehrere Ursachen: mangelndes Verständnis der Daten, zu wenig Aufmerksamkeit für das gewünschte Ergebnis und falsche Werkzeugwahl. Wir werden diese Punkte der Reihe nach durchgehen. Um die Diskussion anzuregen, ist es aufschlussreich, die Gründe für die Existenz von Clustering-Techniken zu verstehen. Zu diesem Zweck werden wir uns ansehen, was Clustering ist und einige der Probleme, die zur Entwicklung von Clustering-Techniken geführt haben.