In den letzten Jahren folgte die KI-Welt einer einfachen Regel: Wenn Sie möchten, dass ein Giant Language Mannequin (LLM) ein schwierigeres Drawback löst, erstellen Sie es Gedankenkette (CoT) länger. Aber neue Forschungsergebnisse aus dem Universität von Virginia Und Google beweist, dass „langes Nachdenken“ nicht dasselbe ist wie „starkes Nachdenken“.

Das Forschungsteam zeigt, dass durch einfaches Hinzufügen weiterer Token zu einer Antwort tatsächlich eine KI entstehen kann weniger genau. Statt Wörter zu zählen, führen die Google-Forscher eine neue Messung ein: die Deep-Considering-Verhältnis (DTR).

Das Scheitern von „Token Maxing“.‚

Ingenieure verwenden die Token-Zählung häufig als Indikator für den Aufwand, den eine KI für eine Aufgabe aufwendet. Die Forscher fanden jedoch heraus, dass die reine Tokenanzahl eine durchschnittliche Korrelation von aufweist r= -0,59 mit Genauigkeit.

Diese adverse Zahl bedeutet, dass die Wahrscheinlichkeit größer ist, dass das Modell falsch ist, je mehr Textual content es generiert. Dies geschieht aufgrund von „Überdenken“, bei dem das Modell in Schleifen stecken bleibt, überflüssige Schritte wiederholt oder seine eigenen Fehler verstärkt. Wenn man sich allein auf die Länge verlässt, wird teure Rechenleistung für nicht informative Token verschwendet.

Was sind Deep-Considering-Token?

Das Forschungsteam argumentierte, dass echtes „Denken“ innerhalb der Schichten des Modells stattfindet und nicht nur in der Endausgabe. Wenn ein Modell ein Token vorhersagt, verarbeitet es Daten über eine Reihe von Transformatorschichten (L).

1. Flache Token: Bei einfachen Worten stabilisiert sich die Vorhersage des Modells frühzeitig. Die „Vermutung“ ändert sich von Schicht 5 bis Schicht 36 nicht wesentlich.
2. Tiefdenkende Token: Bei schwierigen logischen oder mathematischen Symbolen verschiebt sich die Vorhersage erheblich in die tieferen Schichten.

So messen Sie die Tiefe

Um diese Token zu identifizieren, verwendet das Forschungsteam eine Technik, um einen Blick auf die internen „Entwürfe“ des Modells auf jeder Ebene zu werfen. Sie projizieren die verborgenen Zwischenzustände (h_tl) mithilfe des Modells in den Vokabularraum einzufügen nicht einbettende Matrix (W_U). Dadurch entsteht eine Wahrscheinlichkeitsverteilung (S_t,l) für jede Ebene.

Anschließend berechnen sie die Jensen-Shannon-Divergenz (JSD) zwischen der Zwischenschichtverteilung und der Endschichtverteilung (S_t,L):

D_t,l := JSD(S_t,L || P_t,l)

Ein Token ist ein tiefgründiges Zeichen wenn sich seine Vorhersage nur im „späten Regime“ einpendelt – definiert durch a Tiefenanteil (⍴). In ihren Assessments stellten sie fest ⍴= 0,85, was bedeutet, dass sich der Token nur in den letzten 15 % der Schichten stabilisiert hat.

Der Deep-Considering-Verhältnis (DTR) ist der Prozentsatz dieser „harten“ Token in einer vollständigen Sequenz. Modellübergreifend wie DeepSeek-R1-70B, Qwen3-30B-DenkenUnd GPT-OSS-120BDTR zeigte eine starke durchschnittliche optimistic Korrelation von r = 0,683 mit Genauigkeit.

Suppose@n: Höhere Genauigkeit bei 50 % der Kosten

Das Forschungsteam nutzte diesen innovativen Ansatz zur Erstellung Suppose@neine neue Möglichkeit, die KI-Leistung während der Inferenz zu skalieren.

Die meisten Entwickler verwenden Selbstkonsistenz (Cons@n)wo sie probieren 48 Geben Sie verschiedene Antworten ein und nutzen Sie die Mehrheitsentscheidung, um die beste Antwort auszuwählen. Das ist sehr aufwendig, da man für jede Antwort jedes einzelne Token generieren muss.

Suppose@n verändert das Spiel durch den Einsatz von „frühem Anhalten“:

• Das Modell beginnt mit der Generierung mehrerer Kandidatenantworten.
• Nach gerade 50 Präfix-Tokenberechnet das System die DTR für jeden Kandidaten.
• Es stoppt sofort die Generierung der „aussichtslosen“ Kandidaten mit niedrigem DTR.
• Es beendet die Kandidaten nur mit hohen Werten für tiefes Denken.

Die Ergebnisse zu AIME 2025

Verfahren	Genauigkeit	Durchschn. Kosten (ok Token)
Nachteile@n (Mehrheitsabstimmung)	92,7 %	307,6
Suppose@n (DTR-basierte Auswahl)	94,7 %	155,4

Auf der ZIEL 25 Mathe-Benchmark, Suppose@n erreicht höhere Genauigkeit als bei der Standardabstimmung, während die Inferenzkosten um reduziert werden 49 %^.

Wichtige Erkenntnisse

• Die Anzahl der Token ist ein schlechter Indikator für die Genauigkeit: Die Länge der Rohausgabe weist eine durchschnittliche adverse Korrelation (r = -0,59) mit der Leistung auf, was bedeutet, dass längere Argumentationsspuren oft eher auf „Überdenken“ als auf höhere Qualität hinweisen.
• Tiefdenkende Token definieren wahre Anstrengung: Im Gegensatz zu einfachen Token, die sich in frühen Schichten stabilisieren, handelt es sich bei Deep-Considering-Token um solche, deren interne Vorhersagen in tieferen Modellschichten erheblich überarbeitet werden, bevor sie konvergieren.
• Die Deep-Considering Ratio (DTR) ist eine überlegene Messgröße: DTR misst den Anteil von Deep-Considering-Tokens in einer Sequenz und weist eine robuste optimistic Korrelation mit der Genauigkeit auf (durchschnittliches r = 0,683) und übertrifft durchweg längenbasierte oder konfidenzbasierte Basislinien.
• Suppose@n ermöglicht eine effiziente Testzeitskalierung: Indem nur die Stichproben mit hohen Deep-Considering-Verhältnissen priorisiert und abgeschlossen werden, erreicht oder übertrifft die Suppose@n-Strategie die Leistung der Standardmehrheitsabstimmung (Cons@n).
• Huge Kostenreduzierung durch frühzeitiges Anhalten: Da die DTR anhand eines kurzen Präfixes von nur 50 Token geschätzt werden kann, können aussichtslose Generationen frühzeitig abgelehnt werden, wodurch die gesamten Inferenzkosten um etwa 50 % gesenkt werden.

---

Schauen Sie sich das an Papier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Die Ergebnisse liefern wichtige Erkenntnisse darüber, wie Gründer im GenAI-Zeitalter Startups aufbauen

Costanoa Venturesein Boutique-Unternehmen für B2B-Risikokapital im Frühstadium, veröffentlichte Ergebnisse einer Umfrage unter Gründern, die im KI-Bereich tätig sind: „Aufbau eines KI-nativen Startups„bietet eine Momentaufnahme des KI-nativen Startup-Ökosystems. Die Umfrage enthält Einblicke in die Artwork und Weise, wie Gründer, die auf KI aufbauen, die Einstellung von KI-Talenten angehen, welche Instruments sie verwenden und welche Herausforderungen sie nachts wach halten.

„Die heutigen Startup-Gründer im Frühstadium sind die erste GenAI-native Era“, sagte Martina Lauchengco, Partnerin bei Costanoa Ventures. „GenAI verändert die Artwork und Weise, wie Gründer Produkte entwickeln, wen sie einstellen und wie sie skalieren. Was uns überrascht hat, battle, wie stark die Nutzung von Basismodellen über GPT hinaus zunimmt und wie früh sie sich auf die Markteinführung konzentrieren.“

Ein wichtiger Bereich, den die Umfrage untersuchte, battle die Verwendung grundlegender Modelle. Die Umfrage ergab, dass neun von zehn befragten Gründern (89 %) in ihren Startups irgendeine Model von GPT verwenden, wobei mehr als die Hälfte angab, vier oder mehr Modelle zu verwenden. Dies ist ein starker Indikator für die Rolle, die größere Modelle derzeit im Startup-Ökosystem und bei der Innovation spielen.

Die wichtigsten Ergebnisse der Umfrage zeigen:

Wie Gründer Modelle, Daten und Instruments nutzen, um KI-Produkte zu entwickeln

• Über die Hälfte (54 %) aller Befragten nutzt vier oder mehr Basismodelle; 75 % nutzen mehr als ein Modell.
• Quick neun von zehn Gründern (89 %) verwenden eine Model von GPT, gefolgt von Llama und Claude mit jeweils 40 %.
• Pre-Seed- und Seed-Stage-Unternehmen verwenden Mistral doppelt so häufig wie Unternehmen der Serie A oder höher.
• Knapp 90 % der Befragten verwenden irgendeine Artwork von KI-Instruments, entweder zum Aufbau ihrer Plattform oder zur Verbesserung ihrer eigenen Arbeit, wobei die meisten Instruments Infrastruktur und MLOps unterstützen. Zu den beliebtesten Codierungstools gehören: Cursor.ai, Github Co-Pilot und Supermaven.

„Die Landschaft der Stiftungsmodelle verändert sich schnell. Einerseits hat der konvergierende Development bei der Modellleistung dazu geführt, dass Menschen sich für eine Vielzahl von Modellen entscheiden; Andererseits entscheiden sich viele Menschen immer noch für die High-3-Outlets als zukunftssicherere Possibility, da sich die Lage an der Grenze immer weiter weiterentwickelt“, sagte Rebecca Li, Daten- und KI-Investorin bei Costanoa Ventures.

Wie Gründer über Einstellung und KI-Experience denken

• 50 % der Gründer sind in der Bay Space ansässig, wobei die Wahrscheinlichkeit, dass Zweitgründer ihr Unternehmen in der Bay Space gründen, um 33 % höher ist, wobei die Nähe zu Talenten und Investoren als treibende Kraft genannt wird.
• Knapp ein Drittel der nach 2022 gegründeten Unternehmen verspüren den Bedarf an einem Mitgründer mit einem Doktortitel oder Hintergrund in angewandten Modellen. Unternehmen mit einem KI-Mitbegründer stellen deutlich häufiger einen Ingenieur mit akademischer KI- oder KI-Forschungserfahrung ein (90 % bzw. 61 %).
• Quick 54 % der Unternehmen priorisieren bei Früheinstellungen Go-to-Market-Positionen.

„Dies hat bestätigt, was wir sehen: Die Unternehmen, die heute den größten Nutzen aus der KI ziehen, werden oft nicht von Personen mit einem Doktortitel in KI oder jahrelanger Erfahrung in der KI gegründet. Sie bestehen aus unternehmerisch denkenden, schnell lernenden Ingenieuren, die die Neugier und die ‚Simply Construct‘-Mentalität haben, um mit dem neuesten Stand der KI Schritt zu halten“, sagte John Cowgill, Common Associate bei Costanoa Ventures.

Was Gründer nachts den Schlaf raubt

• Bei Stammgründern ist die Wahrscheinlichkeit, dass „Marktlärm“ derzeit der schmerzhafteste Teil beim Aufbau von KI ist, doppelt so hoch.

• Nur 16 % der Pre-Seed- und Seed-Gründer nennen Expertise als große Herausforderung, aber von denen, die dies taten, sind 80 % Wiederholungsgründer.

„Die zentralen Herausforderungen von Startups in der Frühphase sind dieselben, unabhängig davon, ob Sie ein KI-natives Startup sind oder nicht. Diese Probleme sind seit Jahrzehnten die gleichen, aber jetzt fügen wir eine Ebene der Komplexität hinzu, während Groups lernen, wie sie die Leistungsfähigkeit der KI nutzen können“, sagte Amy Cheetham, Partnerin bei Costanoa Ventures.

Lauchengco fügte hinzu: „Es ist faszinierend zu sehen, wie schnell sich die Artwork und Weise verändert, wie Gründer Startups aufbauen. Am interessantesten wird es jedoch sein, zu sehen, wie sich die Reaktionen im Laufe der Zeit entwickeln. Es ist wirklich eine neue Ära.“

Costanoa Ventures befragte 30 Gründer, die gemeinsam 700 Millionen US-Greenback an Risikofinanzierungen aufbrachten, wobei 70 Millionen US-Greenback gemeinsam von den Pre-Seed- und Seed-Unternehmen aufgebracht wurden, die ihre Finanzierung teilten – 21 von ihnen haben ihre Unternehmen in den letzten zwei Jahren aufgebaut. Die Umfrage umfasste Gründer beider Portfoliounternehmen von Costanoa Ventures und viele, die nicht mit dem Unternehmen verbunden waren. Die befragten Unternehmen decken ein breites Spektrum an KI-Anwendungsfällen ab, von der Planung und Buchung von Reisen über die maßgeschneiderte Vertriebsansprache bis hin zur Verbesserung von IT-Workflows. In die Endergebnisse wurden nur Unternehmen mit Fremdfinanzierung einbezogen.

Die vollständige Umfrage steht zur Ansicht bereit Hier.

Melden Sie sich für die kostenlosen insideAI-Information an E-newsletter.

Begleiten Sie uns auf Twitter: https://twitter.com/InsideBigData1

Treten Sie uns auf LinkedIn bei: https://www.linkedin.com/firm/insideainews/

Begleiten Sie uns auf Fb: https://www.fb.com/insideAINEWSNOW

Studie legt nahe, dass Integration und Automatisierung durch GenAI eine höhere
Produktivität und Umsatz sowie ein besseres Kundenerlebnis

Boomi, der führende Anbieter intelligenter Integration und Automatisierung, gab die Ergebnisse seiner Boomi-Entdeckungsberichtim Auftrag von 451 Analysis. Der Bericht basiert auf den Ansichten von 650 Unternehmens- und IT-Führungskräften aus einem breiten Branchenspektrum und beschreibt, wie Unternehmen Generative AI (GenAI) nutzen, um Systeme zu integrieren und Prozesse zu automatisieren und wie sich dies infolgedessen positiv auf ihren Geschäftsbetrieb ausgewirkt hat.

Jedes Unternehmen hat mit der zunehmenden digitalen Fragmentierung zu kämpfen – von der Verbreitung von Anwendungen und der Trennung zwischen Abteilungen bis hin zu steigenden Kosten und Fachkräftemangel. GenAI verspricht effizientere und kostengünstigere Abläufe und ein besseres Kundenerlebnis für Kunden und Mitarbeiter, aber nur für Unternehmen, die es nutzen.

Laut dem Boomi Discovery Report sehen Unternehmen die unmittelbaren Auswirkungen von GenAI auf die Integration. Mehr als die Hälfte der Befragten (55 %) gab an, dass GenAI für die Integration von Daten, Anwendungen und Prozessen sehr wichtig sei. Darüber hinaus zählten zu den globalen Treibern der KI-Einführung eine gesteigerte Produktivität (die 44 % der Führungskräfte nannten), ein gesteigertes Umsatz- und Ertragswachstum (40 %) und ein verbessertes Kundenerlebnis (39 %).

Die Befragten erkannten jedoch die Komplexität an, die häufig mit der Integration verbunden ist. Die Integration von Daten und Systemen kann häufig Herausforderungen mit sich bringen, die Sicherheits- und Datenschutzbedenken (42 %), Probleme mit der Datenqualität und -verfügbarkeit (42 %) sowie Probleme mit der Modellschulung, Genauigkeit und Zuverlässigkeit (31 %) hervorrufen. Laut dem Bericht stimmen 90 % der Befragten zu, dass GenAI das Potenzial hat, die Geschwindigkeit und Qualität der Entwicklung und Automatisierung von Daten-, Anwendungs- und Prozessintegrationen zu verbessern.

„Die Fähigkeit, Geschäftsprozesse nahtlos zu integrieren und zu automatisieren, hat für viele Unternehmen schon lange höchste Priorität“, sagte Steve Lucas, CEO von Boomi. „Wenn Unternehmen wachsen und weiterhin unvorhergesehene geschäftliche Herausforderungen meistern müssen, wird es immer schwieriger, den Überblick über alle Daten, Technologien und Prozesse zu behalten, die zum Erreichen der Geschäftsziele erforderlich sind. Generative KI kann für heutige Unternehmen ein leistungsstarkes Instrument sein, das wertvolle Integrations- und Automatisierungspraktiken rationalisiert und IT-Groups entlastet, damit sie sich auf Innovationen konzentrieren können. Wege zu finden, GenAI effektiv zu nutzen, ist das nächste Vorrecht von Unternehmen. Boomi hilft Unternehmen nicht nur dabei, sich darauf vorzubereiten, sondern führt auch die GenAI-Offensive im Bereich Integration und Automatisierung an.“

Weitere wichtige Erkenntnisse des Berichts sind:

• IT-Leiter haben mehr Vertrauen in GenAI als Unternehmensleiter: Bei den CxOs in der IT ist das Vertrauen höher: 82 % vertrauen den Ergebnissen von GenAI „vollständig“ oder „einigermaßen“, im Vergleich zu 63 % der CxOs in den Geschäftsbereichen.
• Genauigkeit und Konsistenz sind wichtige Faktoren für das Vertrauen in GenAI: Mehr als die Hälfte der Unternehmensleiter (57 %) nannte Genauigkeit und Qualität der KI-Ergebnisse als einen Faktor für ihr Vertrauen in KI. Knapp die Hälfte (48 %) nannte Konsistenz und Zuverlässigkeit als KI-Vertrauensfaktor.
• Unternehmensleiter sehen in GenAI einen enormen Wert: Als wichtigste potenzielle Vorteile der Nutzung von GenAI nannten die Führungskräfte verbesserte Prozessgenauigkeit und -konsistenz (38 %), Kostensenkung (38 %), Innovation und Kreativität (34 %), rationalisierte Betriebsabläufe (31 %), optimierte Ressourcen (28 %) und die Erzielung von Wettbewerbsvorteilen (27 %).
• GenAI bietet einen weitreichenden Nutzen für Integrationen: Alle Befragten glauben, dass praktisch jede Artwork der Integration von GenAI-gestützten Integrationsplattformen profitieren würde.

„Integration und Automatisierung sind die Grundlage, auf der Unternehmen ihre geschäftliche Agilität aufbauen“, sagte Matt McLarty, CTO bei Boomi. „Allerdings ist die Integration und Automatisierung von Systemen nicht immer einfach. Deshalb zahlt es sich aus, für beides einen einheitlichen Ansatz zu haben. Mit einer einheitlichen Plattform, die auf KI-Technologie basiert, können Unternehmen die Vorteile einer umfassenden Integration und Automatisierung nutzen und gleichzeitig unerwünschte Komplexität reduzieren.“