In der hochriskanten Welt der KI-Infrastruktur geht die Branche von einer einzigen Annahme aus: Flexibilität ist Trumpf. Wir bauen Allzweck-GPUs, weil sich KI-Modelle jede Woche ändern und wir programmierbares Silizium benötigen, das sich an den nächsten Forschungsdurchbruch anpassen kann.

Aber TaalasDas in Toronto ansässige Startup glaubt, dass Flexibilität genau das ist, was KI zurückhält. Laut dem Taalas-Group müssen wir aufhören, Intelligenz auf Allzweckcomputern zu „simulieren“, und stattdessen damit beginnen, sie direkt in Silizium zu „gießen“, wenn wir wollen, dass KI so verbreitet und billig wie Plastik ist.

Das Drawback: Die „Reminiscence Wall“ und die GPU-Steuer

Die aktuellen Kosten für den Betrieb eines Massive Language Mannequin (LLM) werden durch einen physischen Engpass bestimmt: den Erinnerungswand.

Herkömmliche Prozessoren (GPUs) basieren auf der „Instruction Set Structure“ (ISA). Sie trennen Rechenleistung und Speicher. Wenn Sie einen Inferenzdurchlauf auf einem Modell wie Llama-3 ausführen, verbringt der Chip den größten Teil seiner Zeit und Energie damit, Gewichte vom Excessive Bandwidth Reminiscence (HBM) zu den Verarbeitungskernen zu transportieren. Diese „Datenbewegungssteuer“ macht quick 90 % des Stromverbrauchs in modernen KI-Rechenzentren aus.

Die Lösung von Taalas ist radikal: Eliminieren Sie den Speicherabrufzyklus. Mithilfe eines proprietären automatisierten Designablaufs übersetzt Taalas den Rechengraphen eines bestimmten Modells direkt in das physische Format eines Chips. In ihrem HC1 (Hardcore 1)-Chip sind die Gewichte und die Architektur des Modells buchstäblich in die Verkabelung des Siliziums eingraviert.

Hardcore-Modelle: 17.000 Token professional Sekunde

Die Ergebnisse dieses „Direct-to-Silicon“-Ansatzes definieren die Leistungsobergrenze für Inferenz neu. Bei ihrer letzten Enthüllung demonstrierte Taalas das HC1 Betrieb eines Llama 3.1 8B-Modells. Während ein NVIDIA H100 der Spitzenklasse einen einzelnen Benutzer mit etwa 150 Token professional Sekunde bedienen kann, leistet der HC1 eine atemberaubende Leistung 16.000 bis 17.000 Token professional Sekunde.

Dies verändert die „Einheitsökonomie“ der KI:

• Leistung: Ein einzelner HC1-Chip kann ein kleines GPU-Rechenzentrum hinsichtlich des Rohdurchsatzes für ein bestimmtes Modell übertreffen.
• Effizienz: Taalas behauptet a 1000-fache Verbesserung in der Effizienz (Leistung professional Watt und Leistung professional Greenback) im Vergleich zu herkömmlichen Chips.
• Infrastruktur: Da die Gewichte fest verdrahtet sind, sind kein externes HBM oder komplexe Flüssigkeitskühlsysteme erforderlich. Ein standardmäßiges luftgekühltes Rack kann zehn dieser 250-W-Karten aufnehmen und liefert so die Leistung eines gesamten GPU-Clusters in einer einzigen Serverbox.

Die 60-Tage-Grenze durchbrechen: Die automatisierte Gießerei

Der offensichtliche Haken für einen KI-Entwickler ist Flexibilität. Wenn Sie heute ein Modell fest in einen Chip integrieren, was passiert, wenn morgen ein besseres Modell herauskommt? In der Vergangenheit dauerte der Entwurf eines ASIC (Software-Particular Built-in Circuit) zwei Jahre und kostete mehrere zehn Millionen Greenback.

Taalas hat dieses Drawback gelöst Automatisierung. Sie haben ein Compiler-ähnliches Gießereisystem aufgebaut, das Modellgewichte nimmt und in etwa einer Woche ein Chipdesign generiert. Durch die Konzentration auf einen optimierten Fertigungsablauf, bei dem nur die oberen Metallmasken des Siliziums ausgetauscht werden, konnten sie die Durchlaufzeit von „Gewichte zu Silizium“ auf nur noch wenige Sekunden verkürzen zwei Monate.

Dies ermöglicht einen „saisonalen“ Hardwarezyklus. Ein Unternehmen könnte im Frühjahr die Feinabstimmung eines Grenzmodells vornehmen und bis zum Sommer Tausende spezialisierter, hocheffizienter Inferenzchips im Einsatz haben.

Der Marktwandel: Von Schaufeln zu Briefmarken

Dieser Übergang markiert einen entscheidenden Second im KI-Hype-Zyklus. Wir bewegen uns von der Part „Forschung und Schulung“, in der GPUs für ihre Flexibilität von entscheidender Bedeutung sind, zur Part „Bereitstellung und Inferenz“, in der die Kosten professional Token die einzige Messgröße sind, die zählt.

Wenn Taalas erfolgreich ist, wird sich der KI-Markt in zwei verschiedene Ebenen aufteilen:

1. Allgemeine Schulung: Unter der Leitung von NVIDIA und AMD werden die riesigen, flexiblen Cluster bereitgestellt, die zum Entdecken und Trainieren neuer Architekturen erforderlich sind.
2. Spezialisierte Schlussfolgerung: Angeführt von „Gießereien“ wie Taalas, die diese bewährten Architekturen nutzen und sie in billiges, allgegenwärtiges Silizium für alles von Smartphones bis hin zu Industriesensoren „drucken“.

Wichtige Erkenntnisse

• Der „festverdrahtete“ Paradigmenwechsel: Taalas zieht um softwaredefinierte KI (Ausführen von Modellen auf Allzweck-GPUs) bis Hardwaredefinierte KI. Indem sie die Gewichte und Architektur eines bestimmten Modells direkt in das Silizium „einbacken“, machen sie den herkömmlichen Befehlssatz-Overhead überflüssig und machen das Modell effektiv zum Prozessor selbst.
• Tod der Erinnerungsmauer: Herkömmliche KI-{Hardware} verschwendet etwa 90 % ihrer Energie beim Verschieben von Daten zwischen Speicher und Rechenleistung. Taalas HC1 (Hardcore 1) Der Chip eliminiert die „Reminiscence Wall“, indem er die Modellparameter physisch in den Metallschichten des Chips verdrahtet, wodurch der Bedarf an teurem Excessive Bandwidth Reminiscence (HBM) entfällt.
• 1000x Effizienzsprung: Durch die Abschaffung der „Programmierbarkeitssteuer“ behauptet Taalas a 1.000-fache Verbesserung in Leistung professional Watt und Leistung professional Greenback. In der Praxis bedeutet dies, dass ein HC1 treffen kann 17.000 Token professional Sekunde auf einem Llama 3.1 8B-Modell – übertrifft ein Customary-GPU-Rack deutlich und verbraucht dabei weitaus weniger Strom.
• Automatisierte „Direct-to-Silicon“-Gießerei: Um das Drawback der Modellveralterung zu lösen, verwendet Taalas ein proprietäres Automatisierter Designablauf. Dadurch verkürzt sich die Zeit für die Erstellung eines benutzerdefinierten KI-Chips von Jahren auf nur noch wenige Jahre WochenDies ermöglicht es Unternehmen, ihre fein abgestimmten Modelle saisonal in Silizium zu „drucken“.
• Die Zukunft der Rohstoff-KI: Diese Technologie signalisiert einen Wandel von „Cloud-First“ hin zu „Gerätenative“ KI. Da Inferenz zu einem billigen, fest verdrahteten Intestine wird, wird KI von zentralisierten Servern auf lokale {Hardware} mit geringem Stromverbrauch verlagert – von Smartphones bis hin zu Industriesensoren – ohne Latenz und ohne Abonnementkosten.

---

Schauen Sie sich das an Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

[ad_2]

Randomisierte Experimente (z. B. A/B-Assessments, RCTs) sind großartig. Ein einfaches Experiment mit Behandlung vs. Kontrolle, bei dem alle Einheiten die gleiche Wahrscheinlichkeit haben, einer Behandlung zugeteilt zu werden, stellt sicher, dass der Erhalt der Behandlung nicht systematisch mit beobachteten oder unbeobachteten Eigenschaften der Versuchseinheiten korreliert. Es wird Unterschiede geben, z. B. bei den mittleren Kovariaten zwischen Behandlung und Kontrolle, aber diese werden bereits bei der standardmäßigen statistischen Inferenz über die Auswirkungen der Behandlung berücksichtigt.

Bei der Randomisierung kann jedoch etwas schiefgehen. Dies ist oft als eine Artwork latenter Nichteinhaltung oder Abnutzung verständlich. Einige Einheiten werden der Behandlung zugewiesen, aber etwas nachgelagertes überschreibt dies und die ursprüngliche Zuweisung geht verloren (eine Artwork latenter Nichteinhaltung). Oder wenn diese Nichtübereinstimmung erkannt wird, löscht etwas nachgelagertes diese Beobachtungen aus den Daten. Oder vielleicht führt die Behandlung dazu, dass Einheiten (z. B. Benutzer einer App) das Programm sofort beenden (z. B. wenn die App abstürzt) und diese Einheit wird nicht als dem Experiment ausgesetzt protokolliert.

Additionally Es ist intestine zu überprüfen, ob einige wichtige Zusammenfassungen der Aufgaben unter der angenommenen Randomisierung nicht extrem unplausibel sind. Wir können beispielsweise einen gemeinsamen Take a look at auf Unterschiede in den Kovariaten vor der Behandlung durchführen. Oder – und das ist besonders nützlich, wenn uns eine oder viele Kovariaten fehlen – wir können einfach testen, ob die Anzahl der Einheiten in jeder Behandlung mit unserer geplanten (z. B. Bernoulli(1/2)) Randomisierung übereinstimmt; in der Technologiebranche wird dies manchmal als „Pattern Ratio Mismatch“-Take a look at (SRM) bezeichnet.

Diese Artwork von Problemen kommt recht häufig vor. Sie entstehen zumeist durch das strömende Eintreffen von Randomisierungseinheiten an dem Punkt, an dem die Behandlung angewendet wird. In Fällen, in denen Benutzer nicht angemeldet sind, ist dies unvermeidlich. In Fällen, in denen es ein Universum von Benutzerkonten gibt, kann es immer noch eine Sackgasse sein, sie alle zufällig den Behandlungen zuzuweisen und diese als analytische Stichprobe zu verwenden: Die meisten dieser Benutzer hätten den Teil des Dienstes, in dem die Behandlung angewendet wird, nie berührt. Stattdessen ist es daher üblich, die Protokollierung der Exposition gegenüber dem Experiment auszulösen und nur diese Stichprobe von Benutzern zu analysieren (die weniger als 1 % aller Benutzer ausmachen kann); die Verwendung dieser Artwork von „Auslösung“ oder Expositionsprotokollierung ist sehr verbreitet, kann aber auch diese Probleme mit sich bringen. Eine Analyse von Experimenten mit mehreren Produkten bei Microsoft ergab beispielsweise, dass Bei etwa 6 % dieser Experimente stimmten die Stichprobenverhältnisse nicht überein (bei p<0,0005).

Hier ist ein weiteres Beispiel für Randomisierungsprobleme – mit öffentlichen Daten.

Upworthy-Forschungsarchiv

Nathan Matias, Kevin Munger, Marianne Aubin Le Quere und Charles Ebersole arbeiteten mit Upworthy zusammen, um ein Datensatz von über 15.000 Experimenten mit insgesamt über 150.000 Behandlungen. Jedes dieser Experimente verändert die Überschrift oder das Bild, das mit einem Artikel auf Upworthy verknüpft ist, wie es beim Anzeigen eines anderen Schwerpunktartikels angezeigt wird; das Ergebnis sind dann Klicks auf diese Überschriften. Sie erinnern sich vielleicht an Upworthy als einen der wichtigsten Innovatoren im Bereich „Clickbait“ und insbesondere Clickbait mit einer bestimmten ideologischen Ausrichtung.

Was mir an der Artwork und Weise, wie diese Daten veröffentlicht wurden, wirklich gefällt, ist, dass sie zunächst nur eine Teilmenge der Experimente als explorativen Datensatz zur Verfügung gestellt haben. So konnten die Forscher erste Analysen dieser Daten durchführen und dann Analysen und/oder Vorhersagen für die verbleibenden Daten vorab registrieren. Für mich hat dies hilfreich verdeutlicht, dass der beste Weg, einen Datensatz als öffentliches Intestine bereitzustellen, manchmal nicht darin besteht, ihn auf einmal bereitzustellen, sondern die Artwork und Weise seiner Veröffentlichung zu strukturieren.

Randomisierungsprobleme

Es gab einige Probleme mit der Randomisierung der Behandlungen in den veröffentlichten Daten. Insbesondere wies mich Garrett Johnson darauf hin, dass oft zu viele oder zu wenige Zuschauer einer der Behandlungen (additionally SRMs) zugewiesen wurden. Im Jahr 2021 bin ich dem noch etwas näher nachgegangen. (Die folgende Analyse basiert auf den 4.869 Experimenten im explorativen Datensatz mit mindestens 1.000 Beobachtungen.)

Wenn Sie für den Anteil in jeder Behandlung einen Chi-Quadrat-Take a look at durchführen, erhalten Sie eine p-Wert-Verteilung, die wie folgt aussieht, wenn Sie den interessanten Teil vergrößern:

Das heißt, es gibt viel zu viele kleine p-Werte im Vergleich zur Gleichverteilung – oder, praktischer ausgedrückt, es gibt viele Experimente, die nicht die richtige Anzahl an Beobachtungen unter jeder Bedingung zu haben scheinen. Einige weitere Analysen deuteten darauf hin, dass diese „schlechten“ SRM-Experimente besonders häufig bei Experimenten auftraten, die in einem bestimmten Zeitraum durchgeführt wurden:

Aber es struggle schwer, genaue Angaben dazu zu machen, warum das so struggle.

Additionally kontaktierte ich 2022 Nathan Matias und Kevin Munger. Sie nahmen die Sache sehr ernst, aber da sie diese Experimente nicht durchgeführt oder die Werkzeuge dafür gebaut hatten, struggle es für sie schwierig, das Drawback zu untersuchen.

Nun, letzte Woche haben sie die Ergebnisse öffentlich bekannt gegeben ihrer Untersuchung. Sie vermuten, dass dieses Drawback durch Caching verursacht wurde, wodurch nachfolgenden Besuchern einer bestimmten zentralen Artikelseite möglicherweise die gleichen Überschriften für andere Artikel angezeigt wurden. Dies würde eine seltsame Artwork von autokorrelierter Randomisierung erzeugen. Vielleicht könnten Punktschätzungen immer noch unvoreingenommen und konsistent sein, aber Schlussfolgerungen, die auf der Annahme einer unabhängigen Randomisierung basieren, könnten falsch sein.

Ich persönlich bin bei einem von mir untersuchten Experiment noch nie auf diese Artwork von Caching-Drawback gestoßen. Es können andere Caching-Probleme auftreten, z. B. wenn eine neue Behandlung mehr Cache-Fehler verursacht, was die Dinge möglicherweise so verlangsamt, dass einige Protokollierungen nicht stattfinden. Dies ist additionally möglicherweise eine nützliche Ergänzung zu einer Menagerie von Zufalls-Teufeln. (Einige dieser Probleme werden in dieses Papier und andere.)

Sie identifizieren einen bestimmten Zeitraum, in dem dieses Drawback gebündelt auftritt: 25. Juni 2013 bis 10. Januar 2014.

Im Vorfeld ihrer Ankündigung kontaktierten Nathan und seine Kollegen die verschiedenen Groups, die Forschungsergebnisse mit dieser erstaunlichen Sammlung von Experimenten veröffentlicht haben. Wenn man die Daten aus dem Zeitraum mit diesem besonders starken Überschuss an SRMs ausschließt (22 % der Experimente), haben sich die Kernergebnisse dieser Groups im Allgemeinen nicht allzu sehr verändert, was additionally positiv ist.

Bleibende Probleme?

Ich habe mir den gesamten Datensatz der Experimente noch einmal angesehen. Wenn man den Zeitraum außer Acht lässt, in dem das Drawback konzentriert ist, gibt es immer noch zu viele SRMs. 113 der Experimente außerhalb dieses Zeitraums haben SRM-p-Werte < 0,001. Das sind 0,45 % bei einem 95-%-Konfidenzintervall von (0,37 %, 0,54 %), additionally handelt es sich hier eindeutig um einen Überschuss solcher unausgewogener Experimente (verglichen mit erwarteten 0,1 % unter dem Nullwert) – wenn auch viel, viel weniger als im schlechten Zeitraum (als dieser Wert bei ~2/3 liegt). Das Drawback ist vor dem akuten Zeitraum schlimmer als danach, was Sinn ergibt, wenn das Workforce eine Grundursache behoben hat:

Wenn nur etwa ein halbes Prozent der verbleibenden Experimente Probleme aufweisen, sind viele Verwendungen dieser Daten wahrscheinlich nicht betroffen. Schließlich hatte das Entfernen von 22 % der Experimente keine großen Auswirkungen auf die Schlussfolgerungen anderer Arbeiten. Allerdings wissen wir natürlich nicht unbedingt, ob wir alle Verstöße gegen die Nullhypothese einer erfolgreichen Randomisierung erkennen können – einschließlich einiger, die die Ergebnisse dieses Experiments ungültig machen könnten. Aber insgesamt denke ich, dass wir im Vergleich dazu, diese Assessments nicht durchgeführt zu haben, vielleicht mehr Grund haben, den verbleibenden Experimenten zu vertrauen – insbesondere denen nach der akuten Part.

Ich hoffe, dass dies eine interessante Fallstudie ist, die weiter veranschaulicht, wie weit verbreitet und problematisch Randomisierungsprobleme sein können. Und vielleicht habe ich bald ein weiteres Beispiel.

(Dieser Beitrag stammt von Dean Eckles. Da dieser Beitrag Praktiken in der Internetbranche diskutiert, stelle ich fest, dass meine Angaben damit verbundene finanzielle Interessen beinhalten und dass ich an der Entwicklung und dem Bau einiger dieser Experimentiersysteme beteiligt struggle.)

[ad_2]