Lasst – chatgpz.de – KI-Tools & Praxiswissen https://chatgpz.de Unabhängige Tests, Anleitungen und Hintergründe zu KI-Tools. Sun, 18 Jan 2026 04:29:42 +0000 de-DE hourly 1 https://wordpress.org/?v=6.4.2 234900186 Ist Twitter down? Benutzer melden Zugriffsprobleme, da sich X nicht öffnen lässt https://chatgpz.de/data-science/ist-twitter-down-benutzer-melden-zugriffsprobleme-da-sich-x-nicht-oeffnen-laesst/ https://chatgpz.de/data-science/ist-twitter-down-benutzer-melden-zugriffsprobleme-da-sich-x-nicht-oeffnen-laesst/#respond Sun, 18 Jan 2026 04:29:42 +0000 http://chatgpz.de/data-science/ist-twitter-down-benutzer-melden-zugriffsprobleme-da-sich-x-nicht-oeffnen-laesst/ [ad_1]

Benutzerberichte in Echtzeit deuten auf erhebliche Probleme bei X hin, das früher als Twitter bekannt conflict. Wenn Sie sich fragen, ob X gerade ausgefallen ist, sind Sie mit dieser Erfahrung nicht allein.

Twitter ist ausgefallen, da Benutzer X Ausfälle melden

Daten von Abwärtsdetektor zeigt einen starken Anstieg der Problemmeldungen in den letzten 24 Stunden. Während sporadische Probleme den ganzen Tag über häufig auftreten, deutet die aktuelle Häufigkeit auf einen größeren Vorfall hin.

Benutzer wenden sich an andere Plattformen und fragen, ob Twitter nicht verfügbar ist, da der Dienst sowohl auf Mobil- als auch auf Desktop-Geräten nicht geladen werden kann.

Die meisten Benutzer können nicht auf die Twitter-Web site oder -App zugreifen

Die Probleme scheinen die Plattformen gleichmäßig zu betreffen. Den Daten zufolge beziehen sich 48 % der Beschwerden auf die Web site, während 47 % der Nutzer Probleme mit der mobilen Anwendung melden. Eine kleinere Gruppe von 6 % meldet speziell Serververbindungsfehler.

Für viele führt dies dazu, dass X überhaupt nicht geöffnet wird oder Feeds nicht aktualisiert werden.

In der Neighborhood wächst die Frustration

Während der Ausfall andauert, äußern Benutzer ihre Unzufriedenheit über die Dienstunterbrechung. Kommentare auf Statusverfolgungsseiten spiegeln die Störung wider, wobei einige Benutzer scherzen, dass der fehlende Zugang sich wie eine Rückkehr in die „Steinzeit“ anfühlt.

Idealerweise sollten Sie dies beim Beamten überprüfen X-Statusseiten um zu sehen, wann der Dienst wiederhergestellt wird.


Hervorgehobener Bildnachweis

[ad_2]

]]>
https://chatgpz.de/data-science/ist-twitter-down-benutzer-melden-zugriffsprobleme-da-sich-x-nicht-oeffnen-laesst/feed/ 0 15644
Neue Software program entwirft umweltfreundliche Kleidung, die sich zu neuen Artikeln zusammenfügen lässt | MIT-Nachrichten https://chatgpz.de/artificial-intelligence/neue-software-program-entwirft-umweltfreundliche-kleidung-die-sich-zu-neuen-artikeln-zusammenfuegen-laesst-mit-nachrichten/ https://chatgpz.de/artificial-intelligence/neue-software-program-entwirft-umweltfreundliche-kleidung-die-sich-zu-neuen-artikeln-zusammenfuegen-laesst-mit-nachrichten/#respond Sat, 18 Oct 2025 00:56:54 +0000 http://chatgpz.de/artificial-intelligence/neue-software-entwirft-umweltfreundliche-kleidung-die-sich-zu-neuen-artikeln-zusammenfuegen-laesst-mit-nachrichten/ [ad_1]

Es ist schwierig, mit den sich ständig ändernden Developments der Modewelt Schritt zu halten. Was in einer Minute „in“ ist, ist in der nächsten Saison oft aus der Mode geraten, was möglicherweise dazu führt, dass Sie Ihre Garderobe neu bewerten.

Sich über die neuesten Modestile auf dem Laufenden zu halten, kann jedoch verschwenderisch und teuer sein. Rund 92 Millionen Tonnen Jährlich fallen Textilabfälle an, einschließlich der Kleidung, die wir wegwerfen, wenn sie aus der Mode kommt oder nicht mehr passt. Aber was wäre, wenn wir unsere Kleidung einfach zu den von uns gewünschten Outfits zusammenstellen könnten und uns dabei an Developments und die Artwork und Weise anpassen, wie sich unser Körper verändert?

Ein Forscherteam des Pc Science and Synthetic Intelligence Laboratory (CSAIL) des MIT und Adobe versucht, umweltfreundliche, vielseitige Kleidungsstücke zum Leben zu erwecken. Ihr neues „Umgestalten„Das Softwaresystem zerlegt Modedesign in Module – im Wesentlichen kleinere Bausteine ​​–, indem es Benutzern ermöglicht, jedes Ingredient eines Kleidungsstücks zu zeichnen, zu planen und zu visualisieren. Das Device verwandelt Modeideen in eine Blaupause, die beschreibt, wie jede Komponente zu rekonfigurierbarer Kleidung zusammengesetzt werden kann, beispielsweise einer Hose, die in ein Kleid verwandelt werden kann.

Mit Refashion zeichnen Benutzer einfach Formen und fügen sie zusammen, um einen Umriss für anpassbare Modestücke zu entwickeln. Es ist ein visuelles Diagramm, das zeigt, wie man Kleidungsstücke schneidet und eine einfache Möglichkeit bietet, Dinge wie ein Hemd mit aufsteckbarer Kapuze für regnerische Tage zu entwerfen. Man könnte auch einen Rock kreieren, der dann in ein Kleid für ein formelles Abendessen umgewandelt werden kann, oder Umstandsmode, die in verschiedenen Phasen der Schwangerschaft passt.

„Wir wollten Kleidungsstücke schaffen, die von Anfang an die Wiederverwendung berücksichtigen“, sagt Rebecca Lin, Doktorandin am MIT Division of Electrical Engineering and Pc Science (EECS), CSAIL- und Media Lab-Forscherin und Hauptautorin von a Papier, in dem das Projekt vorgestellt wird. „Die meisten Kleidungsstücke, die Sie heute kaufen, sind statisch und werden weggeworfen, wenn Sie sie nicht mehr wollen. Refashion holt stattdessen das Beste aus unseren Kleidungsstücken heraus, indem es uns dabei hilft, Artikel zu entwerfen, die leicht in der Größe geändert, repariert oder in andere Outfits umgestaltet werden können.“

Module à la mode

Die Forscher führten eine vorläufige Benutzerstudie durch, in der sowohl Designer als auch Neulinge Refashion erkundeten und Prototypen für Kleidungsstücke erstellen konnten. Die Teilnehmer stellten Teile wie ein asymmetrisches Oberteil zusammen, das zu einem General verlängert oder in ein formelles Kleid umgewandelt werden konnte, oft innerhalb von 30 Minuten. Diese Ergebnisse legen nahe, dass Refashion das Potenzial hat, das Prototyping von Kleidungsstücken zugänglicher und effizienter zu machen. Aber welche Funktionen könnten zu dieser Benutzerfreundlichkeit beitragen?

Die Benutzeroberfläche präsentiert im Modus „Mustereditor“ zunächst ein einfaches Raster, in dem Benutzer Punkte verbinden können, um die Grenzen eines Kleidungsstücks zu skizzieren. Im Wesentlichen geht es darum, rechteckige Panels zu zeichnen und festzulegen, wie verschiedene Module miteinander verbunden werden.

Benutzer können die Type jeder Komponente anpassen, ein gerades Design für Kleidungsstücke erstellen (was für weniger figurbetonte Artikel wie Chinos nützlich sein kann) oder vielleicht an einer der Vorlagen von Refashion herumbasteln. Ein Benutzer kann vorgefertigte Entwürfe für Dinge wie ein T-Shirt, eine taillierte Bluse oder eine Hose bearbeiten.

Ein anderer, kreativerer Weg besteht darin, das Design einzelner Module zu ändern. Für den Anfang kann man die Funktion „Falten“ wählen, um ein Kleidungsstück ähnlich einer Ziehharmonika über sich selbst zu falten. Es ist eine nützliche Möglichkeit, so etwas wie ein Maxikleid zu entwerfen. Die Possibility „Raffung“ sorgt für einen künstlerischen Contact, bei dem ein Kleidungsstück zusammengeknüllt wird, um bauschige Röcke oder Ärmel zu erzeugen. Ein Benutzer könnte sogar das „Dart“-Modul verwenden, das ein dreieckiges Stück aus dem Stoff entfernt. Es ermöglicht die Formung eines Kleidungsstücks in der Taille (z. B. für einen Bleistiftrock) oder die Anpassung an den Oberkörper (z. B. figurbetonte Hemden).

Auch wenn es den Anschein hat, dass jede dieser Komponenten zusammengenäht werden muss, ermöglicht Refashion den Benutzern, Kleidungsstücke auf flexiblere und effizientere Weise zu verbinden. Kanten können über doppelseitige Verbindungen wie Metalldruckknöpfe (wie die Knöpfe zum Schließen einer Jeansjacke) oder Klettpunkte zusammengenäht werden. Ein Benutzer könnte sie auch in Stiften namens Brads befestigen, die eine spitze Seite haben, die sie durch ein Loch stecken und in zwei „Beine“ teilen, um sie an einer anderen Oberfläche zu befestigen; Es ist eine praktische Möglichkeit, beispielsweise ein Bild auf einer Plakatwand zu befestigen. Beide Verbindungsmethoden ermöglichen eine einfache Neukonfiguration von Modulen, falls diese beschädigt sind oder ein „Match-Verify“ ein neues Aussehen erfordert.

Während ein Benutzer sein Kleidungsstück entwirft, erstellt das System automatisch ein vereinfachtes Diagramm, wie es zusammengesetzt werden kann. Das Muster ist in nummerierte Blöcke unterteilt, die auf verschiedene Teile einer 2D-Model gezogen werden, um die Place jeder Komponente festzulegen. Anschließend kann der Nutzer anhand von 3D-Modellen verschiedener Körpertypen simulieren, wie seine nachhaltige Kleidung aussehen wird (man kann auch ein Modell hochladen).

Schließlich kann ein digitaler Entwurf für nachhaltige Kleidung verlängert, verkürzt oder mit anderen Teilen kombiniert werden. Dank Refashion könnte ein neues Stück Sinnbild für einen möglichen Modewandel sein: Anstatt jedes Mal neue Kleidung zu kaufen, wenn wir ein neues Outfit wollen, können wir bestehende einfach umkonfigurieren. Der Schal von gestern könnte die Mütze von heute sein und das T-Shirt von heute könnte die Jacke von morgen sein.

„Rebeccas Arbeit befindet sich an einer spannenden Schnittstelle zwischen Berechnung und Kunst, Handwerk und Design“, sagt Erik Demaine, Professor am MIT EECS und leitender Forscher am CSAIL, der Lin berät. „Ich bin gespannt, wie Refashion dem Träger individuelles Modedesign zugänglich machen und gleichzeitig Kleidung wiederverwendbarer und nachhaltiger machen kann.“

Ständiger Wandel

Während Refashion eine umweltfreundlichere Imaginative and prescient für die Zukunft der Mode präsentiert, stellen die Forscher fest, dass sie das System aktiv verbessern. Sie beabsichtigen, die Schnittstelle zu überarbeiten, um langlebigere Artikel zu unterstützen und über Commonplace-Prototyping-Stoffe hinauszugehen. Refashion unterstützt möglicherweise bald auch andere Module, wie zum Beispiel gebogene Panels. Das CSAIL-Adobe-Crew prüft möglicherweise auch, ob sein System so wenig Materialien wie möglich verwenden kann, um Abfall zu minimieren, und ob es dabei helfen kann, alte, im Laden gekaufte Outfits neu zu mischen.

Lin plant außerdem die Entwicklung neuer Computertools, die Designern dabei helfen, mithilfe von Farben und Texturen einzigartige, personalisierte Outfits zu erstellen. Sie erforscht, wie man Kleidung durch Patchwork entwerfen kann – im Wesentlichen dadurch, dass man kleine Stücke aus Materialien wie Dekostoffen, recyceltem Denim und Häkelblöcken ausschneidet und sie zu einem größeren Stück zusammenfügt.

„Dies ist ein großartiges Beispiel dafür, wie computergestütztes Design auch für die Unterstützung nachhaltigerer Praktiken in der Modebranche von entscheidender Bedeutung sein kann“, sagt Adrien Bousseau, leitender Forscher am Inria Centre der Université Côte d’Azur, der nicht an der Studie beteiligt struggle. „Indem sie die Änderung von Kleidungsstücken von Grund auf förderten, entwickelten sie eine neuartige Designschnittstelle und einen begleitenden Optimierungsalgorithmus, der Designern hilft, Kleidungsstücke zu entwerfen, die durch Neukonfiguration eine längere Lebensdauer durchmachen können. Während Nachhaltigkeit der industriellen Produktion oft zusätzliche Einschränkungen auferlegt, bin ich zuversichtlich, dass Forschungen wie die von Lin und ihren Kollegen Designern die Möglichkeit geben werden, trotz dieser Einschränkungen Innovationen voranzutreiben.“

Lin verfasste die Arbeit zusammen mit den Adobe Analysis-Wissenschaftlern Michal Lukáč und Mackenzie Leake, der leitenden Autorin der Arbeit und ehemaligen CSAIL-Postdoktorandin. Ihre Arbeit wurde teilweise von der MIT Morningside Academy for Design, einem MIT MAKE Design-2-Making Mini-Stipendium und dem Pure Sciences and Engineering Analysis Council of Canada unterstützt. Die Forscher präsentierten ihre Arbeit kürzlich auf dem ACM Symposium on Consumer Interface Software program and Know-how.

[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/neue-software-program-entwirft-umweltfreundliche-kleidung-die-sich-zu-neuen-artikeln-zusammenfuegen-laesst-mit-nachrichten/feed/ 0 13255
Was lässt eine Sprache wie sich selbst aussehen? https://chatgpz.de/artificial-intelligence/was-laesst-eine-sprache-wie-sich-selbst-aussehen/ https://chatgpz.de/artificial-intelligence/was-laesst-eine-sprache-wie-sich-selbst-aussehen/#respond Sun, 05 Oct 2025 11:13:22 +0000 https://chatgpz.de/artificial-intelligence/was-laesst-eine-sprache-wie-sich-selbst-aussehen/ [ad_1]

Sprechen Sie ein Wort einer Sprache, Sie können oft erraten, welche Sprache Sie nur sehen, indem Sie bestimmte Charaktermuster erkennen. Ich spreche zum Beispiel nicht isländisch, aber ich erkenne sofort isländischen Textual content, wenn ich Buchstaben wie „ð“ oder „Þ“ sehe, da diese Charaktere anderswo äußerst selten sind. Ebenso habe ich bemerkt, dass es wahrscheinlich Niederländisch ist, wenn ich in einem Textual content viel „IJK“ sehe.

In diesem Artikel wird untersucht, wie wir einfache Statistiken verwenden können, um diese visuellen Fingerabdrücke zu lernen, die Charaktersequenzen, die am stärksten signalisieren, welche Sprache Sie in 20 verschiedenen europäischen Sprachen betrachten.

Wie man sprachliche Fingerabdrücke mit Statistiken lernt

Um die visuellen „Fingerabdrücke“ einer Sprache zu lernen, brauchen wir zunächst eine Möglichkeit, zu messen, wie eindeutig ein bestimmtes Charaktermuster ist. Ein natürlicher Ausgangspunkt könnte darin bestehen, die häufigsten Charaktermuster in jeder Sprache zu betrachten. Dieser Ansatz fällt jedoch schnell ab, da ein Charaktermuster in einer Sprache sehr häufig sein könnte und auch in anderen sehr häufig auftritt. Frequenz allein erfasst keine Einzigartigkeit. Stattdessen wollen wir fragen:

„Wie viel wahrscheinlicher ist dieses Muster in einer Sprache im Vergleich zu allen anderen?“

Hier kommt Statistiken ins Spiel! Formal lassen Sie:

  • L Sei der Satz aller 20 untersuchten Sprachen
  • S Seien Sie der Satz aller beobachteten Charaktermuster in diesen Sprachen

Um zu bestimmen, wie stark ein gegebenes Zeichenmuster sohn istS identifiziert eine Sprache l∈LWir berechnen das Wahrscheinlichkeitsverhältnis:

(Lr_ {s, l} = frac l) neg l) )

Dies vergleicht die Wahrscheinlichkeit, Charaktermuster S in Sprache L zu sehen, mit einer anderen Sprache. Je höher das Verhältnis ist, desto einzigartiger Binde ist dieses Muster für diese Sprache.

Berechnung des Wahrscheinlichkeitsverhältnisses in der Praxis

Um das Wahrscheinlichkeitsverhältnis für jedes Zeichenmuster in der Praxis zu berechnen, müssen wir die bedingten Wahrscheinlichkeiten in Größen umsetzen, die wir tatsächlich messen können. So definieren wir
Die relevanten Zählungen:

  • Cl(s): Die Anzahl der Zeiten Charaktermuster s erscheint in der Sprache l
  • C¬l(s): Die Anzahl der Zeiten Charaktermuster s erscheint in allen anderen Sprachen
  • Nl: Die Gesamtzahl der Vorkommen in der Sprache L
  • N¬l: Die Gesamtzahl der Mustervorkommen in allen anderen Sprachen

Mit diesen werden die bedingten Wahrscheinlichkeiten:

(P (s | l) = frac {c_l (s)} {n_l}, ~ p (s | neg l) = frac {c _ { neg l} (s)} {n _ { neg l}} )

und das Wahrscheinlichkeitsverhältnis vereinfacht:

.

Dies gibt uns eine numerische Punktzahl, die quantifiziert, wie viel wahrscheinlicher ein Zeichenmuster S in Sprache L gegen alle anderen erscheinen soll.

Umgang mit Nullzählungen

Es gibt leider ein Drawback mit unserer Wahrscheinlichkeitsverhältnisformel: Was passiert, wenn c¬l(s) = 0?

Mit anderen Worten, was ist, wenn ein bestimmtes Zeichenmuster nur in Sprache L und in keinen anderen erscheint? Dies führt zu einer Teilung durch Null im Nenner und einem Wahrscheinlichkeitsverhältnis von Unendlichkeit.

Technisch gesehen bedeutet dies, dass wir ein einzigartiges Muster für diese Sprache gefunden haben. Aber in der Praxis ist es nicht sehr hilfreich. Ein Charaktermuster erscheinen möglicherweise nur einmal in einer Sprache und niemals irgendwo anders und es würde eine unendliche Punktzahl erhalten. Nicht sehr nützlich als starker „Fingerabdruck“ der Sprache.

Um dieses Drawback zu vermeiden, wenden wir eine Technik mit dem Namen an Additive Glättung. Diese Methode passt die RAW -Zahlen leicht an, um Nullen zu beseitigen und die Auswirkungen seltener Ereignisse zu verringern.

Insbesondere fügen wir jeder Zählung im Zähler eine kleine konstante α hinzu, und α |S| zum Nenner mit |S| Die Gesamtzahl der beobachteten Charaktermuster. Dies hat die Auswirkung der Annahme, dass jedes Charaktermuster eine winzige Likelihood hat, in jeder Sprache auftreten, auch wenn es noch nicht gesehen wurde.

Bei Glättung werden die angepassten Wahrscheinlichkeiten:

(P'(s|l) = frac{c_l(s) + alpha}S,~P'(s|neg l)=frac{c_{neg l}(s) + alpha}{N_{neg l} + alpha|S|})

Und das zu maximierte Wahrscheinlichkeitsverhältnis beträgt:

. alpha | s |) cdot (c _ { neg l} (s) + alpha)} )

Dies hält die Dinge stabil und stellt sicher, dass ein seltenes Muster nicht automatisch dominiert, nur weil es exklusiv ist.

Der Datensatz

Nachdem wir nun eine Metrik definiert haben, um die markantesten Charaktermuster (unsere sprachlichen „Fingerabdrücke“) zu identifizieren, ist es Zeit, tatsächliche Sprachdaten zur Analyse zu sammeln.

Dafür habe ich die Python -Bibliothek verwendet WordFreqdie Wortfrequenzlisten für Dutzende von Sprachen kompiliert, die auf groß angelegten Quellen wie Wikipedia, Büchern, Untertiteln und Webtext basieren.

Eine besonders nützliche Funktion für diese Analyse ist top_n_list()was eine sortierte Liste der obersten N -Wörter in der höchsten Frequenz in einer bereitgestellten Sprache zurückgibt. Um beispielsweise die 40 häufigsten Wörter in Isländisch zu erhalten, würden wir anrufen:

wordfreq.top_n_list("is", 40, ascii_only=False)

Das Argument ascii_only=False stellt sicher, dass Nicht-ASCII-Charaktere-wie Isländisches „ð“ und „Þ“-in der Ausgabe erhalten bleiben. Dies ist für diese Analyse von wesentlicher Bedeutung, da wir speziell nach Sprach-Einheit-Charaktermustern suchen, die einzelne Zeichen enthält.

Um den Datensatz zu erstellen, habe ich in den folgenden 20 europäischen Sprachen die 5.000 häufigsten Wörter in den folgenden 20 europäischen Sprachen gezogen:

Katalanischer, Tschechischer, Dänisch, Niederländisch, Englisch, Finnisch, Französisch, Deutsch, Ungarisch, Isländisch, Italienisch, Lettisch, litauisch, norwegisch, polnisch, portugiesisch, rumänisch, spanisch, schwedisch und türkisch.

Dies ergibt ein großes mehrsprachiges Vokabular von 100.000 Gesamtwörtern, die reich genug sind, um aussagekräftige statistische Muster über Sprachen hinweg zu extrahieren.

Um die in der Analyse verwendeten Charaktermuster zu extrahieren, wurden alle möglichen Substrings der Länge 1 bis 5 aus jedem Wort im Datensatz erzeugt. Zum Beispiel das Wort language würde Muster enthalten, z. lAnwesend laAnwesend lanAnwesend langAnwesend languAnwesend aAnwesend anAnwesend angund so weiter. Das Ergebnis ist ein umfassendes Set S von über 180.000 einzigartigen Charaktermustern, die in den 20 untersuchten Sprachen beobachtet wurden.

Ergebnisse

Für jede Sprache werden die fünf markantesten Charaktermuster, die durch das Wahrscheinlichkeitsverhältnis eingestuft werden, gezeigt. Die Glättungskonstante wurde als α = 0,5 ausgewählt.

Da die Rohwahrscheinlichkeitsverhältnisse ziemlich groß sein können, habe ich den Foundation-10-Logarithmus des Wahrscheinlichkeitsverhältnisses (log10(LR)) stattdessen. Ein logarithmisches Verhältnis von 3 bedeutet beispielsweise, dass das Charaktermuster 10 beträgt3 = 1.000 -mal häufiger erscheint in dieser Sprache als in jedem anderen. Beachten Sie, dass diese Wahrscheinlichkeitsverhältnisse aufgrund der Glättung eher ungefähr als genau und die Extremität einiger Punkte angefeuert werden können.

Jede Zelle zeigt ein hochrangiges Charaktermuster und ihr logarithmisch-Probability-Verhältnis.

Sprache #1 #2 #3 #4 #5
katalanisch ènc
3.03
ènci
3.01
Kionen
2.95
ència
2.92
atge
2.77
tschechisch ě
4.14
R
3.94
ně
3.65
ů
3.59
Re
3.55
dänisch Øj
2.82
Æng
2.77
wie G
2.73
Skab
2.67
Øge
2.67
Niederländisch ijk
3.51
lijk
3.45
Elijk
3.29
Ijke
3.04
voor
3.04
Englisch Verbündete
2.79
tly
2.64
SOM
2.54
Ying
2.54
CTED
2.52
finnisch ää
3.74
ään
3.33
Tää
3.27
llä
3.13
ssä
3.13
Französisch êt
2.83
Eux
2.78
Rése
2.73
Dép
2.68
Prése
2.64
Deutsch Eich
3.03
tlic
2.98
tlich
2.98
Schl
2.98
Ichen
2.90
ungarisch O
3.80
ű
3.17
Gye
3.16
Szá
3.14
ész
3.09
isländisch D
4.32
Ausweis
3.74
Anzeige
3.64
Þ
3.63
ði
3.60
Italienisch Zione
3.41
Azion
3.29
Zion
3.07
Aggi
2.90
Zioni
2.87
lettisch A
4.50
ich
4.20
ē
4.10
Tā
3.66
n / A
3.64
litauisch ė
4.11
ų
4.03
ių
3.58
ich
3.57
ės
3.56
norwegisch sjon
3.17
ASJ
2.93
Øy
2.88
Asjon
2.88
Asjo
2.88
Polieren ł
4.13
S
3.79
C
3.77
ż
3.69
ał
3.59
Portugiesisch ão
3.73
Çã
3.53
Ção
3.53
Ação
3.32
Açã
3.32
rumänisch A
4.31
T
4.01
ți
3.86
S
3.64
Tă
3.60
Spanisch Ción
3.51
Ación
3.29
Ion
3.14
Sión
2.86
Iento
2.85
Schwedisch förs
2.89
Stall
2.72
Ställe
2.72
Ång
2.68
Öra
2.68
Türkisch ich
4.52
S
4.10
G
3.83
In
3.80
Lı
3.60

Diskussion

Im Folgenden finden Sie einige interessante Interpretationen der Ergebnisse. Dies ist keine umfassende Analyse, nur einige Beobachtungen, die ich bemerkenswert fand:

  • Viele der Charaktermuster mit den höchsten Wahrscheinlichkeitsverhältnissen sind einzelne Charaktere, die für ihre Sprache einzigartig sind, wie das zuvor erwähnte isländische „ð“ und „Þ“, Rumänische „ă“, „ț“ und „ș“ oder türkische „ı“, „ş“ und „ğ“. Da diese Zeichen im Wesentlichen in allen anderen Sprachen im Datensatz fehlen, hätten sie unendliche Wahrscheinlichkeitsverhältnisse erzeugt, wenn nicht die additive Glättung.
  • In einigen Sprachen, vor allem Niederländisch, sind viele der Prime -Ergebnisse untereinander. Zum Beispiel erscheint das obere Muster „IJK“ auch in den nächsthöheren Mustern: „Lijk“, „Elijk“ und „Ijke“. Dies zeigt, wie bestimmte Kombinationen von Buchstaben in längeren Worten häufig wiederverwendet werden, was sie für diese Sprache noch unverwechselbarer macht.
  • Das Englisch hat einige der am wenigsten charakteristischen Charaktermuster aller analysierten Sprachen mit einem maximalen logarithmischen Wahrscheinlichkeitsverhältnis von nur 2,79. Dies kann auf das Vorhandensein englischer Darlehenswörter in vielen anderen Pay attention von 5.000 Sprachen zurückzuführen sein, die die Einzigartigkeit von englischspezifischen Mustern verdünnen.
  • Es gibt mehrere Fälle, in denen die Prime -Charaktermuster gemeinsame grammatikalische Strukturen über Sprachen hinweg widerspiegeln. Zum Beispiel fungieren die spanischen „-ción“, italienischen „-zione“ und norwegischen „-sjon“ alle als Nominalisierungssuffixe, ähnlich wie die englische „Tion“-verwandeln Verben oder Adjektive in Substantive. Diese Endungen sind in jeder Sprache stark hervorgegangen und zeigen, wie unterschiedliche Sprachen mit unterschiedlichen Schreibweisen ähnliche Muster folgen können.

Abschluss

Dieses Projekt begann mit einer einfachen Frage: Wie sieht eine Sprache aus wie sich selbst? Durch die Analyse der 5000 häufigsten Wörter in 20 europäischen Sprachen und den Vergleich der von ihnen verwendeten Charaktermuster entdeckten wir einzigartige ‚Fingerabdrücke‘ für jede Sprache – von Akzentschreiben wie „ş“ und „Ø“ bis hin zu wiederkehrenden Briefkombinationen wie „IJK“ oder „Ción“. Obwohl die Ergebnisse nicht endgültig sind, bieten sie eine unterhaltsame und statistisch geerdete Möglichkeit, zu untersuchen, was Sprachen visuell auszeichnet, auch ohne ein einziges Wort zu verstehen.

Siehe mein Github -Repository Für die vollständige Code -Implementierung dieser Technik.

Danke fürs Lesen!

Referenzen

wordfreq Python Library:

  • Robyn Speer. (2022). rspeer/wordfreq: v3.0 (v3.0.2). Zenodo. https://doi.org/10.5281/zenodo.7199437

[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/was-laesst-eine-sprache-wie-sich-selbst-aussehen/feed/ 0 12936
Stellen Sie sich eine Zukunft vor, in der die Gesundheitsversorgung einige hinter sich lässt | MIT Nachrichten https://chatgpz.de/artificial-intelligence/stellen-sie-sich-eine-zukunft-vor-in-der-die-gesundheitsversorgung-einige-hinter-sich-laesst-mit-nachrichten/ https://chatgpz.de/artificial-intelligence/stellen-sie-sich-eine-zukunft-vor-in-der-die-gesundheitsversorgung-einige-hinter-sich-laesst-mit-nachrichten/#respond Wed, 02 Jul 2025 16:27:02 +0000 https://chatgpz.de/artificial-intelligence/stellen-sie-sich-eine-zukunft-vor-in-der-die-gesundheitsversorgung-einige-hinter-sich-laesst-mit-nachrichten/ [ad_1]

Wird der perfekte Sturm der potenziell lebensverändernden, künstlichen Intelligenzgesundheitsversorgung und der Wunsch, den Gewinn durch Abonnementmodelle zu steigern, schutzbedürftige Patienten entfremden?

Zum dritten Mal in Folge MIT’s Stellen Sie sich die Zukunft des Computerpreises vor bat die Schüler, in 3.000 oder weniger Wörtern zu beschreiben, wie Fortschritte beim Pc die menschliche Gesellschaft zum Guten oder Schlechten prägen könnten. Alle Einträge waren berechtigt, eine Reihe von Geldpreisen zu gewinnen.

Inspiriert von jüngsten Untersuchungen zu den größeren Effekten, die Mikrobiome auf die allgemeine Gesundheit haben, schuf Annaliese Meyer das Konzept der „B-Bots“, einem synthetischen Bakterien-Mimic, der zur Regulierung von Darmbiomen und durch Bluetooth aktiviert wurde.

Für den Wettbewerb, der die MIT-Studenten auffordert, ihre Überlegungen für eine Zukunft zu artikulieren, die von Fortschritten in der Computing geführt wird, reichte Meyer eine Arbeit spekulativer Fiktion darüber ein, wie Empfänger eines revolutionären neuen Gesundheitswesens ihre Behandlung in Gefährdung mit der Einführung eines Abonnement-Foundation-Lohnmodells finden.

In ihrem Siegerpapier mit dem Titel „(Pre/Sub) Schreiber“ zeichnet Meyer die Verwendung von B-Bots aus der Perspektive ihres Schöpfers und eines B-Bots-Nutzers namens Briar auf. Sie feiern die Auswirkungen des Dietary supplements und helfen ihnen, Vitaminmängel und chronische Erkrankungen wie saurer Reflux und Reizdarmsyndrom zu behandeln. Meyer sagt, dass die Einführung eines B-Bots-Abonnementmodells eine perfekte Gelegenheit zu sein schien, hoffentlich klarzustellen, dass in einem gemeinnützigen Gesundheitssystem selbst medizinische Fortschritte, die theoretisch revolutionär für die menschliche Gesundheit sein würden, für die vielen Menschen auf der Verlierer der massiven DISPARITÄT in der modernen Gesellschaft mehr Schaden zuzufügen. “ Meyer gibt auch an, dass diese Meinungen ihre eigenen sind und keine offiziellen Haltestellen angeschlossener Institutionen widerspiegeln.

Als Kanadier hat Meyer die Unterschiede zwischen den Gesundheitssystemen in den USA und Kanada erlebt. Sie erzählt von den jüngsten Krebsbehandlungen ihrer Mutter und betont die Kosten und die Berichterstattung von Behandlungen in British Columbia im Vergleich zu den USA

Abgesehen von einer warnenden Geschichte des Eigenkapitals im amerikanischen Gesundheitssystem hofft Meyer, dass die Leser eine zusätzliche wissenschaftliche Botschaft über die Komplexität von Darmmikrobiomen übernehmen. Inspiriert von ihrer Arbeit in der Ocean Metaproteomics, sagt Meyer: „Ich denke viel darüber, wann und warum Mikroben verschiedene Proteine ​​produzieren, um sich an Umweltveränderungen anzupassen, und wie dies vom Relaxation der mikrobiellen Gemeinschaft und dem Austausch von Stoffwechselprodukten zwischen den Organismen abhängt.“

Meyer hatte gehofft, am Wettbewerb des Vorjahres teilzunehmen, aber die zeitlichen Einschränkungen ihrer Laborarbeit sorgten für ihre Einreichung. Jetzt inmitten der Arbeit der These sah sie den Wettbewerb, um das zu verleihen, was sie schrieb, während sie sich mit ihren wissenschaftlichen Interessen beschäftigen. Das Schreiben warfare jedoch schon immer eine Leidenschaft. „Ich habe als Type viel geschrieben (‚Autor‘ – tatsächlich oft dem ‚Wissenschaftler‘ als meinen Traumjob, als ich in der Grundschule warfare), und ich schreibe noch Fiktion in meiner Freizeit“, sagt sie.

Meyer wurde als Gewinner des 10.000 -Greenback -Hauptpreises ausgezeichnet. Der Aufsatz und die Präsentationsvorbereitung seien äußerst lohnend.

„Die Probability, einen neuen Themenbereich zu erkunden, der, obwohl ich mit meinem Feld verwandt warfare, definitiv nicht aus meiner Komfortzone warfare, mich als Schriftsteller und Wissenschaftler wirklich dazu gebracht hat. Ich habe mich noch nie zuvor in Konzepte gelesen, in denen ich kaum jemals begegnet warfare. Leute aus verschiedenen Bereichen und Abteilungen am MIT. “

Stellen Sie sich die Zukunft des Computerpreises vor

Co-gesponsert von der Soziale und ethische Verantwortlichkeiten des Computer systems (SERC), a cross-cutting initiative of the MIT Schwarzman Faculty of Computing and the Faculty of Humanities, Arts, and Social Sciences (SHASS), with help from MAC3 Philanthropies, the competition this yr attracted 65 submissions from undergraduate and graduate college students throughout varied majors, together with mind and cognitive sciences, economics, electrical engineering and laptop science, physics, anthropology, and others.

Caspar Hare, stellvertretender Dekan von SERC und Professor für Philosophie, startete 2023 den Preis. Er sagte, dass das Ziel des Preises „die MIT-Studenten ermutigen, über das zu denken, was sie tun, nicht nur in Bezug auf die Förderung von Technologien im Zusammenhang mit dem Pc, sondern auch in Bezug auf die Entscheidung, die sie möglicherweise nicht zu unserem kollektiven Nutzen tätigen.“

Er betonte, dass die Vorstellung der Zukunft des Computerpreises weiterhin „interessant und wichtig“ für die MIT -Neighborhood bleiben werde. Es gibt Pläne, den Wettbewerb im nächsten Jahr zu optimieren und mehr Möglichkeiten für Workshops und Anleitungen für diejenigen zu bieten, die sich für die Einreichung von Aufsätzen interessieren.

„Jeder ist gespannt darauf, dies so lange fortzusetzen, wie es related bleibt, was für immer sein könnte“, sagt er und schlägt vor, dass der Preis in den kommenden Jahren eine Reihe historischer Schnappschüsse von den MIT-Studenten im Zusammenhang mit dem Pc im Zusammenhang mit dem Pc in Bezug auf Computing am zwingendsten geben könnte.

„Computing-bezogene Technologie wird die Welt verändern und verändern. MIT-Studenten werden ein großer Teil davon bleiben.“

Einen Gewinner krönt

Im Rahmen eines zweistufigen Bewertungsprozesses wurden alle eingereichten Essays von einem Ausschuss von Fakultätsmitgliedern vom Faculty, Shass und dem Division of City Research and Planning anonym überprüft. Die Richter machten drei Finalisten auf der Grundlage der Papiere vor, die als die artikuliertesten, gründlichsten, geerdeten, fantasievollen und inspirierendsten angesehen wurden.

Anfang Mai a Stay Awards Zeremonie wurde festgehalten, wo die Finalisten eingeladen wurden, 20-minütige Präsentationen zu ihren Einträgen zu halten und Fragen des Publikums zu stellen. Quick 140 MIT -Neighborhood -Mitglieder, Familienmitglieder und Freunde nahmen an der Zeremonie teil, um die Finalisten zu unterstützen. Die Zuschauer und die Jury stellten den Moderatoren herausfordernde und nachdenkliche Fragen zu den gesellschaftlichen Auswirkungen ihrer fiktiven Computertechnologien.

Eine endgültige Bilanz, die 75 Prozent ihres Aufsatzwerts und 25 Prozent ihres Präsentationswerts ausmachte, stellte den Gewinner fest.

Die diesjährige Jury -Jury enthielt:

  • MARZYEH GHASSEMI, Affiliate Professor, Abteilung für Elektrotechnik und Informatik und Institut für medizinisches Ingenieurwesen und Wissenschaft;
  • Caspar Hare, stellvertretender Dekan von SERC und Professor für Philosophie;
  • Jason Jackson, außerordentlicher Professor für politische Ökonomie und Stadtplanung;
  • Brad Skow, Professor für Philosophie;
  • Armando Photo voltaic-Lezama, angesehener Professor für Pc; Und
  • Nikos Trichakis, stellvertretender Dekan von SERC und JC Penney Affiliate Professor für Administration.

Die Richter vergeben den beiden Zweitplatzierten auch 5.000 US-Greenback: Martin Staabederein Doktorand des Technologie- und Richtlinienprogramms des Instituts für Daten, Systeme und Gesellschaft für seinen Aufsatz über ein fiktives Token-basierter System zur Verfolgung fossiler Brennstoffe und Juan Santoyoein Doktorand in der Abteilung für Gehirn und kognitive Wissenschaften, für seine Kurzgeschichte einer von Feldverluste abgelagerten KI, die die psychische Gesundheit von Soldaten in Konfliktzeiten unterstützen soll. Zusätzlich, Acht ehrenvolle Erwähnungen wurden anerkannt, wobei jeder einen Geldpreis von 1.000 US -Greenback erhielt.

[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/stellen-sie-sich-eine-zukunft-vor-in-der-die-gesundheitsversorgung-einige-hinter-sich-laesst-mit-nachrichten/feed/ 0 10461
Pascals Dreieck, das Ramanujan -Prinzip und was lässt etwas wie ein Teil einer Ellipse oder ein Teil einer Parabel aussehen? https://chatgpz.de/data-science/pascals-dreieck-das-ramanujan-prinzip-und-was-laesst-etwas-wie-ein-teil-einer-ellipse-oder-ein-teil-einer-parabel-aussehen/ https://chatgpz.de/data-science/pascals-dreieck-das-ramanujan-prinzip-und-was-laesst-etwas-wie-ein-teil-einer-ellipse-oder-ein-teil-einer-parabel-aussehen/#respond Tue, 03 Jun 2025 07:10:03 +0000 https://chatgpz.de/data-science/pascals-dreieck-das-ramanujan-prinzip-und-was-laesst-etwas-wie-ein-teil-einer-ellipse-oder-ein-teil-einer-parabel-aussehen/ [ad_1]

John Prepare dinner schreibt:

Die N -te Reihe von Pascals Dreieck enthält die Binomialkoeffizienten C (N, R) für R im Bereich von 0 bis n. Wenn Sie die Zahlen in der n -ten Reihe vertikal in binär ausdrucken, sehen Sie einen kreisförmigen Bogen.

Er erklärt:

Die Länge der numerischen Darstellung einer Zahl ist ungefähr proportional zu ihrem Logarithmus. Das Ändern der Foundation ändert nur die Verhältnismäßigkeitskonstante. Die obigen Beispiele legen nahe, dass ein Diagramm der Logarithmen einer Reihe von Pascals Dreieck ein Teil eines Kreises sein wird, bis zu einer Skalierung einer der Achsen, so dass wir im Allgemeinen eine Ellipse haben.

Prepare dinner setzt sich mit einer Erklärung fort, warum die Ellipse so intestine passt:

Woїfgang wies darauf hin, dass die Kurve eher eine Parabola als eine Ellipse sein sollte, da die Binomialverteilung asymptotisch regular ist. Macht vollkommen Sinn.

Additionally habe ich meine Diagramme mit der Parabola, die Log C (N, R) bei 0, N/2 und n interpoliert, neu gestaltet. Dies gibt auch eine sehr gute Passform, aber nicht so intestine!

Dies ist jedoch kein fairer Vergleich, da es die elliptische Anpassung der besten (kleinsten Quadrate) mit einer bequemen parabolischen Passform vergleicht.

Additionally habe ich meine Diagramme wieder mit dem kleinsten Quadrate parabolischen Anpassungen neu gestaltet. Die Passform struggle besser, aber immer noch nicht so intestine wie die elliptische Passform.

Ich denke, der Grund, warum die Ellipse besser passt, als die Parabel mit den Grenzen des Zentralgrenze -Theorems zu tun hat. Zunächst gilt es für CDFs, nicht für PDFs. Zweitens gilt dies für den absoluten Fehler, nicht für den relativen Fehler. In der Praxis gibt der CLT eine gute Annäherung in der Mitte, jedoch nicht in den Schwänzen. Bei allen oben genannten Kurven liegt der maximale Fehler in den Schwänzen.

Über das Downside der Schwänze hinaus gibt es ein Wahrnehmungsproblem, das darin besteht, dass wir in ihrer konvexen Orientierung wie hier über Parabel lernen:

Die andere Sache ist, dass ein Kreis oder eine Ellipse endlich ist und eine Parabel für immer weitergeht. Die Tatsache, dass dieses Diagramm sie stoppt, lässt es weniger parabolaartig aussehen als die Artwork von Graph, die Sie möglicherweise vornehmen, wo Sie der Kurve vom Rand des Diagramms visuell folgen können.

Das Ramanujan -Prinzip

Außerdem wollte ich den Punkt von Prepare dinner anschließen, dass eine Tabelle von Zahlen, die in der Positionsnotation ausgedrückt werden Das Ramanujan -Prinzip:

Tabellen werden üblicherweise als rohe Graphen gelesen: Was Sie in einer Zahlentabelle bemerken, ist (a) die minus Zeichen und die Werte positiv und welche negativ sind und (b) die Länge jeder Zahl, dh ihre Größenordnung.

Der Title des Prinzips stammt aus einer berühmten Geschichte des Mathematikers Srinivasa Ramanujan, das angeblich die asymptotische Type der Partitionsfunktion vermutet, die auf einem Blick auf eine Tabelle der ersten Partitionsnummern basiert: Er betrachtete im Wesentlichen eine Grafik auf der Logarithmic -Skala.

[ad_2]

]]>
https://chatgpz.de/data-science/pascals-dreieck-das-ramanujan-prinzip-und-was-laesst-etwas-wie-ein-teil-einer-ellipse-oder-ein-teil-einer-parabel-aussehen/feed/ 0 9646
Vana lässt den Benutzern ein Stück der KI -Modelle besitzen, die auf ihren Daten geschult sind MIT Nachrichten https://chatgpz.de/artificial-intelligence/vana-laesst-den-benutzern-ein-stueck-der-ki-modelle-besitzen-die-auf-ihren-daten-geschult-sind-mit-nachrichten/ https://chatgpz.de/artificial-intelligence/vana-laesst-den-benutzern-ein-stueck-der-ki-modelle-besitzen-die-auf-ihren-daten-geschult-sind-mit-nachrichten/#respond Sun, 06 Apr 2025 16:01:37 +0000 http://chatgpz.de/artificial-intelligence/vana-laesst-den-benutzern-ein-stueck-der-ki-modelle-besitzen-die-auf-ihren-daten-geschult-sind-mit-nachrichten/ [ad_1]

Im Februar 2024 schloss Reddit mit Google einen Vertrag über 60 Millionen US -Greenback ab, damit der Suchgigant Daten auf der Plattform verwenden kann, um seine Modelle für künstliche Intelligenz zu schulen. Insbesondere in den Diskussionen waren Reddit -Benutzer, deren Daten verkauft wurden.

Der Deal spiegelte die Realität des modernen Internets wider: Large Tech -Unternehmen besitzen praktisch alle unsere On-line -Daten und können entscheiden, was mit diesen Daten zu tun ist. Es ist nicht überraschend, dass viele Plattformen ihre Daten monetarisieren, und der am schnellsten wachsende Weg, um sie zu erreichen, besteht heute darin, sie an KI-Unternehmen zu verkaufen, die selbst huge Technologieunternehmen verwenden, die die Daten verwenden, um immer leistungsstärkere Modelle zu schulen.

Die dezentrale Plattform Vana, die als Klassenprojekt am MIT begann, hat die Aufgabe, den Benutzern Strom zurückzugeben. Das Unternehmen hat ein vollständig benutzerbezogenes Netzwerk erstellt, in dem Einzelpersonen ihre Daten hochladen und wie sie verwendet werden. KI -Entwickler können Benutzer Ideen für neue Modelle aufnehmen, und wenn die Benutzer sich einig sind, ihre Daten für das Coaching beizutragen, erhalten sie ein proportionales Eigentum an den Modellen.

Die Idee ist, jedem einen Anteil an den KI -Systemen zu geben, die unsere Gesellschaft zunehmend prägen und gleichzeitig neue Datenpools freischalten, um die Technologie voranzutreiben.

„Diese Daten sind erforderlich, um bessere KI-Systeme zu schaffen“, sagt Anna Kazlauskas ’19, Mitbegründerin von Vana. „Wir haben ein dezentrales System erstellt, um bessere Daten zu erhalten – die heute in großen Technologieunternehmen befindet, und gleichzeitig die Benutzer letztendlich das Eigentum behalten lassen.“

Von der Wirtschaft bis zur Blockchain

Viele Schüler haben Bilder von Popstars oder Athleten an ihren Schlafzimmerwänden. Kazlauskas hatte ein Bild der ehemaligen US -Finanzministerin Janet Yellen.

Kazlauskas kam zu MIT sicher, dass sie Ökonom werden würde, aber sie warfare eine von fünf Studenten, die 2015 dem MIT Bitcoin Membership beigetreten waren, und diese Erfahrung führte sie in die Welt der Blockchains und der Kryptowährung.

Aus ihrem Schlafsaal im MacGregor Home begann sie, das Kryptowährungs -Ethereum zu beruhigen. Sie suchte sogar gelegentlich Campus -Müllcontainer auf der Suche nach weggeworfenen Computerchips.

„Es hat mich für alles um Informatik und Networking interessiert“, sagt Kazlauskas. „Aus Blockchain -Sicht, verteilten Systemen und der Artwork und Weise, wie sie die wirtschaftliche Macht auf Einzelpersonen sowie künstliche Intelligenz und Ökonometrie verlagern können.“

Kazlauskas traf Artwork Abal, der damals die Harvard College besuchte, in den ehemaligen Ventures der Medienlaborklasse, und das Paar beschloss, an neuen Wegen zu arbeiten, um Daten zu erhalten, um KI -Systeme zu schulen.

„Unsere Frage warfare: Wie könnten Sie eine große Anzahl von Personen haben, die zu diesen KI -Systemen beitragen, die eher ein verteiltes Netzwerk verwenden?“ Kazlauskas erinnert sich.

Kazlauskas und Abal versuchten, den Establishment anzugehen, bei dem die meisten Modelle durch Scraping öffentlicher Daten im Web geschult werden. Große Technologieunternehmen kaufen häufig auch große Datensätze von anderen Unternehmen.

Der Ansatz der Gründer entwickelte sich im Laufe der Jahre und wurde nach dem Abschluss von der Erfahrung von Kazlauskas von der Monetary Blockchain Firm Celo informiert. Aber Kazlauskas schreibt ihre Zeit am MIT zu, ihr zu helfen, über diese Probleme nachzudenken, und der Ausbilder für aufstrebende Ventures, Ramesh Raskar, hilft Vana noch heute über AI -Forschungsfragen.

„Es warfare großartig, eine offene Gelegenheit zu haben, nur zu bauen, zu hacken und zu erkunden“, sagt Kazlauskas. „Ich denke, dass das Ethos am MIT wirklich wichtig ist. Es geht nur darum, Dinge zu bauen, zu sehen, was funktioniert, und weiterhin iterieren.“

Heute nutzt Vana ein wenig bekanntes Gesetz, das es Benutzern der meisten großen Tech-Plattformen ermöglicht, ihre Daten direkt zu exportieren. Benutzer können diese Informationen in verschlüsselte digitale Brieftaschen in Vana hochladen und sie ausschüttet, um Modelle zu trainieren, sobald sie für richtig halten.

KI-Ingenieure können Ideen für neue Open-Supply-Modelle vorschlagen, und die Menschen können ihre Daten bündeln, um das Modell zu trainieren. In der Blockchain -Welt werden die Datenpools als Daten DAOS bezeichnet, was für die dezentrale autonome Organisation steht. Daten können auch verwendet werden, um personalisierte KI -Modelle und Agenten zu erstellen.

In Vana werden Daten so verwendet, dass die Privatsphäre der Benutzer beibehält, da das System keine identifizierbaren Informationen aufdeckt. Sobald das Modell erstellt wurde, behalten die Benutzer das Eigentum bei, damit jedes Mal, wenn es verwendet wird, proportional belohnt werden, basierend darauf, wie viel ihre Daten dazu beigetragen haben, sie zu trainieren.

„Aus Sicht eines Entwicklers können Sie diese hyperpersonalisierten Gesundheitsanwendungen nun aufbauen, die genau berücksichtigen, was Sie gegessen haben, wie Sie geschlafen haben, wie Sie trainieren“, sagt Kazlauskas. „Diese Anwendungen sind heute aufgrund dieser ummauerten Gärten der großen Technologieunternehmen nicht möglich.“

Crowdsourced, benutzerbesitzende KI

Im vergangenen Jahr schlug ein Maschinenlerningenieur vor, Vana-Benutzerdaten zu trainieren, um ein KI-Modell zu trainieren, das Reddit-Posts generieren könnte. Mehr als 140.000 Vana -Benutzer haben ihre Reddit -Daten beigetragen, die Beiträge, Kommentare, Nachrichten und mehr enthielten. Die Benutzer entschieden sich für die Begriffe, in denen das Modell verwendet werden konnte, und behielten nach seiner Erstellung das Eigentum des Modells bei.

Vana hat ähnliche Initiativen mit benutzerfreundlichen Daten aus der Social-Media-Plattform X ermöglicht. Schlafdaten aus Quellen wie Oura -Ringen; und mehr. Es gibt auch Kooperationen, die Datenpools kombinieren, um breitere KI -Anwendungen zu erstellen.

„Nehmen wir an, Benutzer haben Spotify -Daten, Reddit -Daten und Modedaten.“ Kazlauskas erklärt. „Normalerweise arbeitet Spotify nicht mit solchen Unternehmensarten zusammen, und es gibt tatsächlich Regulierung dagegen. Benutzer können dies jedoch tun, wenn sie Zugriff gewähren. Daher können diese plattformübergreifenden Datensätze verwendet werden, um wirklich leistungsstarke Modelle zu erstellen.“

Vana hat über 1 Million Benutzer und über 20 DAOs Stay -Daten. Mehr als 300 zusätzliche Datenpools wurden von Benutzern im Vana -System vorgeschlagen, und Kazlauskas sagt, dass viele in diesem Jahr in die Produktion gehen werden.

„Ich denke, es gibt viel Versprechen in verallgemeinerten KI -Modellen, personalisierten Medizin und neuen Verbraucheranwendungen, da es schwierig ist, all diese Daten zu kombinieren oder überhaupt darauf zugreifen zu können“, sagt Kazlauskas.

Die Datenpools ermöglichen es Gruppen von Benutzern, etwas zu erreichen, mit dem auch die leistungsstärksten Technologieunternehmen heute zu kämpfen haben.

„Heute haben Large Tech -Unternehmen diesen Datengräben erstellt, sodass die besten Datensätze für niemanden verfügbar sind“, sagt Kazlauskas. „Es ist ein kollektives Aktionsproblem, bei dem meine Daten selbst nicht so wertvoll sind, aber ein Datenpool mit Zehntausenden oder Millionen von Menschen ist wirklich wertvoll. Vana lässt diese Swimming pools aufgebaut. Es ist eine Win-Win-Scenario: Nutzer können von dem Aufstieg der KI-Aufstiegsaufkommen profitieren, weil sie das Fashions besitzen. Dann landen Sie nicht in Szenario.

[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/vana-laesst-den-benutzern-ein-stueck-der-ki-modelle-besitzen-die-auf-ihren-daten-geschult-sind-mit-nachrichten/feed/ 0 8368
Wie lässt sich die Kluft zwischen IT und Advertising and marketing überwinden? https://chatgpz.de/data-science/wie-laesst-sich-die-kluft-zwischen-it-und-advertising-and-marketing-ueberwinden/ https://chatgpz.de/data-science/wie-laesst-sich-die-kluft-zwischen-it-und-advertising-and-marketing-ueberwinden/#respond Wed, 13 Nov 2024 09:27:46 +0000 http://chatgpz.de/data-science/wie-laesst-sich-die-kluft-zwischen-it-und-marketing-ueberwinden/ [ad_1]

Es gibt viele Möglichkeiten, wie Massive Information Unternehmen dabei hilft, im Jahr 2024 erfolgreicher zu sein. Einer der größten Vorteile besteht darin, dass es für Mitarbeiter verschiedener Disziplinen einfacher ist, einander zu verstehen, was einer der Gründe dafür ist, dass Unternehmen hat letztes Jahr 349 Milliarden US-Greenback dafür ausgegeben.

In vielen Unternehmen sind IT und Advertising and marketing wie zwei getrennte Welten. IT-Abteilungen konzentrieren sich auf den Aufbau robuster Systeme, die Gewährleistung der Datensicherheit und die Unterstützung der technischen Infrastruktur. Unterdessen zielen Marketingteams darauf ab, mit Kunden in Kontakt zu treten, Markttrends zu verstehen und kreative Kampagnen zu entwickeln.

Massive Information überbrückt die Kluft zwischen Vermarktern und IT-Experten relativ problemlos und fördert so das gemeinsame Verständnis und die gemeinsamen Ziele beider. Vermarkter konzentrieren sich üblicherweise auf kreative Strategien und die Kontaktaufnahme mit Kunden, während die IT sich um die Technologie kümmert, die diesen Prozessen zugrunde liegt. Massive Information erfordert, dass beide Groups umfangreiche Informationsmengen nutzen, um das Kundenverhalten zu verstehen und klügere Entscheidungen zu treffen. Dies ist einer der größten Developments im IT-Beruf.

Massive Information schließt die Lücke zwischen Vermarktern und IT-Experten

Dank intuitiver Datentools können Vermarkter heute auf ihre eigenen Daten zugreifen, diese interpretieren und visualisieren. Daher verlassen Sie sich bei der Gewinnung von Erkenntnissen weniger auf die IT. Auf diese Weise werden Vermarkter in die Lage versetzt, Entscheidungen auf der Grundlage tatsächlicher Daten zu treffen, und sie können auch effektiver mit der IT kommunizieren, da die IT „klarere, datengesteuerte Anfragen ihrer Marketingpartner liebt“. Dies ist einer der größten Wie Unternehmen Massive Information nutzen.

Massive Information bringt sie näher an das Kundenerlebnis und die geschäftliche Seite der Dinge heran. Sie können sehen, wie sich die Daten direkt auf Marketingstrategien, Kundenansprache und Kampagnenergebnisse auswirken, sodass sie sich auf Projekte konzentrieren können, die den größten Unterschied machen. Da beide Groups einen gemeinsamen Fokus verfolgen – messbare Ergebnisse –, arbeiten sie in einem Rhythmus, sprechen dieselbe Sprache und verstehen die Bedürfnisse des anderen. Diese Verbindung fördert eine offene Kommunikation und einen strategischeren Ansatz, um gemeinsame Geschäftsziele für beide Seiten zu erreichen. Dies ist besonders wichtig in Bereichen wie dem Gastgewerbe wo es an diesen beiden Fachkräften mangelt.

Obwohl beide Groups eine entscheidende Rolle für den Erfolg des Unternehmens spielen, kann die mangelnde Zusammenarbeit manchmal Wachstum und Innovation behindern. Mit fortschreitender digitaler Transformation wird es unerlässlich, dass IT und Advertising and marketing enger zusammenarbeiten.

Konvergenztheorie schlägt vor, dass sich diese Abteilungen im Zuge der Weiterentwicklung von Technologie und Strategie aufeinander abstimmen können, um bessere Ergebnisse zu erzielen. Um diese Einheit zu erreichen, ist es erforderlich, die Ziele jedes Groups zu verstehen und eine gemeinsame Foundation zu finden. So können Unternehmen die Kluft im IT-Advertising and marketing überwinden.

Richten Sie klare Kommunikationskanäle ein

Einer der Hauptgründe für die Kluft im IT-Advertising and marketing ist Kommunikationsstörung. IT-Experten verwenden oft eine Fachsprache, die verwirrend oder nicht mit den Marketinganforderungen in Zusammenhang zu stehen scheint. Ebenso könnte eine auf Kreativität und Kundenbindung ausgerichtete Marketingsprache für IT-Spezialisten fehl am Platz sein.

Die Einrichtung klarer Kommunikationskanäle kann helfen, diese Lücke zu schließen. Regelmäßige Conferences, gemeinsame Plattformen zur Projektverfolgung und die Erstellung eines Glossars mit Begriffen, die jedes Staff verwendet, können das Verständnis fördern. Wenn beide Abteilungen Zugriff auf die gleichen Informationen haben, fördert dies einen reibungsloseren Arbeitsablauf und reduziert Missverständnisse.

Ermutigend offenes Suggestions ist eine weitere Möglichkeit, die Kommunikation zwischen IT und Advertising and marketing zu verbessern. Hier kann jedes Staff Herausforderungen äußern und spezifische Unterstützung anfordern. Dadurch wird nicht nur sichergestellt, dass Probleme angegangen werden, bevor sie zu Hindernissen werden, sondern auch, dass sich sowohl die IT- als auch die Marketingteams gehört und verstanden fühlen.

Implementieren Sie abteilungsübergreifende Schulungen

Eine weitere Möglichkeit, Kommunikationsstörungen zwischen IT- und Marketingabteilungen zu beheben, ist: abteilungsübergreifende Ausbildung. Es bietet jedem Staff Einblicke in die Verantwortlichkeiten und Einschränkungen des anderen. Dieses Wissen kann Missverständnisse reduzieren und verdeutlichen, wie die Arbeit jedes Groups zum Gesamterfolg beiträgt.

Durch Schulungen können Marketingfachleute grundlegende technische Konzepte erlernen, die für ihre Kampagnen related sind. Sie können auch ein besseres Verständnis der Sicherheitsprotokolle erlangen, die die IT durchsetzen muss, um Probleme wie Datenschutzverletzungen zu verhindern. Umgekehrt können IT-Spezialisten mehr über die Kennzahlen zum Kundenverhalten erfahren, die Marketingteams verfolgen, und verstehen, wie diese Erkenntnisse strategische Entscheidungen beeinflussen.

Manchmal kämpfen Unternehmen mit Projektkosten. Wenn Budgetbeschränkungen auftreten, stehen Unternehmen vor mehreren entscheidenden Fragen wie „Können Sie den Kreditrückzahlungsplan ändern?”? Abteilungsübergreifende Schulungen können Groups dabei helfen, die finanziellen Herausforderungen zu verstehen, mit denen sie konfrontiert sind, und so zu einem kooperativen Ansatz bei der Budgetplanung führen. Es hilft zu verstehen, ob das Marketingkampagnenbudget gekürzt werden sollte oder ob die Veröffentlichung eines neuen Produkts verzögert werden müsste.

Technologie kann eine entscheidende Rolle bei der Zusammenführung von IT- und Marketingteams spielen. Kollaborative Instruments wie Projektmanagement-Software program Und Datenaustauschplattformen ermöglichen eine effektive Zusammenarbeit beider Abteilungen. Wenn IT und Advertising and marketing Zugriff auf dieselbe digitale Umgebung haben, können sie den Fortschritt verfolgen, Ergebnisse überwachen und Aktualisierungen in Echtzeit austauschen.

Durch eine einheitliche Plattform für beide Groups wird außerdem sichergestellt, dass jede Abteilung über die Informationen verfügt, die sie für fundierte Entscheidungen benötigt. Das Advertising and marketing kann die Entwicklung technischer Projekte verfolgen, die sich auf Kampagnen auswirken, während die IT sehen kann, welche Kampagnen anstehen und welcher technische Help möglicherweise erforderlich ist. Diese Transparenz trägt dazu bei, Verzögerungen zu vermeiden und fördert die proaktive Unterstützung.

Beispielsweise muss das Advertising and marketing möglicherweise schnell ein Produkt auf den Markt bringen, benötigt jedoch die IT, um die Again-Finish-Infrastruktur fertigzustellen. Über eine gemeinsame Plattform können beide Groups Zeitpläne verwalten und Prioritäten nach Bedarf anpassen. Wenn Groups in einer einzigen Umgebung zusammenarbeiten können, fördert dies die Verantwortung und stellt sicher, dass beide Seiten ihren Beitrag zu gemeinsamen Zielen verstehen.

Richten Sie Ziele und Vorgaben aus

Durch die Festlegung abgestimmter Ziele können IT und Advertising and marketing dazu ermutigt werden, auf die gleichen Ergebnisse hinzuarbeiten. Oftmals konzentriert sich die IT auf die betriebliche Effizienz, während das Advertising and marketing auf die Kundengewinnung und -bindung abzielt. Um diese Lücken zu schließen, sind Zielsetzungssitzungen erforderlich, in denen beide Groups ihre Ziele teilen und sich überschneidende Interessen identifizieren können.

Wenn die Ziele aufeinander abgestimmt sind, hat jede Abteilung einen Grund zur Zusammenarbeit. Beispielsweise kann sich die IT auf die Entwicklung einer Plattform konzentrieren, die den Anforderungen des Marketings entspricht, etwa Datenanalysetools zur Verfolgung des Kundenverhaltens. Im Gegenzug kann das Advertising and marketing seine Strategie anpassen, um diese Instruments effektiv zu nutzen, was beiden Groups zugute kommt.

Ein praktischer Bereich zur Ausrichtung von Zielen ist Projektzeitpläne. Das Advertising and marketing führt Kampagnen oft nach einem engen Zeitplan durch, während die IT-Abteilung möglicherweise Zeit für die sichere Umsetzung benötigt. Mit abgestimmten Zielen können beide Groups realistische Zeitpläne festlegen, die den Bedürfnissen des anderen gerecht werden, Reibungsverluste reduzieren und eine reibungslosere Zusammenarbeit ermöglichen.

Erstellen Sie gemeinsame Erfolgskennzahlen

Die Definition gemeinsamer Erfolgsmetriken könnte dazu beitragen, IT und Advertising and marketing unter einem gemeinsamen Ziel zu vereinen. Herkömmliche Kennzahlen bewerten möglicherweise nur den Beitrag einer Abteilung, was zu isolierten Ergebnissen führt. Gemeinsame Kennzahlen bewerten jedoch Ergebnisse, die eine Zusammenarbeit erfordern, wie z. B. die Web site-Verfügbarkeit während großer Kampagnen oder die Kundenbindungsraten nach einem technischen Improve.

Kennzahlen wie diese schaffen einen Anreiz für beide Abteilungen, gute Leistungen zu erbringen. Wenn die Arbeit der IT-Abteilung an Marketingergebnisse gebunden ist, ist sie stärker in den Erfolg dieser Kampagnen investiert. Wenn das Advertising and marketing die Auswirkungen der IT-Infrastruktur auf seine Projekte versteht, ist es auch wahrscheinlicher, dass es mit der IT zusammenarbeitet, um die technischen Anforderungen zu optimieren.

Darüber hinaus fördert die Weitergabe der Ergebnisse dieser Kennzahlen an beide Groups das Erfolgserlebnis. Das Feiern gemeinsamer Erfolge zeigt, dass die Zusammenarbeit sinnvolle Ergebnisse liefert und motiviert beide Abteilungen, die Synergien aufrechtzuerhalten. Darüber hinaus wird es für Unternehmensleiter einfacher, den Wert der Zusammenarbeit zwischen IT und Advertising and marketing zu erkennen, was zu einer langfristigen Abstimmung beiträgt.

Letzte Gedanken

Wenn IT und Advertising and marketing zusammenarbeiten, entstehen revolutionary Lösungen, die das Kundenerlebnis verbessern, Abläufe rationalisieren und das Unternehmenswachstum unterstützen. Die Förderung einer Kultur der Zusammenarbeit mit abgestimmten Zielen, gemeinsamen Plattformen und klaren Kommunikationskanälen kann diese Beziehung zu einem wertvollen Vorteil machen.

[ad_2]

]]>
https://chatgpz.de/data-science/wie-laesst-sich-die-kluft-zwischen-it-und-advertising-and-marketing-ueberwinden/feed/ 0 5158
Lasst uns NanoGPT mit JAX reproduzieren! (Teil 1) | von Louis Wang | Jul, 2024 https://chatgpz.de/machine-learning/lasst-uns-nanogpt-mit-jax-reproduzieren-teil-1-von-louis-wang-jul-2024/ https://chatgpz.de/machine-learning/lasst-uns-nanogpt-mit-jax-reproduzieren-teil-1-von-louis-wang-jul-2024/#respond Mon, 05 Aug 2024 03:44:27 +0000 http://chatgpz.de/machine-learning/lasst-uns-nanogpt-mit-jax-reproduzieren-teil-1-von-louis-wang-jul-2024/ [ad_1]

Inspiriert von Andrej Kapathys jüngstem Youtube-Video über Lassen Sie uns GPT-2 (124 M) reproduzieren.ich möchte es mit den meisten Trainingsoptimierungen in Jax neu aufbauen. Jax ist für hocheffiziente Rechengeschwindigkeiten ausgelegt, und es ist ziemlich interessant, Pytorch mit seiner jüngsten Trainingsoptimierung und Jax mit seinen zugehörigen Bibliotheken wie Flax (Layers API für neuronales Netzwerktraining für Jax) und Optax (eine Gradientenverarbeitungs- und Optimierungsbibliothek für JAX) zu vergleichen. Wir werden schnell lernen, was Jax ist, und das GPT mit Jax neu aufbauen. Am Ende werden wir die Token/Sekunde mit MultiGPU-Coaching zwischen Pytorch und Jax vergleichen!

Von KI generiertes GPT

Was ist Jax?

Basierend auf seiner lesenthedocJAX ist eine Python-Bibliothek für beschleunigerorientierte Array-Berechnung und Programmtransformation, die für hochleistungsfähige numerische Berechnungen und maschinelles Lernen im großen Maßstab entwickelt wurde. Ich möchte JAX mit seinem Namen vorstellen. Während manche es Simply One other nennen XLA (Accelerated Linear Algibra), ich nenne es lieber J(it) A(utograd) X(LA), um seine Fähigkeit zur hohen Effizienz zu demonstrieren.

J – Simply-in-time (JIT)-Kompilierung. Wenn Sie Ihre Python-Funktion ausführen, konvertiert Jax sie in einen primitiven Operationssatz namens Jaxpr. Anschließend wird der Jaxpr-Ausdruck in eine Eingabe für XLA umgewandelt, das die Skripte auf niedrigerer Ebene kompiliert, um ein optimiertes ausführbares Programm für das Zielgerät (CPU, GPU oder TPU) zu erstellen.

A — Autograd. Die Berechnung von Gradienten ist ein wichtiger Teil moderner Methoden des maschinellen Lernens. Sie können einfach jax.grad() um Gradienten zu erhalten, mit denen Sie die Modelle optimieren können.

X — XLA. Dies ist ein Open-Supply-Compiler für maschinelles Lernen für CPU-, GPU- und ML-Beschleuniger. Im Allgemeinen führt XLA mehrere integrierte Optimierungs- und Analysedurchläufe für die StabilHLO Graph, sendet dann die HLO-Berechnung an ein Backend für weitere Optimierungen auf HLO-Ebene. Das Backend führt dann eine zielspezifische Codegenerierung durch.

Dies sind nur einige der Hauptfunktionen von JAX, aber es gibt auch viele benutzerfreundliche numpy-ähnliche APIs in jax.numpy und automatische Vektorisierung mit jax.vmap und parallelisieren Sie Ihre Codes auf mehreren Geräten über jax.pmap . Wir werden in weiteren Blogs weitere Jax-Konzepte und -Anwendungen behandeln, aber jetzt wollen wir den NanoGPT mit Jax reproduzieren!

Von der Aufmerksamkeit zum Transformator

GPT ist ein Transformer-Modell nur für Decoder, und der wichtigste Baustein ist das Consideration-Modul. Wir können zunächst eine Modellkonfigurationsdatenklasse definieren, um die Modellhyperparameter des Modells zu speichern, damit das Modellmodul sie effizient nutzen kann, um die Modellarchitektur zu initialisieren. Ähnlich wie beim 124M-GPT-Modell initialisieren wir hier einen 12-Schicht-Transformer-Decoder mit 12 Köpfen und einer Vokabelgröße von 50257 Token, von denen jeder 768 Einbettungsdimensionen hat. Die Blockgröße für die Consideration-Berechnung beträgt 1024.

from dataclasses import dataclass

@dataclass
class ModelConfig:
vocab_size: int = 50257
n_head: int = 12
n_embd: int = 768
block_size: int = 1024
n_layer: int = 12
dropout_rate: float = 0.1

Als nächstes kommen wir zum wichtigsten Baustein des Transformer-Modells – Aufmerksamkeit. Die Idee besteht darin, die Eingaben in drei Gewichtungsmatrizen zu verarbeiten: Schlüssel, Abfrage und Wert. Hier verlassen wir uns auf die flax eine Jax Layer- und Trainings-API-Bibliothek zum Initialisieren der 3-Gewichtsmatrix, indem Sie einfach die flax.linen.Dense . Wie erwähnt hat Jax viele numpy-ähnliche APIs, daher formen wir die Ausgaben nach der Gewichtsmatrix um mit jax.numpy.reshape von (batch_size, sequence_length, embedding_dim) bis (batch_size, sequence_length, num_head, embedding_dim / num_head). Da wir eine Matrixmultiplikation auf den Schlüssel- und Wertmatrizen durchführen müssen, hat jax auch jax.numpy.matmul API und jax.numpy.transpose (Transponieren Sie die Schlüsselmatrix für die Multiplikation).

Multihead-Aufmerksamkeit

Beachten Sie, dass wir eine Maske auf die Aufmerksamkeitsmatrix setzen müssen, um Informationslecks zu vermeiden (verhindern, dass die vorherigen Token Zugriff auf die späteren Token haben). jax.numpy.tril hilft beim Aufbau eines unteren Dreiecksarrays und jax.numpy.the place kann die unendliche Zahl für uns füllen, um 0 nach Softmax zu erhalten jax.nn.softmax . Die vollständigen Codes der Multihead-Aufmerksamkeit finden Sie unten.

from flax import linen as nn
import jax.numpy as jnp

class CausalSelfAttention(nn.Module):

config: ModelConfig

@nn.compact
def __call__(self, x, deterministic=True):

assert len(x.form) == 3

b, l, d = x.form

q = nn.Dense(self.config.n_embd)(x)
ok = nn.Dense(self.config.n_embd)(x)
v = nn.Dense(self.config.n_embd)(x)
# q*ok / sqrt(dim) -> softmax -> @v
q = jnp.reshape(q, (b, l, d//self.config.n_head , self.config.n_head))
ok = jnp.reshape(ok, (b, l, d//self.config.n_head , self.config.n_head))
v = jnp.reshape(v, (b, l, d//self.config.n_head , self.config.n_head))
norm = jnp.sqrt(checklist(jnp.form(ok))(-1))
attn = jnp.matmul(q,jnp.transpose(ok, (0,1,3,2))) / norm
masks = jnp.tril(attn)
attn = jnp.the place(masks(:,:,:l,:l), attn, float("-inf"))
probs = jax.nn.softmax(attn, axis=-1)
y = jnp.matmul(probs, v)
y = jnp.reshape(y, (b,l,d))
y = nn.Dense(self.config.n_embd)(y)
return y

Möglicherweise stellen Sie fest, dass es keine __init__ oder ahead Methoden, wie Sie in pytorch sehen können. Dies ist das Besondere an jax, wo Sie die Ebenen explizit definieren können mit setup Methoden oder definieren Sie sie implizit im Vorwärtsdurchlauf durch Hinzufügen nn.compact auf __call__ Methode. (Referenz)

Als nächstes erstellen wir die MLP- und Block-Ebene, die die Dense-Ebene, die Gelu-Aktivierungsfunktion, LayerNorm und Dropout umfasst. Auch hier verfügt flax.linen über die Layer-APIs, die uns beim Erstellen des Moduls helfen. Beachten Sie, dass wir ein deterministic Boolesche Variable zur Steuerung unterschiedlicher Verhaltensweisen während des Trainings oder der Auswertung für einige Ebenen wie Dropout.

class MLP(nn.Module):

config: ModelConfig

@nn.compact
def __call__(self, x, deterministic=True):
x = nn.Dense(self.config.n_embd*4)(x)
x = nn.gelu(x, approximate=True)
x = nn.Dropout(price=self.config.dropout_rate)(x, deterministic=deterministic)
x = nn.Dense(self.config.n_embd)(x)
x = nn.Dropout(price=self.config.dropout_rate)(x, deterministic=deterministic)
return x

class Block(nn.Module):

config: ModelConfig

@nn.compact
def __call__(self, x):
x = nn.LayerNorm()(x)
x = x + CausalSelfAttention(self.config)(x)
x = nn.LayerNorm()(x)
x = x + MLP(self.config)(x)
return x

Verwenden wir nun die obigen Blöcke, um den NanoGPT zu erstellen:

Angesichts der Eingaben einer Sequenz von Token-IDs verwenden wir die flax.linen.Embed Schicht, um Positionseinbettungen und Tokeneinbettungen zu erhalten. Dann übergeben wir sie N-mal an das Blockmodul, wobei N die Anzahl der in der Modellkonfiguration definierten Schichten ist. Am Ende ordnen wir die Ausgaben des letzten Blocks den Wahrscheinlichkeiten für jedes Token im Vokabular zu, um das nächste Token vorherzusagen. Neben der Vorwärts- __call__ Methode erstellen wir auch eine init Methoden zum Abrufen der Dummy-Eingaben, um die Parameter des Modells zu erhalten.

class GPT(nn.Module):

config: ModelConfig

@nn.compact
def __call__(self, x, deterministic=False):

B, T = x.form
assert T <= self.config.block_size

pos = jnp.arange(0, T)(None)
pos_emb = nn.Embed(self.config.block_size, self.config.n_embd)(pos)
wte = nn.Embed(self.config.vocab_size, self.config.n_embd)
tok_emb = wte(x)
x = tok_emb + pos_emb

for _ in vary(self.config.n_layer):
x = Block(self.config)(x)
x = nn.LayerNorm()(x)
logits = nn.Dense(config.n_embd, config.vocab_size)
# logits = wte.attend(x) # parameter sharing
return logits

def init(self, rng):
tokens = jnp.zeros((1, self.config.block_size), dtype=jnp.uint16)
params = jax.jit(tremendous().init, static_argnums=(2,))(rng, tokens, True)
return params

Nun überprüfen wir die Anzahl der Parameter: Wir initialisieren zuerst die Modellkonfigurationsdatenklasse und den Zufallsschlüssel, erstellen dann Dummy-Eingaben und geben diese in das GPT-Modell ein. Dann verwenden wir die jax.util.treemap API zum Erstellen einer Zählparameterfunktion. Wir haben 124439808 (124 M) Parameter, dieselbe Menge wie Huggingfaces GPT2, BOOM!

Colab-Ergebnis: Anzahl der Parameter
Überprüfen Sie die Anzahl der Parameter in Huggingfaces GPT2

DataLoader und Trainingsschleife

Lassen Sie uns nun einen kleinen Datensatz überanpassen. Um ihn in Andrejs Video über Pytorch NanoGPT vergleichbar zu machen, verwenden wir das Spielzeug Datensatz die er in seinem Video geteilt hat. Wir verwenden den Tokenizer von GPT2 von tiktoken Bibliothek, um alle Texte aus der Eingabedatei zu tokenisieren und die Tokens in jax.numpy.array für Jax‘ Modeltraining.

class DataLoader:
def __init__(self, B, T):
self.current_position = 0
self.B = B
self.T = T

with open("enter.txt","r") as f:
textual content = f.learn()
enc = tiktoken.get_encoding("gpt2")
self.tokens = jnp.array(enc.encode(textual content))
print(f"loaded {len(self.tokens)} tokens within the datasets" )
print(f" 1 epoch = {len(self.tokens)//(B*T)} batches")

def next_batch(self):
B,T = self.B, self.T
buf = self.tokens(self.current_position:self.current_position+B*T+1)
x,y = jnp.reshape(buf(:-1),(B,T)), jnp.reshape(buf(1:),(B,T))
self.current_position += B*T
if self.current_position + B*T+1 > len(self.tokens):
self.current_position = 0
return x,y

Colab-Ergebnis: Einfacher Datenlader mit 4 Batchgrößen und 128 Sequenzlängen

Als nächstes vergessen wir zunächst das verteilte Coaching und die Optimierung und erstellen einfach eine naive Trainingsschleife für eine Plausibilitätsprüfung. Das erste, was wir nach der Initialisierung des Modells tun müssen, ist die Erstellung eines ZugStaatein Modellzustand, in dem wir die Parameter und Gradienten aktualisieren können. Der TrainState nimmt drei wichtige Eingaben entgegen: apply_fn (Modell-Vorwärtsfunktion), params (Modellparameter aus der Init-Methode) und tx (eine Optax-Gradiententransformation).

Dann verwenden wir die Funktion train_step, um den Modellstatus (Gradienten und Parameter) zu aktualisieren und mit dem Modelltraining fortzufahren. Optax Bereitstellung der Softmax-Kreuzentropie als Verlustfunktion für die nächste Token-Vorhersageaufgabe und jax.value_and_grad berechnet die Gradienten und den Verlustwert für die Verlustfunktion. Schließlich aktualisieren wir den Zustand des Modells mit den neuen Parametern mithilfe der apply_gradients API. (Referenz) Vergessen Sie nicht, die Funktion train_step zu deaktivieren, um den Rechenaufwand zu reduzieren!

def init_train_state(key, config) -> TrainState:
mannequin = GPT(config)
params = mannequin.init(key)
optimizer = optax.adamw(3e-4, b1=0.9, b2=0.98, eps=1e-9, weight_decay=1e-1)
train_state = TrainState.create(
apply_fn=mannequin.apply,
params=params,
tx=optimizer)
return train_state

@jax.jit
def train_step(state: TrainState, x: jnp.ndarray, y: jnp.ndarray) -> Tuple(jnp.ndarray, TrainState):

def loss_fn(params: FrozenDict) -> jnp.ndarray:

logits = state.apply_fn(params, x, False)
loss = optax.softmax_cross_entropy_with_integer_labels(logits, y).imply()
return loss

loss, grads = jax.value_and_grad(loss_fn, has_aux=False)(state.params)
new_state = state.apply_gradients(grads=grads)
return loss, new_state

Jetzt ist alles bereit für die Poorman-Trainingsschleife. Lassen Sie uns den Verlustwert überprüfen. Die Vorhersage des Modells sollte besser sein als die zufällige Schätzung, additionally sollte der Verlust niedriger sein als -ln(1/50257)≈10,825. Was wir von der Überanpassung eines einzelnen Batches erwarten, ist: Am Anfang liegt der Verlust bei etwa 10,825, dann sinkt er auf quick 0. Nehmen wir einen Batch von (x, y) und führen die Trainingsschleife 50 Mal aus. Ich füge auch ein ähnliches Protokoll hinzu, um die Trainingsgeschwindigkeit zu berechnen.

Wie wir sehen, entspricht der Verlustwert genau unseren Erwartungen und der Trainingsdurchsatz liegt bei etwa 400–500 ok Token/Sek. Das ist bereits 40x schneller als die ursprüngliche Model von Pytorch ohne jegliche Optimierung in Andrejs Video. Beachten Sie, dass wir die Jax-Skripte auf 1 A100 GPU ausführen, was den Hardwareunterschied für den Geschwindigkeitsvergleich beseitigen sollte. Es gibt keine .to(system) Sachen, um Ihr Modell oder Ihre Daten von der Host-CPU auf die Geräte-GPU zu verschieben, was einer der Vorteile von Jax ist!

Das conflict’s additionally, wir haben es geschafft. In Teil 2 werden wir das Coaching mit weiteren Optimierungen 10x schneller machen …

Teil 2: Die Reise der Trainingsoptimierung zu 1350.000 Tokens/Sek. in einer einzigen GPU!

„Sofern nicht anders angegeben, stammen alle Bilder vom Autor“

[ad_2]

]]> https://chatgpz.de/machine-learning/lasst-uns-nanogpt-mit-jax-reproduzieren-teil-1-von-louis-wang-jul-2024/feed/ 0 2895