in den sozialen Medien über einen Passagier, der wegen Überbuchung aus einem Flugzeug gestoßen wurde. Wenn Sie Vielflieger sind, kann es sein, dass Sie in eine ähnliche Scenario geraten. Wenn Sie Pech haben, sind Sie es vielleicht sogar.

Das hört sich vielleicht wie ein Fehler an, aber ich kann Ihnen versichern, dass das nicht der Fall ist. Wir leben in einer Welt, in der solche betrieblichen Fehler, insbesondere in der Luftfahrtbranche, nur dann passieren, wenn sie absichtlich geschehen.

Es handelt sich additionally nicht um einen Fehler, sondern um ein Risiko, das die Fluggesellschaft eingegangen ist, um ihren Gewinn zu maximieren. Ausgefallener ausgedrückt handelt es sich hierbei um einen statistisch vorhersehbaren Kompromiss, der auf Datenwissenschaft (oder reiner Mathematik) basiert. Dies warfare eine Entscheidung, die auf Wahrscheinlichkeit und Mathematik beruhte, um möglicherweise einige zusätzliche Millionen zu gewinnen.

In diesem Artikel gehen wir dem auf den Grund und lernen viele wertvolle Konzepte rund um Wahrscheinlichkeit, Verteilungen und Erwartungswert kennen (sehr wichtige Themen für Datenwissenschaftler, Analysten und alle, die sich für Analysen interessieren).

DS Airways verkauft zusätzliche Tickets

Ich möchte diese Firma DS Airways nennen. Sie verkaufen 304 Sitzplätze für einen Flug mit einer Kapazität von 300 Sitzplätzen. Basierend auf historischen Flugdaten liegt die Wahrscheinlichkeit, dass ein Passagier zu einem Flug erscheint, bei 95 %.

Wir werden versuchen, die folgenden Fragen zu beantworten:

1. Wie groß ist die Wahrscheinlichkeit, dass dieser Flug überbucht ist? Dies geschieht, wenn mindestens 301 Passagiere zum Flug erscheinen.
2. Wie hoch ist der erwartete Wert der Anzahl überbuchter Passagiere?
3. Was riskiert die Fluggesellschaft, wenn sie mehr Tickets verkauft als verfügbare Sitzplätze?

Wir gehen zunächst davon aus, dass die Passagiere voneinander unabhängig sind. Die Entscheidung eines Passagiers, zum Flug zu erscheinen, hat keinen Einfluss auf die Entscheidungen anderer Passagiere. Dann können wir sagen, dass die Wahrscheinlichkeit, dass ein Passagier auftaucht, 0,95 (dh 95 %) beträgt.

Diese Annahme trifft nicht immer zu, da möglicherweise Familien oder Gruppen zusammen fliegen. Wenn eine Particular person in einer Familie auftaucht, ist die Wahrscheinlichkeit, dass auch andere Familienmitglieder erscheinen, viel höher als 95 %. Wenn wir jedoch auf solche Particulars und Bedingungen eingehen, wird die Mathematik zu einem Albtraum mit komplexen bedingten Wahrscheinlichkeiten. Außerdem wissen wir möglicherweise nicht immer, wer zusammen fliegt (z. B. können Mitglieder einer Gruppe Tickets separat kaufen).

Unter der Annahme unabhängiger Passagiere können wir sagen, dass die Anzahl der Passagiere, die zum Flug erscheinen, einer Binomialverteilung folgt.

Binomialverteilung

Die Binomialverteilung ist ein Wahrscheinlichkeitsmodell, das zum Zählen von Erfolgen in einer Reihe wiederholter, identischer und unabhängiger Ereignisse verwendet wird. Das Ergebnis dieser Ereignisse muss binär sein (dh 1 oder 0, zum Flug erscheinen oder nicht erscheinen). Daher können 304 Passagiere, die zum Flug erscheinen, mithilfe einer Binomialverteilung einer Reihe von 304 unabhängigen Ereignissen modelliert werden, wobei die Wahrscheinlichkeit eines Ereignisses 95 % beträgt.

Damit ein Szenario für eine Binomialverteilung qualifiziert ist, muss es die folgenden Bedingungen erfüllen:

• Binäres Ergebnis: Erfolg (erscheinen zum Flug) oder Misserfolg (erscheinen nicht).
• Unabhängige Ereignisse: Das Erscheinen einer Particular person zum Flug hat keinerlei Auswirkungen auf andere Passagiere.
• Gleiche Erfolgswahrscheinlichkeit: 95 % für alle Passagiere.
• Feste Anzahl an Veranstaltungen: Dies ist die Anzahl der für diesen Flug verkauften Tickets, nämlich 304.

Die Binomialverteilung hilft uns bei der Beantwortung der folgenden Frage: Wie hoch ist die Wahrscheinlichkeit, genau okay erfolgreiche Ergebnisse zu erzielen, wenn ich ein Experiment mehrmals wiederhole?

Wahrscheinlichkeit einer Überbuchung

Unser Flug ist überbucht, wenn mehr als 300 Passagiere erscheinen. Daher müssen wir die Wahrscheinlichkeit von okay > 300 erfolgreichen Ergebnissen berechnen.

Bei der Binomialverteilung beträgt die Wahrscheinlichkeit für okay erfolgreiche Ergebnisse:

• n ist die Gesamtzahl der Ereignisse, additionally 304
• okay ist die Anzahl der Erfolge
• p ist die Erfolgswahrscheinlichkeit des Ereignisses, die 0,95 beträgt.
• (1-p) ist die Wahrscheinlichkeit eines Fehlerereignisses (nicht angezeigt), die 1 – 0,95 = 0,05 beträgt.

Diese Formel beruht auf der Unabhängigkeit von Ereignissen. Wenn in der Wahrscheinlichkeitstheorie A und B unabhängig sind, ist die Wahrscheinlichkeit, dass beide Ereignisse eintreten, ihre miteinander multiplizierten Einzelwahrscheinlichkeiten:

Um die Wahrscheinlichkeit zu berechnen, dass okay=301 Passagiere auftauchen, multiplizieren wir 301 0,95 und 5 0,05. Dann multiplizieren wir es mit dem Kombinator am Anfang. Es lautet „n wähle okay“, was für die Anzahl der verschiedenen zählt Wege Wir wählen 301 von 304 Personen aus.

Die folgende Zeichnung erleichtert das Verständnis der Logik hinter der Formel der Wahrscheinlichkeit mit Binomialverteilung etwas. Zur Vereinfachung zeigt es die Wahrscheinlichkeit, dass 4 Passagiere zu einem Flug mit 5 verkauften Tickets erscheinen:

Die erste Reihe geht davon aus, dass Passagier 5 nicht erscheint, die zweite Reihe geht davon aus, dass Passagier 2 nicht erscheint. Da diese Ereignisse unabhängig und identisch sind, ist die Wahrscheinlichkeit dieser Ereignisse gleich. Es gibt 5 Kombinationen, bei denen 1 Passagier nicht erscheint (dh 5 wählt 4 ist 5). Daher ist die Wahrscheinlichkeit, dass vier Passagiere zum Flug erscheinen, fünfmal so groß wie die Wahrscheinlichkeit, dass ein Passagier nicht erscheint.

Die Antwort auf unsere erste Frage (Wie hoch ist die Wahrscheinlichkeit, dass dieser Flug überbucht ist?) kann additionally als P(X > 300) berechnet werden, was der Summe von P(X=301) + P(X=302) + P(X=303) + P(X=304) entspricht:

Die Zahlen am Anfang ergeben sich aus Kombinationen:

Aus einer Gruppe von 304 Passagieren können wir auf 4.636.304 verschiedene Arten 301 Passagiere auswählen.

Das Endergebnis ist additionally:

Die genaue Wahrscheinlichkeit, dass der Flug überbucht ist, beträgt 0,000139, was etwa 0,014 % (oder etwa einer Wahrscheinlichkeit von 1 zu 7.200) entspricht.

Wir haben die Wahrscheinlichkeit ermittelt, dass dieser Flug überbucht sein wird. Wie wir in den obigen Berechnungen sehen können, ist der Flug überbucht, wenn 301, 302, 303 oder 304 Passagiere erscheinen (additionally 1, 2, 3 oder 4 überbuchte Passagiere). Dies bringt uns zur zweiten Frage: Wie hoch ist der erwartete Wert der Anzahl überbuchter Passagiere?

Erwarteter Wert

Anders als der Identify vermuten lässt, ist der erwartete Wert nicht das Ergebnis, das wir bei einem einzelnen Versuch erwarten. Die Antwort auf die Frage „Wie viele Passagiere werden voraussichtlich morgen auf dem Flug sein?“ ist nicht die Bedeutung von Erwartungswert.

Stattdessen handelt es sich um den mathematischen „langfristigen“ Durchschnitt einer Zufallsvariablen, wenn wir das Experiment immer wieder wiederholen. Es kann sich additionally um eine Gleitkommazahl handeln, beispielsweise 302,4 Personen.

Um den erwarteten Wert zu berechnen, gewichten wir jedes potenzielle Ergebnis anhand der Wahrscheinlichkeit, dass es tatsächlich eintritt. Es wird mindestens einen überbuchten Passagier geben, wenn 301, 302, 303 oder 304 Passagiere zum Flug erscheinen. Wir können die Wahrscheinlichkeiten verwenden, die wir bereits für diese Ereignisse berechnet haben:

Wenn 301 Passagiere erscheinen, gibt es 1 überbuchten Passagier. Wenn 302 Passagiere erscheinen, gibt es 2 überbuchte Passagiere usw. Daher beträgt der Erwartungswert der Anzahl überbuchter Passagiere 0,000166.

Betrachten wir es in einem größeren Maßstab. Wenn die Fluggesellschaft diese bestimmte Flugstrecke 10.000 Mal durchführt, hat sie insgesamt 1,66 überbuchte Passagiere (bei allen 10.000 Flügen zusammen).

Dies bringt uns zu dem Punkt, an dem wir den tatsächlichen Geschäftswert besprechen. Dies ist unsere dritte Frage: Was riskiert die Fluggesellschaft, wenn sie mehr Tickets verkauft als verfügbare Sitzplätze?

Von der reinen Mathematik zum echten Geschäft

Fügen wir unserem Beispiel mit 10.000 Flügen einige realistische Zahlen hinzu, wobei wir von einem durchschnittlichen Ticketpreis von 200 $ ausgehen:

Durch den Verkauf von 4 zusätzlichen Tickets auf jedem einzelnen dieser 10.000 Flüge generiert die Fluggesellschaft 40.000 zusätzliche Ticketverkäufe. Bei 200 US-Greenback professional Particular person sind das 8.000.000 US-Greenback an Einnahmen, die andernfalls als leere Plätze verflogen wären.

Von diesen 10.000 Flügen rechnen wir mit etwa 1,66 überbuchten Passagieren. Gemäß Verbraucherschutzbestimmungen (z. B. des US-Verkehrsministeriums) schuldet Ihnen eine Fluggesellschaft, wenn Sie unfreiwillig angefahren werden, eine Barentschädigung in Höhe von bis zu 400 % Ihres Flugpreises, maximal 2.150 US-Greenback. Selbst unter Berücksichtigung anderer Ausgaben (z. B. Hotelgutscheine) betragen die Kosten für die Fluggesellschaft über alle 10.000 Flüge hinweg weniger als 5.000 US-Greenback.

Aus rein finanzieller Sicht ist es sehr reizvoll, 5.000 US-Greenback zu riskieren, um sich zusätzliche Einnahmen in Höhe von 8 Millionen US-Greenback zu sichern.

Das Leben ist jedoch keine reine Mathematik. Eine virale Verbreitung aufgrund einer chaotischen Gate-Konfrontation kann zu einem Verlust der Kundentreue in Höhe von Tausenden von Greenback führen. Abhängig von der Schwere dieser viralen PR können Fluggesellschaften sogar an Börsenwert verlieren. Wir sind uns alle einig, dass es für das langfristige Geschäft schrecklich ist, Menschen aus Flugzeugen zu schleppen.

Auch hierfür haben die Fluggesellschaften eine Lösung. Sie führen „Reverse-Auktionen“ über ihre mobilen Apps oder am Flugsteig durch. Anstatt einen Laptop damit zu beauftragen, einen beliebigen Passagier aus dem Flug zu werfen, fragen sie: „Wer möchte den nächsten Flug für einen 500-Greenback-Gutschein nehmen? 800 Greenback? 1.500 Greenback?“

Das Flugzeug fliegt zu 100 % ausgelastet, die Einnahmen bleiben auf dem Bankkonto der Fluggesellschaft und niemand wird in den sozialen Medien viral.

Drei Unternehmen kontrollieren 90 % des DRAM. Jetzt will eine Klage wissen, warum RAM 700 % mehr kostet

Eine neue Kartellklage des Bundes wirft Samsung, SK Hynix und Micron vor, den KI-Speicherboom als Geschäftsvorwand zu nutzen, um das Angebot an Customary-DRAMs zu verknappen. Siebzehn Kläger, darunter Einzelkäufer und zwei kleine Computerreparaturunternehmen, reichten die Klage am 25. Juni 2026 beim US-Bezirksgericht für den nördlichen Bezirk von Kalifornien ein. Das Ergebnis ist weit über Gaming-PCs hinaus von Bedeutung: Es wird geprüft, ob drei Unternehmen, die quick 90 % der weltweiten DRAM-Versorgung kontrollieren, von der intelligenten Kapazitätsplanung zu einer illegalen Vereinbarung übergegangen sind.

Die globalen Speicherpreise haben sich seit über einem Jahrzehnt nicht mehr so ​​schnell bewegt, und der Nachfragetreiber hinter dem aktuellen Anstieg unterscheidet sich von früheren Zyklen: Hyperscale-KI-Coaching und -Inferenz, nicht die Aktualisierung von Verbrauchergeräten. Datafloq-Leser, die sich mit IT-Budgets, Cloud-Infrastruktur oder {Hardware}-Aktualisierungszyklen befassen, spüren bereits die Auswirkungen, unabhängig davon, wie die Klage ausgeht.

Die Beschwerde: Ein KI-Alibi für Rohstoffknappheit

Garciaguirre et al. gegen Samsung Electronics Co., Ltd. et al., eingetragen im Northern District of California unter der Aktenzeichen 5:2026cv06345, nennt Samsung Electronics, Samsung Semiconductor, SK Hynix, SK Hynix America und Micron Expertise als Beklagte. Der Fall wurde zunächst dem Magistratsrichter Nathanael M. Cousins ​​zugewiesen, dann am 26. Juni 2026 an Bezirksrichter Noel Smart übertragen, wobei die Ermittlungen an die Magistratsrichterin Virginia Okay. DeMarchi verwiesen wurden. Zur Klägergruppe gehören neben einzelnen PC-Käufern auch kleine Unternehmen wie Troy’s Computer systems LLC und eine Reparaturwerkstatt in Florida, die unter dem Namen My Florida PC firmiert und angeben, für DRAM-basierte Produkte zu viel bezahlt zu haben.

Die Klage beruft sich auf Abschnitt 1 des Sherman Act und wirft den drei Lieferanten vor, koordinierte Kürzungen bei konventionellem DRAM, einschließlich DDR3- und DDR4-Modulen, zu koordinieren, eine Verschiebung, die die Kläger auf das Jahr 2022 datieren. Die Kläger argumentieren, die Unternehmen hätten ihre Kapazitäten hin zu Speicher mit hoher Bandbreite, den spezialisierten DRAMs, die KI-Beschleuniger versorgen, verlagert und die wachsende KI-Nachfrage als öffentlichen Deckmantel für eine Verknappung des Rohstoffangebots genutzt. Die Einreichung beziffert den daraus resultierenden Anstieg der konventionellen bzw. Customary-DRAM-Preise auf etwa 700 % über einen Zeitraum von vier Jahren, eine Zahl, die in der Berichterstattung der Finanz- und Fachpresse über die Beschwerde weit verbreitet ist, jedoch noch nicht an einen bestimmten, bestätigten Preisrichtwert gebunden ist. In der Einreichung heißt es eindeutig: „Seit 2022 haben diese Unternehmen feste Lieferungen und Preise für DRAM.“ Berichten zufolge fordern die Kläger eine Gruppenzertifizierung, eine einstweilige Verfügung und Schadensersatz in dreifacher Höhe, basierend auf Pressezusammenfassungen der Klageschrift und nicht auf einem öffentlichen Beschwerdetext.

Micron sagte gegenüber Traders Enterprise Day by day: „Wir konkurrieren energisch, truthful und unter Einhaltung aller geltenden Gesetze.“ Das Unternehmen hat die Vorwürfe zurückgewiesen und erklärt, es werde sich gegen die Klage verteidigen. Samsung und SK Hynix haben auf der Grundlage von Open-Supply-Prüfungen keine öffentlichen Stellungnahmen zu dem Fall abgegeben.

DRAM gab es schon einmal

Die Klage richtet sich gegen eine intestine dokumentierte Vorgeschichte von DRAM-Kartellverhalten. Das US-Justizministerium führte eine strafrechtliche Untersuchung zu DRAM-Preisabsprachen durch, die sich auf Verhaltensweisen von Juli 1998 bis Juni 2002 erstreckte, und die Folgen führten zu echten Gefängnisstrafen. Samsung stimmte 2005 einer Geldstrafe von 300 Millionen US-Greenback zu, und Hynix zahlte im selben Jahr 185 Millionen US-Greenback. Vier Führungskräfte von Hynix bekannten sich schuldig und verbüßten fünf bis acht Monate Gefängnis, und ein Vertriebsleiter von Samsung erhielt eine achtmonatige Haftstrafe. Die umfassendere DRAM-Untersuchung des DOJ führte schließlich zu mehr als 731 Millionen US-Greenback an Strafgeldern, die insgesamt Infineon und Elpida betrafen, die neben Samsung und Hynix separat eine Geldstrafe von 84 Millionen US-Greenback zahlten. Micron kooperierte damals mit den Ermittlern und vermied eine Unternehmensstrafstrafe. Ein paralleles Zivilverfahren aus den 2000er Jahren, In re Dynamic Random Entry Reminiscence Antitrust Litigation, wurde mit 406 Millionen US-Greenback beigelegt und erhielt eine Klassenzertifizierung vor demselben Gerichtsgebäude im nördlichen Bezirk von Kalifornien, das jetzt die neue Klage verhandelt.

Die Branche ist vorbestraft. Die Kläger wissen es, und der Richter weiß es auch.

Ein neuerer Präzedenzfall geht in die andere Richtung. Im März 2022 bestätigte der Neunte Bezirk die Abweisung eines separaten DRAM-Indirektkäuferverfahrens gegen dieselben drei Unternehmen, eine Entscheidung, die bestimmt, wie die neue Beschwerde voraussichtlich in der Schriftsatzphase geprüft wird.

Die Zahlen stützen zwei verschiedene Geschichten

Für jeden Sachverhalt, den die Kläger als Beweis für eine Koordinierung anführen, gibt es auch eine harmlose Erklärung, und die Marktdaten zeigen, warum. TrendForce schätzt, dass Samsung, SK Hynix und Micron zusammen 89,7 % des DRAM-Umsatzes im ersten Quartal 2026 erwirtschaften, aufgeteilt auf 38,5 % von Samsung, 28,8 % von SK Hynix und 22,4 % von Micron, ein Konzentrationsgrad, der jede Entscheidung über gemeinsame Kapazitäten koordiniert erscheinen lässt, selbst wenn dies nicht der Fall ist. TrendForce prognostizierte außerdem, dass die Vertragspreise für konventionelle DRAMs im ersten Quartal 2026 um 90 bis 95 % gegenüber dem Vorquartal steigen würden, wobei die Preise für PC-DRAMs sich voraussichtlich mindestens verdoppeln würden. Die Untersuchungen von IDC deuten auf denselben zugrunde liegenden Treiber hin: KI-Rechenzentren und Hyperscaler, darunter Microsoft, Google, Meta und Amazon, beanspruchen einen unverhältnismäßig großen Anteil der globalen Speicherkapazität. Der Wandel zwingt die Hersteller dazu, die Waferproduktion auf HBM und DDR5 mit hoher Kapazität umzuverlagern. IDC bezeichnet die Änderung als strukturelle Neuzuweisung und nicht als normale zyklische Knappheit und prognostiziert für 2026 ein Wachstum des DRAM-Angebots von nur 16 % gegenüber dem Vorjahr und ein Wachstum des NAND-Angebots von 17 %, was jeweils unter den historischen Normen liegt. Chinas CXMT hält laut Counterpoint einen Anteil von rund 8 %, was bei weitem nicht ausreicht, um Käufern in absehbarer Zeit eine echte Various zu bieten.

Das Wall Avenue Journal hat berichtet, dass Rechenzentren auf dem besten Weg sind, im Jahr 2026 mehr als 70 % der Produktion von Excessive-Finish-Speicherchips, den Premium-HBM- und DDR5-Produkten mit hoher Kapazität, zu verbrauchen, von denen die KI-Infrastruktur abhängt. Die öffentlichen Untersuchungen von IDC stützen die umfassendere Neuzuteilungserzählung, wonach KI-Käufer einen überproportionalen Anteil der Premium-Speicherkapazität beziehen, aber IDC bestätigt die Zahl von 70 % selbst nicht öffentlich, und die Zahl bezieht sich eher auf Excessive-Finish-Chips als auf die Speicherleistung insgesamt. Die Zahlen von Micron stützen die Nachfragestory jedenfalls: Das Unternehmen gab Lieferverpflichtungen für Kunden in Höhe von 22 Milliarden US-Greenback bekannt und geht davon aus, dass die Speicherversorgung bis mindestens 2027 knapp sein wird.

Die Angeklagten haben auch ein physikalisches Downside, das zu ihren Gunsten wirkt. DRAM-Fabriken erfordern jahrelange Vorlaufzeit, enormes Kapital und lange Kundenqualifizierungszyklen, sodass selbst ein Lieferant, der die Rohstoffproduktion steigern möchte, nicht innerhalb eines einzigen Produktzyklus einen Schalter umlegen und Kapazitäten hinzufügen kann. Die Kläger müssen erklären, warum drei unabhängige Unternehmen aus anderen Gründen als der Ökonomie der gemeinsamen Anreize zur gleichen Zeit die gleiche Kapazitätswette abgeschlossen haben.

Warum paralleles Verhalten allein den Fall nicht gewinnen wird

Abschnitt 1 des Sherman Act zielt auf Vereinbarungen ab, nicht auf Ergebnisse, und die Unterscheidung wird den Fall entscheiden. In der Stellungnahme des Neunten Gerichtsbezirks aus dem Jahr 2022 wurde festgestellt, dass Kläger, die sich auf paralleles Verhalten berufen, sich auf etwas berufen müssen, was das Gericht als „eine weitere faktische Verbesserung“ bezeichnete, die eine tatsächliche Vereinbarung beweist, und das Gremium kam zu dem Schluss, dass die früheren DRAM-Kläger denselben Customary nicht erfüllten. Die Kläger im neuen Fall stehen vor derselben Hürde: Gemeinsame Marktkonzentration, gleichzeitige Kapazitätsverlagerungen hin zu HBM und eine Vorgeschichte von früherem Kartellverhalten beschreiben ein Muster und keinen Beweis für einen Deal. Um einen Klageabweisungsantrag zu überleben, benötigen Kläger wahrscheinlich etwas, das eher einer internen Kommunikation, Gesprächen über die Kundenzuteilung oder synchronisierten Lieferverpflichtungen entspricht, die nicht durch unabhängige Geschäftslogik erklärt werden. Kläger, die auf Treffen von Handelsverbänden, interne Memos über die Produktion von Konkurrenten oder die Koordinierung der Kundenzuteilung verweisen können, haben weitaus bessere Chancen als Kläger, die nur auf übereinstimmende Produktionskurven verweisen. Die Kartellhistorie von DRAM verleiht der neuen Beschwerde erzählerisches Gewicht, doch Gerichte betrachten vergangenes Fehlverhalten im Allgemeinen eher als Kontext und nicht als Beweis für eine aktuelle Verschwörung.

Was bleibt unbestätigt

Einige wichtige Fakten bleiben unbestätigt. Die vollständige Beschwerde ist nicht durch offene Durchsuchungen von Gerichtsakten aufgetaucht, sodass der genaue Preismaßstab hinter der 700-Prozent-Zahl und der gesamte Umfang der beantragten Abhilfe auf Pressezusammenfassungen und nicht auf die Akte selbst zurückzuführen sind. Basierend auf öffentlich zugänglichen Aufzeichnungen hat bisher keine US-amerikanische, europäische, südkoreanische, chinesische oder japanische Regulierungsbehörde eine parallele Untersuchung der aktuellen DRAM-Preise angekündigt. Datafloq wird die Abdeckung aktualisieren, sobald sich die Akte entwickelt und Samsung und SK Hynix reagieren.

Was Unternehmenskäufer als Nächstes beachten sollten

Die Klage wird die tiefere Frage, vor der Beschaffungsteams stehen, nicht lösen: Ist das Gedächtnis dauerhaft zu einem strategischen Enter und nicht zu einem Hintergrundgut geworden? Meine Meinung: Das ist bereits der Fall, unabhängig davon, wie der Fall ausgehen wird. Drei Anbieter, die quick 90 % des DRAM-Umsatzes kontrollieren, bedeuten, dass sich jede von ihnen getroffene Kapazitätsentscheidung, ob rechtmäßig oder nicht, auf {Hardware}-Aktualisierungsbudgets, KI-PC-Rollouts, Server-Upgrades und Edge-Bereitstellungen auswirkt. Wenn der Fall einen Antrag auf Abweisung übersteht, könnte die Entdeckung interne Kommunikation, Kundenzuteilungsaufzeichnungen und Preisstrategiedokumente offenlegen, die die Artwork und Weise verändern können, wie Käufer künftig Lieferverträge aushandeln. Selbst ohne eine Haftungsfeststellung führt ein längerer Rechtsstreit tendenziell dazu, dass sich das Verhalten und die Vertragssprache des Lieferanten ändern. Bis es zu einem Gerichtsverfahren kommt, werden noch Jahre auf sich warten, und große Sammelklagen im Kartellrecht werden in der Regel beigelegt, statt zu einem Urteil zu gelangen.

Beschaffungsteams, die die Akte lesen, sollten Speicher genauso behandeln, wie sie GPUs ohnehin schon behandeln: als einen eingeschränkten Enter, der es wert ist, sich an Mehrjahresverträge zu binden, und nicht als Einzelposten, bei dem jedes Quartal nach Preis gekauft wird. Käufer, die warten, bis der Fall geklärt ist, bevor sie ihre Beschaffungsstrategie anpassen, werden die nächsten zwei Jahre damit verbringen, aus einer schwächeren Place heraus zu verhandeln, da Microns Kundenzusagen in Höhe von 22 Milliarden US-Greenback zeigen, dass große Käufer sich bereits vor allen anderen Zuteilungen sichern.

Der Fall wird nicht geklärt, ob KI den Speichermangel verursacht hat. Es wird geklärt, ob Samsung, SK Hynix und Micron den Mangel als Deckmantel für etwas nutzten, das Gerichte als unlawful erachten. So oder so sind Unternehmenseinkäufer, die RAM bei der Beschaffungsplanung immer noch als Nebensache betrachten, bereits im Rückstand.

Ein Forschungsteam unter der Leitung von Professor Wang Mingtai an den Hefei Institutes of Bodily Science, Chinesische Akademie der Wissenschaften, hat entwickelt Eine raffinierte Methode zum Anbau von Titan-Dioxid-Nanorod-Arrays (TiO₂-NA) mit kontrollierbarem Abstand, bei der die konstante individuelle Stabgröße aufrechterhalten wird, und zeigte ihren Nutzen in Hochleistungs-Solarzellen.

Die im Journal Small Strategies veröffentlichten Ergebnisse führen eine Methode zur Herstellung von Nanostrukturen vor, die über saubere Energie und Optoelektronik gelten. Einkristalline Tio₂-Nanoroden sind für die leichte Ernte und Ladung wirksam, wodurch sie für Solarzellen-, Photokatalysator- und Sensoranwendungen geeignet sind. Herkömmliche Herstellungstechniken für diese Nanoroden verbinden die Dichte, den Durchmesser und die Länge typischerweise die Stangendichte, die Anpassungen an einen Parameter beeinflussen die anderen und beeinflussen häufig die Effizienz der Geräte.

Das Forschungsteam befasste sich mit dieser Einschränkung, indem sie die Hydrolysestufe eines Vorläuferfilms erweiterte. Diese Erweiterung führte zur Montage längerer „Gelketten“, die wiederum kleinere Anatas -Nanopartikel bildeten. Wenn dieser Anatasfilm hydrothermal behandelt wurde, wandelten sich diese Nanopartikel in situ in rutile um und fungierten als Samen für das nachfolgende Nanorod -Wachstum. Diese kontrollierte Hydrolysestufe bietet einen Mechanismus zur Regulierung der Stangendichte, ohne die Abmessungen der einzelnen Nanoroden zu verändern.

---

Dieses KI -Labor möchte wissenschaftliche Entdeckungen automatisieren

---

Mit diesem Ansatz produzierte das Crew erfolgreich Tio₂-Na-Filme, bei denen der Stabdurchmesser und die Höhe konsistent blieben, während die Anzahl der Stäbe professional Flächeneinheit variierte. Wenn diese Filme in mit niedrig temperaturverarbeitete Cuins₂-Solarzellen integriert wurden, erreichten sie Effizienz von Stromumwandlung von mehr als zehn Prozent und erreichten eine Spitzenwirkungsgrad von 10,44 Prozent. Um die Auswirkungen des Abstands auf die Leistung zu erläutern, führte das Crew ein Modell der Lautstärkeoberfläche (VSD) ein. In diesem Modell wird erläutert, wie Variationen der Stabdichte die Leuchtdichte, die Ladungstrennung und die Trägersammlung innerhalb der Solarzellenstruktur beeinflussen.

Diese Forschung befasst sich mit früheren Einschränkungen bei der Regulierung von Nanostrukturen, indem ein umfassendes System erstellt wird, das die Regulation der Makroprozess mit der Entwicklung der Mikrostruktur und der Optimierung der Geräteleistung verknüpft.

---

Ausgewähltes Bildnachweis

Das Silicon-Valley-Startup REMspace hat einen historischen Meilenstein erreicht: die erste Kommunikation zwischen zwei Personen innerhalb eines Klartraums. Mithilfe modernster Neurotechnologie tauschten die Teilnehmer im Schlaf eine einfache Nachricht aus und markierten damit eine neue Grenze in der traumbasierten Kommunikation.

Wie funktioniert die Klartraumkommunikation von REMspace?

Am 24. September 2024 kommunizierten zwei Personen erfolgreich in Klarträumen – Traumzuständen, in denen die Particular person sich bewusst ist, dass sie träumt. Dieses Experiment wurde aus der Ferne durchgeführt, wobei die Teilnehmer in ihren eigenen Häusern schliefen, während ihre Gehirnwellen und andere Schlafdaten mit speziell entwickelten Geräten verfolgt wurden. Sobald der erste Teilnehmer in einen Klartraum eintrat, wurde ihm über die Ohrhörer ein zufälliges „Remmyo“-Wort gesendet.

Der Teilnehmer wiederholte das Wort in seinem Traum und die Antwort wurde erfasst und auf einem Server gespeichert. Minuten später erhielt der zweite Teilnehmer, der ebenfalls einen Klartraum hatte, die gespeicherte Nachricht und bestätigte sie beim Aufwachen.

Das progressive Remmyo-System von REMspace warfare ausschlaggebend für diesen Durchbruch. Remmyo, eine traumspezifische Sprache, die durch Gesichtselektromyographiesensoren erkannt wird, ermöglicht die Entschlüsselung spezifischer Geräusche, die während Träumen erzeugt werden. Diese Technologie wurde erstmals in früheren Forschungen eingeführt, aber dies ist das erste Mal, dass sie einen echten „Chat“ innerhalb eines Traums ermöglicht.

Zusätzlich zur Zwei-Personen-Kommunikation kommunizierten zwei weitere Teilnehmer erfolgreich über ihre Träume mit dem Server, was die Wirksamkeit des Techniques weiter unter Beweis stellte.

Kann man in einem Klartraum jemanden treffen?

Ja, es ist möglich, jemanden in einem Klartraum zu „treffen“, aber die Erfahrung hängt davon ab, wie Klarträumen funktioniert. In einem klaren Traum sind Sie sich bewusst, dass Sie träumen, und können häufig Elemente des Traums, einschließlich Personen und Szenarien, kontrollieren. Während Sie jemanden nicht im physischen Sinne treffen können, können Sie einer Traumversion von ihm begegnen – das könnte jemand sein, den Sie kennen, oder eine völlig fiktive Particular person.

Einige Klarträumer berichten von lebhaften Interaktionen mit anderen Traumfiguren und können Gespräche gestalten oder sogar Traumszenarien im Voraus planen. Es ist jedoch wichtig zu beachten, dass diese Charaktere Projektionen Ihres Geistes sind und nicht das tatsächliche Bewusstsein einer anderen Particular person.

Nachdem das gesagt istWie der jüngste Durchbruch von REMspace zeigt, wird die echte Kommunikation zwischen zwei Menschen in klaren Träumen durch neue Technologien zur Realität. Dies könnte sich zu einer Type des gemeinsamen Träumens entwickeln, befindet sich jedoch noch in einem frühen Entwicklungsstadium.

Was kommt als nächstes für REMspace?

Michael Raduga, CEO von REMspace, betrachtet diesen Durchbruch nur als den Anfang dessen, was möglich ist. Er erklärte:

„Gestern kam es mir wie Science-Fiction vor, in Träumen zu kommunizieren. „Morgen wird es so alltäglich sein, dass wir uns ein Leben ohne diese Technologie nicht mehr vorstellen können“,

Raduga glaubt, dass Traumkommunikation ebenso transformativ sein könnte wie künstliche Intelligenz, unzählige kommerzielle Anwendungen erschließen und die Artwork und Weise, wie wir in der Traumwelt kommunizieren und interagieren, neu gestalten könnte.

Aufbauend auf diesem Erfolg plant REMspace, die Grenzen noch weiter zu verschieben. Ihr nächstes Ziel besteht darin, Echtzeitkommunikation in Klarträumen zu ermöglichen – eine weitaus komplexere Herausforderung, von der sie jedoch optimistisch sind, sie innerhalb weniger Monate zu meistern. Dieser Fortschritt könnte nicht nur die Kommunikation, sondern auch das Verständnis des menschlichen Geistes und der Träume revolutionieren.

Was ist REMspace?

REMspace ist ein Neurotechnologieunternehmen, das sich auf Schlafverbesserung und klares Träumen spezialisiert hat. Ihr Forschungsschwerpunkt liegt auf innovativen Lösungen wie intelligenten Schlafmasken und Traumtagebüchern zum Teilen von Träumen. Ihre bisherigen Forschungen haben gezeigt, dass Geräusche, Melodien und sogar virtuelle Objekte aus Träumen heraus gesteuert werden können. Mit diesem neuesten Durchbruch positioniert sich REMspace an der Spitze einer neuen Branche, die auf REM-Schlaf und klaren Träumen basiert.

Diese aufregende neue Grenze verspricht, in den kommenden Jahren unsere Einstellung zu Schlaf, Kommunikation und Technologie zu verändern.

---

Bildnachweise: REMspace

Einführung von LLMs – NLP und neuronale Netzwerke

Die Entwicklung großer Sprachmodelle geschah nicht über Nacht. Bemerkenswerterweise begann das erste Konzept von Sprachmodellen mit regelbasierten Systemen, die als Verarbeitung natürlicher Sprache bezeichnet wurden. Diese Systeme folgen vordefinierten Regeln, die Entscheidungen treffen und Schlussfolgerungen auf der Grundlage von Texteingaben ziehen. Diese Systeme basieren auf if-else-Anweisungen, die Schlüsselwortinformationen verarbeiten und vorgegebene Ausgaben generieren. Stellen Sie sich einen Entscheidungsbaum vor, bei dem die Ausgabe eine vorgegebene Antwort ist, wenn die Eingabe X, Y, Z oder nichts enthält. Beispiel: Wenn die Eingabe die Schlüsselwörter „Mutter“ enthält, wird „Wie geht es deiner Mutter?“ ausgegeben. Andernfalls wird „Können Sie das näher erläutern?“ ausgegeben.

Der größte Fortschritt in der Anfangszeit waren neuronale Netzwerke, die 1943 erstmals von dem Mathematiker Warren McCulloch vorgestellt wurden. Inspiriert von den Neuronen der menschlichen Gehirnfunktion. Neuronale Netzwerke sind sogar schon rund 12 Jahre älter als der Begriff „künstliche Intelligenz“. Das Netzwerk der Neuronen in jeder Schicht ist auf eine bestimmte Weise organisiert, wobei jeder Knoten ein Gewicht hat, das seine Bedeutung im Netzwerk bestimmt. Letztendlich öffneten neuronale Netzwerke verschlossene Türen und schufen die Grundlage, auf der KI für immer aufgebaut sein wird.

Entwicklung von LLMs – Einbettungen, LSTM, Aufmerksamkeit und Transformatoren

Laptop können die Bedeutung von Wörtern, die in einem Satz zusammenstehen, nicht auf die gleiche Weise erfassen wie Menschen. Um das Computerverständnis für die semantische Analyse zu verbessern, muss zunächst eine Worteinbettungstechnik angewendet werden, die es Modellen ermöglicht, die Beziehungen zwischen benachbarten Wörtern zu erfassen, was zu einer verbesserten Leistung bei verschiedenen NLP-Aufgaben führt. Es muss jedoch eine Methode geben, um Worteinbettungen im Speicher zu speichern.

Langzeit-Kurzzeitgedächtnis (LSTM) und Gated Recurrent Models (GRUs) waren große Fortschritte innerhalb neuronaler Netzwerke, da sie sequentielle Daten effektiver verarbeiten konnten als herkömmliche neuronale Netzwerke. Obwohl LSTMs nicht mehr verwendet werden, ebneten diese Modelle den Weg für komplexere Aufgaben zum Verstehen und Generieren von Sprachen, die schließlich zum Transformer-Modell führten.

Der moderne LLM – Achtung, Transformatoren und LLM-Varianten

Die Einführung des Aufmerksamkeitsmechanismus struggle ein Wendepunkt, da er es Modellen ermöglichte, sich bei der Erstellung von Vorhersagen auf verschiedene Teile einer Eingabesequenz zu konzentrieren. Transformer-Modelle, die 2017 mit dem wegweisenden Papier „Consideration is All You Want“ eingeführt wurden, nutzten den Aufmerksamkeitsmechanismus, um ganze Sequenzen gleichzeitig zu verarbeiten, was sowohl die Effizienz als auch die Leistung erheblich verbesserte. Die acht Google-Wissenschaftler waren sich nicht darüber im Klaren, welche Auswirkungen ihr Papier auf die Entwicklung der heutigen KI haben würde.

Im Anschluss an das Paper wurde Googles BERT (2018) entwickelt und als Grundlage für alle NLP-Aufgaben angepriesen. Es diente als Open-Supply-Modell, das in zahlreichen Projekten verwendet wurde und es der KI-Group ermöglichte, Projekte zu entwickeln und zu wachsen. Sein Expertise für kontextuelles Verständnis, seine vortrainierte Natur und die Möglichkeit zur Feinabstimmung sowie die Demonstration von Transformer-Modellen ebneten den Weg für größere Modelle.

Neben BERT veröffentlichte OpenAI GPT-1, die erste Iteration ihres Transformer-Modells. GPT-1 (2018) begann mit 117 Millionen Parametern, gefolgt von GPT-2 (2019) mit einem gewaltigen Sprung auf 1,5 Milliarden Parameter, und die Entwicklung ging mit GPT-3 (2020) weiter, das 175 Milliarden Parameter umfasst. OpenAIs bahnbrechender Chatbot ChatGPT, der auf GPT-3 basiert, wurde zwei Jahre später am 30. November 2022 veröffentlicht, was einen großen Hype auslöste und den Zugang zu leistungsstarken KI-Modellen wirklich demokratisierte. Erfahren Sie mehr über die Unterschied zwischen BERT und GPT-3.

Welche technologischen Fortschritte bestimmen die Zukunft des LLM?

Fortschritte bei der {Hardware}, Verbesserungen bei Algorithmen und Methoden sowie die Integration von Multimodalität tragen alle zur Weiterentwicklung großer Sprachmodelle bei. Da die Branche neue Wege findet, LLMs effektiv zu nutzen, wird sich die weitere Weiterentwicklung an jede Anwendung anpassen und schließlich die Computerlandschaft völlig verändern.

Fortschritte bei der {Hardware}

Die einfachste und direkteste Methode zur Verbesserung von LLMs ist die Verbesserung der eigentlichen {Hardware}, auf der das Modell läuft. Die Entwicklung spezialisierter {Hardware} wie Grafikprozessoren (GPUs) Das Coaching und die Inferenz großer Sprachmodelle wurden erheblich beschleunigt. GPUs mit ihren parallelen Verarbeitungsfunktionen sind für die Verarbeitung der riesigen Datenmengen und komplexen Berechnungen, die LLMs erfordern, unverzichtbar geworden.

OpenAI verwendet NVIDIA-GPUs für seine GPT-Modelle und struggle einer der ersten NVIDIA DGX-Kunden. Ihre Beziehung erstreckte sich vom Aufkommen der KI bis zur Weiterführung der KI, als der CEO die erste NVIDIA DGX-1, aber auch die neueste NVIDIA DGX H200 persönlich übergab. Diese GPUs verfügen über riesige Speichermengen und Parallel Computing für Coaching, Bereitstellung und Inferenzleistung.

Verbesserungen bei Algorithmen und Architekturen

Die Transformer-Architektur ist dafür bekannt, dass sie bereits LLMs unterstützt. Die Einführung dieser Architektur struggle ausschlaggebend für die Weiterentwicklung von LLMs in ihrer heutigen Kind. Ihre Fähigkeit, ganze Sequenzen gleichzeitig statt sequenziell zu verarbeiten, hat die Effizienz und Leistung des Modells dramatisch verbessert.

Dennoch bleibt von der Transformer-Architektur und ihrer Fähigkeit, große Sprachmodelle weiterzuentwickeln, noch viel zu erwarten.

• Kontinuierliche Verfeinerungen des Transformer-Modells, einschließlich besserer Aufmerksamkeitsmechanismen und Optimierungstechniken, werden zu genaueren und schnelleren Modellen führen.
• Die Forschung an neuartigen Architekturen, wie etwa Sparse Transformers und effizienten Aufmerksamkeitsmechanismen, zielt darauf ab, den Rechenleistungsbedarf zu senken und gleichzeitig die Leistung beizubehalten oder zu steigern.

Integration multimodaler Eingaben

Die Zukunft von LLMs liegt in ihrer Fähigkeit, multimodale Eingaben zu verarbeiten und Textual content, Bilder, Audio und möglicherweise andere Datenformen zu integrieren, um reichhaltigere und kontextbezogenere Modelle zu erstellen. Multimodale Modelle wie CLIP und DALL-E von OpenAI haben das Potenzial der Kombination visueller und textlicher Informationen gezeigt und Anwendungen in der Bildgenerierung, Beschriftung und mehr ermöglicht.

Diese Integrationen ermöglichen es LLMs, noch komplexere Aufgaben auszuführen, wie etwa das Erfassen des Kontexts sowohl aus Texten als auch aus visuellen Hinweisen, was sie letztendlich vielseitiger und leistungsfähiger macht.

Zukunft des LLM

Die Fortschritte sind nicht zum Stillstand gekommen und es werden noch mehr kommen, da die LLM-Entwickler planen, noch innovativere Techniken und Systeme in ihre Arbeit zu integrieren. Nicht jede Verbesserung bei LLMs erfordert anspruchsvollere Berechnungen oder ein tieferes konzeptionelles Verständnis. Eine wichtige Verbesserung ist die Entwicklung kleinerer, benutzerfreundlicherer Modelle.

Auch wenn diese Modelle möglicherweise nicht an die Effektivität von „Mammut-LLMs“ wie GPT-4 und LLaMA 3 heranreichen, ist es wichtig, sich daran zu erinnern, dass nicht alle Aufgaben huge und komplexe Berechnungen erfordern. Trotz ihrer Größe können fortschrittliche kleinere Modelle wie Mixtral 8x7B und Mistal 7B immer noch beeindruckende Leistungen erbringen. Hier sind einige Schlüsselbereiche und Technologien, die voraussichtlich die Entwicklung und Verbesserung von LLMs vorantreiben werden:

1. Experten-Combine (MoE)

MoE-Modelle Verwenden Sie einen dynamischen Routing-Mechanismus, um für jeden Enter nur eine Teilmenge der Modellparameter zu aktivieren. Dieser Ansatz ermöglicht eine effiziente Skalierung des Modells, indem die relevantesten „Experten“ basierend auf dem Inputkontext aktiviert werden, wie unten dargestellt. MoE-Modelle bieten eine Möglichkeit, LLMs zu skalieren, ohne dass die Rechenkosten proportional steigen. Indem zu einem bestimmten Zeitpunkt nur ein kleiner Teil des gesamten Modells genutzt wird, können diese Modelle weniger Ressourcen verbrauchen und dennoch eine hervorragende Leistung bieten.

2. Retrieval-Augmented Era (RAG)-Systeme

Retrieval Augmented Era-Systeme sind derzeit ein sehr heißes Thema in der LLM-Group. Das Konzept stellt die Frage, warum Sie die LLMs mit mehr Daten trainieren sollten, wenn Sie sie einfach die gewünschten Daten aus einer externen Quelle abrufen lassen können. Diese Daten werden dann verwendet, um eine endgültige Antwort zu generieren.

RAG-Systeme verbessern LLMs, indem sie während des Generierungsprozesses relevante Informationen aus großen externen Datenbanken abrufen. Diese Integration ermöglicht es dem Modell, auf aktuelles und domänenspezifisches Wissen zuzugreifen und es zu integrieren, wodurch seine Genauigkeit und Relevanz verbessert wird. Durch die Kombination der generativen Fähigkeiten von LLMs mit der Präzision von Abrufsystemen entsteht ein leistungsstarkes Hybridmodell, das qualitativ hochwertige Antworten generieren und gleichzeitig durch externe Datenquellen informiert bleiben kann.

3. Meta-Lernen

Mithilfe von Meta-Studying-Ansätzen können LLMs das Lernen erlernen, sodass sie sich mit minimaler Schulung schnell an neue Aufgaben und Bereiche anpassen können.

Das Konzept des Meta-Lernens basiert auf mehreren Schlüsselkonzepten wie:

1. Few-Shot-Studying: Dabei werden LLMs darauf trainiert, neue Aufgaben anhand von nur wenigen Beispielen zu verstehen und auszuführen, wodurch die für effektives Lernen erforderliche Datenmenge erheblich reduziert wird. Dies macht sie äußerst vielseitig und effizient im Umgang mit unterschiedlichen Szenarien.
2. Selbstüberwachtes Lernen: LLMs verwenden große Mengen unmarkierter Daten, um Beschriftungen zu generieren und Darstellungen zu lernen. Diese Kind des Lernens ermöglicht es Modellen, ein umfassendes Verständnis der Sprachstruktur und Semantik zu entwickeln, das dann für bestimmte Anwendungen fein abgestimmt wird.
3. Reinforcement Studying: Bei diesem Ansatz lernen LLMs, indem sie mit ihrer Umgebung interagieren und Suggestions in Kind von Belohnungen oder Strafen erhalten. Dies hilft den Modellen, ihre Aktionen zu optimieren und Entscheidungsprozesse im Laufe der Zeit zu verbessern.

Abschluss

LLMs sind Wunderwerke der modernen Technologie. Sie funktionieren komplex, sind riesig und ihre Weiterentwicklungen sind bahnbrechend. In diesem Artikel haben wir das Zukunftspotenzial dieser außergewöhnlichen Entwicklungen untersucht. Ausgehend von ihren Anfängen in der Welt der künstlichen Intelligenz haben wir uns auch mit wichtigen Innovationen wie neuronalen Netzwerken und Aufmerksamkeitsmechanismen befasst.

Anschließend haben wir eine Vielzahl von Strategien zur Verbesserung dieser Modelle untersucht, darunter Fortschritte bei der {Hardware}, Verfeinerungen ihrer internen Mechanismen und die Entwicklung neuer Architekturen. Wir hoffen, dass Sie inzwischen ein klareres und umfassenderes Verständnis von LLMs und ihrer vielversprechenden Entwicklung in naher Zukunft gewonnen haben.

Kevin Vu verwaltet Weblog von Exxact Corp und arbeitet mit vielen seiner talentierten Autoren zusammen, die über verschiedene Aspekte des Deep Studying schreiben.

Vor CNNs bestand die Standardmethode zum Trainieren eines neuronalen Netzwerks zum Klassifizieren von Bildern darin, das Bild in eine Liste von Pixeln zu glätten und diese durch ein Feedforward-Neuralnetzwerk zu leiten, um die Klasse des Bilds auszugeben. Das Downside bei der Glättung des Bilds besteht darin, dass die wesentlichen räumlichen Informationen im Bild verworfen werden.

1989 führten Yann LeCun und sein Group Convolutional Neural Networks ein – das Rückgrat der Pc Imaginative and prescient-Forschung der letzten 15 Jahre! Im Gegensatz zu Feedforward-Netzwerken bewahren CNNs die 2D-Natur von Bildern und sind in der Lage, Informationen räumlich zu verarbeiten!

In diesem Artikel werden wir die Geschichte der CNNs speziell für Bildklassifizierungsaufgaben durchgehen – angefangen von den frühen Forschungsjahren in den 90er Jahren bis hin zur goldenen Ära Mitte der 2010er Jahre, als viele der genialsten Deep-Studying-Architekturen aller Zeiten konzipiert wurden. Abschließend diskutieren wir die neuesten Tendencies in der aktuellen CNN-Forschung, da sie mit Aufmerksamkeits- und Bildtransformatoren konkurrieren.

Besuche die YouTube-Video das alle Konzepte in diesem Artikel visuell mit Animationen erklärt. Sofern nicht anders angegeben, werden alle in diesem Artikel verwendeten Bilder und Illustrationen von mir selbst beim Erstellen der Videoversion erstellt.

Das Herzstück eines CNN ist die Faltungsoperation. Wir scannen das Bild mit dem Filter und berechnen an jeder Überlappungsstelle das Skalarprodukt des Filters mit dem Bild. Diese resultierende Ausgabe wird als Function-Map bezeichnet und erfasst, wie stark und wo das Filtermuster im Bild vorhanden ist.

In einer Faltungsschicht trainieren wir mehrere Filter, die verschiedene Merkmalskarten aus dem Eingabebild extrahieren. Wenn wir mehrere Faltungsschichten mit einer gewissen Nichtlinearität nacheinander stapeln, erhalten wir ein Faltungsneuronales Netzwerk (CNN).

Jede Faltungsschicht führt additionally gleichzeitig zwei Dinge aus:
1. räumliche Filterung mit der Faltungsoperation zwischen Bildern und Kerneln und
2. Kombinieren der mehreren Eingangskanäle und geben Sie einen neuen Satz Kanäle aus.

90 Prozent der Forschung in CNNs zielten darauf ab, genau diese beiden Dinge zu modifizieren oder zu verbessern.

Das Papier von 1989

Dieses Papier von 1989 hat uns beigebracht, wie man nichtlineare CNNs von Grund auf mit Backpropagation trainiert. Sie geben 16×16 Graustufenbilder handgeschriebener Ziffern ein und durchlaufen zwei Faltungsschichten mit 12 Filtern der Größe 5×5. Die Filter bewegen sich während des Scannens auch mit einer Schrittweite von 2. Die Schrittweite-Faltung ist nützlich, um das Eingabebild herunterzusampeln. Nach den Konv-Schichten werden die Ausgabekarten abgeflacht und durch zwei vollständig verbundene Netzwerke geleitet, um die Wahrscheinlichkeiten für die 10 Ziffern auszugeben. Unter Verwendung des Softmax-Kreuzentropieverlusts wird das Netzwerk optimiert, um die richtigen Beschriftungen für die handgeschriebenen Ziffern vorherzusagen. Nach jeder Schicht wird auch die Tanh-Nichtlinearität verwendet – wodurch die gelernten Merkmalskarten komplexer und ausdrucksstärker werden. Mit nur 9760 Parametern battle dies ein sehr kleines Netzwerk im Vergleich zu den heutigen Netzwerken, die Hunderte Millionen Parameter enthalten.

Induktive Vorspannung

Induktive Voreingenommenheit ist ein Konzept des maschinellen Lernens, bei dem wir absichtlich bestimmte Regeln und Einschränkungen in den Lernprozess einführen, um unsere Modelle von Verallgemeinerungen wegzubringen und sie stärker in Richtung Lösungen zu bewegen, die unserem menschenähnlichen Verständnis entsprechen.

Wenn Menschen Bilder klassifizieren, führen wir auch eine räumliche Filterung durch nach gemeinsamen Mustern zu suchen, um mehrere Darstellungen zu bilden und dann Kombinieren Sie sie, um unsere Vorhersagen zu bilden. Die CNN-Architektur ist darauf ausgelegt, genau das nachzubilden. In Feedforward-Netzwerken wird jedes Pixel wie ein eigenes isoliertes Merkmal behandelt, da jedes Neuron in den Schichten mit allen Pixeln verbunden ist – in CNNs gibt es mehr Parameter-Sharing, da derselbe Filter das gesamte Bild scannt. Induktive Verzerrungen machen CNNs auch weniger datenhungrig, da sie aufgrund des Netzwerkdesigns lokale Mustererkennung kostenlos erhalten, aber Feedforward-Netzwerke müssen ihre Trainingszyklen damit verbringen, sie von Grund auf zu lernen.