# Einführung

Große Sprachmodelle (LLMs) können sich zunächst kompliziert anfühlen. Um sie herum gibt es Transformatoren, Aufmerksamkeitsebenen, Skalierungsgesetze, Vortraining, Befehlsabstimmung, menschliches Suggestions, Abruf und viele andere Ideen. Der beste Weg, große Sprachmodelle zu verstehen, besteht jedoch nicht darin, mit einem riesigen Lehrbuch zu beginnen. Ein besserer Weg besteht darin, ein paar wichtige Artikel zu lesen, die jeweils einen Hauptteil des Programs erklären. Dieser Artikel ist Teil einer unterhaltsamen Reihe, in der wir lernen, indem wir Kernideen, praktische Projekte und die Forschungsarbeiten hinter moderner Technologie erkunden. In diesem Artikel gehen wir darauf ein Fünf Artikel, die erklären, wie LLMs funktionieren. Additionally, fangen wir an.

# 1. Aufmerksamkeit ist alles, was Sie brauchen

Das ist das Aufmerksamkeit ist alles, was Sie brauchen Papier, das die eingeführt hat Transformatorarchitekturdas die Grundlage moderner LLMs ist. Vor Transformers verwendeten viele Sprachmodelle wiederkehrende oder Faltungsarchitekturen zur Verarbeitung von Sequenzen. Dieser Artikel zeigte, dass Aufmerksamkeit allein ausreichen könnte, um ein leistungsstarkes Sequenzmodell zu erstellen. Das wichtigste Konzept in diesem Artikel ist die Selbstaufmerksamkeit. Die Selbstaufmerksamkeit ermöglicht es jedem Token in einer Sequenz, sich andere Token anzusehen und zu entscheiden, welche am wichtigsten sind. Dies ist einer der Gründe, warum LLMs den Kontext über lange Sätze und Absätze hinweg verstehen können. In dem Artikel werden auch die Aufmerksamkeit mehrerer Köpfe, die Positionskodierung und die allgemeine Transformer-Blockstruktur vorgestellt. Dies ist wichtig, da heute quick jedes große LLM – einschließlich GPT-, Llama-, Claude-, Gemini- und Qwen-Modelle – auf der Transformer-Idee basiert.

# 2. Sprachmodelle sind Few-Shot-Lernende

Das ist das GPT-3-Papier. Dies erklärt eine der größten Veränderungen in der Verarbeitung natürlicher Sprache (NLP): Anstatt für jede Aufgabe ein separates Modell zu trainieren, kann ein großes Sprachmodell viele Aufgaben allein durch das Lesen von Anweisungen und Beispielen in der Eingabeaufforderung ausführen. Das Papier stellt GPT-3 vor, ein autoregressives Sprachmodell mit 175 Milliarden Parametern, das darauf trainiert ist, den nächsten Token vorherzusagen. Der interessanteste Teil ist nicht nur die Modellgröße, sondern die Idee des kontextbezogenen Lernens. Das Modell kann in der Eingabeaufforderung einige Beispiele sehen und dann das Muster fortsetzen, ohne seine Gewichtungen zu aktualisieren. Dieses Papier ist wichtig, weil es erklärt, warum Aufforderungen so mächtig wurden. Es hilft Ihnen zu verstehen, warum LLMs Fragen beantworten, Texte zusammenfassen, übersetzen, Code schreiben und Beispielen folgen können, ohne für jede Aufgabe neu geschult zu werden.

# 3. Skalierungsgesetze für neuronale Sprachmodelle

Das Skalierungsgesetze für neuronale Sprachmodelle In diesem Artikel wurde versucht, eine praktische Frage zu beantworten: Was passiert, wenn wir Sprachmodelle vergrößern, sie auf mehr Daten trainieren und mehr Rechenleistung nutzen? Es zeigte sich, dass sich die Modellleistung auf vorhersehbare Weise verbessert, wenn Parameter, Daten und Rechenleistung zunehmen. Dieser Artikel behandelt die Skalierungsseite moderner LLMs und erklärt, warum sich das Gebiet in Richtung größerer Modelle und größerer Trainingsläufe verlagerte. Es ist wichtig, weil es Ihnen die Logik auf Systemebene vermittelt, die hinter der modernen LLM-Ausbildung steckt. Dies erklärt, warum Unternehmen so viel in größere Modelle, größere Datensätze und riesige Rechencluster investieren. Es bietet auch eine nützliche Grundlage für das Verständnis neuerer Diskussionen rund um rechenoptimiertes Coaching, Datenqualität und effiziente Modellskalierung.

# 4. Sprachmodelle trainieren, um Anweisungen mit menschlichem Suggestions zu befolgen

Das ist das GPT-Papier anweisen. Es erklärt, wie ein Basissprachenmodell als Assistent nützlicher wird. Ein vorab trainiertes Modell kann Textual content intestine vorhersagen, aber das bedeutet nicht automatisch, dass es Anweisungen befolgt, hilfreich ist oder sichere Antworten liefert. Das Papier verwendet einen Trainingsprozess, der Folgendes umfasst: überwachte Feinabstimmung und verstärkendes Lernen aus menschlichem Suggestions (RLHF). Erstens schreiben Menschen gute Beispielantworten. Dann ordnen Menschen die Modellausgaben. Diese Rankings werden verwendet, um ein Belohnungsmodell zu trainieren, und das Sprachmodell wird weiter optimiert, um Antworten zu erzeugen, die Menschen bevorzugen. Dieses Papier ist wichtig, weil es den Unterschied zwischen einem Rohsprachmodell und einem Assistenten zur Befolgung von Anweisungen erklärt. Wenn Sie verstehen möchten, warum sich Chat-Modelle anders verhalten als Basismodelle, sollten Sie es unbedingt lesen.

# 5. Retrieval-Augmented Era für wissensintensive NLP-Aufgaben

Das Retrieval-Augmented Era für wissensintensive NLP-Aufgaben Artikel erklärt Retrieval-Augmented Era (RAG). Die Grundidee besteht darin, dass sich ein Sprachmodell nicht nur auf das in seinen Parametern gespeicherte Wissen verlassen muss. Es kann relevante Dokumente aus einer externen Quelle abrufen und diese nutzen, um bessere Antworten zu generieren. Der Artikel kombiniert ein vorab trainiertes Generierungsmodell mit einem Dense Retriever und einem Dokumentenindex. Dadurch kann das Modell auf externes Wissen zugreifen und gleichzeitig Antworten generieren. Dies ist besonders nützlich für die Beantwortung von Fragen, Sachaufgaben und Situationen, in denen sich Informationen im Laufe der Zeit ändern. Dieses Papier ist wichtig, da viele reale LLM-Anwendungen irgendeine Type des Abrufs verwenden. Chatbots, Unternehmensassistenten, Suchsysteme, Kundendienstmitarbeiter und Dokumentationstools nutzen häufig RAG, um Antworten in bestimmten Quellen zu verankern.

# Zusammenfassung

Zusammengenommen geben Ihnen diese fünf Artikel einen guten Überblick über die Funktionsweise moderner LLMs:

Transformatorarchitektur → Vortraining → Skalierung → Befehlsoptimierung → abruferweiterte Generierung

Machen Sie sich keine Sorgen, wenn Sie beim ersten Lesen nicht jede Gleichung oder jedes technische Element verstehen. Das Ziel besteht einfach darin, die Hauptidee hinter jedem Artikel zu verstehen und zu verstehen, warum er wichtig ist. Sobald Sie dies getan haben, werden die meisten LLM-Konzepte viel sinnvoller sein.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Era Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Variety in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

Viele globale E-Commerce-Unternehmen versenden täglich Produkte nach Europa. Die Niederlande sind oft der bevorzugte Einstiegspunkt für diese Unternehmen. Seine Häfen, sein Logistiknetzwerk und der Zugang zu EU-Märkten machen es zu einem idealen Standort für den Warenimport. Aus diesem Grund suchen viele internationale Verkäufer nach Artikel-23-Lizenzdiensten für den E-Commerce, bevor sie ihre europäischen Geschäfte aufnehmen.

Bei der Einfuhr von Waren in die Europäische Union wird normalerweise die Einfuhrumsatzsteuer erhoben. Unternehmen müssen diese Steuer entrichten, bevor ihre Produkte vom Zoll freigegeben werden. Für Unternehmen, die große Lagerbestände importieren, stellt dies eine ernsthafte Herausforderung für den Cashflow dar.

Das niederländische Steuersystem bietet eine Lösung. Mit der richtigen Einrichtung können Unternehmen die Einfuhrumsatzsteuer aufschieben, anstatt sie sofort zu zahlen. Dies wird durch den Artikel-23-Mechanismus ermöglicht. Viele Unternehmen verlassen sich auf Artikel-23-Lizenzdienste für E-Commerce, um diesen Vorteil zu nutzen und ihren Importprozess zu vereinfachen.

Allerdings ist nicht jedes Unternehmen automatisch für dieses System qualifiziert. Bevor ein Unternehmen den Mechanismus nach Artikel 23 nutzen kann, müssen bestimmte Anforderungen erfüllt sein. Unternehmen benötigen eine ordnungsgemäße Mehrwertsteuerregistrierung, eine zuverlässige Buchhaltung und die Einhaltung der niederländischen Steuervorschriften.

In diesem Artikel erklären wir die wichtigsten Anforderungen für Artikel-23-Lizenzdienste für den E-Commerce, die Dokumente, die Unternehmen benötigen, und wie internationale Verkäufer sich auf den Import von Waren in die Niederlande vorbereiten können.

Warum E-Commerce-Unternehmen Waren über die Niederlande importieren

Die Niederlande haben sich zu einem der wichtigsten Logistikzentren Europas entwickelt. Viele internationale Unternehmen nutzen das Land als wichtigstes Tor zum EU-Markt.

Für E-Commerce-Verkäufer bietet dies mehrere Vorteile.

Zu den Hauptgründen gehören:

• schnelle Verbreitung in ganz Europa
• starke Schifffahrtsinfrastruktur
• fortschrittliche Lager- und Achievement-Netzwerke
• effiziente Zollverfahren

Ebenso wickeln der Rotterdamer Hafen und der Flughafen Schiphol jedes Jahr große Mengen internationalen Handels ab. Dies ermöglicht es Unternehmen, Lagerbestände schnell innerhalb der EU zu verschieben.

Sobald die Waren jedoch in Europa ankommen, fällt die Einfuhrumsatzsteuer an. Aus diesem Grund suchen viele Verkäufer nach Artikel 23 Lizenzdienste für E-Commerce bevor Sie Produkte in die Niederlande importieren.

Was Artikel 23-Lizenzdienste für E-Commerce Importeuren erlauben

Die Einfuhrumsatzsteuer wird normalerweise bei der Einfuhr der Waren in die EU gezahlt. Unternehmen müssen diese Steuer begleichen, bevor der Zoll die Sendung freigibt.

Artikel 23 Lizenzdienste für E-Commerce ermöglicht es Unternehmen jedoch, diese Zahlung aufzuschieben.

Anstatt die Mehrwertsteuer im Voraus zu zahlen, geben Unternehmen den Mehrwertsteuerbetrag in ihrer regulären Mehrwertsteuererklärung an.

Dieses System bietet mehrere Vorteile.

Zum Beispiel:

• Keine Vorauszahlung der Mehrwertsteuer an der Grenze
• verbessertes Cashflow-Administration
• einfachere Bestandsskalierung
• Reibungslosere Zollabfertigung

Auf die gleiche Weise ermöglicht dieses System E-Commerce-Unternehmen, ihre europäischen Aktivitäten auszubauen, ohne große Mengen an Einfuhrsteuern zu binden.

Aufgrund dieser Vorteile sind viele internationale Verkäufer auf Artikel-23-Lizenzdienste für den elektronischen Handel angewiesen, wenn sie mit dem Import von Waren in die EU beginnen.

Wichtige Anforderungen, die Unternehmen erfüllen müssen, um Lizenzdienste gemäß Artikel 23 für den E-Commerce nutzen zu können

Nicht jedes Unternehmen ist automatisch für das Artikel-23-System qualifiziert. Unternehmen müssen mehrere Bedingungen erfüllen, bevor sie eine Genehmigung erhalten.

Diese Anforderungen stellen sicher, dass Unternehmen die niederländischen Steuervorschriften ordnungsgemäß befolgen.

Nachfolgend finden Sie die wichtigsten Anforderungen für Artikel 23-Lizenzdienste für E-Commerce.

Niederländische Umsatzsteuer-Registrierungspflicht

Eine gültige niederländische Umsatzsteuer-Identifikationsnummer ist eine der Hauptanforderungen.

Unternehmen, die Waren in die Niederlande importieren, müssen bei den niederländischen Steuerbehörden umsatzsteuerlich registriert sein.

Diese Umsatzsteuerregistrierung ermöglicht es Unternehmen, die Einfuhrumsatzsteuer in ihrer Umsatzsteuererklärung auszuweisen.

Ohne Umsatzsteuerregistrierung können Unternehmen die Artikel-23-Lizenzdienste für E-Commerce nicht nutzen.

Firmenregistrierung oder Steuervertretung

Einige Unternehmen agieren über ein niederländisches Unternehmen. Andere operieren aus dem Ausland, importieren aber dennoch Waren in die Niederlande.

In solchen Situationen kann ein Fiskalvertreter erforderlich sein.

Fiskalvertreter kümmern sich um die Steuerpflichten für ausländische Unternehmen und stellen die Einhaltung der niederländischen Mehrwertsteuervorschriften sicher.

Ebenso unterstützt die Fiskalvertretung Unternehmen bei der Bewältigung ihrer Pflichten bei der Nutzung von Artikel-23-Lizenzdiensten für E-Commerce.

Zuverlässiges Buchhaltungs- und Mehrwertsteuerberichtssystem

Die niederländischen Steuerbehörden verlangen von Unternehmen, dass sie genaue Finanzunterlagen führen.

Unternehmen müssen ordnungsgemäße Unterlagen aufbewahren für:

• Importtransaktionen
• Rechnungen
• Mehrwertsteuermeldung
• Buchhaltungsunterlagen

Im Vergleich zu einigen anderen Ländern sind die niederländischen Compliance-Requirements streng, aber clear.

Unternehmen, die Artikel-23-Lizenzdienste für den E-Commerce nutzen, müssen sicherstellen, dass ihre Buchhaltung und Umsatzsteuererklärung korrekt sind.

Erforderliche Dokumente für die Beantragung von Artikel-23-Lizenzdiensten für E-Commerce

Unternehmen müssen mehrere Dokumente vorbereiten, wenn sie eine Genehmigung gemäß Artikel 23 beantragen.

Wenn Sie die richtigen Dokumente bereithalten, können Sie Verzögerungen vermeiden.

Typische Dokumentationen umfassen:

• Angaben zur Unternehmensregistrierung
• Bestätigung der Umsatzsteuer-Registrierung
• Identifizierung von Unternehmensleitern
• Beschreibung der Geschäftsaktivitäten
• Einzelheiten zur Finanzverwaltung

Ebenso können Steuerbehörden zusätzliche Informationen anfordern, um das Compliance-System des Unternehmens zu überprüfen.

Die frühzeitige Vorbereitung dieser Dokumente hilft Unternehmen, schneller Lizenzdienste gemäß Artikel 23 für den E-Commerce zu erhalten.

Schritt-für-Schritt-Prozess zur Erlangung einer Artikel-23-Genehmigung in den Niederlanden

Der Prozess zur Erlangung einer Genehmigung gemäß Artikel 23 erfolgt in mehreren Schritten. Unternehmen müssen jede Section abschließen, bevor sie die Genehmigung erhalten.

Obwohl der Prozess strukturiert ist, macht ihn die richtige Vorbereitung viel einfacher.

Die allgemeinen Schritte umfassen:

1. Registrieren Sie das Unternehmen oder erhalten Sie eine niederländische Umsatzsteuer-Registrierung
2. Bereiten Sie Finanz- und Steuerunterlagen vor
3. Reichen Sie einen Antrag bei der niederländischen Steuerbehörde ein
4. Geben Sie bei Bedarf zusätzliche Informationen an
5. Erhalten Sie die Genehmigung für die Verwendung gemäß Artikel 23

Nach der Genehmigung können Unternehmen mit der Einfuhr von Waren beginnen und gleichzeitig Artikel-23-Lizenzdienste für E-Commerce nutzen, um die Einfuhrumsatzsteuer aufzuschieben.

Dies verbessert den Cashflow für E-Commerce-Unternehmen, die regelmäßige Lieferungen verwalten, erheblich.

Häufige Herausforderungen für E-Commerce-Verkäufer bei der Erfüllung der Anforderungen von Artikel 23

Viele Unternehmen stoßen beim ersten Versuch, sich für das Artikel-23-System zu qualifizieren, auf Schwierigkeiten.

Diese Herausforderungen treten in der Regel auf, weil Unternehmen mit den niederländischen Compliance-Regeln nicht vertraut sind.

Zu den häufigsten Problemen gehören:

• unvollständige Umsatzsteuer-Registrierung
• schlechte Buchhaltungssysteme
• fehlende Dokumentation
• Missverständnis der Zollverfahren

Mit der richtigen Planung können diese Herausforderungen jedoch vermieden werden.

Unternehmen, die sich frühzeitig vorbereiten und ihre Compliance-Systeme organisieren, erhalten in der Regel ohne größere Probleme Artikel-23-Lizenzdienste für den E-Commerce.

Wie ordnungsgemäße Compliance E-Commerce-Unternehmen dabei hilft, ihre Importe zu steigern

Sobald Unternehmen die Anforderungen erfüllen und die Genehmigung erhalten, verschaffen sie sich einen erheblichen operativen Vorteil.

Die Verwendung von Artikel-23-Lizenzdiensten für den E-Commerce hilft Unternehmen, größere Mengen zu importieren, ohne finanziellen Druck auszuüben.

Dadurch können sich Unternehmen auf Wachstum konzentrieren.

Zum Beispiel:

• Erweiterung der Produktkataloge
• steigende Lagerbestände
• Erschließung weiterer EU-Märkte
• Verbesserung der Lieferzeiten

Ebenso verlassen sich Unternehmen, die mehrere Lager in ganz Europa betreiben, häufig auf Artikel-23-Lizenzdienste für den E-Commerce, um ihre Importstrategie effizient zu verwalten.

Das System ermöglicht es ihnen, den Betrieb zu skalieren, ohne für jede Lieferung im Voraus Mehrwertsteuer zu zahlen.

Warum viele internationale Verkäufer mit lokalen niederländischen Experten zusammenarbeiten

Obwohl der Artikel-23-Mechanismus große Vorteile bietet, erfordert das Antragsverfahren eine sorgfältige Handhabung.

Viele internationale Unternehmen bevorzugen die Zusammenarbeit mit lokalen Spezialisten, die die niederländischen Steuervorschriften verstehen.

Lokale Experten unterstützen Unternehmen in der Regel bei:

• Firmenregistrierung
• Mehrwertsteuer- und EORI-Registrierung
• Steuer-Compliance-Administration
• Buchhaltung einrichten
• Importplanung

Auf die gleiche Weise führen diese Spezialisten Unternehmen durch die Anforderungen für Artikel-23-Lizenzdienste für den E-Commerce.

Firmen wie FirmNL unterstützen internationale Gründer bei der Unternehmensgründung, der Einhaltung von Steuervorschriften und der operativen Unterstützung für Unternehmen, die in den niederländischen und EU-Markt eintreten.

Diese Unterstützung ermöglicht es Unternehmern, sich auf ihre Produkte und Kunden zu konzentrieren, während Experten die regulatorischen Aufgaben übernehmen.

Abschließende Gedanken für E-Commerce-Unternehmen, die einen EU-Markteintritt planen

Europa bleibt einer der größten E-Commerce-Märkte der Welt. Viele internationale Verkäufer weiten ihre Aktivitäten weiterhin in der Area aus.

Die Niederlande bieten aufgrund ihrer Logistikinfrastruktur und ihres geschäftsfreundlichen Umfelds einen idealen Einstiegspunkt.

Allerdings kann die Einfuhrumsatzsteuer ohne die richtige Einrichtung zu einer ernsthaften finanziellen Herausforderung werden.

Aus diesem Grund sind viele Unternehmen bei der Einfuhr von Waren in die EU auf Artikel 23-Lizenzdienste für den E-Commerce angewiesen.

Durch die Erfüllung der erforderlichen Anforderungen können Unternehmen die Einfuhrumsatzsteuer aufschieben, den Cashflow verbessern und ihren Lagerbestand effizienter skalieren.

Bei richtiger Planung und Einhaltung können Artikel-23-Lizenzdienste für E-Commerce zu einem leistungsstarken Instrument für internationale Verkäufer werden, die langfristige Geschäftstätigkeiten in Europa aufbauen.

NeurIPS hat seine Liste der besten Forschungsarbeiten für das Jahr 2025 gestrichen, und die Liste leistet mehr, als nur beeindruckende Namen zu nennen. Es bietet eine Karte zur Navigation durch die Probleme, die das Fachgebiet jetzt beschäftigt. Dieser Artikel würde etwas Licht darauf werfen, was diese Papiere sind und wie sie zur KI beitragen konnten. Für den Fall, dass Sie neugierig sind, haben wir auch Hyperlinks zu den vollständigen Artikeln eingefügt.

Die Auswahlkriterien

Die Komitees zur Auszeichnung der besten Beiträge wurden damit beauftragt, eine Handvoll äußerst wirkungsvoller Beiträge aus dem auszuwählen Hauptgleis und die Datensätze und Benchmark Monitor der Konferenz. Als Sieger gingen vier Papiere hervor.

Die Gewinner!

Künstliches Hivemind: Die ergebnisoffene Homogenität von Sprachmodellen (und darüber hinaus)

Vielfalt ist etwas, das große Sprachmodelle seit ihrer Entstehung gefehlt hatte. Es wurden umfangreiche Anstrengungen unternommen, um die Ergebnisse eines Modells von den anderen zu unterscheiden, aber die Bemühungen waren vergeblich.

Die Homogenität der Reaktion von LLMs über Architekturen und Unternehmen hinweg verdeutlicht durchweg den Mangel an Kreativität in LLMs. Wir nähern uns langsam dem Punkt, an dem eine Modellreaktion nicht mehr von der anderen zu unterscheiden wäre.

Das Papier skizziert das Downside traditioneller Benchmarks. Die meisten Benchmarks verwenden enge, aufgabenähnliche Abfragen (Mathematik, Wissenswertes, Code). Aber echte Benutzer stellen chaotische, kreative und subjektive Fragen. Und genau da sind sie Modelle zerfallen in ähnliche Ausgaben. Das Papier schlägt einen Datensatz vor, der dieses Gebiet systematisch untersucht.

Diese beiden Konzepte stehen im Mittelpunkt des Papiers:

• Wiederholung innerhalb des Modells: Ein einzelnes Modell wiederholt sich über verschiedene Eingabeaufforderungen oder verschiedene Läufe hinweg.
• Homogenität zwischen Modellen: Verschiedene Modelle liefern erschreckend ähnliche Antworten.

Der zweite Teil ist besorgniserregend: Wenn Anthropic, Google und Meta alle unterschiedliche Modelle hätten, die dieselbe Reaktion nachahmen, was ist dann der Sinn dieser unterschiedlichen Entwicklungen?

Die Lösung: Infinity-Chat

Infinity-Chat, der als Lösung für dieses Downside vorgeschlagene Datensatz, enthält mehr als 30.000 menschliche Anmerkungen, die jeder Eingabeaufforderung 25 unabhängige Bewertungen verleihen. Diese Dichte ermöglicht es, zu untersuchen, wie sich die Geschmäcker der Menschen unterscheiden, und nicht nur, wo sie übereinstimmen. Als die Autoren diese menschlichen Urteile mit Modellergebnissen, Belohnungsmodellen und automatisierten LLM-Evaluatoren verglichen, fanden sie ein klares Muster: Systeme sehen intestine kalibriert aus, wenn die Präferenzen einheitlich sind, aber sie geraten ins Wanken, sobald die Antworten echte Meinungsverschiedenheiten auslösen. Das ist der wahre Wert von Infinity-Chat!

Autoren: Liwei Jiang, Yuanjun Chai, Margaret Li, Mickel Liu, Raymond Fok, Nouha Dziri, Yulia Tsvetkov, Maarten Sap, Yejin Choi

Vollständiges Papier: https://openreview.internet/discussion board?id=saDOrrnNTz

Gated Consideration für große Sprachmodelle: Nichtlinearität, Sparsity und Aufmerksamkeitssenkenfrei

Transformatoren gibt es schon lange genug, dass die Leute davon ausgehen, dass der Aufmerksamkeitsmechanismus ein fester Entwurf ist. Es stellt sich heraus, dass das nicht der Fall ist! Trotz aller architektonischen Methods, die im Laufe der Jahre hinzugefügt wurden, ist die Aufmerksamkeit immer noch mit Kosten für Instabilität, massiven Aktivierungen und der bekannten Aufmerksamkeitssenke verbunden, die dafür sorgt, dass sich Modelle auf irrelevante Token konzentrieren.

Die Autoren dieser Studie gingen einer einfachen Frage nach und formulierten sie energisch: Was passiert, wenn man nach der Aufmerksamkeitsberechnung ein Gate hinzufügt und nichts weiter? Sie führen mehr als dreißig Experimente mit dichten Modellen durch MoE (Expertenmischung) Modelle, die auf Billionen von Token trainiert wurden. Das Überraschende daran ist, wie konsistent diese kleine Änderung in allen Einstellungen hilft.

Es gibt zwei Ideen, die erklären, warum Gating so intestine funktioniert:

• Nichtlinearität und Sparsity: Kopfspezifische Sigmoid-Gates fügen nach der Aufmerksamkeit eine neue Nichtlinearität hinzu und überlassen es dem Modell, zu steuern, welche Informationen vorwärts fließen.
• Kleine Veränderung, große Wirkung: Die Modifikation ist zwar winzig, steigert aber die Leistung bei allen Modellgrößen kontinuierlich.

Die Lösung: Output Gating

Das Papier empfiehlt eine einfache Modifikation: Wenden Sie ein Gate auf die Aufmerksamkeitsleistung professional Kopf an. Mehr nicht. Die Experimente zeigen, dass dieser Repair die Leistung über alle Modellgrößen hinweg kontinuierlich verbessert. Da der Mechanismus einfach ist, wird von der breiteren Gemeinschaft erwartet, dass er ihn reibungslos übernimmt. Die Arbeit zeigt, dass selbst ausgereifte Architekturen noch Raum für sinnvolle Verbesserungen haben.

Autoren: Zihan Qiu, Zekun Wang, Bo Zheng, Zeyu Huang, Kaiyue Wen, Songlin Yang, Rui Males, Le Yu, Fei Huang, Suozhi Huang, Dayiheng Liu, Jingren Zhou, Junyang Lin

Vollständiges Papier: https://openreview.internet/discussion board?id=1b7whO4SfY

Abgesehen von diesen beiden Dokumenten bieten die anderen beiden Papiere nicht unbedingt eine Lösung, sondern schlagen vielmehr einige Hinweise vor, die befolgt werden könnten.

1000-Layer-Netzwerke für selbstüberwachtes RL: Skalierungstiefe kann neue Möglichkeiten zur Zielerreichung ermöglichen

RDurchsetzungslernen blieb lange bei flachen Modellen hängen, weil das Trainingssignal zu schwach ist, um sehr tiefe Netzwerke zu steuern. Dieses Papier widerlegt diese Annahme und zeigt, dass Tiefe keine Belastung darstellt. Es handelt sich um eine Fähigkeitsfreischaltung.

Die Autoren trainieren Netzwerke mit bis zu tausend Schichten in einem zielkonditionierten, selbstüberwachten Aufbau. Keine Belohnungen. Keine Demonstrationen. Der Agent lernt, indem er erforscht und vorhersagt, wie er befohlene Ziele erreichen kann. Tiefergehende Modelle verbessern nicht nur die Erfolgsquoten. Sie lernen Verhaltensweisen, die oberflächliche Modelle nie entdecken.

Zwei Ideen stehen im Mittelpunkt, warum Tiefe hier funktioniert:

• Kontrastive Selbstüberwachung: Der Agent lernt durch den Vergleich von Zuständen und Zielen, wodurch ein stabiles, dichtes Lernsignal entsteht.
• Chargengröße und Stabilität: Das Coaching sehr tiefer Netzwerke funktioniert nur, wenn die Batch-Größe mit der Tiefe zunimmt. Größere Chargen halten die Kontrastaktualisierungen stabil und verhindern einen Zusammenbruch.

Autoren: Kevin Wang, Ishaan Javali, Michał Bortkiewicz, Tomasz Trzcinski, Benjamin Eysenbach
Vollständiges Papier: https://openreview.internet/discussion board?id=s0JVsx3bx1

Warum sich Diffusionsmodelle nicht merken: Die Rolle der impliziten dynamischen Regularisierung im Coaching

Verbreitung models merken sich ihre Trainingsdaten selten, selbst wenn sie stark parametrisiert sind. Dieses Papier befasst sich mit dem Trainingsprozess, um zu erklären, warum dies geschieht.

Die Autoren identifizieren zwei Trainingszeitskalen. Man markiert, wann das Modell beginnt, qualitativ hochwertige Proben zu produzieren. Die Sekunde markiert den Beginn des Auswendiglernens. Der entscheidende Punkt ist, dass die Generalisierungszeit unabhängig von der Größe des Datensatzes gleich bleibt, während die Speicherzeit mit zunehmendem Datensatz zunimmt. Dadurch entsteht ein erweitertes Fenster, in dem das Modell ohne Überanpassung verallgemeinert wird.

Zwei Ideen stehen im Mittelpunkt, warum das Auswendiglernen weiterhin unterdrückt wird:

• Trainingszeiten: Die Generalisierung tritt schon früh im Coaching auf. Das Auswendiglernen tritt nur auf, wenn das Coaching weit über diesen Punkt hinaus fortgesetzt wird.
• Implizite dynamische Regularisierung: Die Aktualisierungsdynamik lenkt das Modell natürlich eher in Richtung einer breiten Struktur als in Richtung spezifischer Stichproben.

In diesem Artikel wird weder ein Modell noch eine Methode vorgestellt. Es gibt eine klare Erklärung für ein Verhalten, das Menschen beobachtet hatten, aber nicht vollständig rechtfertigen konnten. Es verdeutlicht, warum sich Diffusionsmodelle so intestine verallgemeinern lassen und warum sie nicht auf die bei anderen beobachteten Gedächtnisprobleme stoßen generative Modelle.

Autoren: Tony Bonnaire, Raphaël Urfin, Giulio Biroli, Marc Mezard
Vollständiges Papier: https://openreview.internet/discussion board?id=BSZqpqgqM0

Abschluss

Die vier Beiträge geben einen klaren Ton für die Richtung vor, in die sich die Forschung entwickeln wird. Anstatt größere Modelle um ihrer selbst willen zu jagen, liegt der Schwerpunkt darauf, deren Grenzen zu verstehen, seit langem bestehende Engpässe zu beheben und die Stellen aufzudecken, an denen Modelle stillschweigend scheitern. Ob es sich um die schleichende Homogenisierung der LLM-Ergebnisse, die übersehene Schwäche der Aufmerksamkeitsmechanismen, das ungenutzte Potenzial der Tiefe in RL oder die verborgene Dynamik handelt, die das Auswendiglernen von Diffusionsmodellen verhindert, jeder Artikel treibt das Feld in Richtung einer fundierteren Sicht auf das tatsächliche Verhalten dieser Systeme. Es ist eine Erinnerung daran, dass echter Fortschritt auf Klarheit beruht und nicht nur auf der Größe.

Häufig gestellte Fragen

Ich diskutiere, wie Sie technische Artikel schreiben können. Ich schreibe seit ungefähr 2,5 Jahren solche Artikel und werde meine Erfahrungen durchgehen, wie Sie Ihre eigene Nische finden und worauf Sie sich erinnern müssen, wenn Sie einen Artikel schreiben.

Ziel dieses Artikels ist es, über technisches Schreiben und die verschiedenen Arten von technischen Artikeln zu unterrichten. Darüber hinaus werde ich die enormen Vorteile diskutieren, die ich aus dem Schreiben hatte und einige Lektionen, die ich aus meinem Schreiben gelernt habe.

Sie können auch lesen Mein Artikel über Benchmarking LLMs und schau dir an Meine Web site, die alle meine Informationen und Artikel enthält.

Inhaltsverzeichnis

Motivation

Meine Motivation für diesen Artikel ist, dass ich seit etwa 2,5 Jahren Artikel schreibe. Ich beschloss, ein wenig über meine Schreibreise nachzudenken und warum das Schreiben von technischen Artikeln eine der besten Entscheidungen ist, die ich bisher in meiner Karriere getroffen habe.

• Die Themen besser lernen: Die beste Artwork zu lernen ist, andere zu unterrichten. Dies ist im Wesentlichen das, was Sie beim Schreiben technischer Artikel tun.
• Networking: Sie können sich mit vielen Lesern Ihrer Artikel und anderen Autoren in Verbindung setzen, die dasselbe wie Sie tun. Dies bietet Möglichkeiten, sowohl eine Anhängerschaft zu erlangen als auch von anderen zu lernen.
• Monitisierung: Wenn Sie über genügend Leser verfügen, ist das Schreiben auch eine Möglichkeit, sich wirtschaftlich zu unterstützen, obwohl ich vorab davon überzeugt bin, dass dies nicht Ihre Hauptmotivation sein sollte, mit dem Schreiben zu beginnen.

Ich glaube, der erste Punkt zum Lernen von Themen überwiegt jeden anderen Vorteil, den ich durch das Schreiben hatte. Das Schreiben bietet eine Möglichkeit, andere über ein Thema zu unterrichten und gleichzeitig Ihr Wissen zu einem Thema weiter zu vertiefen. Andere zu unterrichten ist der beste Weg, um selbst etwas zu lernen.

Ich finde es unglaublich lohnend, einen Artikel zu schreiben, um andere zu unterrichten und gleichzeitig mein Verständnis eines Themas durch das Schreiben darüber zu verbessern. Ich denke wirklich, dass dies einer der größten Teile des praktizierenden technischen Schreibens ist, und ein wichtiger Grund, warum ich empfehle, dass Sie auch technische Artikel schreiben.

Arten von technischen Artikeln

• „Wie zu … ”Programmierartikel
• Testen/Berichterstattung über neue Veröffentlichungen
• Über ein Thema unterrichten

„Wie man“ Artikel

Ein Artikel ist ein Artikel, in dem beschrieben wird, wie etwas in der Programmierung etwas macht. Es könnte so spezifisch sein wie die Verwendung eines bestimmten Python -Pakets oder so vage wie So verwenden Sie Kontext Engineering. Dies sind die Artwork von Artikeln, die ich lieber schreibe, da sie sowohl in das, worüber ich schreibe, als auch in die Artwork von Artikeln passen, über die ich die Inspiration erhalte, um zu schreiben. Zum Beispiel verwende ich ein neues Framework in einem Projekt oder lerne ein Thema aus (Zum Beispiel Context Engineering) und schreiben Sie einen bestimmten Artikel über die Verwendung des Frameworks oder wie Sie etwas Spezifisches innerhalb des Themas machen.

Neue Releases testen

Viele technische Artikel konzentrieren sich auch auf das Testen und Berichten über neue Veröffentlichungen. In letzter Zeit drehen sich die meisten dieser Umblätter neuer LLM -Modelle wie der jüngsten Qwen 3 -Model oder GROK 4. Ich habe auch für eine Weile versucht, solche Artikel selbst zu schreiben, aber ich fand es ein bisschen monoton.

Unterrichten über ein Thema

Ein weiterer gängiger technischer Artikel ist ein Lehre über ein bestimmtes Thema. Diese Artikel behandeln normalerweise breitere Bereiche als die Artikel von „Anleitungen“, können jedoch enorm hilfreich sein. Diese Artwork von Artikeln können einführende Artikel in ein Thema sein, ein tiefen Tauchartikel für erfahrene Leser oder irgendetwas dazwischen. Normalerweise lese ich solche Artikel, wenn ich mich in ein neues Thema einlasse oder an den Themen bleibt, an denen ich besonders interessiert bin.

Finden Sie Ihre Nische

Beim Schreiben ist es wichtig, Ihre Nische zu finden. Wenn Sie Ihre Nische finden, müssen Sie die Artwork von Artikeln finden:

• Sie schreiben gerne (und Sie können intestine schreiben)
• Ihre Leser lesen gerne

Ihre Nische kann superspezifisch sein (dh nur Python-AI-Tutorials) oder ein breiteres Netz wie „How-to“ -Tutorials für AI.

Um Ihre eigene Nische zu finden, empfehle ich Ihnen, die verschiedenen Artikelstypen zu schreiben, die ich im letzten Abschnitt aufgeführt habe. Der wichtigste Aspekt ist, etwas zu finden, über das Sie gerne schreiben. Dies kann sich natürlich auch im Laufe der Zeit ändern. Nachdem Sie herausgefunden haben, worüber Sie gerne schreiben, müssen Sie regelmäßig Artikel schreiben. Ich schreibe einmal in der Woche, was meiner Meinung nach eine gute Stability zwischen konsequentes Austausch meines Wissens on-line und gleichzeitig kreatives Burnout durch das Schreiben von kreativem Burnout ist.

Darüber hinaus finde ich auch, dass es normalerweise viel einfacher ist, über Themen zu schreiben, auf denen Sie Hintergrundwissen haben. Für mich zum Beispiel schreibe ich hauptsächlich über KI, mit denen ich jeden Tag bei meinem Vollzeitjob arbeite. Dies gibt mir viele Hintergrundinformationen, die für den Artikel nützlich sind, und bietet mir Inspiration für Themen, über die ich schreiben kann.

Meine Erkenntnisse

Verbesserungen für jeden Artikel

Ich habe seit 2,5 Jahren viel durch das Schreiben gelernt. Ich sehe große Verbesserungen zwischen meinem ersten Artikel und meinen aktuellen Artikeln. Mein Ziel battle es immer, für jeden Artikel etwas Spezifisches zu verbessern. Auf diese Weise kann ich in einer Reihe von Artikeln erhebliche Verbesserungen sehen. Mein erstes Lernen ist es daher, in jedem Artikel, den Sie schreiben, etwas zu verbessern.

Liste der Ideen

Die Ideen für meinen Artikel stammen normalerweise aus Themen, an denen ich arbeite, sowie LinkedIn, X und Medium. Ich erfahre dann mehr über die Themen und schreibe einen Artikel darüber. Ideen können jederzeit kommen, sei es beim Scrollen in den sozialen Medien oder beim Spaziergang. Ich empfehle daher, eine Liste verschiedener Ideen zu behalten, über die Sie schreiben möchten. Ich behalte diese Liste in Google Maintain, damit ich sowohl über mein Telefon als auch über meinen Pc darauf zugreifen kann.

Wenn ich mich dann sonntags hinsetze, um einen Artikel zu schreiben, kann ich einen aus meiner Ideenliste auswählen. Ich finde so viel einfacher, als ein Thema vor Ort zu schreiben.

Artikelumriss

Nachdem ich meine Idee ausgewählt hatte, über die ich schreiben sollte, habe ich einen Umriss für den Artikel erstellt. Ich finde, dass der Artikel das Lesen erleichtert (der Inhalt ist kohärenter) und es ist für mich einfacher, einen Überblick beim Schreiben des Artikels zu haben. Ich mache dies, indem ich zuerst alle Header und Subheader in meinem Artikel aufschreibe, bevor ich etwas anderes schreibe. Dies hilft mir, zu umgehen, was ich in meinen Artikel einbeziehen und ausschließen soll, und erleichtert es, den roten Thread im Artikel zu behalten. Sie können sich später auf natürliche Weise Überschriften hinzufügen oder entfernen, aber ich finde, dass das Aufschreiben aller Überschriften den Schreibvorgang und die Ausgabe zunächst verbessern.

Während des Schreibens versuche ich auch, den Prozess so wenig wie möglich zu unterbrechen. Angenommen, ich denke an etwas, das ich beim Schreiben in den Artikel einbeziehen muss (z. B. einen Artikel, auf den ich mich beziehen möchte). In diesem Fall schreibe ich in meinem Artikel „Todo, um den Artikel hier zu finden“ und schreibe dann weiter. Nachdem ich den Artikel beendet hatte, kam ich zu diesem Todo zurück und erledigte die Aufgabe. Auf diese Weise vermeiden Sie eine Unterbrechung. Ich empfehle, die Anzahl der Unterbrechungen beim Schreiben zu minimieren, da es einige Zeit dauert, um nach der Unterbrechung wieder in den Schreibrhythmus einzusteigen. Wenn Sie die Unterbrechungen auf ein Minimal halten, sind Sie zu einem viel effizienteren Schriftsteller, während Sie sich auch an alles erinnern können, was Sie tun müssen, indem Sie die verwenden Todos.

Checkliste

Ein weiteres wichtiges Lernen, das ich gemacht habe, ist die Aufrechterhaltung einer Checkliste über alles, was Sie für jeden Artikel tun müssen. Es gibt viele verschiedene Dinge, an die Sie sich erinnern müssen, und einfach eine Checkliste beizubehalten, die Sie für jeden Artikel ausfüllen, sorgt dafür, dass Sie sich an alles erinnern. Meine Checkliste enthält beispielsweise:

• Fügen Sie vorgestellte Bild, Untertitel, Auszug, Tags und Kategorie hinzu
• Gehen Sie den Artikel mit Grammatik für die Rechtschreibprüfung durch
• Stellen Sie sicher
• Teilen Sie den Beitrag auf LinkedIn und x
• …

Herausgeber

Ich empfehle auch dringend, einen Verlag für Ihre Artikel zu finden. Dies kann eine Veröffentlichung auf Medium oder einer separaten Web site sein wie z. B. Auf Information Science. Ein Verlag sorgt dafür, dass viel mehr Menschen Ihren Artikel betrachten, was sowohl für Ihre Motivation beim Schreiben als auch für das Teilen Ihres Wissens mit möglichst vielen Menschen wie möglich von entscheidender Bedeutung ist.

Schreibe weiter

Ich glaube wirklich, dass Konsistenz einer der wichtigsten Faktoren beim Schreiben ist. Sie sollten ein bestimmtes Intervall finden, das Sie über einen bestimmten Zeitraum beibehalten können. Es kann einmal im Monat, einmal in der Woche oder in einem anderen Intervall dauern, das Sie bevorzugen. Sie sollten dann versuchen, sich im Laufe der Zeit an diesen Zeitplan zu halten und gleichzeitig ein Component Ihrer Artikel zu verbessern. Im Laufe der Zeit werden Sie feststellen, dass sich Ihre Artikel erheblich verbessern und mehr Menschen Ihre Inhalte lesen.

Abschluss

In diesem Artikel habe ich diskutiert, wie man technische Artikel schreibt. Ich habe die verschiedenen Arten von technischen Artikeln besprochen, die Sie on-line finden und wie Sie beim Schreiben Ihre eigene Nische finden können. Ich glaube, das Schreiben bietet enorme Vorteile, nicht nur für die Lesen der Menschen, sondern auch für den Autor, der ein Thema erklärt. Dies ist auch der Grund, warum ich im Laufe der Jahre weiter geschrieben habe. Zuletzt habe ich einige meiner eigenen Erkenntnisse aus dem Schreiben diskutiert, z. B. ein konsistentes Schreibplan, die Aufrechterhaltung einer Checkliste für jeden Artikel und einen Verlag zu finden.

Folgen Sie mir in Socials:

Sich in Verbindung setzen
LinkedIn
X / Twitter
Medium

Eines unserer Leitprinzipien als Veröffentlichung ist, dass die Arbeit der Autoren ihre bleibt. Das hat sich seitdem nicht geändert Starten unserer unabhängigen Web site Anfang dieses Jahres; Ganz im Gegenteil. Auf praktischer Ebene wussten wir jedoch, dass ein wichtiges Aspect fehlte, solange die Autoren ihre Artikel nicht direkt bearbeiten konnten, und Mitglieder unserer Neighborhood erwähnten dies immer wieder als Muss.

Wir sind begeistert, dass die Autoren dank der harten Arbeit mehrerer Teammitglieder und Accomplice jetzt den Zugriff auf alle zuvor veröffentlichten Arbeiten zu TDs haben – einschließlich der beiden Artikel, die wir vor dem Begin auf unsere Web site gebracht haben, und diejenigen, die wir direkt auf unsere neue Plattform akzeptiert haben.

Große Macht, große Verantwortung

Unsere Beziehung zu unseren Mitwirkenden basiert auf Vertrauen. Wir investieren viel Zeit und Mühe in unseren ersten Screening- und Überprüfungsprozess und sind daher zu einer Veröffentlichung mit Hunderten von Schriftstellern, deren professionelles Fachwissen ihrer Integrität entspricht.

Die Fähigkeit, veröffentlichte Artikel zu bearbeiten, ist eine, die wir bitten, mit Bedacht zu benutzen. Wenn wir einen Tippfehler beheben, hatten wir nicht gefangen, ein Diagramm basierend auf dem Leser-Suggestions und dem Hinzufügen eines Hyperlinks zu einer relevanten neuen Ressource sind Beispiele für Änderungen nach der Veröffentlichung, die wir als angemessen betrachten. Wir wissen auch, dass die Formatierung in einigen unserer älteren Artikel während ihrer Migration zu unserer neuen Web site etwas wackelig wurde. Es ist auch vollkommen in Ordnung, diese Probleme anzugehen.

Was wir Autoren zu vermeiden bitten, besteht darin direkt aus Ihrem Artikel aus. Wenn Sie jemals spüren, dass ein Artikel, den Sie mit uns veröffentlicht haben, eine gründlichere Überarbeitung rechtfertigt, möchten wir gerne mit Ihnen zusammenarbeiten, um den besten Weg nach vorne zu finden.

Wie die Bearbeitung funktioniert

Unabhängig davon, ob Sie bereits auf unserer neuen Plattform mit uns veröffentlicht haben oder nicht, ist es so einfach, dass Sie Ihre veröffentlichten Artikel an Ihre veröffentlichten Artikel vornehmen. Gehen Sie einfach zu Ihrem Liste der Artikel (Notiz: Dieser Hyperlink erfordert, dass Sie sich beim TDS -Mitarbeiterportal angemeldet haben), schweben Sie über den Artikel, an dem Sie arbeiten möchten, und klicken Sie entweder auf den Titel oder auf die Bearbeiten Style.

Sobald Sie fertig sind, sollten Sie Ihre Änderungen in Betracht ziehen, da sie auf dem Frontend unserer Web site angezeigt werden. Suchen Sie nach dem Laptop computer-Image in der Nähe der oberen rechten Ecke des Editor-Bildschirms und klicken Sie auf Vorschau in neuer Registerkarte. Dies ist besonders wichtig, wenn Sie in Ihrem Artikel irgendwelche Änderungen an einem visuellen Aspect vorgenommen haben.

Wenn alles intestine aussieht, um an Ihrem Ende zu gehen, denken Sie daran, auf die zu klicken Speichern Button, um Ihre Änderungen dwell zu nehmen. Dies benachrichtigt unser Staff auch über Änderungen in einem veröffentlichten Artikel und gibt uns die Möglichkeit, zu überprüfen, ob alles in Ordnung ist.

Wir hoffen, dass alle Artikel, die wir auf TDS veröffentlicht haben, hier bleiben, aber wir erkennen, dass Autoren ihre Arbeiten manchmal von unserer Web site entfernen möchten. Bis jetzt mussten Sie uns kontaktieren, um unser Staff zu bitten, Artikel in Ihrem Namen zu löschen. Mit diesem Replace können Sie es jetzt ohne unsere Intervention tun – in Ihrer Artikelliste suchen Sie nach dem Markieren Sie als gelöscht Schaltfläche unter dem entsprechenden Titel. (Wenden Sie sich an uns, bevor Sie Artikel löschen.

Weiter und nach oben!

Mit dieser neuen Funktion haben wir einen Großteil der langen Liste der wichtigsten Verbesserungen geschafft, die wir Autoren für TDS anbieten wollten. Für alle, die seit dem Begin unserer Web site nach dem Bearbeiten des Zugriffs gefragt haben, vielen Dank für Ihre Geduld! Wir hoffen, in naher Zukunft mehr von Ihrer Arbeit zu veröffentlichen, insbesondere jetzt, wo unsere Autorenzahlungsprogramm läuft seit mehreren Monaten erfolgreich. Und wenn Sie noch kein TDS -Autor sind, aber gerne unserer Neighborhood beitreten möchten, Wir würden gerne Ihre Arbeit sehenzu.

Ich habe im Mai 2024 angefangen, Datenwissenschafts- und KI-Inhalte auf Medium zu schreiben. Dies ist mein sechster Monat und ich habe gerade einen wichtigen Meilenstein erreicht – 3.000 Follower! Ich bin sehr stolz auf meine Leistungen.

In diesem Artikel werde ich erzählen, wie diese Reise begann, was ich geschrieben habe und was ich gelernt habe. Außerdem macht es mir als Datenwissenschaftler immer Spaß, meine eigenen Daten zu analysieren. Ich habe einen Datensatz meiner Medium-Statistiken einschließlich Artikel gesammelt Ansichten, liest, klatscht, Einnahmenusw. Begleiten Sie mich, wenn ich meine Medium-Erfahrung mithilfe von Daten aufschlüssele und meine teile Datengesteuerte Schreibstrategien.

Wie alles begann

Meine Schreibgewohnheit reichte lange zurück, bevor ich anfing, auf Medium zu schreiben. Ich bin gelaufen Meine Information-Science-Portfolioseite seit 2018, damals, als ich meinen ersten Vollzeitjob antrat. Ich poste dort Artikel und teile sie gelegentlich auf LinkedIn. Es hilft mir, mit Freunden und Kollegen im Datenbereich in Kontakt zu treten. Anfang des Jahres habe ich einen Artikel darüber gepostet mein Experiment mit den benutzerdefinierten GPTsund es erreichte quick 10.000 Impressionen auf LinkedIn. Das ist überhaupt nicht schlecht, aber es…

Bild erstellt mit DALL-E 3

Maschinelles Lernen ist eine Teilmenge der künstlichen Intelligenz, die durch die Bereitstellung von Effizienz und prädiktiven Erkenntnissen einen Mehrwert für das Unternehmen schaffen könnte. Es ist ein wertvolles Werkzeug für jedes Unternehmen.

Wir wissen, dass das letzte Jahr voller Durchbrüche beim maschinellen Lernen conflict und dieses Jahr nicht anders ist. Es gibt einfach so viel zu lernen.

Da es so viel zu lernen gibt, wähle ich im Jahr 2024 einige Artikel aus, die Sie lesen sollten, um Ihr Wissen zu verbessern.

Was sind das für Papiere? Lasst uns darauf eingehen.

HyperFast: Sofortige Klassifizierung für Tabellendaten

HyperFast ist ein meta-trainiertes Hypernetzwerkmodell, das von entwickelt wurde Bonet et al. (2024) Forschung. Es wurde entwickelt, um ein Klassifizierungsmodell bereitzustellen, das eine sofortige Klassifizierung von Tabellendaten in einem einzigen Vorwärtsdurchlauf ermöglicht.

Der Autor gab an, dass HyperFast ein aufgabenspezifisches neuronales Netzwerk für einen unsichtbaren Datensatz generieren könnte, das direkt für die Klassifizierungsvorhersage verwendet werden kann und das Coaching eines Modells überflüssig macht. Dieser Ansatz würde den Rechenaufwand und den Zeitaufwand für die Bereitstellung von Modellen für maschinelles Lernen erheblich reduzieren.

Das HyperFast Framework zeigt, dass die Eingabedaten durch Standardisierung und Dimensionsreduktion transformiert werden, gefolgt von einer Folge von Hypernetzwerken, die Gewichtungen für die Schichten des Netzwerks erzeugen, einschließlich einer auf dem nächsten Nachbarn basierenden Klassifizierungsverzerrung.

Insgesamt zeigen die Ergebnisse, dass HyperFast eine hervorragende Leistung erbracht hat. Es ist schneller als viele klassische Methoden, ohne dass eine Feinabstimmung erforderlich ist. Das Papier kommt zu dem Schluss, dass HyperFast ein neuer Ansatz sein könnte, der in vielen realen Fällen angewendet werden kann.

EasyRL4Rec: Eine benutzerfreundliche Codebibliothek für auf Reinforcement Studying basierende Empfehlungssysteme

Der nächste Artikel, den wir besprechen werden, befasst sich mit einer neuen Bibliothek, die von vorgeschlagen wird Yu et al. (2024) namens EasyRL4Rec. In dem Artikel geht es um eine benutzerfreundliche Codebibliothek namens EasyRL4Rec, die zum Entwickeln und Testen von auf Reinforcement Studying (RL) basierenden Empfehlungssystemen (RSs) entwickelt wurde.

Die Bibliothek bietet eine modulare Struktur mit vier Kernmodulen (Setting, Coverage, StateTracker und Collector), die jeweils unterschiedliche Phasen des Reinforcement Studying-Prozesses abdecken.

Die Gesamtstruktur zeigt, dass es um die Kernmodule für den Reinforcement Studying-Workflow herum arbeitet – einschließlich Umgebungen (Envs) zum Simulieren von Benutzerinteraktionen, eines Collectors zum Sammeln von Daten aus Interaktionen, eines State Tracker zum Erstellen von Zustandsdarstellungen und eines Richtlinienmoduls für Entscheidungsfindung. Herstellung. Es umfasst außerdem eine Datenschicht zur Verwaltung von Datensätzen und eine Executor-Schicht mit einem Coach-Evaluator zur Überwachung des Lernens und der Leistungsbewertung des RL-Agenten.

Der Autor kommt zu dem Schluss, dass EasyRL4Rec ein benutzerfreundliches Framework enthält, das praktische Herausforderungen in RL für Empfehlungssysteme bewältigen könnte.

Etikettenweitergabe für Zero-Shot-Klassifizierung mit Imaginative and prescient-Language-Modellen

Das Papier von Stojnic et al. (2024) führt eine Technik namens ZLaP ein, die für Zero-Shot-Klassifizierung mit Label-Propagation steht. Es handelt sich um eine Erweiterung der Zero-Shot-Klassifizierung von Imaginative and prescient-Language-Modellen durch die Verwendung geodätischer Entfernungen zur Klassifizierung.

Wie wir wissen, sind Imaginative and prescient-Modelle wie GPT-4V oder LLaVa zum Zero-Shot-Lernen fähig, wodurch eine Klassifizierung ohne beschriftete Bilder durchgeführt werden kann. Es lässt sich jedoch noch weiter verbessern, weshalb die Forschungsgruppe die ZLaP-Technik entwickelt hat.

Die Kernidee von ZLaP besteht darin, die Etikettenweitergabe auf einem diagrammstrukturierten Datensatz zu nutzen, der sowohl Bild- als auch Textknoten umfasst. ZLaP berechnet geodätische Entfernungen innerhalb dieses Diagramms, um eine Klassifizierung durchzuführen. Die Methode ist auch darauf ausgelegt, die dualen Modalitäten von Textual content und Bildern zu verarbeiten.

In Bezug auf die Leistung zeigt ZLaP Ergebnisse, die andere hochmoderne Methoden des Zero-Shot-Lernens durchweg übertreffen, indem es sowohl transduktive als auch induktive Inferenzmethoden in 14 verschiedenen Datensatzexperimenten nutzt.

Insgesamt verbesserte die Technik die Klassifizierungsgenauigkeit über mehrere Datensätze hinweg erheblich, was für die ZLaP-Technik im Imaginative and prescient Language Mannequin vielversprechend conflict.

Lassen Sie keinen Kontext zurück: Effiziente unendliche Kontexttransformatoren mit unendlicher Aufmerksamkeit

Der vierte Artikel, den wir diskutieren werden, stammt von Munkhdalai et al.(2024). In ihrem Artikel wird eine Methode zur Skalierung transformatorbasierter Massive Language Fashions (LLMs) vorgestellt, die unendlich lange Eingaben mit einer begrenzten Rechenleistung namens Infini-Consideration verarbeiten kann.

Der Infini-Aufmerksamkeitsmechanismus integriert ein komprimierendes Gedächtnissystem in den traditionellen Aufmerksamkeitsrahmen. Durch die Kombination eines herkömmlichen kausalen Aufmerksamkeitsmodells mit einem komprimierenden Gedächtnis können historische Kontexte gespeichert und aktualisiert und die erweiterten Sequenzen effizient verarbeitet werden, indem langfristige und lokale Informationen innerhalb eines Transformatornetzwerks zusammengefasst werden.

Insgesamt führt die Technik im Vergleich zu derzeit verfügbaren Modellen bessere Aufgaben im Zusammenhang mit Sprachmodellierungen mit langem Kontext aus, wie z. B. das Abrufen von Passschlüsseln aus langen Sequenzen und die Zusammenfassung von Büchern.

Die Technik könnte viele zukünftige Ansätze bieten, insbesondere für Anwendungen, die die Verarbeitung umfangreicher Textdaten erfordern.

AutoCodeRover: Verbesserung autonomer Programme

Der letzte Artikel, den wir besprechen werden, ist von Zhang et al. (2024). Der Schwerpunkt dieses Artikels liegt auf dem Instrument namens AutoCodeRover, das Massive Language Fashions (LLMs) nutzt, die in der Lage sind, anspruchsvolle Codesuchen durchzuführen, um die Lösung von GitHub-Problemen, hauptsächlich Fehlern und Funktionsanfragen, zu automatisieren. Durch die Verwendung von LLMs zum Analysieren und Verstehen von Problemen von GitHub kann AutoCodeRover die Codestruktur effektiver navigieren und manipulieren als herkömmliche dateibasierte Ansätze zur Lösung der Probleme.

Es gibt zwei Hauptphasen der Funktionsweise von AutoCodeRover: Kontextabrufphase und Patch-Generierungsziel. Es analysiert die Ergebnisse, um zu überprüfen, ob genügend Informationen gesammelt wurden, um die fehlerhaften Teile des Codes zu identifizieren, und versucht, einen Patch zur Behebung der Probleme zu generieren.

Das Papier zeigt, dass AutoCodeRover die Leistung im Vergleich zu früheren Methoden verbessert. Beispielsweise wurden 22–23 % der Probleme aus dem SWE-Bench-Lite-Datensatz gelöst, wobei 67 Probleme in einer durchschnittlichen Zeit von jeweils weniger als 12 Minuten gelöst wurden. Dies stellt eine Verbesserung dar, da die Lösung im Durchschnitt zwei Tage dauern kann.

Insgesamt ist das Papier vielversprechend, da AutoCodeRover in der Lage ist, den manuellen Aufwand für Programmwartungs- und -verbesserungsaufgaben erheblich zu reduzieren.

Abschluss

Im Jahr 2024 gibt es viele Artikel zum Thema maschinelles Lernen zu lesen, und hier sind meine Empfehlungsartikel zum Lesen:

1. HyperFast: Sofortige Klassifizierung für Tabellendaten
2. EasyRL4Rec: Eine benutzerfreundliche Codebibliothek für auf Reinforcement Studying basierende Empfehlungssysteme
3. Etikettenweitergabe für Zero-Shot-Klassifizierung mit Imaginative and prescient-Language-Modellen
4. Lassen Sie keinen Kontext zurück: Effiziente unendliche Kontexttransformatoren mit unendlicher Aufmerksamkeit
5. AutoCodeRover: Verbesserung autonomer Programme

Ich hoffe, es hilft!

Cornellius Yudha Wijaya ist stellvertretender Supervisor und Datenautor im Bereich Information Science. Während er Vollzeit bei Allianz Indonesia arbeitet, liebt er es, Python- und Datentipps über soziale Medien und Schreibmedien zu teilen. Cornellius schreibt über eine Vielzahl von Themen zu KI und maschinellem Lernen.