Bild von Autor | Ideogramm

Generative KI -Modelle haben sich in den letzten Jahren als steigender Star herausgestellt, insbesondere mit der Einführung von Produkten des großartigen Modellmodells (LLM) wie Chatgpt. Mit der natürlichen Sprache, die Menschen verstehen können, können diese Modelle Eingaben verarbeiten und eine geeignete Ausgabe liefern. Aufgrund von Produkten wie Chatgpt sind auch andere Formen der generativen KI beliebt und Mainstream geworden.

Produkte wie Dall-e Und Midjourney sind inmitten des generativen KI -Booms aufgrund ihrer Fähigkeit, Bilder ausschließlich aus natürlichen Spracheingaben zu erzeugen, populär geworden. Diese beliebten Produkte erstellen keine Bilder aus dem Nichts. Stattdessen verlassen sie sich auf ein Modell, das als Diffusionsmodell bekannt ist.

In diesem Artikel werden wir das Diffusionsmodell entmystifizieren, um ein tieferes Verständnis der Technologie dahinter zu erlangen. Wir werden das grundlegende Konzept diskutieren, wie das Modell funktioniert und wie es geschult wird.

Neugierig? Lassen Sie uns darauf eingehen.

# Diffusionsmodell -Grundlagen

Diffusionsmodelle sind eine Klasse von AI -Algorithmen, die unter die Kategorie generativer Modelle fallen, um neue Daten basierend auf Trainingsdaten zu generieren. Im Fall von Diffusionsmodellen bedeutet dies, dass sie neue Bilder aus angegebenen Eingaben erstellen können.

Diffusionsmodelle erzeugen jedoch Bilder durch einen anderen Prozess als gewöhnlich, wobei das Modell Rauschen aus Daten hinzufügt und dann entfernt. Einfacher verändert das Diffusionsmodell ein Bild und verfeinert es dann, um das Endprodukt zu erstellen. Sie können sich das Modell als ein demoisinges Modell vorstellen, da es lernt, Rauschen aus den Bildern zu entfernen.

Formal tauchte das Diffusionsmodell erstmals im Papier auf Tiefes unbeaufsichtigtes Lernen mit Nichtgleichgewichtsthermodynamik von Sohl-Dickstein et al. (2015). Das Papier führt das Konzept des Konvertierens von Daten in Rauschen mit einem Prozess ein, der als kontrollierter Vorwärtsdiffusionsprozess bezeichnet wird, und schult dann ein Modell, um den Prozess umzukehren und die Daten zu rekonstruieren, was der demoising -Prozess ist.

Aufbau auf dieser Stiftung das Papier Denoising diffusion probabilistische Modelle von Ho et al. (2020) stellt das moderne Diffusionsgerüst ein, das hochwertige Bilder erzeugen und frühere beliebte Modelle wie generative kontroverse Netzwerke (GANS) übertreffen kann. Im Allgemeinen besteht ein Diffusionsmodell aus zwei kritischen Phasen:

1. Vorwärts (Diffusion) Prozess: Die Daten werden beschädigt, indem Rauschen inkrementell hinzugefügt wird, bis es nicht von zufälliger statischer statisch zu unterscheiden ist
2. Reverse (Denoising) -Prozess: Ein neuronales Netzwerk wird trainiert, um das Rauschen iterativ zu entfernen und zu lernen, wie Bilddaten aus vollständiger Zufälligkeit rekonstruieren

Versuchen wir, die Diffusionsmodellkomponenten besser zu verstehen, um ein klareres Bild zu haben.

// Vorwärtsprozess

Der Vorwärtsverfahren ist die erste Part, in der ein Bild systematisch abgebaut wird, indem Rauschen bis zum Zufallsprinzip statisch wird.

Der Vorwärtsverfahren wird kontrolliert und iterativ, was wir in den folgenden Schritten zusammenfassen können:

1. Beginnen Sie mit einem Bild aus dem Datensatz
2. Fügen Sie dem Bild eine kleine Menge Rauschen hinzu
3. Wiederholen Sie diesen Vorgang mehrmal

Nach genügend Schritten erscheint das Originalbild als reines Rauschen.

Der obige Prozess wird häufig als Markov -Kette mathematisch modelliert, da jede laute Model nur von der unmittelbar vor ihr abhängt, nicht von der gesamten Abfolge von Schritten.

Aber warum sollten wir das Bild nach und nach in Rauschen verwandeln, anstatt es in einem Schritt direkt in Rauschen umzuwandeln? Ziel ist es, das Modell nach und nach zu ermöglichen, die Korruption umzukehren. Kleine, inkrementelle Schritte ermöglichen es dem Modell, den Übergang von lauten zu weniger unzähligen Daten zu erlernen, wodurch das Bild Schritt für Schritt von reinem Rauschen rekonstruiert wird.

Um zu bestimmen, wie viel Rauschen bei jedem Schritt hinzugefügt wird, wird das Konzept eines Geräuschplans verwendet. Beispielsweise führen lineare Zeitpläne im Laufe der Zeit Geräusche vor, während Cosinus -Zeitpläne für einen längeren Zeitraum nützliche Bildfunktionen aufbewahren und nützliche Bildfunktionen erhalten.

Das ist eine kurze Zusammenfassung des Vorwärtsprozesses. Lassen Sie uns den umgekehrten Prozess kennenlernen.

// Umkehrprozess

In der nächsten Stufe nach dem Vorwärtsverfahren wird das Modell in einen Generator umgewandelt, der lernt, das Rauschen wieder in Bilddaten zu verwandeln. Durch iterative kleine Schritte kann das Modell Bilddaten generieren, die zuvor nicht vorhanden waren.

Im Allgemeinen ist der umgekehrte Prozess die Umkehrung des Vorwärtsprozesses:

1. Beginnen Sie mit reinem Rauschen – ein völlig zufälliges Bild, das aus Gaußschen Rauschen besteht
2. Entfernen Sie iterativ das Rauschen mit einem geschulten Modell, das versucht, eine umgekehrte Model jedes Vorwärtsschritts zu approximieren. In jeder Schritt
3. Schritt für Schritt wird das Bild zunehmend klarer, was zu den endgültigen Bilddaten führt

Dieser umgekehrte Prozess erfordert ein Modell, das geschult wurde, um laute Bilder zu denoise. Diffusionsmodelle verwenden häufig eine neuronale Netzwerkarchitektur wie ein U-NET, bei dem es sich um einen Autocodierer handelt, der Faltungsschichten in einer Encoder-Decoder-Struktur kombiniert. Während des Trainings lernt das Modell, die während des Vorwärtsprozesses hinzugefügten Rauschkomponenten vorherzusagen. In jedem Schritt berücksichtigt das Modell auch den Zeitschritt, sodass es seine Vorhersagen entsprechend dem Rauschenspiegel einstellen kann.

Das Modell wird typischerweise unter Verwendung einer Verlustfunktion wie dem mittleren Quadratfehler (MSE) trainiert, der den Unterschied zwischen dem vorhergesagten und dem tatsächlichen Rauschen misst. Durch die Minimierung dieses Verlusts über viele Beispiele hinweg kann das Modell allmählich den Diffusionsprozess umkehren.

Im Vergleich zu Alternativen wie Gans bieten Diffusionsmodelle mehr Stabilität und einen einfacheren generativen Weg. Der Schritt-für-Schritt-Denoising-Ansatz führt zu ausdrucksstärkerem Lernen, was das Coaching zuverlässiger und interpretierbarer macht.

Sobald das Modell vollständig trainiert ist, folgt die Erzeugung eines neuen Bildes dem umgekehrten Prozess, den wir oben zusammengefasst haben.

// Textkonditionierung

In vielen Textual content-zu-Picture-Produkten wie Dall-E und Midjourney können diese Systeme den umgekehrten Prozess mithilfe von Textanforderungen leiten, die wir als Textkonditionierung bezeichnen. Durch die Integration der natürlichen Sprache können wir eher eine passende Szene als zufällige Bilder erwerben.

Der Prozess funktioniert, indem ein vorgebildeter Textcodierer verwendet wird, z. B. Clip (kontrastive Sprache-Picture vor der Ausbildung)der die Textaufforderung in einen Vektor einbettet. Diese Einbettung wird dann durch einen Mechanismus wie Kreuzbewegung in die Diffusionsmodellarchitektur eingespeist, eine Artwork Aufmerksamkeitsmechanismus, mit dem sich das Modell auf bestimmte Teile des Textes konzentrieren und den Bildgenerierungsprozess mit dem Textual content ausrichten kann. Bei jedem Schritt des Umkehrungsprozesses untersucht das Modell den aktuellen Bildzustand und die Textaufforderung, wobei das Bild mit der Semantik aus der Eingabeaufforderung an die Semantik ausgerichtet ist.

Dies ist der Kernmechanismus, mit dem Dall-E und MidJourney Bilder von Eingabeaufforderungen generieren können.

# Wie unterscheiden sich Dall-e und MidJourney?

Beide Produkte verwenden Diffusionsmodelle als Fundament, unterscheiden sich jedoch in ihren technischen Anwendungen geringfügig.

Beispielsweise verwendet Dall-E ein Diffusionsmodell, das von Clip-basiertem Einbettung für die Textkonditionierung geleitet wird. Im Gegensatz dazu zeigt MidJourney seine proprietäre Diffusionsmodellarchitektur, die Berichten zufolge einen für hohen Realismus optimierten fein abgestimmten Picture-Decoder enthält.

Beide Modelle stützen sich auch auf Kreuzbewegungen, aber ihre Leitstile unterscheiden sich. Dall-E betont das Einhaltung der Eingabeaufforderung durch klassifikatorfreie Führung, die zwischen bedingungslosen und textbezogenen Ausgaben ausbaut. Im Gegensatz dazu neigt MidJourney dazu, die stilistische Interpretation zu priorisieren und möglicherweise eine höhere Normal-Leitlinienskala für klassifikatorfreie Anleitung zu verwenden.

Dall-E und Midjourney unterscheiden sich in der Umstellung von sofortiger Länge und Komplexität, da das Dall-E-Modell längere Eingabeaufforderungen verwalten kann, indem sie sie verarbeiten, bevor sie die Diffusionspipeline eingeben, während Midjourney dazu neigt, mit prägnanten Eingaben besser abzubauen.

Es gibt mehr Unterschiede, aber dies sind diejenigen, die Sie wissen sollten, die sich auf die Diffusionsmodelle beziehen.

# Abschluss

Diffusionsmodelle sind zu einer Grundlage moderner Textual content-zu-Picture-Systeme wie Dall-E und Midjourney geworden. Durch die Verwendung der grundlegenden Prozesse von Vorwärts- und Rückwärtsdiffusion können diese Modelle völlig neue Bilder aus Zufälligkeit erzeugen. Darüber hinaus können diese Modelle die natürliche Sprache verwenden, um die Ergebnisse durch Mechanismen wie Textkonditionierung und Kreuzung zu führen.

Ich hoffe das hat geholfen!

Cornellius Yudha Wijaya ist ein Information Science Assistant Supervisor und Datenautor. Während er in Vollzeit bei Allianz Indonesien arbeitet, liebt er es, Python- und Datentipps über soziale Medien und das Schreiben von Medien zu teilen. Cornellius schreibt über eine Vielzahl von KI- und maschinellen Lernthemen.

ICH Ich werde erzählen, was ich über den akademischen Peer-Evaluation-Prozess gelernt habe, während ich mich von einem zögerlichen Gutachter zu einem Affiliate Editor für die IEEE-Briefe zu Robotik und Automatisierung (Affect Issue 4,6).

Während die meisten traditionellen wissenschaftlichen und technischen Veröffentlichungen erfordern Erfahrung in der Publikation und akademische Qualifikationen, um als Gutachter zu fungieren, Maschinelles Lernen und Datenwissenschaft könnten eine Ausnahme sein. Ein wesentlicher Treiber für die weitverbreitete Einführung und Nutzung der Datenwissenschaft battle Open-Supply-Projekte und Repositorien. Viele einflussreiche Mitwirkende an der Open-Supply-Datenwissenschaft sind nicht immer publizierte Forscher, sondern verfügen durch Praxis und Experimente über tiefgreifende Kenntnisse des Fachgebiets. Darüber hinaus gibt es erst seit wenigen Jahren formale akademische Abschlüsse im maschinellen Lernen, und viele aktuelle Forscher haben unterschiedliche Hintergründe. Ich zum Beispiel habe einen Hintergrund im Maschinenbau.

Vor diesem Hintergrund hoffe ich, dass wenn Sie ein Machine-Studying-Praktiker sind, der neugierig auf den Überprüfungsprozess ist und sich beteiligen möchtedieser Artikel sollte einen gewissen Wert bieten.

· Meine Geschichte
· Was ist Peer Evaluation?
∘ Sollten die Mitglieder der Redaktion nicht die Experten sein?
· Peer Evaluation-Prozess
· Warum Sie Peer Reviewing in Betracht ziehen sollten
· Wie können Sie sich engagieren?
∘ Peer Opinions mit Internet of Science verfolgen
∘ Muss ich ein veröffentlichter Forscher sein?
· Wie viel Zeit nimmt es in Anspruch?
· Abschluss
· Vorlage für Kaltakquise-E-Mail
· Haftungsausschluss

Im August 2024erreichte ich 100 verifizierte Peer Opinions für 9 verschiedene wissenschaftliche Zeitschriften und Konferenzens. Obwohl ich meine erste Überprüfung bereits 2016 durchgeführt habe, begann mir der Prozess erst Mitte 2022 wirklich Spaß zu machen.

Als Doktorand (2015–2020) hat es mir nie wirklich Spaß gemacht, Arbeiten zu rezensieren. Stattdessen habe ich es hauptsächlich als akademische Verpflichtung als mein Betreuer mich darum bat. Außerdem traute ich mir nicht zu, die Arbeit anderer kritisch zu beurteilen, da ich nur wenige Veröffentlichungen vorzuweisen hatte.

Nach meinem Abschluss fiel es mir schwer, über neue Forschungsergebnisse auf dem Laufenden zu bleiben. Als Scholar gehörte das Lesen von Artikeln zum Job. In der Industrie las ich jedoch nur die beliebtesten Artikel. Um über die neuesten Forschungsergebnisse auf dem Laufenden zu bleiben, meinen akademischen Verpflichtungen nachzukommen und ein stärkeres Forschungsprofil aufzubauen, begann ich, E-Mails an Redakteure verschiedener Zeitschriften zu senden, um mein Interesse an einer Tätigkeit als Gutachter zu bekunden. Obwohl ich von quick allen eine Antwort erhielt, alle Von den Zeitschriften wurden mir zunächst nur 2–3 Artikel zugeteilt. Mit der Zeit bekam ich auch von Zeitschriften, die ich nicht kontaktiert hatte, Rezensionsanfragen.

Ende 2023 habe ich mich beworben bei IEEE RA-L für die Rolle des Affiliate Editor und wurde schließlich ausgewählt für die Mensch-Roboter-Interaktion Schiene.

Im Relaxation dieses Artikels werde ich Folgendes erklären:

• Die Bedeutung von Peer Evaluation und Was Der Prozess beinhaltet,
• Warum Sie sollten erwägen, akademische Veröffentlichungen zu überprüfen und Wie Sie können loslegen
• Zeitaufwand und andere zu berücksichtigende Faktoren

Abschließend möchte ich noch ein Vorlage für Kaltakquise-E-Mail die Sie verwenden können, um Redakteure zu erreichen.

Obwohl es einige Kontroversen über die Wirksamkeit des Peer-Evaluation-Prozesses gibt, nicht Ich halte mich für versiert genug, um diesen Aspekt zu kommentieren. Stattdessen werde ich mich darauf konzentrieren, meine Erfahrungen und Erkenntnisse weiterzugeben.

In meinem letzten Put uphaben wir uns Basis Fashions und Massive Language Fashions (LLMs) genauer angesehen. Wir haben versucht zu verstehen, was sie sind, wie sie verwendet werden und was sie so besonders macht. Wir haben untersucht, wo sie intestine funktionieren und wo sie vielleicht nicht funktionieren. Wir haben ihre Anwendungsmöglichkeiten in verschiedenen Bereichen wie dem Verstehen von Texten und der Generierung von Inhalten besprochen. Diese LLMs haben den Bereich der Verarbeitung natürlicher Sprache (NLP) grundlegend verändert.

Wenn wir an eine NLP-Pipeline denken, ist Characteristic Engineering (auch bekannt als Merkmalsextraktion oder Textdarstellung oder Textvektorisierung) ist ein sehr wesentlicher und wichtiger Schritt. Dieser Schritt umfasst Techniken zur Darstellung von Textual content als Zahlen (Merkmalsvektoren). Wir müssen diesen Schritt ausführen, wenn wir an einem NLP-Drawback arbeiten, da Pc keinen Textual content verstehen können, sondern nur Zahlen. Und diese numerische Darstellung von Textual content muss in die Algorithmen des maschinellen Lernens eingespeist werden, um verschiedene textbasierte Anwendungsfälle wie Sprachübersetzung, Stimmungsanalyse, Zusammenfassung usw. zu lösen.

Diejenigen von uns, die sich mit der Pipeline des maschinellen Lernens im Allgemeinen auskennen, wissen, dass Characteristic Engineering ein sehr wichtiger Schritt ist, um gute Ergebnisse aus dem Modell zu erzielen. Dasselbe Konzept gilt auch für NLP. Wenn wir eine numerische Darstellung von Textdaten generieren, ist ein wichtiges Ziel, das wir erreichen wollen, dass die generierte numerische Darstellung sollte in der Lage sein, die Bedeutung des zugrunde liegenden Textes zu erfassen. Daher werden wir in unserem heutigen Beitrag nicht nur die verschiedenen zu diesem Zweck verfügbaren Techniken besprechen, sondern auch bewerten, wie nah sie bei jedem Schritt unserem Ziel kommen.

Einige der wichtigsten Ansätze zur Merkmalsextraktion sind:

– Eine Sizzling-Kodierung

– Beutel mit Wörtern (BOW)

– N-Gramme

– TF-IDF

– Worteinbettungen

Wir beginnen mit dem Verständnis einiger grundlegender Terminologien und ihrer Beziehung zueinander.

– Korpus — Alle Wörter im Datensatz

– Wortschatz — Eindeutige Wörter im Datensatz

– Dokumentieren — Eindeutige Datensätze im Datensatz

– Wort — Jedes Wort in einem Dokument

Nehmen wir beispielsweise der Einfachheit halber an, dass unser Datensatz nur drei Sätze enthält. Die folgende Tabelle zeigt den Unterschied zwischen Korpus und Vokabular.

Jetzt wird jeder der drei Datensätze im obigen Datensatz als Dokument (D) und jedes Wort im Dokument als Wort (W) bezeichnet.

Beginnen wir nun mit den Techniken.

Dies ist eine der grundlegendsten Techniken zum Umwandeln von Textual content in Zahlen.

Wir verwenden denselben Datensatz wie oben. Unser Datensatz enthält drei Dokumente – wir können sie D1, D2 und D3 nennen.

Wir wissen, dass das Vokabular (V) (Katze, spielt, Hund, Junge, Ball) ist und 5 Elemente enthält. Bei One Sizzling Encoding (OHE) stellen wir jedes Wort in jedem Dokument basierend auf dem Vokabular des Datensatzes dar. „1“ erscheint an Positionen, an denen eine Übereinstimmung vorliegt.

Aus den oben genannten Daten können wir daher für jedes Dokument eine Sizzling-Encoded-Darstellung ableiten.

Was wir hier im Wesentlichen tun, ist, dass wir jedes Wort unseres Dokuments in ein 2-dimensionaler Vektor, wobei die erste Dimension die Anzahl der Wörter im Dokument und der zweite Wert die Größe des Wortschatzes angibt (V=5 in unserem Fall).

Obwohl diese Methode sehr einfach zu verstehen und umzusetzen ist, weist sie auch einige Nachteile auf, weshalb die Verwendung dieser Technik nicht empfohlen wird.

– Spärliche Darstellung (d. h. es gibt viele Nullen und für jedes Wort steht an nur einer Stelle eine Eins). Je größer das Corpus, desto größer der V-Wert und desto spärlicher die Darstellung.

– Leidet an Aus dem Vokabular Probleme – das heißt, wenn zum Zeitpunkt der Inferenz ein neues Wort eingeführt wird (ein Wort, das während des Trainings nicht in V vorhanden ist), funktioniert der Algorithmus nicht.

– Letzter und wichtigster Punkt: Dadurch wird die semantische Beziehung zwischen Wörtern nicht erfasst (was unser Hauptziel ist, wenn Sie sich an unsere Diskussion oben erinnern).

Das führt uns zur Untersuchung der nächsten Technik

Es ist eine sehr beliebte und ziemlich alte Technik.

Der erste Schritt besteht darin, erneut das Vokabular (V) aus dem Datensatz zu erstellen. Dann vergleichen wir die Anzahl der Vorkommen jedes Wortes aus dem Dokument mit dem erstellten Vokabular. Die folgende Demonstration anhand früherer Daten hilft, dies besser zu verstehen

Im ersten Dokument kommt „Katze“ einmal vor, „spielt“ einmal und auch „Ball“. Die Anzahl für jedes dieser Wörter ist additionally 1 und die anderen Positionen sind mit 0 gekennzeichnet. Auf ähnliche Weise können wir die jeweiligen Anzahlen für jedes der beiden anderen Dokumente ermitteln.

Die BOW-Technik wandelt jedes Dokument in einen Vektor der Größe des Vokabulars V um. Hier erhalten wir drei 5-dimensionale Vektoren — (1,1,0,0,1), (0,1,1,0,1) und (0,1,0,1,1)

Bag of Phrases wird bei Klassifizierungsaufgaben verwendet und hat sich als recht leistungsfähig erwiesen. Und wenn Sie sich die Tabelle ansehen, können Sie erkennen, dass es auch hilft, die Ähnlichkeit zwischen den Sätzen zu erfassen – zumindest ein wenig. Zum Beispiel: „spielt“ und „Ball“ kommen in allen drei Dokumenten vor, und daher können wir an diesen Positionen für alle drei Dokumente 1 sehen.

Professional:

– Sehr einfach zu verstehen und umzusetzen

– Das zuvor festgestellte Drawback der festen Länge tritt hier nicht auf, da die Zählungen auf der Grundlage des vorhandenen Wortschatzes berechnet werden, was wiederum dazu beiträgt, das in der früheren Technik festgestellte Drawback des fehlenden Wortschatzes zu lösen. Wenn additionally zum Zeitpunkt der Inferenz ein neues Wort in den Daten erscheint, werden die Berechnungen auf der Grundlage der vorhandenen Wörter und nicht der neuen Wörter durchgeführt.

Nachteile:

– Dies ist immer noch eine spärliche Darstellung, die für die Berechnung schwierig ist

– Obwohl wir bei einem neuen Wort keinen Fehler mehr erhalten, da nur die vorhandenen Wörter berücksichtigt werden, gehen durch das Ignorieren der neuen Wörter tatsächlich Informationen verloren.

– Die Reihenfolge der Wörter wird nicht berücksichtigt, da diese für das Verständnis des betreffenden Textes sehr wichtig sein kann.

– Wenn Dokumente meistens aus gemeinsamen Wörtern bestehen, aber eine kleine Änderung eine gegenteilige Bedeutung vermitteln kann, funktioniert BOW nicht. Beispiel:

Beispiel: Angenommen, es gibt zwei Sätze –

1. Ich magazine es, wenn es regnet.

2. Ich magazine es nicht, wenn es regnet.

Mit der Artwork und Weise, wie BOW berechnet wird, können wir sehen, dass beide Sätze als ähnlich betrachtet werden, da alle Wörter außer „don‘t“ in beiden Sätzen vorhanden sind, aber dieses einzelne Wort die Bedeutung des zweiten Satzes im Vergleich zum ersten völlig verändert.

Diese Technik ähnelt BOW, das wir gerade gelernt haben, aber dieses Mal wird unser Vokabular nicht aus einzelnen Wörtern, sondern aus N-Grammen bestehen (2 Wörter zusammen, bekannt als Bigrams, 3 Wörter zusammen, bekannt als Trigramms … oder allgemeiner ausgedrückt – n Wörter zusammen, bekannt als „N-Gramme“).

Die Ngrams-Technik ist eine Verbesserung gegenüber Bag of Phrases, da sie hilft, die semantische Bedeutung der Sätze zumindest bis zu einem gewissen Grad zu erfassen. Betrachten wir das oben verwendete Beispiel.

1. Ich magazine es, wenn es regnet.

2. Ich magazine es nicht, wenn es regnet.

Diese beiden Sätze haben eine völlig gegensätzliche Bedeutung und ihre Vektordarstellungen sollten daher weit auseinander liegen.

Wenn wir nur die einzelnen Wörter, additionally BOW mit n=1 oder Unigramme verwenden, sieht ihre Vektordarstellung wie folgt aus

D1 kann als (1,1,1,1,1,0) dargestellt werden, während D2 als (1,1,1,1,1,1) dargestellt werden kann.

D1 und D2 scheinen sehr ähnlich zu sein und der Unterschied scheint nur in einer Dimension aufzutreten. Daher können sie beim Plotten in einem Vektorraum recht nahe beieinander dargestellt werden.

Sehen wir uns nun an, warum die Verwendung von Bigrammen in einer solchen Scenario nützlicher sein kann.

Mit diesem Ansatz können wir sehen, dass die Werte in drei Dimensionen nicht übereinstimmen, was im Vergleich zur früheren Technik definitiv dazu beiträgt, die Unähnlichkeit der Sätze im Vektorraum besser darzustellen.

Professional

· Es handelt sich um einen sehr einfachen und intuitiven Ansatz, der leicht zu verstehen und umzusetzen ist

· Hilft, die semantische Bedeutung des Textes zumindest teilweise zu erfassen

Nachteile:

· Rechentechnisch aufwändiger, da wir jetzt anstelle einzelner Token eine Kombination von Token verwenden. Die Verwendung von N-Grammen vergrößert den Merkmalsraum erheblich. In praktischen Fällen werden wir es beispielsweise nicht mit wenigen Wörtern zu tun haben, sondern unser Vokabular kann Tausende von Wörtern umfassen, die Anzahl der möglichen Bigramme wird sehr hoch sein.

· Diese Artwork der Datendarstellung ist immer noch spärlich. Da N-Gramme bestimmte Wortfolgen erfassen, tauchen viele N-Gramme im Korpus möglicherweise nicht häufig auf, was zu einer spärlichen Matrix führt.

· Das OOV-Drawback besteht weiterhin. Wenn ein neuer Satz hinzukommt, wird er ignoriert, da ähnlich wie bei der BOW-Technik nur die im Vokabular vorhandenen Wörter/Bigramme berücksichtigt werden.

Es ist möglich, N-Gramme (Bigramme, Trigramme usw.) zusammen mit Unigrammen zu verwenden und kann in bestimmten Anwendungsfällen zum Erreichen guter Ergebnisse beitragen.

Für die Techniken, die wir bisher oben besprochen haben, haben wir den Wert an jeder Place basierend auf dem Vorhandensein oder Fehlen eines bestimmten Wortes/N-Gramms oder der Häufigkeit des Wortes/N-Gramms verwendet.

Diese Technik verwendet eine einzigartige Logik (Formel), um die Gewichte für jedes Wort basierend auf zwei Aspekten zu berechnen –

Termfrequenz (TF)– Indikator dafür, wie häufig ein Wort in einem Dokument vorkommt. Es handelt sich um das Verhältnis der Häufigkeit, mit der ein Wort in einem Dokument vorkommt, zur Gesamtzahl der Wörter im Dokument.

Die Inverse Doc Frequency (IDF) hingegen gibt an, Wichtigkeit eines Begriffs im Hinblick auf das gesamte Korpus.

Formel von TF-IDF:

Gehen wir die Berechnung nun anhand unseres Korpus mit drei Dokumenten durch.

1. Katze spielt Ball (D1)

2. Hund spielt Ball (D2)

3. Junge spielt Ball (D3)

Aus der obigen Tabelle können wir ersehen, dass der Effekt der in allen Dokumenten vorkommenden Wörter (Spiele und Ball) auf 0 reduziert wurde.

Berechnung des TF-IDF mit der Formel TF-IDF(t,d) = TF(t,d) × IDF(t,D)

Wir können sehen, wie die gebräuchlichen Wörter „spielt“ und „Ball“ weggelassen werden und wichtigere Wörter wie „Katze“, „Hund“ und „Junge“ identifiziert werden.

Der Ansatz hilft additionally dabei, weist Wörtern, die in einem bestimmten Dokument häufig vorkommen, im gesamten Korpus jedoch seltener auftauchen, höhere Gewichte zu.TF-IDF ist sehr nützlich für Aufgaben des maschinellen Lernens, wie etwa Textklassifizierung, Informationsabruf usw.

Wir werden jetzt fortgeschrittenere Vektorisierungstechniken erlernen.

Ich werde dieses Thema mit einem Zitat aus der Definition von Worteinbettungen beginnen, die wunderbar erklärt wird unter Verknüpfung

„Worteinbettungen sind eine Möglichkeit, Wörter als Vektoren in einem mehrdimensionalen Raum darzustellen, wobei die Entfernung und Richtung zwischen den Vektoren die Ähnlichkeit und die Beziehungen zwischen den entsprechenden Wörtern widerspiegeln.“