Wenn Sie ein Modell der künstlichen Intelligenz bitten, einen Liedtext zu schreiben, wie es die Beatles getan hätten, und es dies beeindruckend intestine hinbekommt, gibt es dafür einen Grund. Oder wenn Sie ein Modell bitten, Prosa im Stil Ihres Lieblingsautors zu schreiben, und es diesen Stil exakt nachbildet, gibt es dafür einen Grund.

Selbst wenn Sie sich in einem anderen Land befinden und den Namen eines interessanten Snacks übersetzen möchten, den Sie in der Supermarktabteilung finden, erkennt Ihr Smartphone die Beschriftungen und übersetzt den Textual content nahtlos.

Im Mittelpunkt all dieser Möglichkeiten steht die KI, und zwar vor allem deshalb, weil KI-Modelle anhand riesiger Mengen solcher Daten trainiert worden wären – in unserem Fall Hunderte von Liedern der Beatles und wahrscheinlich auch Bücher Ihres Lieblingsautors.

Mit dem Aufkommen der generativen KI ist jeder ein Musiker, Schriftsteller, Künstler oder alles davon. Gen-KI-Modelle erzeugen je nach Benutzereingaben in Sekundenschnelle maßgeschneiderte Kunstwerke. Sie können erstellen Van Gogh-artig Kunstwerke und lassen Sie Al Pacino sogar die Nutzungsbedingungen vorlesen, ohne dass er anwesend ist.

Faszination beiseite, der wichtige Aspekt ist hier die Ethik. Ist es honest, dass solche kreativen Werke zum Trainieren von KI-Modellen verwendet wurden, die nach und nach versuchen, Künstler zu ersetzen? Wurde die Zustimmung der Eigentümer solcher geistigen Eigentumsrechte eingeholt? Wurden sie angemessen entlohnt?

Willkommen im Jahr 2024: dem Jahr der Datenkriege

In den letzten Jahren sind Daten zu einem Magneten geworden, der die Aufmerksamkeit von Unternehmen auf sich zieht, die ihre Gen-KI-Modelle trainieren möchten. KI-Modelle sind wie Kleinkinder naiv. Sie müssen unterrichtet und dann trainiert werden. Deshalb benötigen Unternehmen Milliarden, wenn nicht Millionen von Daten, um Modelle künstlich zu trainieren, damit sie Menschen nachahmen.

Beispielsweise wurde GPT-3 mit Milliarden (Hunderten) von Token trainiert, was man frei mit 1000 Wörtern übersetzen kann. Quellen zeigen jedoch, dass Billionen solcher Token verwendet wurden, um die neueren Modelle zu trainieren.

Wohin wenden sich die großen Technologieunternehmen, wenn sie solch enorme Mengen an Trainingsdatensätzen benötigen?

Akuter Mangel an Trainingsdaten

Ambition und Volumen gehen Hand in Hand. Wenn Unternehmen ihre Modelle skalieren und optimieren, benötigen sie noch mehr Trainingsdaten. Dies könnte auf die Forderung zurückzuführen sein, nachfolgende GPT-Modelle vorzustellen oder einfach verbesserte und präzise Ergebnisse zu liefern.

Unabhängig vom Fall ist es unvermeidlich, dass umfangreiche Trainingsdaten erforderlich sind.

Hier stehen Unternehmen vor ihrem ersten Hindernis. Einfach ausgedrückt wird das Web zu klein, um KI-Modelle zu trainieren. Das bedeutet, dass den Unternehmen die vorhandenen Datensätze ausgehen, mit denen sie ihre Modelle füttern und trainieren können.

Diese schwindende Ressource bereitet Interessenvertretern und Technikbegeisterten Sorgen, da sie möglicherweise die Entwicklung und Evolution von KI-Modellen einschränken könnte. Diese sind meist eng damit verknüpft, wie Marken ihre Produkte positionieren und wie einige der drängendsten Probleme der Welt mit KI-gesteuerten Lösungen angegangen werden sollen.

Gleichzeitig gibt es auch Hoffnung in Kind von synthetischen Daten oder digitaler Inzucht, wie wir es nennen. In Laiensprache ausgedrückt sind synthetische Daten die von der KI generierten Trainingsdaten, die wiederum zum Trainieren von Modellen verwendet werden.

Obwohl es vielversprechend klingt, glauben Technikexperten, dass die Synthese solcher Trainingsdaten zu einer sogenannten Habsburger KI führen würde. Dies ist ein großes Drawback für Unternehmen, da solche Inzuchtdatensätze sachliche Fehler oder Voreingenommenheit enthalten oder einfach nur Kauderwelsch sein könnten, was die Ergebnisse von KI-Modellen negativ beeinflusst.

Betrachten Sie dies als eine Partie Stille Put up, mit dem einzigen Unterschied, dass das erste weitergegebene Wort ebenfalls bedeutungslos sein könnte.

Das Rennen um die Beschaffung von KI-Trainingsdaten

Lizenzierung ist eine ideale Möglichkeit, Trainingsdaten zu beschaffen. Bibliotheken und Repositorien sind zwar leistungsfähig, aber sie sind begrenzte Quellen. Das heißt, sie können den Volumenanforderungen von Modellen im großen Maßstab nicht genügen. Eine interessante Statistik besagt, dass uns bis zum Jahr 2026 möglicherweise die qualitativ hochwertigen Daten zum Trainieren von Modellen ausgehen werden, wenn man die Verfügbarkeit von Daten mit anderen physischen Ressourcen in der realen Welt vergleicht.

Einer der größten Foto-Repositorien – Shutterstock hat 300 Millionen Bilder. Das reicht zwar aus, um mit dem Coaching zu beginnen, aber zum Testen, Validieren und Optimieren wären wiederum umfangreiche Daten erforderlich.

Es gibt jedoch auch andere Quellen. Der einzige Haken dabei ist, dass sie grau farbcodiert sind. Wir sprechen hier von öffentlich verfügbaren Daten aus dem Web. Hier sind einige interessante Fakten:

• Täglich werden über 7,5 Millionen Blogbeiträge veröffentlicht.
• Auf Social-Media-Plattformen wie Instagram, X, Snapchat, TikTok und anderen sind über 5,4 Milliarden Menschen aktiv.
• Es gibt im Web über 1,8 Milliarden Web sites.
• Allein auf YouTube werden täglich über 3,7 Millionen Movies hochgeladen.

Darüber hinaus geben Menschen über reine Audio-Podcasts Texte, Movies, Fotos und sogar Fachwissen öffentlich weiter.

Es handelt sich hierbei um explizit verfügbare Inhalte.

Daher muss es doch honest sein, sie zum Trainieren von KI-Modellen zu verwenden, oder?

Dies ist die Grauzone, die wir bereits erwähnt haben. Zu dieser Frage gibt es keine eindeutige Meinung, da Technologieunternehmen mit Zugriff auf derart große Datenmengen neue Instruments und Richtlinienänderungen entwickeln, um diesem Bedarf gerecht zu werden.

Einige Instruments wandeln Audiodaten von YouTube-Movies in Textual content um und verwenden diese dann als Token für Trainingszwecke. Unternehmen überdenken Datenschutzrichtlinien und gehen sogar so weit, öffentliche Daten zu verwenden, um Modelle zu trainieren, mit der vorab festgelegten Absicht, sich Klagen auszusetzen.

Gegenmechanismen

Gleichzeitig entwickeln Unternehmen auch sogenannte synthetische Daten, bei denen KI-Modelle Texte generieren, die wiederum wie eine Schleife zum Trainieren der Modelle verwendet werden können.

Um dem Information Scraping entgegenzuwirken und Unternehmen daran zu hindern, Gesetzeslücken auszunutzen, implementieren Web sites andererseits Plug-ins und Codes, um das Eindringen von Information-Scraping-Bots zu verhindern.

Was ist die ultimative Lösung?

Der Einsatz von KI zur Lösung realer Probleme wurde schon immer von edlen Absichten getragen. Warum muss man sich bei der Beschaffung von Datensätzen zum Trainieren solcher Modelle dann auf graue Modelle stützen?

Da Gespräche und Debatten über eine verantwortungsvolle, ethische und rechenschaftspflichtige KI immer wichtiger und intensiver werden, liegt es an Unternehmen jeder Größenordnung, auf different Quellen umzusteigen, die über White-Hat-Techniken zur Bereitstellung von Trainingsdaten verfügen.

Das ist wo Shaip zeichnet sich aus. Shaip ist sich der vorherrschenden Bedenken hinsichtlich der Datenbeschaffung bewusst und hat sich immer für ethische Techniken eingesetzt und konsequent verfeinerte und optimierte Methoden zum Sammeln und Zusammenstellen von Daten aus verschiedenen Quellen praktiziert.

Beschaffungsmethoden für White-Hat-Datensätze

Bei unserem proprietären Datenerfassungstool stehen Menschen im Mittelpunkt der Datenidentifikations- und Bereitstellungszyklen. Wir verstehen die Sensibilität der Anwendungsfälle, an denen unsere Kunden arbeiten, und die Auswirkungen, die unsere Datensätze auf die Ergebnisse ihrer Modelle haben würden. So sind beispielsweise Datensätze aus dem Gesundheitswesen im Vergleich zu Datensätzen für Pc Imaginative and prescient für autonome Autos sensibel.

Genau aus diesem Grund umfasst unsere Vorgehensweise sorgfältige Qualitätskontrollen und Techniken zur Identifizierung und Zusammenstellung relevanter Datensätze. Dadurch konnten wir Unternehmen mit exklusiven Gen AI-Trainingsdatensätzen in verschiedenen Formaten wie Bildern, Movies, Audio, Textual content und weiteren Nischenanforderungen versorgen.

Unsere Philosophie

Wir arbeiten nach Kernphilosophien wie Zustimmung, Datenschutz und Equity bei der Datenerfassung. Unser Ansatz stellt auch die Vielfalt der Daten sicher, sodass keine unbewussten Vorurteile entstehen.

Während sich die KI-Welt auf den Beginn einer neuen Ära vorbereitet, die von fairen Praktiken geprägt ist, Shaip beabsichtigen, die Fahnenträger und Vorreiter solcher Ideologien zu sein. Wenn Sie nach absolut fairen und qualitativ hochwertigen Datensätzen suchen, um Ihre KI-Modelle zu trainieren, setzen Sie sich noch heute mit uns in Verbindung.

Größer = besser?

In der KI ist größer oft besser – wenn genügend Daten vorhanden sind, um diese großen Modelle zu versorgen. Da jedoch nur begrenzte Daten vorliegen, Größere Modelle neigen eher zur Überanpassung. Überanpassung tritt auf, wenn das Modell Muster aus den Trainingsdaten speichert, die sich nicht intestine auf reale Datenbeispiele übertragen lassen. Es gibt jedoch einen anderen Ansatz, den ich in diesem Zusammenhang noch überzeugender finde.

Angenommen, Sie haben einen kleinen Datensatz von Spektrogrammen und entscheiden sich zwischen einem kleinen CNN-Modell (100.000 Parameter) oder einem großen CNN (10 Millionen Parameter). Erinnere dich daran Jeder Modellparameter ist effektiv eine aus dem Trainingsdatensatz abgeleitete Greatest-Visitor-Zahl. Wenn wir es so betrachten, ist es offensichtlich, dass es für ein Modell einfacher ist, 100.000 Parameter richtig hinzubekommen, als 10 Millionen.

Am Ende führen beide Argumente zum gleichen Ergebnis:

Wenn die Daten knapp sind, sollten Sie erwägen, kleinere Modelle zu erstellen, die sich nur auf die wesentlichen Muster konzentrieren.

Doch wie lassen sich kleinere Modelle in der Praxis umsetzen?

Walnüsse nicht mit Vorschlaghammer knacken

Meine Lernreise in der Musik-KI wurde von Deep Studying dominiert. Bis vor einem Jahr hatte ich quick jedes Drawback mithilfe großer neuronaler Netze gelöst. Während dies für komplexe Aufgaben wie Musik-Tagging oder Instrumentenerkennung sinnvoll ist, Nicht jede Aufgabe ist so kompliziert.

Beispielsweise kann ein anständiger BPM-Schätzer oder Schlüsseldetektor ohne maschinelles Lernen erstellt werden, indem die Zeit zwischen den Einsätzen analysiert bzw. Chromagramme mit Schlüsselprofilen korreliert werden.

Selbst für Aufgaben wie das Markieren von Musik muss es nicht immer ein Deep-Studying-Modell sein. Ich habe gute Ergebnisse beim Temper-Tagging durch einen einfachen Okay-Nearest Neighbor-Klassifikator über einen Einbettungsraum (z. B. CLAP) erzielt.

Während die meisten modernen Methoden der Musik-KI auf Deep Studying basieren, various Lösungen sollten bei Datenknappheit in Betracht gezogen werden.

Achten Sie auf die Dateneingabegröße

Wichtiger als die Wahl der Modelle ist in der Regel die Wahl der Eingabedaten. In der Musik-KI verwenden wir aufgrund der Datenineffizienz selten Rohwellenformen als Eingabe. Durch die Umwandlung von Wellenformen in (Mel)Spektrogramme können wir die Dimensionalität der Eingabedaten verringern um den Faktor 100 oder mehr. Dies ist wichtig, da umfangreiche Dateneingaben in der Regel größere und/oder komplexere Modelle zu ihrer Verarbeitung erfordern.

Um die Größe der Modelleingabe zu minimieren, können wir zwei Wege wählen

1. Verwendung kleinerer Musikschnipsel
2. Verwendung komprimierterer/vereinfachterer Musikdarstellungen.

Verwendung kleinerer Musikschnipsel

Die Verwendung kleinerer Musikausschnitte ist besonders effektiv, wenn das Ergebnis, an dem wir interessiert sind, world ist, additionally für jeden Abschnitt des Songs gilt. Wir können beispielsweise davon ausgehen, dass das Style eines Titels im Laufe des Titels relativ stabil bleibt. Aus diesem Grund können wir für eine Style-Klassifizierungsaufgabe problemlos 10-Sekunden-Ausschnitte anstelle ganzer Titel (oder der sehr häufigen 30-Sekunden-Ausschnitte) verwenden.

Dies hat zwei Vorteile:

1. Kürzere Snippets führen zu weniger Datenpunkten professional Trainingsbeispiel, sodass Sie kleinere Modelle verwenden können.
2. Indem wir drei 10-Sekunden-Schnipsel anstelle eines 30-Sekunden-Schnipsels zeichnen, können wir die Anzahl der Trainingsbeobachtungen verdreifachen. Insgesamt bedeutet dies, dass wir weniger datenhungrige Modelle erstellen und ihnen gleichzeitig mehr Trainingsbeispiele als zuvor zuführen können.

Es gibt jedoch welche Hier gibt es zwei potenzielle Gefahren. Erstens muss die Snippet-Größe lang genug sein, damit eine Klassifizierung möglich ist. Beispielsweise haben selbst Menschen Schwierigkeiten mit der Style-Klassifizierung, wenn ihnen 3-Sekunden-Snippets präsentiert werden. Wir sollten die Snippet-Größe sorgfältig wählen und diese Entscheidung als Hyperparameter unserer KI-Lösung betrachten.

Zweitens, Nicht jedes musikalische Attribut ist world. Wenn ein Lied beispielsweise Gesang enthält, bedeutet das nicht, dass es keine Instrumentalabschnitte gibt. Wenn wir den Monitor in wirklich kurze Schnipsel zerschneiden würden, würden wir viele falsch beschriftete Beispiele in unseren Trainingsdatensatz einfügen.

Effizientere Musikdarstellungen verwenden

Wenn Sie vor zehn Jahren Musik-KI studiert haben (damals, als das Ganze noch „Music Data Retrieval“ hieß), haben Sie etwas über Chromagramme, MFCCs und Beat-Histogramme gelernt. Diese handgefertigten Funktionen wurden entwickelt, um Musikdaten mit traditionellen ML-Ansätzen kompatibel zu machen. Mit dem Aufkommen des Deep Studying könnte es so aussehen, als wären diese Funktionen vollständig durch (Mel)Spektrogramme ersetzt.

Spektrogramme komprimieren Musik ohne großen Informationsverlust in Bilder und machen sie so zu Bildern Ideally suited in Kombination mit Laptop-Imaginative and prescient-Modellen. Anstatt benutzerdefinierte Funktionen für verschiedene Aufgaben zu entwickeln, können wir jetzt für die meisten Musik-KI-Probleme dieselbe Eingabedatendarstellung und dasselbe Modell verwenden – vorausgesetzt, Sie verfügen über Zehntausende Trainingsbeispiele, mit denen Sie diese Modelle füttern können.

Wenn Daten knapp sind, wollen wir das tun Komprimieren Sie die Informationen so weit wie möglich um es dem Modell zu erleichtern, relevante Muster aus den Daten zu extrahieren. Betrachten Sie diese vier Musikdarstellungen unten und sagen Sie mir, welche Ihnen dabei hilft, die Tonart am schnellsten zu identifizieren.

Während Mel-Spektrogramme als Eingabe für wichtige Erkennungssysteme verwendet werden können (und das möglicherweise auch tun sollten, wenn Sie über genügend Daten verfügen), enthüllt ein einfaches Chromagramm, das entlang der Zeitdimension gemittelt wird, diese spezifischen Informationen viel schneller. Aus diesem Grund erfordern Spektrogramme komplexe Modelle wie CNNs, während ein Chromagramm leicht mit herkömmlichen Modellen wie logistischer Regression oder Entscheidungsbäumen analysiert werden kann.

Zusammenfassend, bleibt die etablierte Kombination aus Spektrogramm und CNN für viele Probleme hochwirksam, vorausgesetzt, Sie verfügen über genügend Daten. Bei kleineren Datensätzen kann es jedoch sinnvoll sein, einige Characteristic-Engineering-Techniken von MIR erneut zu verwenden oder eigene aufgabenspezifische Darstellungen zu entwickeln.