Gesponserte Inhalte

Empfehlungssysteme stützen sich auf Daten, aber für Forscher ist der Zugriff auf wirklich repräsentative Daten seit langem eine Herausforderung. Die meisten akademischen Datensätze verblassen im Vergleich zu der Komplexität und dem Volumen der Benutzerinteraktionen in realen Umgebungen, in denen Daten aufgrund von Datenschutzbedenken und kommerziellem Wert in der Regel innerhalb von Unternehmen abgeschlossen sind.
Das fängt an zu ändern.

In den letzten Jahren wurden mehrere neue Datensätze veröffentlicht, die darauf abzielen, reale Nutzungsmuster, Musik, E-Commerce, Werbung und darüber hinaus besser widerzuspiegeln. Eine bemerkenswerte jüngste Veröffentlichung ist Yambda-5bein von Yandex basierender Datensatz von 5 Milliarden Occasions, der auf Daten aus seinem Musik-Streaming-Dienst basiert und jetzt über das Gesicht verfügbar ist. Yambda ist in 3 Größen (50 m, 500 m, 5b) erhältlich und umfasst Baselines, um die Zugänglichkeit und Benutzerfreundlichkeit zu unterstreichen. Es schließt sich einer wachsenden Liste von Ressourcen an, die dazu beitragen, die Forschung zu Produktion in Empfehlungssystemen zu schließen.

Im Folgenden finden Sie eine kurze Übersicht über wichtige Datensätze, die derzeit das Feld prägen.

Ein Blick auf öffentlich verfügbare Datensätze in der Empfehlungserforschung

Movielens

Eine der frühesten und am weitesten verbreiteten Datensätze. Es enthält von Benutzer bereitgestellte Filmbewertungen (1–5 Sterne), ist jedoch in Größenordnung und Vielfalt begrenzt-ideal für die anfängliche Prototyping, aber nicht repräsentativ für die heutigen dynamischen Inhaltsplattformen.

Netflix -Preis

Ein wegweisendes Datensatz in Empfehlung (~ 100 m Bewertungen), obwohl jetzt datiert. Sein statischer Schnappschuss und der Mangel an detaillierten Metadaten begrenzen die moderne Anwendbarkeit.

Yelp Open Dataset

Enthält 8,6m Bewertungen, die Berichterstattung ist jedoch spärlich und städtisch. Wertvoll für die lokale Geschäftsforschung, aber nicht optimum für groß angelegte verallgemeinerbare Modelle.

Spotify Million Playlist

Dieser Datensatz für Recsys 2018 veröffentlicht und hilft, das kurzfristige und sequentielle Hörverhalten zu analysieren. Es fehlt jedoch eine langfristige Geschichte und ein explizites Suggestions.

CRITEO 1TB

Ein massives Anzeigen-Klick-Datensatz, der Interaktionen im industriellen Maßstab zeigt. Obwohl es beeindruckend ist, bietet es minimale Metadaten und priorisiert die Klickrate (CTR) gegenüber der Empfehlungslogik.

Amazon Bewertungen

Reich an Inhalten und häufig für die Stimmungsanalyse und die Empfehlung von Langschwanz verwendet. Die Daten sind jedoch notorisch spärlich und für die meisten Benutzer und Produkte eine starke Interaktion.

Final.fm (LFM-1b)

Zuvor eine Anlaufstelle für Musikempfehlungen. Die Lizenzbeschränkungen haben seitdem den Zugriff auf neuere Versionen des Datensatzes eingeschränkt.

Umzug in Richtung der Forschung in der industriellen Maßstab

Während jedes dieser Datensätze das Feld gestaltet hat, präsentieren sie alle Einschränkungen – entweder in Maßstab, Datenfrische, Benutzervielfalt oder Vollständigkeit der Metadaten. Hier sind neue Einträge wie Yambda-5b besonders vielversprechend.

Dieser Datensatz bietet anonymisierte, groß angelegte Interaktionsdaten in großem Maßstab über Musik-Streaming-Sitzungen, einschließlich Metadaten wie Zeitstempel, Suggestions-Typ (explizit vs. implizit) und Empfehlungskontext (organisch vs. vorgeschlagen). Wichtig ist, dass es eine globale zeitliche Spaltung enthält, die eine realistischere Modellbewertung ermöglicht, die die On-line -Systembereitstellung widerspiegelt. Die Forscher werden auch einen Wert in der multimodalen Natur des Datensatzes finden, das vorberührte Audio-Einbettungen für über 7,7 Millionen Tracks enthält, die inhaltsbewusste Empfehlungsstrategien über die Field ermöglichen.

Die Privatsphäre wurde sorgfältig im Design des Datensatzes berücksichtigt. Im Gegensatz zu früheren Beispielen wie dem Netflix-Preisdatensatz, der aufgrund von Redentifizierungsrisiken schließlich zurückgezogen wurde. Der Benutzer und verfolgen Sie Daten im Yambda -Datensatz und verwenden numerische Kennungen, um Datenschutzstandards zu erfüllen.

Schließen der Schleife: von der Theorie zur Produktion

Da die Latest -Forschung in der Skalierung in die praktische Anwendung bewegt wird, ist der Zugriff auf robuste, abwechslungsreiche und ethisch bezogene Datensätze unerlässlich. Ressourcen wie Movielens und Netflix -Preis bleiben grundlegend für Benchmarking- und Testenideen. Aber neuere Datensätze-wie Amazon’s, Criteo und jetzt Yambda-bieten jedoch die Artwork von Skala und Nuance, um Modelle von der akademischen Neuheit bis zur realen Nützlichkeit zu überschreiten.

Lesen Sie den Originalartikel unter Turing Submitder E-newsletter für über 90 000 Fachleute, die es ernst meinen, KI und ML.

Von, Avi Chawla – sehr leidenschaftlich in der Annäherung an die Datenwissenschaftsprobleme mit Instinct. AVI arbeitet seit über 6 Jahren im Bereich Datenwissenschaft und maschinelles Lernen, sowohl in der akademischen als auch in der Industrie.

Stellen Sie sich vor, ein Roboter hilft Ihnen, das Gerichte zu reinigen. Sie bitten es, eine Seifenschale aus dem Waschbecken zu holen, aber es ist der Greifer leicht die Marke.

Mit einem neuen Rahmen, das von MIT- und NVIDIA -Forschern entwickelt wurde, können Sie das Verhalten dieses Roboters mit einfachen Interaktionen korrigieren. Mit der Methode können Sie auf die Schüssel verweisen oder eine Flugbahn auf einem Bildschirm darauf verfolgen oder einfach dem Arm des Roboters in die richtige Richtung geben.

Im Gegensatz zu anderen Methoden zur Korrektur des Roboterverhaltens erfordert diese Technik nicht, dass Benutzer neue Daten sammeln und das maschinelle Lernmodell, das das Gehirn des Roboters mit Strom versorgt. Es ermöglicht einem Roboter, intuitive Echtzeit-Suggestions in Echtzeit zu verwenden, um eine realisierbare Aktionssequenz zu wählen, die so nah wie möglich ist, um die Absicht des Benutzers zu erfüllen.

Als die Forscher ihren Rahmen testeten, conflict die Erfolgsquote um 21 Prozent höher als eine different Methode, die keine menschlichen Interventionen nutzte.

Langfristig könnte dieses Framework einem Benutzer es ermöglichen, einen fabrisch ausgebildeten Roboter leichter zu leiten, um eine Vielzahl von Haushaltsaufgaben auszuführen, obwohl der Roboter sein Zuhause oder die Objekte darin noch nie gesehen hat.

„Wir können nicht erwarten, dass Laienpeople die Datenerfassung durchführen und ein neuronales Netzwerkmodell optimieren. Der Verbraucher erwartet, dass der Roboter direkt außerhalb der Field funktioniert, und wenn dies nicht der Fall ist, möchte er einen intuitiven Mechanismus, um ihn anzupassen. Das ist die Herausforderung, die wir in dieser Arbeit bewältigt haben “ Papier zu dieser Methode.

Zu seinen Mitautoren gehören Lirui Wang PhD ’24 und Yilun du PhD ’24; Senior -Autorin Julie Shah, MIT -Professorin für Luftfahrt und Astronautik und Direktor der Interactive Robotics Group im Labor für Informatik und künstliche Intelligenz (CSAIL); sowie Balakumar Sundaralingam, Xuning Yang, Yu-Wei Chao, Claudia Perez-D’Arpino PhD ’19 und Dieter Fox von Nvidia. Die Forschung wird auf der Internationalen Konferenz über Roboter und Automatisierung vorgestellt.

Mildernde Fehlausrichtung

In jüngster Zeit haben die Forscher begonnen, vorgebrachte generative KI-Modelle zu verwenden, um eine „Richtlinie“ oder eine Reihe von Regeln zu lernen, die ein Roboter befolgt, um eine Aktion auszuführen. Generative Modelle können mehrere komplexe Aufgaben lösen.

Während des Trainings sieht das Modell nur praktikable Roboterbewegungen, sodass es lernt, gültige Trajektorien zu generieren, damit der Roboter folgen kann.

Obwohl diese Flugbahnen gültig sind, bedeutet dies nicht, dass sie immer mit der Absicht eines Benutzers in der realen Welt übereinstimmen. Der Roboter wurde vielleicht geschult, um Kisten aus einem Regal zu holen, ohne sie umzuschlagen, aber es könnte die Schachtel auf dem Bücherregal eines anderen nicht erreichen, wenn das Regal anders ausgerichtet ist als die, die er im Coaching gesehen hat.

Um diese Fehler zu überwinden, sammeln Ingenieure in der Regel Daten, die die neue Aufgabe demonstrieren und das generative Modell neu ausbauen, einen kostspieligen und zeitaufwändigen Prozess, für das maschinelles Lernkompetenz erforderlich ist.

Stattdessen wollten die MIT -Forscher den Benutzern ermöglichen, das Verhalten des Roboters während des Einsatzes zu steuern, wenn er einen Fehler macht.

Wenn ein Mensch jedoch mit dem Roboter interagiert, um sein Verhalten zu korrigieren, kann dies versehentlich dazu führen, dass das generative Modell eine ungültige Aktion auswählt. Es könnte die Field erreichen, die der Benutzer will, aber klopfen Sie dabei Bücher aus dem Regal.

„Wir möchten dem Benutzer erlauben, mit dem Roboter zu interagieren, ohne solche Fehler einzuführen. Daher erhalten wir ein Verhalten, das während der Bereitstellung viel mehr mit der Benutzerabsicht ausgerichtet ist, aber das ist auch gültig und machbar“, sagt Wang.

Ihr Framework ermöglicht dies, indem sie dem Benutzer drei intuitive Möglichkeiten zur Korrektur des Verhaltens des Roboters bieten, von denen jede bestimmte Vorteile bietet.

Erstens kann der Benutzer auf das Objekt verweisen, das der Roboter in einer Schnittstelle manipulieren soll, die seine Kameraansicht anzeigt. Zweitens können sie eine Flugbahn in dieser Schnittstelle verfolgen, sodass sie angeben können, wie der Roboter das Objekt erreichen soll. Drittens können sie den Arm des Roboters physisch in die Richtung bewegen, die er folgen soll.

„Wenn Sie ein 2D -Bild der Umgebung in Aktionen im 3D -Bereich abbilden, gehen einige Informationen verloren. Das physikalische Stupeln des Roboters ist der direkteste Weg, um die Benutzerabsicht anzugeben, ohne die Informationen zu verlieren “, sagt Wang.

Probenahme für den Erfolg

Um sicherzustellen, dass diese Interaktionen nicht dazu führen, dass der Roboter eine ungültige Aktion auswählt, z. B. mit anderen Objekten, verwenden die Forscher ein spezifisches Stichprobenverfahren. Mit dieser Technik können das Modell eine Aktion aus dem Satz gültiger Aktionen auswählen, die am engsten mit dem Ziel des Benutzers in Einklang stehen.

„Anstatt nur den Willen des Benutzers aufzuerlegen, geben wir dem Roboter eine Vorstellung davon, was der Benutzer beabsichtigt, aber lassen Sie das Stichprobenverfahren um seine eigenen erlernten Verhaltensweisen schwingen“, erklärt Wang.

Diese Stichprobenmethode ermöglichte es dem Rahmen der Forscher, die anderen Methoden zu übertreffen, mit denen sie sie während Simulationen und Experimenten mit einem echten Roboterarm in einer Spielzeugküche verglichen haben.

Während ihre Methode die Aufgabe möglicherweise nicht immer erledigt, bietet sie den Benutzern den Vorteil, den Roboter sofort zu korrigieren, wenn sie etwas falsch machen, anstatt darauf zu warten, dass er fertig ist und ihm dann neue Anweisungen gibt.

Nachdem ein Benutzer den Roboter ein paar Mal annulliert, bis er die richtige Schüssel aufnimmt, könnte er diese Korrekturmaßnahme protokollieren und ihn durch zukünftige Schulungen in sein Verhalten einbeziehen. Am nächsten Tag konnte der Roboter dann die richtige Schüssel aufnehmen, ohne einen Schubs zu benötigen.

„Der Schlüssel zu dieser kontinuierlichen Verbesserung ist jedoch, dass der Benutzer mit dem Roboter interagieren, was wir hier gezeigt haben“, sagt Wang.

In Zukunft möchten die Forscher die Geschwindigkeit des Stichprobenverfahrens steigern und gleichzeitig ihre Leistung aufrechterhalten oder verbessern. Sie wollen auch mit der Generierung von Roboterpolitik in neuartigen Umgebungen experimentieren.

Seit der Gründung von Information Science im Jahr 2016 haben wir die größte Veröffentlichung auf Medium mit einer engagierten Group von Lesern und Mitwirkenden aufgebaut, die sich auf Datenwissenschaft, maschinelles Lernen und KI konzentrieren. Medium hat eine fantastische Plattform gebaut, und wir hätten unser Publikum nicht ohne ihre Hilfe erreichen können.

Ab Montag, dem 3. Februar 2025, wird in Richtung Information Science eine unabhängige Veröffentlichung. Während Medium maßgeblich an unserem Wachstum maßgeblich warfare, haben sich unsere Prioritäten abwesend und wir glauben, dass dieser Übergang uns dabei helfen wird, unseren Mitwirkenden und Lesern besser zu dienen.

Eine kürzlich durchgeführte Änderung mittlerer Politik führte dazu, dass wir einen Plan beschleunigen, unabhängig zu werden. Durch das Abziehen von Medium können wir die vollständige Kontrolle über unsere redaktionelle Imaginative and prescient behalten, die von uns gebaute Area -Autorität schützen und unser zukünftiges Wachstum zu unseren eigenen Bedingungen leiten.

Heute starten wir unsere neue WordPress -Web site, obwohl einige Teile der Migration noch in Arbeit sind. Wir sind in enger Kommunikation mit unseren Mitwirkenden, um einen reibungslosen Übergang zu gewährleisten. Trotz des Umzugs bleibt unsere Mission unverändert: Wir werden weiterhin die gleiche detaillierte Berichterstattung über Datenwissenschaft, maschinelles Lernen und KI bereitstellen-erst jetzt auf einer Plattform, auf der wir Autoren weiter unterstützen können, indem wir aufregende neue Werbewerkzeuge, Fortgeschrittene Analytics und dynamische Group -Funktionen, die neue Möglichkeiten für Engagement und Wachstum eröffnen.

Warum Unabhängigkeit für TDs Sinn macht

Wir haben seit langem erkannt, dass Medium wertvolle Instruments für Internet hosting-, Vertriebs- und Monetarisierungsinstrumente bietet – Ressourcen, die vielen Schriftstellern und Verlage geholfen haben, ein breites Publikum zu erreichen. Während sich das Medium weiterentwickelt, glauben wir, dass unsere langfristigen Ziele-sowie die unserer Leser und Mitwirkenden-am besten auf einer unabhängigen Plattform unterstützt werden.

Hier ist der Grund, warum wir glauben, dass eine unabhängige Plattform der richtige Schritt ist:

Verbesserte Zugänglichkeit für Leser – Wir glauben an einen offenen Zugang zu allen Artikeln, nicht an Paywalls. Wenn Sie auf unsere eigene Plattform wechseln, wird sichergestellt, dass alle unsere Inhalte ohne Anklage für die Leser verfügbar sind.

Fortlaufende Unterstützung für Autoren – Unsere unabhängige Plattform bietet Autoren eine größere Flexibilität, um ihre Arbeit zu fördern. Dies bedeutet, dass Autoren ihre Stimmen verstärken und sich mit neuem Publikum beschäftigen können.

Eigentum unserer Area -Autorität – Wenn wir uns unabhängig bearbeiten, können wir die Datenwissenschaft aufbewahren und aufwachsen, indem wir nicht nur unsere Sichtssicherheit beibehalten, sondern auch mit neuartigen Inhaltsformaten experimentieren und tiefere Verbindungen zu den Lesern herstellen.

Erwarten Sie für aktuelle TDS -Autoren bald eine E -Mail mit Particulars zum Beitritt zur neuen Plattform.

Für neue Mitwirkende eröffnen wir Einsendungen und würden gerne Ihre Arbeit auf unserer neuen Web site zeigen. Weitere Particulars werden in den kommenden Tagen folgen.

Warum wir uns jetzt bewegen

Vor kurzem hat Medium damit begonnen, seine Search engine marketing- und Area Authority -Struktur zu aktualisieren, um sie unter der Medium.com -Area zu konsolidieren. Ab dem 31. Januar 2025 haben sich Artikel, die einst in Richtung von Datascience.com waren, auf mittlere URLs umgeleitet.

Während diese Veränderung in die breitere Strategie von Medium passt, wirkt sich jedoch erheblich aus, wie unabhängige Veröffentlichungen wie TDS die Sichtbarkeit der Marken und die langfristige Suchpräsenz verwalten. Da unsere Domänenstruktur der Schlüssel zur Entdeckbarkeit ist, sahen wir dies als den richtigen Second für die Begin unserer unabhängigen Veröffentlichung.

Medium bleibt für viele Schriftsteller eine wertvolle Plattform, aber unsere Ambitionen erstrecken sich weit außerhalb der Paywall. Für uns bei Information Science geht es bei der Umstellung auf eine unabhängige Plattform nicht nur darum, die redaktionelle Kontrolle zu bewahren, sondern ein strategischer Sprung in die Veröffentlichung, die wir in den letzten acht Jahren aufgebaut haben.

Inhaltsrechtsnotiz

Wir möchten klarstellen, dass wir Inhalte nur auf unsere neue Web site migrieren, wenn wir das entsprechende Recht haben, dies in Übereinstimmung mit der Information Science’s zu tun Geschäftsbedingungen. Ihre Arbeit bleibt unter Ihrer Kontrolle und wir sind verpflichtet, frühere Vereinbarungen über die Verwendung zu ehren. Nur Inhalte, für die wir die notwendigen Berechtigungen haben, werden übertragen, um sicherzustellen, dass Ihr geistiges Eigentum während dieses Übergangs respektiert wird.

Wenn Sie Fragen oder Bedenken haben, wie Ihr Inhalt während dieser Migration behandelt wird, zögern Sie bitte nicht, unser Redaktionsteam zu erreichen. Sie können uns hier eine E -Mail senden: (E -Mail geschützt). Wir sind hier, um zusätzliche Klarstellung anzugeben, die Sie möglicherweise benötigen, und um Probleme zu lösen, die auftreten.

Besuchen Sie uns für das nächste Kapitel von Inoiture Information Science

An unsere Leser und Mitwirkenden: Vielen Dank, dass Sie ein Teil von Information Science sind. Mit unserem neuen Zuhause liefern wir hochwertige, offene Inhalte für Datenwissenschaft, maschinelles Lernen und KI und erhalten Zugang zu einer vollständigen Reihe von Publishing- und Advertising-Instruments.

Wir hoffen, dass Sie sich uns im aufregenden neuen Kapitel von TDS anschließen. Schauen Sie sich die neue Web site an, teilen Sie Ihr Suggestions und helfen Sie uns, das Wort zu verbreiten, während wir die neue Web site weiter starten. Ihre Unterstützung bedeutet uns alles, und wir freuen uns, Ihnen die Zukunft von Information Science zu zeigen.

– Das TDS -Crew