Maschinelles Lernen ist eine Teilmenge der künstlichen Intelligenz, die durch die Bereitstellung von Effizienz und prädiktiven Erkenntnissen einen Mehrwert für das Unternehmen schaffen könnte. Es ist ein wertvolles Werkzeug für jedes Unternehmen.
Wir wissen, dass das letzte Jahr voller Durchbrüche beim maschinellen Lernen conflict und dieses Jahr nicht anders ist. Es gibt einfach so viel zu lernen.
Da es so viel zu lernen gibt, wähle ich im Jahr 2024 einige Artikel aus, die Sie lesen sollten, um Ihr Wissen zu verbessern.
Was sind das für Papiere? Lasst uns darauf eingehen.
HyperFast: Sofortige Klassifizierung für Tabellendaten
HyperFast ist ein meta-trainiertes Hypernetzwerkmodell, das von entwickelt wurde Bonet et al. (2024) Forschung. Es wurde entwickelt, um ein Klassifizierungsmodell bereitzustellen, das eine sofortige Klassifizierung von Tabellendaten in einem einzigen Vorwärtsdurchlauf ermöglicht.
Der Autor gab an, dass HyperFast ein aufgabenspezifisches neuronales Netzwerk für einen unsichtbaren Datensatz generieren könnte, das direkt für die Klassifizierungsvorhersage verwendet werden kann und das Coaching eines Modells überflüssig macht. Dieser Ansatz würde den Rechenaufwand und den Zeitaufwand für die Bereitstellung von Modellen für maschinelles Lernen erheblich reduzieren.
Das HyperFast Framework zeigt, dass die Eingabedaten durch Standardisierung und Dimensionsreduktion transformiert werden, gefolgt von einer Folge von Hypernetzwerken, die Gewichtungen für die Schichten des Netzwerks erzeugen, einschließlich einer auf dem nächsten Nachbarn basierenden Klassifizierungsverzerrung.
Insgesamt zeigen die Ergebnisse, dass HyperFast eine hervorragende Leistung erbracht hat. Es ist schneller als viele klassische Methoden, ohne dass eine Feinabstimmung erforderlich ist. Das Papier kommt zu dem Schluss, dass HyperFast ein neuer Ansatz sein könnte, der in vielen realen Fällen angewendet werden kann.
EasyRL4Rec: Eine benutzerfreundliche Codebibliothek für auf Reinforcement Studying basierende Empfehlungssysteme
Der nächste Artikel, den wir besprechen werden, befasst sich mit einer neuen Bibliothek, die von vorgeschlagen wird Yu et al. (2024) namens EasyRL4Rec. In dem Artikel geht es um eine benutzerfreundliche Codebibliothek namens EasyRL4Rec, die zum Entwickeln und Testen von auf Reinforcement Studying (RL) basierenden Empfehlungssystemen (RSs) entwickelt wurde.
Die Bibliothek bietet eine modulare Struktur mit vier Kernmodulen (Setting, Coverage, StateTracker und Collector), die jeweils unterschiedliche Phasen des Reinforcement Studying-Prozesses abdecken.
Die Gesamtstruktur zeigt, dass es um die Kernmodule für den Reinforcement Studying-Workflow herum arbeitet – einschließlich Umgebungen (Envs) zum Simulieren von Benutzerinteraktionen, eines Collectors zum Sammeln von Daten aus Interaktionen, eines State Tracker zum Erstellen von Zustandsdarstellungen und eines Richtlinienmoduls für Entscheidungsfindung. Herstellung. Es umfasst außerdem eine Datenschicht zur Verwaltung von Datensätzen und eine Executor-Schicht mit einem Coach-Evaluator zur Überwachung des Lernens und der Leistungsbewertung des RL-Agenten.
Der Autor kommt zu dem Schluss, dass EasyRL4Rec ein benutzerfreundliches Framework enthält, das praktische Herausforderungen in RL für Empfehlungssysteme bewältigen könnte.
Etikettenweitergabe für Zero-Shot-Klassifizierung mit Imaginative and prescient-Language-Modellen
Das Papier von Stojnic et al. (2024) führt eine Technik namens ZLaP ein, die für Zero-Shot-Klassifizierung mit Label-Propagation steht. Es handelt sich um eine Erweiterung der Zero-Shot-Klassifizierung von Imaginative and prescient-Language-Modellen durch die Verwendung geodätischer Entfernungen zur Klassifizierung.
Wie wir wissen, sind Imaginative and prescient-Modelle wie GPT-4V oder LLaVa zum Zero-Shot-Lernen fähig, wodurch eine Klassifizierung ohne beschriftete Bilder durchgeführt werden kann. Es lässt sich jedoch noch weiter verbessern, weshalb die Forschungsgruppe die ZLaP-Technik entwickelt hat.
Die Kernidee von ZLaP besteht darin, die Etikettenweitergabe auf einem diagrammstrukturierten Datensatz zu nutzen, der sowohl Bild- als auch Textknoten umfasst. ZLaP berechnet geodätische Entfernungen innerhalb dieses Diagramms, um eine Klassifizierung durchzuführen. Die Methode ist auch darauf ausgelegt, die dualen Modalitäten von Textual content und Bildern zu verarbeiten.
In Bezug auf die Leistung zeigt ZLaP Ergebnisse, die andere hochmoderne Methoden des Zero-Shot-Lernens durchweg übertreffen, indem es sowohl transduktive als auch induktive Inferenzmethoden in 14 verschiedenen Datensatzexperimenten nutzt.
Insgesamt verbesserte die Technik die Klassifizierungsgenauigkeit über mehrere Datensätze hinweg erheblich, was für die ZLaP-Technik im Imaginative and prescient Language Mannequin vielversprechend conflict.
Lassen Sie keinen Kontext zurück: Effiziente unendliche Kontexttransformatoren mit unendlicher Aufmerksamkeit
Der vierte Artikel, den wir diskutieren werden, stammt von Munkhdalai et al.(2024). In ihrem Artikel wird eine Methode zur Skalierung transformatorbasierter Massive Language Fashions (LLMs) vorgestellt, die unendlich lange Eingaben mit einer begrenzten Rechenleistung namens Infini-Consideration verarbeiten kann.
Der Infini-Aufmerksamkeitsmechanismus integriert ein komprimierendes Gedächtnissystem in den traditionellen Aufmerksamkeitsrahmen. Durch die Kombination eines herkömmlichen kausalen Aufmerksamkeitsmodells mit einem komprimierenden Gedächtnis können historische Kontexte gespeichert und aktualisiert und die erweiterten Sequenzen effizient verarbeitet werden, indem langfristige und lokale Informationen innerhalb eines Transformatornetzwerks zusammengefasst werden.
Insgesamt führt die Technik im Vergleich zu derzeit verfügbaren Modellen bessere Aufgaben im Zusammenhang mit Sprachmodellierungen mit langem Kontext aus, wie z. B. das Abrufen von Passschlüsseln aus langen Sequenzen und die Zusammenfassung von Büchern.
Die Technik könnte viele zukünftige Ansätze bieten, insbesondere für Anwendungen, die die Verarbeitung umfangreicher Textdaten erfordern.
AutoCodeRover: Verbesserung autonomer Programme
Der letzte Artikel, den wir besprechen werden, ist von Zhang et al. (2024). Der Schwerpunkt dieses Artikels liegt auf dem Instrument namens AutoCodeRover, das Massive Language Fashions (LLMs) nutzt, die in der Lage sind, anspruchsvolle Codesuchen durchzuführen, um die Lösung von GitHub-Problemen, hauptsächlich Fehlern und Funktionsanfragen, zu automatisieren. Durch die Verwendung von LLMs zum Analysieren und Verstehen von Problemen von GitHub kann AutoCodeRover die Codestruktur effektiver navigieren und manipulieren als herkömmliche dateibasierte Ansätze zur Lösung der Probleme.
Es gibt zwei Hauptphasen der Funktionsweise von AutoCodeRover: Kontextabrufphase und Patch-Generierungsziel. Es analysiert die Ergebnisse, um zu überprüfen, ob genügend Informationen gesammelt wurden, um die fehlerhaften Teile des Codes zu identifizieren, und versucht, einen Patch zur Behebung der Probleme zu generieren.
Das Papier zeigt, dass AutoCodeRover die Leistung im Vergleich zu früheren Methoden verbessert. Beispielsweise wurden 22–23 % der Probleme aus dem SWE-Bench-Lite-Datensatz gelöst, wobei 67 Probleme in einer durchschnittlichen Zeit von jeweils weniger als 12 Minuten gelöst wurden. Dies stellt eine Verbesserung dar, da die Lösung im Durchschnitt zwei Tage dauern kann.
Insgesamt ist das Papier vielversprechend, da AutoCodeRover in der Lage ist, den manuellen Aufwand für Programmwartungs- und -verbesserungsaufgaben erheblich zu reduzieren.
Abschluss
Im Jahr 2024 gibt es viele Artikel zum Thema maschinelles Lernen zu lesen, und hier sind meine Empfehlungsartikel zum Lesen:
- HyperFast: Sofortige Klassifizierung für Tabellendaten
- EasyRL4Rec: Eine benutzerfreundliche Codebibliothek für auf Reinforcement Studying basierende Empfehlungssysteme
- Etikettenweitergabe für Zero-Shot-Klassifizierung mit Imaginative and prescient-Language-Modellen
- Lassen Sie keinen Kontext zurück: Effiziente unendliche Kontexttransformatoren mit unendlicher Aufmerksamkeit
- AutoCodeRover: Verbesserung autonomer Programme
Ich hoffe, es hilft!
Cornellius Yudha Wijaya ist stellvertretender Supervisor und Datenautor im Bereich Information Science. Während er Vollzeit bei Allianz Indonesia arbeitet, liebt er es, Python- und Datentipps über soziale Medien und Schreibmedien zu teilen. Cornellius schreibt über eine Vielzahl von Themen zu KI und maschinellem Lernen.