Bild vom Autor

# Einführung

Als ich anfing, mich mit Datenwissenschaft zu beschäftigen, wurde mir klar, dass sich viele Menschen übermäßig auf Python, R und SQL konzentrieren. Sie müssen außerdem das statistische Denken, die Algorithmen hinter den Modellen und die effektive Analyse realer Daten verstehen. Ich glaube, dass schon der Title „Information Science“ impliziert, dass man sich mehr auf die Wissenschaft als auf die Technik konzentrieren sollte. In vielen Kursen lernen Sie nur, wie Sie bestimmte Aufgaben ausführen, aber das Verständnis der Theorien, Modelle und der Artwork und Weise, wie man eine gute Datengeschichte erzählt, ist genauso wichtig. Ich finde auch, dass Bücher diese Aspekte umfassender abdecken. Um diese Idee zu fördern, haben wir diese Empfehlungsserie gestartet kostenlose, aber sehr wertvolle Bücher. Jeder, der ernsthaft eine Karriere in diesem Bereich anstrebt, sollte diese Empfehlungen lesen.

# 1. Datenwissenschaft: Theorien, Modelle, Algorithmen und Analysen

Dieses erste Buch begann als Unterrichtsnotiz für einen Kurs „Maschinelles Lernen mit R“ und entwickelte sich zu einem umfassenden Leitfaden für Datenwissenschaft. Es erklärt, dass es bei der Datenwissenschaft nicht nur um maschinelles Lernen geht. Sie benötigen hochwertige Daten, nützliche Modelle, klares Denken und Systeme, die große Datenmengen verarbeiten können. Das Buch bespricht die Ideen, die hinter Vorhersagen stehen, die Modelle und Algorithmen, die diese Arbeit ausführen, und die praktischen Analysen, die Daten in echte Entscheidungen umwandeln. Es hilft Ihnen, den gesamten Prozess von den Daten bis hin zu Einblicken in reale Umgebungen zu verstehen.

// Überblick über die Gliederung:

• Grundlagen der Datenwissenschaft (Datentypen, Vorverarbeitung, statistisches Denken, Merkmalsauswahl, Ensemble-Lernen, Vorhersagen und Prognosen, Innovation und Experimente, mathematische Grundlagen: Evaluation, Wahrscheinlichkeit, Vektoren, Regression, Matrixalgebra).
• Maschinelles Lernen und Algorithmen (Überwachtes und unüberwachtes Lernen, neuronale Netze, Deep Studying, Textanalyse, Netzwerke, Diskriminanz- und Faktoranalyse, Logit-/Probit-Modelle, Clustering und Vorhersagebäume).
• Analytik und Anwendungen (R-Programmierung, Datenverarbeitung und -extraktion, Korrelation und Zusammenführung, Internet Scraping, Querschnittsdaten, interaktive Apps mit Shiny, Empfehlungssysteme, Produktmarktprognosen).
• Fortgeschrittene Themen (Fourieranalyse, komplexe Algebra, Monte-Carlo-Simulationen, Brownsche Bewegungen, Optimierung, Portfolioberechnungen).

# 2. Assume Stats, 3. Auflage

Denken Sie an Statistiken lehrt Wahrscheinlichkeitsrechnung und Statistik mit Python. Es konzentriert sich auf praktische Möglichkeiten, reale Daten zu untersuchen und Fragen zu beantworten, anstatt in schwerer Mathematik stecken zu bleiben. Sie lernen, wie Sie Daten importieren und bereinigen, einzelne Variablen überprüfen, sehen, wie Variablen zueinander in Beziehung stehen, Regressionsmodelle erstellen und Ideen testen. Der Autor verwendet Python-Code und Jupyter-Notizbücher So können Sie mit den Daten interagieren und sehen, wie die Dinge funktionieren. Es ist unglaublich praktisch für Softwareentwickler, Datenwissenschaftler und alle, die den praktischen Umgang mit Daten erlernen möchten.

// Überblick über die Gliederung:

• Wahrscheinlichkeitsgrundlagen (Verteilungen, Satz von Bayes, Stichprobenziehung).
• Deskriptive Statistik und explorative Datenanalyse (Zusammenfassende Statistiken, Visualisierungen, Korrelationen).
• Statistische Schlussfolgerung (Konfidenzintervalle, Hypothesentests, p-Werte).
• Praktische Anwendungen (Python-Übungen, reale Datensätze, angewandte Datenanalysetechniken).

# 3. Python Information Science-Handbuch

Der Python Information Science-Handbuch dreht sich alles um die Verwendung von Python für reale datenwissenschaftliche Aufgaben. Zuerst erfahren Sie, wie Sie Daten untersuchen und damit umgehen, dann geht es an die Erstellung von Diagrammen und Grafiken und schließlich geht es um die Modellierung. Sie verwenden IPython oder Jupyter und ähnliche Bibliotheken NumPy für Arrays, Pandas für Tische, Matplotlib für Diagramme und Scikit-Be taught zum Modellieren. Es gibt zahlreiche Beispiele, sodass Sie Konzepte beim Lernen ausprobieren können. Es ist ein praktischer Leitfaden, wenn Sie bereits Python-Kenntnisse haben und die Analyse, Visualisierung und Modellierung von Daten verbessern möchten. Die On-line-Model ist kostenlos, Sie können aber auch ein gedrucktes Exemplar erhalten.

// Überblick über die Gliederung:

• Grundlagen der Datenwissenschaft (IPython-Grundlagen: Hilfe/Dokumentation, Verknüpfungen, magische Befehle, Eingabe-/Ausgabeverlauf, Debugging, Profilerstellung).
• Datenmanipulation und -berechnung (NumPy-Arrays: Datentypen, Broadcasting, Indizierung, Aggregationen; Pandas: Indizierung/Auswahl, Zusammenführung, Gruppierung, Umgang mit fehlenden Daten, Zeitreihen).
• Visualisierung (Matplotlib: Linien-/Punktdiagramme, Histogramme, Unterdiagramme, Anmerkungen, 3D-Plots, Grundkarte; Seaborn-Visualisierungen).
• Maschinelles Lernen (Scikit-learn: überwachte/unüberwachte Modelle, Characteristic Engineering, Hyperparameter, Modellvalidierung, Hauptkomponentenanalyse (PCA), Assist Vector Machines (SVM), Entscheidungsbäume, Clustering, Gaußsche Mischungen, Anwendungspipelines).

# 4. Information Science an der Kommandozeile

Datenwissenschaft an der Kommandozeile geht es darum, Information Science über die Befehlszeile durchzuführen, anstatt ausschließlich grafische Instruments zu verwenden. Es behandelt das Abrufen von Daten aus Tabellenkalkulationen, dem Internet, APIs oder Datenbanken. wie man es mit Textdateien, CSV, JSON oder XML bereinigt; wie man es erforscht und Diagramme erstellt; und wie man es mit Techniken wie Regression, Klassifizierung oder Dimensionsreduktion modelliert. Selbst wenn Sie Python oder R bereits kennen, zeigt dieses Buch, wie die Befehlszeile Dinge schneller machen, große Datenmengen verarbeiten und sich in einen vollständigen Workflow mit Instruments wie integrieren lässt Docker und UNIX-Dienstprogramme. Der Inhalt ist kostenlos on-line verfügbar, es gibt jedoch auch eine gedruckte Model.

// Überblick über die Gliederung:

• Erste Schritte und Datenerfassung (Daten abrufen, Docker installieren, grundlegende Unix-Konzepte, mit Dateien arbeiten, E/A umleiten, Datenbanken abfragen, APIs aufrufen).
• Datenvorbereitung und Instruments (Erstellen von Befehlszeilentools, Konvertieren von Skripten in Python/R, Bereinigen von Daten: Textual content, CSV, XML/JSON).
• Projektmanagement und Exploration (Verwenden von Make für den Workflow, Überprüfen von Daten, Berechnen deskriptiver Statistiken, Erstellen von Visualisierungen: Diagramme, Histogramme, Streu-/Dichte-/Boxdiagramme).
• Erweiterte Verarbeitung und Modellierung (Parallele und verteilte Pipelines, Regression, Klassifizierung, Dimensionsreduktion, maschinelles Lernen mit Gelübde Wabbit und Scikit-Be taught).
• Polyglott & Fazit (Mit Jupyter, Python, R, RStudio, Apache Sparkpraktische Ratschläge, Befehlszeilen-Workflows, nächste Schritte in der Datenwissenschaft).

# 5. Information Mining und maschinelles Lernen

Dieses Buch deckt viele der Hauptideen hinter maschinellem Lernen und Information Mining ab, basiert jedoch auf Statistiken. Es werden Möglichkeiten zur Vorhersage von Ergebnissen (überwachtes Lernen) und zum Auffinden versteckter Muster (unüberwachtes Lernen) erörtert. Die Autoren verwenden viele Beispiele und Diagramme aus der Praxis, um zu zeigen, wie die Methoden tatsächlich funktionieren, wobei die Mathematik klar und nicht zu überwältigend bleibt. Es richtet sich an alle, die ein solides Verständnis dafür haben möchten, wie Lernalgorithmen auf Statistiken basieren und wie sie in Bereichen wie Biologie, Finanzen oder Advertising eingesetzt werden können.

// Überblick über die Gliederung:

• Grundlagen der Datenanalyse (Information-Mining-Übersicht, numerische und kategoriale Attribute, Diagrammdaten, Kernel-Methoden, hochdimensionale Daten, Dimensionsreduktion).
• Häufiges Sample-Mining (Itemset-Mining, Zusammenfassen von Itemsets, Sequence-Mining, Graph-Sample-Mining, Muster- und Regelbewertung).
• Clustering-Techniken (Repräsentativbasiertes, hierarchisches, dichtebasiertes Spektral-/Graphen-Clustering, Clustering-Validierung).
• Klassifizierungsmethoden (Probabilistische Klassifizierung, Entscheidungsbäume, lineare Diskriminanzanalyse, Assist-Vektor-Maschinen, Klassifizierungsbewertung).
• Regression und fortgeschrittene Modelle (Lineare und logistische Regression, neuronale Netze, Deep Studying, Regressionsauswertung).

# Zusammenfassung

Diese fünf Bücher behandeln die Grundlagen, praktischen Techniken und fortgeschrittenen Ideen der Datenwissenschaft. Sie sind kostenlos, intestine geschrieben und eine großartige Möglichkeit, Ihr Verständnis über Tutorials und Kurse hinaus zu vertiefen. Lesen Sie sie durch und teilen Sie mir Ihre Meinung in den Kommentaren mit!

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Technology Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Variety in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

Bild vom Herausgeber

# Einführung

Als ich anfing, KI zu lernen, habe ich viel Zeit damit verbracht, Code aus Tutorials zu kopieren, aber mir wurde klar, dass ich nicht wirklich verstand, wie es funktioniert. Die eigentliche Fähigkeit besteht nicht nur darin, Fashions laufen zu lassen. Es geht darum zu wissen, warum sie funktionieren und wie man sie auf reale Probleme anwenden kann. KI-Bücher haben mir geholfen, die Konzepte, die Argumentation und die praktische Seite der KI auf eine Artwork und Weise zu erlernen, wie es kein kurzes Tutorial vermochte. Vor diesem Hintergrund beginnen wir mit dieser Empfehlungsreihe KOSTENLOSE, aber wirklich wertvolle Bücher. Dieser Artikel richtet sich an alle, die KI erlernen möchten, und hier finden Sie die ersten Empfehlungen.

# 1. Neuronale Netze und Deep Studying

Das Buch Neuronale Netze und Deep Studying führt Sie von den Grundlagen neuronaler Netze bis hin zum tatsächlichen Aufbau und Coaching tiefer Modelle auf eigene Faust. Es beginnt mit einfachen Ideen wie Perzeptronen und Sigmoidneuronen und führt Sie dann durch die Erstellung eines Netzwerks, das handgeschriebene Ziffern erkennen kann. Sie erfahren auch, wie Backpropagation tatsächlich funktioniert, um diese Modelle zu trainieren, und wie Sie sie mit Dingen wie Kostenfunktionen, Regularisierung, Gewichtsinitialisierung und Optimierung von Hyperparametern verbessern können. Es gibt viele Python-Codebeispiele, sodass Sie die Dinge selbst testen und sehen können, wie alles zusammenhängt. Es verbindet Instinct und Mathematik intestine miteinander, sodass Sie nicht nur beginnen, etwas zu verstehen Wie Neuronale Netze funktionieren, aber Warum. Wenn Sie sich bereits ein wenig mit Mathematik auskennen (z. B. lineare Algebra oder Infinitesimalrechnung), ist dies eine gute Wahl, um über die bloße Verwendung einer Bibliothek hinauszugehen und tatsächlich zu wissen, was unter der Haube passiert.

// Überblick über die Gliederung:

• Grundlagen neuronaler Netze (Perzeptrone, Sigmoidneuronen, Netzwerkarchitektur, Klassifizierung handschriftlicher Ziffern, Gradientenabstieg, Implementierung von Netzwerken)
• Backpropagation und Lernen (Matrixbasierte Berechnung, Kostenfunktionsannahmen, Hadamard-Produkt, vier grundlegende Backpropagation-Gleichungen, Algorithmusimplementierung, Verbesserung des Lernens)
• Fortgeschrittene Trainingstechniken (Kreuzentropiekosten, Überanpassung und Regularisierung, Gewichtsinitialisierung, Hyperparameterauswahl, Universalität neuronaler Netze, Erweiterungen über Sigmoidneuronen hinaus)
• Deep Studying und Faltungsnetzwerke (Drawback des verschwindenden Gradienten, instabile Gradienten, Faltungs-Neuronale Netze, praktische Implementierungen, jüngste Fortschritte bei der Bilderkennung, zukünftige Richtungen)

# 2. Tiefes Lernen

Tiefes Lernen gibt einen wirklich guten Überblick über Deep Studying und wie Maschinen tatsächlich aus Erfahrungen lernen und komplexe Ideen aus einfacheren aufbauen. Es beginnt mit dem mathematischen Teil, den Sie benötigen, wie lineare Algebra, Wahrscheinlichkeit, Informationstheorie und ein wenig numerische Berechnung, und geht dann durch die Grundlagen des maschinellen Lernens. Anschließend geht es tiefer auf moderne Deep-Studying-Methoden wie Feedforward, Faltungs- und wiederkehrende Netzwerke, Regularisierung und Optimierung ein und zeigt, wie sie in realen Projekten eingesetzt werden. Es geht auch um einige fortgeschrittene Themen wie Autoencoder, generatives und Repräsentationslernen sowie strukturierte Wahrscheinlichkeitsmodelle. Es richtet sich hauptsächlich an Personen mit soliden mathematischen Kenntnissen und ist daher eher ein Nachschlagewerk für Recherchen oder fortgeschrittene Arbeiten als ein Leitfaden für Anfänger.

// Überblick über die Gliederung:

• Faktormodelle und Autoencoder (PCA, ICA, spärliche Codierung, unvollständige und regulierte Autoencoder, Rauschunterdrückung, vielfältiges Lernen)
• Repräsentationslernen und probabilistische Modelle (Schichtweises Vortraining, Transferlernen, verteilte Darstellungen, strukturierte probabilistische Modelle, ungefähre Inferenz, Monte-Carlo-Methoden)
• Tiefgreifende generative Modelle und fortgeschrittene Techniken (Boltzmann-Maschinen, Deep-Consider-Netzwerke, Faltungsmodelle, generative stochastische Netzwerke, Autoencoder-Sampling, Evaluierung generativer Modelle)

# 3. Praktisches Deep Studying

Hyperlink:
Der kostenlose Kurs Praktisches Deep Studying richtet sich an Personen, die sich bereits mit dem Programmieren auskennen und sich mit maschinellem Lernen und Deep Studying vertraut machen möchten. Anstatt nur Theorie zu lesen, beginnen Sie sofort mit der Erstellung von Modellen für reale Aufgaben. Der Kurs behandelt moderne Instruments wie Python, PyTorchund die fastai Bibliothek und zeigt Ihnen, wie Sie alles von der Datenbereinigung bis zum Modelltraining, Testen und Bereitstellen handhaben. Sie arbeiten mit tatsächlichen Notizbüchern, Datensätzen und Problemen, sodass Sie durch praktisches Lernen lernen. Der Schwerpunkt liegt auf praktischen, aktuellen Methoden zur Auswahl des richtigen Algorithmus, seiner ordnungsgemäßen Validierung, Skalierung und Bereitstellung.

// Überblick über die Gliederung:

• Grundlagen & Modelltraining (Grundlagen neuronaler Netze, stochastischer Gradientenabstieg, affine Funktionen und Nichtlinearitäten, Backpropagation, MLPs, Autoencoder)
• Domänenübergreifende Anwendungen (Pc Imaginative and prescient mit CNNs, Verarbeitung natürlicher Sprache (NLP) einschließlich Einbettungen und Phrasenähnlichkeit, tabellarische Datenmodellierung, kollaborative Filterung und Empfehlungen)
• Fortgeschrittene Techniken und Optimierung (Transferlernen, Gewichtsabfall, Datenerweiterung, beschleunigter stochastischer Gradientenabstieg (SGD), ResNets, gemischte Präzision, DDPM/DDIM, Aufmerksamkeit und Transformatoren, latente Diffusion, Superauflösung)
• Bereitstellung und praktische Fähigkeiten (Modelle in Internet-Apps umwandeln, Genauigkeit/Geschwindigkeit/Zuverlässigkeit verbessern, ethische Überlegungen, Frameworks wie The Learner, Matrixoperationen, Modellinitialisierung/-normalisierung)

# 4. Künstliche Intelligenz: Grundlagen rechnergestützter Agenten

Das Buch Künstliche Intelligenz: Grundlagen rechnergestützter Agenten erklärt KI anhand der Idee von „Rechenagenten“, Systemen, die wahrnehmen, lernen, schlussfolgern und handeln können. Die neueste Ausgabe fügt neuere Themen wie neuronale Netze, Deep Studying, Kausalität und die sozialen und ethischen Aspekte der KI hinzu. Es zeigt, wie Agenten aufgebaut sind, wie sie planen und handeln und wie sie mit komplexen oder unsicheren Situationen umgehen. Jedes Kapitel enthält Algorithmen in PythonFallstudien und reale Diskussionen, damit Sie sowohl das Wie als auch das Warum erfahren. Es ist eine ausgewogene Mischung aus Theorie und Praxis, superb für Studenten oder alle, die eine moderne und tiefgreifende Einführung in die KI wünschen.

// Überblick über die Gliederung:

• Grundlagen von KI und Agenten (Natürliche vs. künstliche Intelligenz, historischer Kontext, Agentendesignraum und Beispiele wie Lieferroboter, Diagnoseassistenten, Nachhilfesysteme, Handelsagenten und Good Houses.)
• Agentenarchitekturen und -steuerung (hierarchische Kontrolle, Agentenfunktionen, Offline- vs. On-line-Berechnung und wie Agenten Umgebungen wahrnehmen und darin handeln.)
• Argumentation, Planung und Suche (Problemlösung durch Suche, Graphdurchquerung, Erfüllung von Einschränkungen, probabilistisches Denken und Planungsmethoden einschließlich Vorwärts-, Regressions- und Teilordnungsplanung)
• Lernen und neuronale Netze (Überwachtes Lernen, Entscheidungsbäume, Regression, Überanpassung, zusammengesetzte Modelle wie Boosting, Deep-Studying-Architekturen (Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs), Transformers) und große Sprachmodelle.)
• Unsicherheit, Kausalität und verstärkendes Lernen (Probabilistisches Denken, Bayesianisches Lernen, unbeaufsichtigte Methoden, kausale Schlussfolgerung, Entscheidungsfindung unter Unsicherheit, sequentielle Entscheidungen und verstärkende Lernstrategien wie Q-Studying und evolutionäre Algorithmen.)

# 5. Ethische künstliche Intelligenz

Das Papier Ethische künstliche Intelligenz untersucht, wie sich zukünftige KI-Systeme auf eine Weise verhalten könnten, die wir nicht erwarten oder die schädlich sein könnte, und schlägt Wege vor, sie sicher zu gestalten. Zunächst wird darauf hingewiesen, dass KI möglicherweise weitaus komplexere Modelle der Welt lernt, als Menschen vollständig verstehen können, was Sicherheitsvorkehrungen schwierig macht. Die Autoren empfehlen die Verwendung von Hilfsfunktionen (mathematische Beschreibungen dessen, worum sich die KI kümmern sollte) anstelle vager Regeln, da sie die Ziele klarer machen. Es behandelt auch Probleme wie Selbsttäuschung, bei der die KI ihre eigenen Beobachtungen oder Belohnungen verfälschen könnte, unbeabsichtigte „Abkürzungs“-Aktionen, die uns schaden, und Korruption des Belohnungsgenerators, bei der die KI ihr eigenes Belohnungssystem manipuliert. Die Autoren schlagen Modelle vor, die menschliche Werte lernen, endliche Definitionen verwenden und Selbstmodellierung beinhalten, damit die KI über ihre eigenen Handlungen nachdenken kann. Dabei wird auch das Gesamtbild berücksichtigt, beispielsweise welche Auswirkungen KI auf die Gesellschaft, die Politik und die Zukunft der Menschheit haben könnte.

// Überblick über die Gliederung:

• Grundlagen & KI-Design (zukünftige KI vs. aktuelle KI, anleitende KI, nutzenmaximierende Agenten, Lernumgebungsmodelle, Intelligenzmaßnahmen, ethische Rahmenbedingungen)
• KI-Verhalten und Herausforderungen (Selbsttäuschung, unbeabsichtigte instrumentelle Handlungen, modellbasierte Nutzenfunktionen, Erlernen menschlicher Werte, sich entwickelnde und eingebettete Agenten)
• Testen, Governance & Gesellschaft (KI-Exams, reales Verhalten, politische Dimensionen, Transparenz, Leistungsverteilung, ethische Überlegungen)
• Philosophische und gesellschaftliche Auswirkungen (Suche nach Bedeutung, gesellschaftlichen und kulturellen Implikationen, Verknüpfung von Berechnung und menschlichen Werten)

# Zusammenfassung

Diese Bücher (sowie ein Aufsatz und ein Kurs) decken ein breites Spektrum dessen ab, was ein KI-Ingenieur braucht, von neuronalen Netzen und Deep Studying bis hin zu praktischer Codierung, agentenbasierter KI und ethischen Fragen. Sie zeigen einen klaren Weg vom Erlernen der Ideen bis zur Anwendung von KI in realen Situationen auf. Welche Themen soll ich als nächstes behandeln? Schreiben Sie Ihre Vorschläge in die Kommentare!

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Era Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Range in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

Bild vom Autor

# Einführung

Ich weiß, dass viele Menschen sich eingehend mit LLMs befassen möchten, und obwohl Kurse und Artikel großartig sind, um sich ein breiteres Wissen anzueignen, muss man für ein tieferes Verständnis unbedingt auf Bücher zurückgreifen. Was mir persönlich an Büchern auch gefällt, ist ihre Struktur. Ihre Reihenfolge ist intuitiver und kohärenter als bei Kursen, die manchmal den Eindruck erwecken, dass sie überfüllt sind. Mit dieser Motivation starten wir eine neue Serie für unsere Leser, um 5 KOSTENLOSE, aber absolut lohnende Bücher für verschiedene Rollen zu empfehlen. Wenn Sie additionally ernsthaft verstehen möchten, wie große Sprachmodelle (LLMs) wirklich funktionieren, finden Sie hier meine Empfehlungen 5 KOSTENLOSE Bücher mit dem du beginnen solltest.

# 1. Grundlagen großer Sprachmodelle

Veröffentlicht Anfang 2025, Grundlagen großer Sprachmodelle ist eines der am besten strukturierten und konzeptionell klarsten Bücher, das für jeden geschrieben wurde, der tatsächlich verstehen möchte, wie LLMs aufgebaut, trainiert und ausgerichtet werden. Die Autoren (Tong Xiao und Jingbo Zhu) sind beide bekannte Persönlichkeiten in der Verarbeitung natürlicher Sprache (NLP). Anstatt jede neue Architektur oder jeden neuen Pattern im Eiltempo durchzugehen, erläutern sie sorgfältig die Kernmechanismen moderner Modelle wie GPT, BERT und LLaMA.

Das Buch betont grundlegendes Denken: Was Pre-Coaching eigentlich bedeutet, wie generative Modelle intern funktionieren, warum Aufforderungsstrategien wichtig sind und was „Ausrichtung“ wirklich bedeutet, wenn Menschen versuchen, das Maschinenverhalten zu verfeinern. Ich denke, es ist eine durchdachte Steadiness zwischen Theorie und Umsetzung, die sowohl für Studenten als auch für Praktiker gedacht ist, die vor Beginn des Experiments eine solide konzeptionelle Grundlage aufbauen möchten.

// Überblick über die Gliederung

1. Vortraining (Überblick, verschiedene Paradigmen, Bert, praktische Aspekte der Anpassung und Anwendung vorab trainierter Modelle usw.)
2. Generative Modelle (Decoder-only-Transformatoren, Datenaufbereitung, verteiltes Coaching, Skalierungsgesetze, Speicheroptimierung, Effizienzstrategien usw.)
3. Eingabeaufforderung (Grundsätze eines guten Eingabeaufforderungsdesigns, fortgeschrittene Eingabeaufforderungsmethoden, Techniken zur Optimierung von Eingabeaufforderungen)
4. Ausrichtung (LLM-Ausrichtung und RLHF, Anweisungsoptimierung, Belohnungsmodellierung, Präferenzoptimierung)
5. Inferenz (Anleitung zu Dekodierungsalgorithmen, Bewertungsmetriken, effiziente Inferenzmethoden)

# 2. Sprach- und Sprachverarbeitung

Wenn Sie NLP und LLMs tiefgreifend verstehen möchten, Sprach- und Sprachverarbeitung von Daniel Jurafsky und James H. Martin ist eine der besten Quellen. Der Entwurf der 3. Auflage (Veröffentlichung vom 24. August 2025) wurde vollständig aktualisiert, um modernes NLP abzudecken, einschließlich Transformers, LLMs, automatischer Spracherkennung (Whisper) und Textual content-to-Speech-Systemen (EnCodec & VALL-E). Jurafsky und Martin sind führend in der Computerlinguistik und ihr Buch wird an Spitzenuniversitäten häufig verwendet.

Es bietet einen klaren, strukturierten Ansatz von den Grundlagen wie Token und Einbettungen bis hin zu fortgeschrittenen Themen wie LLM-Schulung, Ausrichtung und Konversationsstruktur. Der PDF-Entwurf ist frei verfügbar und somit sowohl praktisch als auch zugänglich.

// Überblick über die Gliederung

• Band I: Große Sprachmodelle
  • Kapitel 1–2: Einführung, Wörter, Token und Unicode-Handhabung
  • Kapitel 3–5: N-Gramm-LMs, logistische Regression zur Textklassifizierung und Vektoreinbettungen
  • Kapitel 6–8: Neuronale Netze, LLMs und Transformatoren – einschließlich Sampling- und Trainingstechniken
  • Kapitel 9–12: Optimierung nach dem Coaching, maskierte Sprachmodelle, IR & RAG und maschinelle Übersetzung
  • Kapitel 13: RNNs und LSTMs (optionale Reihenfolge für Lernsequenzmodelle)
  • Kapitel 14–16: Phonetik, Sprachmerkmalsextraktion, automatische Spracherkennung (Whisper) und Textual content-to-Speech (EnCodec & VALL-E)
• Band II: Kommentieren der sprachlichen Struktur
  • Kapitel 17–25: Sequenzkennzeichnung, POS & NER, CFGs, Abhängigkeitsanalyse, Informationsextraktion, semantische Rollenkennzeichnung, Lexika, Koreferenzauflösung, Diskurskohärenz und Konversationsstruktur

# 3. So skalieren Sie Ihr Modell: Eine Systemansicht von LLMs auf TPUs

Das Coaching von LLMs kann schwierig sein, da die Zahl riesig ist, die {Hardware} komplex ist und es schwierig ist, zu erkennen, wo die Engpässe liegen. So skalieren Sie Ihr Modell: Eine Systemansicht von LLMs auf TPUs verfolgt einen sehr praktischen, systemorientierten Ansatz, um die Leistungsseite von LLMs zu erklären, beispielsweise wie Tensor Processing Items (TPUs) (und GPUs) unter der Haube funktionieren, wie diese Geräte kommunizieren und wie LLMs tatsächlich auf echter {Hardware} laufen. Es behandelt auch Parallelitätsstrategien sowohl für das Coaching als auch für die Inferenz, um Modelle in großen Größen effizient zu skalieren.

Diese Ressource zeichnet sich dadurch aus, dass die Autoren selbst bei Google an produktionstauglichen LLM-Systemen gearbeitet haben und daher ihre Erkenntnisse weitergeben.

// Überblick über die Gliederung

• Teil 0: Rooflines (Hardwareeinschränkungen verstehen: Flops, Speicherbandbreite, Speicher)
• Teil 1: TPUs (wie TPUs für Multi-Chip-Coaching zusammenarbeiten und sich vernetzen)
• Teil 2: Sharding (Matrixmultiplikation, TPU-Kommunikationskosten)
• Teil 3: Transformer-Mathematik (Berechnung von Flops, Bytes und anderen kritischen Metriken)
• Teil 4: Schulung (Parallelitätsstrategien: Datenparallelität, Totally-Sharded-Information-Parallelität (FSDP), Tensor-Parallelität, Pipeline-Parallelität)
• Teil 5: Coaching von LLaMA (praktische Beispiele für das Coaching von Lama 3 auf TPU v5p; Überlegungen zu Kosten, Sharding und Größe)
• Teil 6: Inferenz (Latenzüberlegungen, effiziente Abtastung und Beschleunigernutzung)
• Teil 7: Bereitstellung von LLaMA (Bereitstellung von Lama 3-70b-Modellen auf TPU v5e; KV-Caches, Batchgrößen, Sharding und Produktionslatenzschätzungen)
• Teil 8: Profiling (praktische Optimierung mit XLA-Compiler und Profiling-Instruments)
• Teil 9: JAX (TPUs effizient programmieren mit JAX)

# 4. Große Sprachmodelle verstehen: Auf dem Weg zu einer strengen und gezielten Interpretierbarkeit mithilfe von Sondierungsklassifikatoren und Selbstrationalisierung

Große Sprachmodelle verstehen: Auf dem Weg zu einer strengen und gezielten Interpretierbarkeit mithilfe von Sondierungsklassifikatoren und Selbstrationalisierung ist kein typisches Lehrbuch. Es handelt sich um eine Doktorarbeit von Jenny Kunz von der Universität Linköping, die jedoch einen so einzigartigen Aspekt von LLMs abdeckt, dass sie einen Platz in dieser Liste verdient. Sie erforscht, wie große Sprachmodelle funktionieren und wie wir sie besser verstehen können.

LLMs schneiden bei vielen Aufgaben sehr intestine ab, es ist jedoch nicht klar, wie sie ihre Vorhersagen treffen. Diese Arbeit untersucht zwei Möglichkeiten, diese Modelle zu verstehen: die Betrachtung der internen Schichten mithilfe von Sondierungsklassifikatoren und die Untersuchung der Erklärungen, die Modelle für ihre Vorhersagen generieren. Sie untersucht auch Modelle, die mit ihren Vorhersagen Freitexterklärungen generieren, und untersucht, welche Eigenschaften dieser Erklärungen tatsächlich nachgelagerte Aufgaben unterstützen und welche mit der menschlichen Instinct übereinstimmen. Diese Arbeit ist nützlich für Forscher und Ingenieure, die an der Schaffung transparenterer und verantwortungsvollerer KI-Systeme interessiert sind.

// Überblick über die Gliederung

1. LLM-Schichten mit Sondierungsklassifikatoren verstehen (Analyse der in jeder Schicht des Modells gespeicherten Informationen, Überprüfung der Einschränkungen vorhandener Sondierungsmethoden, Erstellung strengerer Sondierungstests unter Verwendung von Datenänderungen, Entwicklung neuer Methoden zur Messung von Unterschieden im Wissen der Schichten)
2. Erklären von Vorhersagen mit selbstrationalisierenden Modellen (Generieren von Texterklärungen zusammen mit Modellvorhersagen, Vergleichen von Erklärungen mit menschlichen Bewertungen und der Aufgabenleistung, Untersuchen, welche Eigenschaften Erklärungen für Aufgaben nützlich und leicht verständlich machen, Kommentieren von Erklärungen für menschenähnliche Merkmale und deren Auswirkungen auf verschiedene Benutzer)

# 5. Große Sprachmodelle in der Cybersicherheit: Bedrohungen, Gefährdung und Schadensbegrenzung

LLMs sind sehr leistungsstark, können aber auch Risiken mit sich bringen, etwa die Preisgabe privater Informationen, die Unterstützung bei Phishing-Angriffen oder die Einführung von Code-Schwachstellen. Große Sprachmodelle in der Cybersicherheit: Bedrohungen, Gefährdung und Schadensbegrenzung erklärt diese Risiken und zeigt Wege auf, sie zu reduzieren. Es behandelt reale Beispiele, darunter Social Engineering, die Überwachung der LLM-Einführung und die Einrichtung sicherer LLM-Systeme.

Diese Ressource ist einzigartig, da sie sich auf LLMs im Bereich Cybersicherheit konzentriert, ein Thema, das in den meisten LLM-Büchern nicht behandelt wird. Es ist sehr nützlich für alle, die sowohl die Gefahren als auch die Schutzmaßnahmen im Zusammenhang mit LLMs verstehen möchten.

// Überblick über die Gliederung

• Teil I: Einführung (Funktionsweise und Einsatz von LLMs, Grenzen von LLMs und Bewertung ihrer Aufgaben)
• Teil II: LLMs in der Cybersicherheit (Risiken des Verlusts privater Informationen, Phishing- und Social-Engineering-Angriffe, Schwachstellen durch Codevorschläge, LLM-gestützte Einflussoperationen und Webindizierung)
• Teil III: Verfolgung und Prognose der Exposition (Developments bei der Einführung von LLM und Risiken, Investitions- und Versicherungsaspekte, Urheberrecht und rechtliche Fragen, Überwachung neuer Forschungsergebnisse zu LLMs)
• Teil IV: Schadensbegrenzung (Sicherheitserziehung und -bewusstsein, Schulungsmethoden zum Schutz der Privatsphäre, Abwehrmaßnahmen gegen Angriffe und gegnerische Nutzung, LLM-Detektoren, Purple Teaming und Sicherheitsstandards)
• Teil V: Schlussfolgerung (die doppelte Rolle von LLMs bei der Verursachung von Bedrohungen und der Bereitstellung von Abwehrmaßnahmen, Empfehlungen für den sicheren Einsatz von LLMs)

# Zusammenfassung

Alle fünf dieser Bücher nähern sich LLMs aus sehr unterschiedlichen Blickwinkeln: Theorie, Linguistik, Systeme, Interpretierbarkeit und Sicherheit. Zusammengenommen bilden sie einen vollständigen Lernpfad für jeden, der sich ernsthaft mit dem Erlernen großer Sprachmodelle beschäftigt. Wenn Ihnen dieser Artikel gefallen hat, teilen Sie mir im Kommentarbereich unten mit, welche Themen Sie weiter vertiefen möchten.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Era Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Range in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.