Ahh, das Meer.
Der Urlaub auf dem mediterranen Meer lag am Strand und starrte in die Wellen. Woman Luck hatte einen guten Tag: Die Sonne starrte von einem blauen und wolkenlosen Himmel herab und erhitzte den Sand und das salzige Meer um mich herum. Zum ersten Mal seit einiger Zeit hatte ich Ausfallzeiten. In der abgelegenen Area, in der ich warfare, gab es nichts mit ML zu tun, wo die rauen Straßen jeden verängstigt hätten, der sich an die gleichmäßigen Gehwege westlicher Länder gewöhnt hat.
Dann, weg von der Arbeit und teilweise Zivilisation, irgendwo zwischen Zonierung und Daydreaming, begannen meine Gedanken zu driften. In unserem täglichen Geschäft sind wir auch damit beschäftigt, Zeit damit zu verbringen, nichts zu tun. Aber Nichts ist hier ein starkes Wort: Als meine Gedanken teuerten, erinnerte ich mich zuerst an die jüngsten Ereignisse, dachte dann über die Arbeit nach und kam dann schließlich zum maschinellen Lernen an.
Vielleicht Spuren meines vorherigen Artikels –wo ich 6,5 Jahre „Machen“ ml nachdachte– Ich warfare immer noch im Hinterkopf. Oder vielleicht warfare es einfach die völlige Abwesenheit von irgendetwas Technischen um mich herum, wo das Meer mein einziger Begleiter warfare. Was auch immer der Grund warfare, ich begann psychological, die Jahre hinter mir zu proben. Was warfare intestine gelaufen? Was warfare seitwärts gegangen? Und – vor allem – was wünschte ich, jemand hätte mir zu Beginn jemand gesagt?
Dieser Beitrag ist eine Sammlung dieser Dinge. Es soll keine Liste dummer Fehler sein, die ich andere dringend bittet, um jeden Preis zu vermeiden. Stattdessen ist es mein Versuch, die Dinge aufzuschreiben, die meine Reise ein bisschen reibungsloser gemacht hätten (aber nur ein bisschen ist Unsicherheit notwendig, um die Zukunft genau das zu machen: die Zukunft). Teile meiner Liste überschneiden sich mit meinem vorherigen Beitrag und aus gutem Grund: Einige Lektionen lohnt sich wieder zu wiederholen und erneut zu lesen.
Hier ist Teil 1 dieser Liste. Teil 2 ist derzeit in meinem sandigen, seewasserfleckigen Notizbuch begraben. Mein Plan ist es, in den nächsten Wochen damit nachzuverfolgen, sobald ich genug Zeit habe, um es in einen Qualitätsartikel zu verwandeln.
1. ML MEHR MEH
Dies ist ein Punkt, den ich versuche, nicht zu viel nachzudenken, oder es wird mir sagen: Sie haben Ihre Hausaufgaben nicht gemacht.
Als ich anfing, warfare mein interner Monolog so etwas wie: „Ich will nur ml. ““ Was auch immer das bedeutete; letztlich Trainieren Sie ein maschinelles Lernenmodell. Das Modelltraining ist ironischerweise oft der kürzeste und letzte Teil des gesamten Prozesses.
Jedes Mal, wenn ich endlich zum Modelltrainingsschritt komme, atme ich psychological auf Erleichterung auf, weil ich es durch das unsichtbare Teil geschafft habe: die Daten vorzubereiten. Es gibt nichts „Verkaufbar“ in lediglich die Daten vorbereiten. Nach meiner Erfahrung ist die Vorbereitung der Daten in keiner Weise auffällig (solange es intestine genug gemacht wird).
Hier ist das übliche Muster dafür:
- Sie haben ein Projekt.
- Sie erhalten einen realen Datensatz. (Wenn Sie mit einem intestine kuratierten Benchmark-Datensatz arbeiten, haben Sie Glück!)
- Sie möchten ein Modell trainieren.
- Aber zuerst… Datenreinigung, Fixieren, Verschmelzen, Validieren.
Lassen Sie mich Ihnen ein persönliches Beispiel geben, das Ich habe als lustige Geschichte erzählt (Was es jetzt ist. Damals bedeutete es, ein paar Tage maschinelles Lernen unter Zeitdruck wieder zu resotieren…).
Ich habe einmal an einem Projekt gearbeitet, bei dem ich die Vegetationsdichte (unter Verwendung des NDVI -Index) aus ERA5 -Wetterdaten vorhersagen wollte. ERA5 ist ein massiver Gitter-Datensatz, der frei im Europäischen Zentrum für Wettervorhersagen mit mittlerer Reichweite erhältlich ist. Ich habe diesen Datensatz mit NDVI -Satellitendaten von NOAA (im Grunde genommen der amerikanischen Wetteragentur) zusammengeführt, die Auflösungen sorgfältig ausgerichtet, und alles schien in Ordnung zu sein – keine Fehlanpassungen, keine Fehler wurden geworfen.
Dann rief ich die Datenvorbereitung an und trainierte ein Sehtransformatormodell auf dem kombinierten Datensatz. Ein paar Tage später habe ich die Ergebnisse und… Überraschung visualisiert! Das Modell dachte, die Erde sei auf den Kopf. Im wahrsten Sinne des Wortes waren meine Eingabedaten nach rechts, aber die Zielvegetationsdichte wurde am Äquator umgedreht.
Was warfare passiert? Ein subtiler Fehler in meiner Auflösungsübersetzung drehte die Breitengradorientierung der Vegetationsdaten um. Ich hatte es nicht bemerkt, weil ich bereits viel Zeit mit der Datenvorbereitung verbracht habe und schnell zum „lustigen Teil“ gelangen wollte.
Diese Artwork von Fehler ärgert sich in einem wichtigen Punkt: ML-Projekte in der realen Welt sind Datenprojekte. Insbesondere außerhalb der akademischen Forschung arbeiten Sie nicht mit Cifar oder ImageNet. Sie arbeiten mit chaotischen, unvollständigen, teilweise Labellel und Multi-Supply-Datensätzen, die erforderlich sind:
- Reinigung
- Ausrichten
- Normalisierung
- Debuggen
- Visuelle Inspektion
Und noch mehr ist diese Liste nicht exexhautiv. Dann alle oben genannten wiederholen.
Die Daten richtig machen Ist die Arbeit. Alles andere baut auf dieser (traurig unsichtbaren) Fundament auf.
2. Das Schreiben von Papieren ist wie die Vorbereitung eines Verkaufsgesprächs
Einige Papiere nur intestine lesen. Möglicherweise können Sie nicht erklären, warum, aber sie haben einen Fluss, eine Logik, eine Klarheit, die schwer zu ignorieren ist. Das ist selten zufällig*. Für mich stellte sich heraus, dass das Schreiben von Papieren ähnlich ist, um eine ganz bestimmte Artwork von Verkaufsgespräch zu erstellen. Du verkaufst deine Ideedein Ansatzdein Einblick zu einem skeptischen Publikum.
Dies warfare eine überraschende Erkenntnis für mich.
Als ich anfing, nahm ich an, dass die meisten Papiere genauso aussahen und fühlten. Alle von ihnen waren für mich „wissenschaftliches Schreiben“. Aber im Laufe der Zeit bemerkte ich, als ich mehr Papiere las, die Unterschiede. Es ist wie das Sprichwort: Außenstehende sehen alle Schafe gleich aus; Für den Hirten ist jeder unterschiedlich.
Vergleichen Sie beispielsweise diese beiden Papiere, auf die ich in letzter Zeit gestoßen bin:
Beide verwenden maschinelles Lernen. Aber sie sprechen mit unterschiedlichem Publikum mit unterschiedlichen Abstraktionsebenen, unterschiedlichen narrativen Stilen und sogar unterschiedlichen Motivationen. Der erste geht davon aus, dass die technische Neuheit von zentraler Bedeutung ist. Der zweite konzentriert sich auf die Relevanz für Anwendungen. Offensichtlich gibt es auch den visuellen Unterschied zwischen den beiden.
Je mehr Papiere Sie lesen, desto mehr erkennen Sie: Es gibt nicht eins Weg, um ein „gutes“ Papier zu schreiben. Es gibt viele Möglichkeiten, und der Weg variiert je nach Publikum.
Und es sei denn, Sie sind einer dieser sehr seltenen brillanten Köpfe (denken Sie an Terence Tao oder jemand dieses Kalibers), Sie brauchen wahrscheinlich Unterstützung, um intestine zu schreiben. Vor allem bei Anpassung eines Papiers für eine bestimmte Konferenz oder ein bestimmtes Journal. In der Praxis bedeutet dies, eng mit einer hochrangigen ML -Individual zusammenzuarbeiten, die das Feld versteht.
Das Erstellen eines guten Papiers ist wie die Vorbereitung eines Verkaufsgesprächs. Sie müssen:
- Rahmen Sie das Drawback richtig ein
- Verstehe deine Zielgruppe (dh Goal -Veranstaltungsort)
- Betonen Sie die Teile, die am meisten Resonanz finden
- Und polieren, bis die Nachricht bleibt
3. Die Fixierung des Fehlers ist der Weg nach vorne
Vor Jahren hatte ich diese romantische Idee von ML als Erkundung eleganter Modelle, Erfindung neuer Aktivierungsfunktionen oder das Erstellen von cleveren Verlustfunktionen. Das kann für eine kleine Reihe von Forschern zutreffen. Aber für mich sah der Fortschritt oft so aus: „Warum fährt dieser Code nicht aus?“ Oder noch frustrierender: „Dieser Code lief erst vor ein paar Sekunden-warum läuft er nicht mehr Jetzt? „
Nehmen wir an, in Ihrem Projekt müssen Imaginative and prescient -Transformatoren für Umwelt -Satellitendaten verwendet werden (dh der Modellseite von Abschnitt 1 oben). Sie haben zwei Optionen:
- Implementieren Sie alles von Grund auf neu (nicht empfohlen, es sei denn, Sie fühlen sich besonders abenteuerlich oder müssen es für Kursnachweise tun).
- Finden Sie eine vorhandene Implementierung und passen Sie sie an.
In 99% der Fälle ist Choice 2 die offensichtliche Wahl. Aber „einfach Ihre Daten einschließen“ funktioniert quick nie. Sie werden auf:
- Verschiedene Berechnungsumgebungen
- Annahmen über Eingangsformen
- Vorverarbeitung von Macken (z. B. Datennormalisierung)
- Hartcodierte Abhängigkeiten (von denen ich auch schuldig bin)
Schnell kann Ihr Tag zu einer endlosen Reihe von Debugging-, Backtracking-, Testen von Kantenfällen, Änderungen von Dataloadern, Überprüfung des GPU -Speichers ** und der Wiederaufnahme von Skripten. Dann beginnen die Dinge langsam zu funktionieren. Schließlich trainiert Ihr Modell.
Aber es ist nicht schnell. Es ist Fehler beheben Sie Ihren Weg nach vorne.
4. Ich (ganz mit Sicherheit) wird nicht machen Das Durchbruch
Sie haben definitiv von ihnen gehört. Der Transformator Papier. Die Gans. Stabile Diffusion. Es gibt einen kleinen Teil in meinem, der denkt: Vielleicht werde ich das nächste transformative Papier schreiben. Und sicher muss jemand. Aber statistisch gesehen werde es wahrscheinlich nicht ich. Oder Sie, Entschuldigung. Und das ist in Ordnung.
Die Werke, die dazu führen, dass ein Feld schnell ändert, sind per Definition außergewöhnlich. Diese Arbeiten sind außergewöhnlich, dass die meisten Werke, selbst gute Arbeit, kaum erkannt werden. Manchmal hoffe ich immer noch, dass eines meiner Projekte „in die Luft jagen“ würde. Aber bisher haben es die meisten nicht. Einige wurden nicht einmal veröffentlicht. Aber hey, das ist kein Misserfolg – es ist die Grundlinie. Wenn Sie erwarten, dass jedes Papier ein Homerun ist, sind Sie auf der schnellen Spur enttäuscht.
Gedanken schließen
Für mich erscheint maschinelles Lernen oft als schlankes, modernes Feld-eines, in dem sich Durchbrüche gleich um die Ecke haben und wo das „Tun“ intelligente Menschen mit GPUs und Mathematik Magie machen. Aber in meiner täglichen Arbeit ist es selten so.
Meistens besteht meine tägliche Arbeit aus:
- Umgang mit unordentlichen Datensätzen
- Debugging -Code aus GitHub gezogen
- Redrapferpapiere immer und immer wieder
- Wiederum neuartige Ergebnisse produzieren
Und das ist okay.
Fußnoten
Der vorherige Artikel erwähnte: https://towardsdatascience.com/lessons-lenarned-after-6-5-Jahre-of-machine-learning/
* Wenn Sie interessiert sind, ist mein Lieblingspapier das eine: https://arxiv.org/abs/2103.09762. Ich habe es vor einem Jahr an einem Freitagnachmittag gelesen.
** Bis heute erhalte ich immer noch E -Mail -Benachrichtigungen darüber, wie das Löschen des GPU -Speichers im Tensorflow unmöglich ist. Dieses 5-jährige GitHub-Drawback gibt die Particulars.