Praktische Erkenntnisse für einen datengesteuerten Ansatz zur Modelloptimierung
In diesem dritten Teil meiner Serie werde ich den Bewertungsprozess untersuchen, der ein entscheidender Teil ist, der zu einem saubereren Datensatz führt und die Leistung Ihres Modells steigert. Wir werden den Unterschied zwischen der Bewertung von a sehen ausgebildet Modell (eines ist noch nicht in Produktion) und Bewertung eines eingesetzt Modell (eines, das Vorhersagen für die reale Welt macht).
In Teil 1Ich habe den Prozess der Kennzeichnung Ihrer Bilddaten besprochen, die Sie in Ihrem Bildklassifizierungsprojekt verwenden. Ich habe gezeigt, wie man „gute“ Bilder definiert und Unterklassen erstellt. In Teil 2Ich ging verschiedene Datensätze durch, die über die üblichen Zugvalidierungs-Testsätze hinausgingen, wie z. B. Benchmark-Units, und wie man mit synthetischen Daten und duplizierten Bildern umgeht.
Auswertung des trainierten Modells
Als Ingenieure für maschinelles Lernen prüfen wir Genauigkeit, F1, Protokollverlust und andere Kennzahlen, um zu entscheiden, ob ein Modell für die Produktion bereit ist. Dies sind alles wichtige Kennzahlen, aber meiner Erfahrung nach können diese Ergebnisse täuschen, insbesondere wenn die Anzahl der Kurse zunimmt.
Obwohl es zeitaufwändig sein kann, finde ich es sehr wichtig, die Bilder, die das Modell erhält, manuell zu überprüfen falschsowie die…