Als Daten sind wir mit tabellarischen Daten vertraut…
Wir können auch mit Wörtern, JSON, XML -Feeds und Bildern von Katzen umgehen. Aber was ist mit einer Kartonplatte voller Dinge wie dieser?
Die Informationen zu dieser Quittung sollen so sehr in einer tabellarischen Datenbank irgendwo stehen. Wäre es nicht großartig, wenn wir alle diese durch einen LLM scannen und die Ergebnisse in einer Tabelle speichern könnten?
Zum Glück leben wir in der Ära von Dokument ai. Dokument AI kombiniert OCR mit LLMs und ermöglicht es uns, eine Brücke zwischen der Papierwelt und der digitalen Datenbankwelt zu erstellen.
Alle großen Cloud -Anbieter haben eine Model davon…
Hier werde ich meine Gedanken teilen Schneeflocke’s Dokument ai. Abgesehen davon, dass ich Schneeflocke bei der Arbeit benutze, habe ich keine Zugehörigkeit zur Schneeflocke. Sie haben mich nicht beauftragt, dieses Stück zu schreiben, und ich bin nicht Teil eines Botschafterprogramms. All das heißt, ich kann eine schreiben unvoreingenommen Überprüfung von Snowflakes Dokument AI.
Was ist Dokument AI?
Mit Dokument AI können Benutzer schnell Informationen aus digitalen Dokumenten extrahieren. Wenn wir „Dokumente“ sagen, meinen wir Bilder mit Worten. Verwechseln Sie das nicht mit Nischen -NoSQL -Dinge.
Das Produkt kombiniert OCR- und LLM -Modelle, sodass ein Benutzer eine Reihe von Eingabeaufforderungen erstellen und diese Eingabeaufforderungen gegen eine große Sammlung von Dokumenten auf einmal ausführen kann.
LLMs und OCR haben beide Fehler. Snowflake löste dies, indem sie (1) mit den Köpfen gegen OCR schlug, bis es scharf ist-ich sehe dich, Snowflake-Entwickler-und (2) mich meine LLM feinstimmen lassen.
Das Feinabstimmen der Schneeflocke LLM fühlt sich viel mehr wie an Glamping als ein robustes Out of doors -Abenteuer. Ich überprüfe mehr als 20 Dokumente, drücke die Schaltfläche „Zugmodell“, spüle und wiederholt, bis die Leistung zufriedenstellend ist. Bin ich noch ein Datenwissenschaftler?
Sobald das Modell trainiert ist, kann ich meine Eingabeaufforderungen auf 1000 Dokumente gleichzeitig ausführen. Ich magazine es, die Ergebnisse in einer Tabelle zu speichern, aber Sie konnten mit den Ergebnissen in Echtzeit alles tun, was Sie wollen.
Warum ist es wichtig?
Dieses Produkt ist aus mehreren Gründen cool.
- Sie können eine Brücke zwischen Papier und digitaler Welt bauen. Ich hätte nie gedacht, dass die große Schachtel mit Papierrechnungen unter meinem Schreibtisch es in mein Cloud -Knowledge -Lagerhaus schaffen würde, aber jetzt kann es. Scannen Sie die Papierrechnung, laden Sie sie in Snowflake hoch, führen Sie mein Dokument -AI -Modell aus und wham! Ich habe meine gewünschten Informationen in eine ordentliche Tabelle analysiert.
- Es ist erschreckend bequem, ein maschinelles Lernmodell über SQL aufzurufen. Warum haben wir nicht früher daran gedacht? In alten Zeiten waren dies ein paar hundert Codezeilen zum Laden der Rohdaten (SQL >> Python/Spark/usw.), reinigen, Ingenieurfunktionen, Zug-/Testaufteilung, trainieren Sie ein Modell, machen Sie Vorhersagen und schreiben dann häufig die Vorhersagen in SQL zurück.
- Um dieses interne zu bauen, wäre ein großes Unterfangen. Ja, OCR gibt es schon lange, kann aber trotzdem pingelig sein. Die Feinabstimmung eines LLM warfare offensichtlich nicht zu lange da, wird aber von der Woche einfacher. Um diese auf eine Weise zusammenzusetzen, die eine hohe Genauigkeit für eine Vielzahl von Dokumenten erreicht, kann es lange dauern, bis Sie sich selbst hacken. Monate der Monate der Politur.
Natürlich werden noch einige Elemente im Haus gebaut. Sobald ich Informationen aus dem Dokument extrahiere, muss ich herausfinden, was ich mit diesen Informationen anfangen soll. Das ist jedoch relativ schnell.
Unser Anwendungsfall – Bringen Sie Grippesaison mit:
Ich arbeite in einer Firma namens namens Intelycare. Wir arbeiten im Personalraum im Gesundheitswesen, was bedeutet, dass wir Krankenhäusern, Pflegeheimen und Reha-Zentren helfen, Qualitätskliniker für individuelle Veränderungen, verlängerte Verträge oder Vollzeit-/Teilzeit-Engagements zu finden.
Viele unserer Einrichtungen verlangen Kliniker, dass sie eine aktuelle Grippeimpfung haben. Im vergangenen Jahr haben unsere Kliniker zusätzlich zu Hunderttausenden anderer Dokumente über 10.000 Grippefotos eingereicht. Wir haben alle diese manuell manuell überprüft, um die Gültigkeit zu gewährleisten. Ein Teil der Freude, in der Gesundheitsspannung zu arbeiten!
Spoiler-Alarm: Mithilfe der Dokument-AI konnten wir die Anzahl der Grippeimdokumente reduzieren, die eine manuelle Überprüfung um ~ 50% und alle in nur wenigen Wochen benötigen.
Um dies zu schaffen, haben wir Folgendes gemacht:
- Hochgeladen einen Stapel Grippe-Shot-Dokumente auf Schneeflocken.
- Massierte die Eingabeaufforderungen, trainierte das Modell, massierte die Eingabeaufforderungen, umstehnte das Modell noch mehr…
- Erstellen Sie die Logik, um die Modellausgabe mit dem Profil des Klinikers zu vergleichen (z. B. stimmen die Namen überein?). Auf jeden Fall ein Versuch und Fehler hier mit Formatiernamen, Daten usw.
- Erbaute die „Entscheidungslogik“, um das Dokument entweder zu genehmigen oder es an die Menschen zurücksenden zu können.
- Testete die vollständige Pipeline auf einen größeren Haufen manuell überprüfte Dokumente. Wir haben uns irgendwelche falsch positiven Aspekte angesehen.
- Wiederholt, bis unsere Verwirrungsmatrix zufriedenstellend warfare.
Für dieses Projekt stellen falsch optimistic Ergebnisse ein geschäftliches Risiko dar. Wir möchten kein Dokument genehmigen, das abgelaufen ist oder die wichtigsten Informationen fehlen. Wir haben wiederholt, bis die falsch optimistic Charge Null traf. Wir werden irgendwann einige falsch optimistic Ergebnisse haben, aber weniger als das, was wir jetzt mit einem menschlichen Überprüfungsprozess haben.
Falsche Damaging sind jedoch harmlos. Wenn unsere Pipeline eine Grippeimpfung nicht magazine, gibt sie das Dokument einfach zur Überprüfung an das Human -Crew weiter. Wenn sie das Dokument genehmigen, ist es wie gewohnt.
Das Modell ist intestine zu den sauberen/einfachen Dokumenten, die ~ 50% aller Grippefotos ausmachen. Wenn es chaotisch oder verwirrend ist, geht es wie zuvor auf die Menschen zurück.
Dinge, die wir auf dem Weg gelernt haben
- Das Modell kann am besten das Dokument lesen, keine Entscheidungen treffen oder auf der Grundlage des Dokuments Mathematik trifft.
Zunächst versuchten unsere Aufforderungen, die Gültigkeit des Dokuments zu bestimmen.
Schlecht: Ist das Dokument bereits abgelaufen?
Wir fanden es weit Effektiver, um unsere Eingabeaufforderungen auf Fragen zu beschränken, die anhand des Dokuments beantwortet werden könnten. Das LLM nicht bestimmen irgendetwas. Es greift nur die entsprechenden Datenpunkte von der Seite ab.
Intestine: Was ist das Ablaufdatum?
Speichern Sie die Ergebnisse und machen Sie die Mathematik nachgelagert.
- Sie müssen immer noch nachdenklich über Trainingsdaten sein
Wir hatten ein paar doppelte Grippefotos von einem Kliniker in unseren Trainingsdaten. Nennen Sie diesen Kliniker Ben. Eine unserer Aufforderungen lautete: „Wie heißt der Affected person?“ Da sich „Ben“ mehrmals in den Trainingsdaten befand, würde jedes unklare Dokument mit „Ben“ als Patientenname zurückkehren.
Überanpassung ist additionally immer noch eine Sache. Über/unter Probenahme ist immer noch eine Sache. Wir versuchten es erneut mit einer nachdenklichen Sammlung von Trainingsdokumenten und die Dinge lagen viel besser.
Dokument AI ist ziemlich magisch, aber nicht Das magisch. Die Grundlagen sind immer noch wichtig.
- Das Modell könnte durch das Schreiben einer Napkin täuschen werden.
Meines Wissens hat Snowflake keine Möglichkeit, das Dokumentbild als Einbettung. Sie können eine Einbettung aus dem extrahierten Textual content erstellen, aber das wird Ihnen nicht sagen, ob der Textual content von Hand geschrieben wurde oder nicht. Solange der Textual content Das Modell und die nachgelagerte Logik geben ihm grünes Licht.
Sie können dies ziemlich einfach beheben, indem Sie Bildeinbettungen von eingereichten Dokumenten mit den Einbettungen akzeptierter Dokumente vergleichen. Jedes Dokument mit einem Einbettungsweg im linken Feld wird zur menschlichen Überprüfung zurückgesandt. Dies ist eine einfache Arbeit, aber Sie müssen es vorerst außerhalb der Schneeflocke tun.
- Nicht so teuer wie ich erwartet hatte
Snowflake hat den Ruf, ausgegeben zu sein. Und für HIPAA-Compliance-Bedenken führen wir für dieses Projekt eine Snowflake-Darstellung mit höherer Ebene. Ich mache mir eher Sorgen, dass ich eine Snowflake -Registerkarte aufläuft.
Am Ende mussten wir uns besonders bemühen, mehr als 100 US -Greenback professional Woche auszugeben, während wir das Modell trainieren. Wir haben alle paar Tage Tausende von Dokumenten durch das Modell durchgeführt, um seine Genauigkeit zu messen, während wir das Modell iterierten, aber nie geschafft haben, das Finances zu brechen.
Besser noch, wir sparen Geld für den manuellen Überprüfungsprozess. Die Kosten für die Überprüfung von 1000 Dokumenten für KI (genehmigen ~ 500 Dokumente) ~ 20% der Kosten, die wir für Menschen ausgeben, die die restlichen 500 überprüft haben.
Zusammenfassen
Ich warfare beeindruckt davon, wie schnell wir ein Projekt dieses Umfangs mit Dokument AI abschließen konnten. Wir sind von Monaten zu Tagen gegangen. Ich gebe es 4 von 5 Sternen und bin offen dafür, ihm einen 5. Stern zu geben, wenn Snowflake uns jemals Zugriff auf Bildeinbettungen ermöglicht.
Seit Grippeaufnahmen haben wir ähnliche Modelle für andere Dokumente mit ähnlichen oder besseren Ergebnissen bereitgestellt. Und mit all dieser Vorbereitungsarbeiten, anstatt sich vor der bevorstehenden Grippesaison zu fürchten, sind wir bereit, sie anzuziehen.