Wie LLMs die explorative Datenanalyse demokratisieren werden | von Ken Kehoe | Juni 2024

Oder: Wenn Sie das Gefühl haben, Ihr Leben sei zu hart, dann sprechen Sie einfach mit Claude

Wenn ich über die Herausforderungen nachdenke, die das Verständnis komplexer Systeme mit sich bringt, fällt mir oft etwas ein, das während meiner Zeit bei Tripadvisor passiert ist. Ich half unserem Machine-Studying-Workforce dabei, eine Analyse für das Progress-Advertising and marketing-Workforce durchzuführen, um herauszufinden, welches Kundenverhalten einen hohen LTV vorhersagt. Wir arbeiteten mit einem talentierten Datenwissenschaftler mit Doktortitel zusammen, der ein logistisches Regressionsmodell trainierte und die Koeffizienten als ersten Durchgang ausdruckte.

Als wir uns die Analyse mit dem Wachstumsteam ansahen, waren sie verwirrt – logistische Regressionskoeffizienten sind schwer zu interpretieren, da ihre Skala nicht linear ist, und die Merkmale, die sich als am aussagekräftigsten erwiesen, waren nicht Dinge, die das Wachstumsteam leicht beeinflussen konnte. Wir streichelten uns alle kurz am Kinn und eröffneten ein Ticket für eine Folgeanalyse, aber wie so oft gingen beide Groups schnell zu ihrer nächsten zündenden Idee über. Der Datenwissenschaftler hatte einige wichtige Arbeiten an unserem Suchrangalgorithmus zu erledigen, und aus praktischen Gründen warf das Wachstumsteam die Analyse auf den Müllhaufen.

Ich denke immer noch über diese Übung nach – Haben wir zu früh aufgegeben? Was wäre, wenn die Feedbackschleife enger gewesen wäre? Was wäre, wenn beide Parteien weiter nachgeforscht hätten? Was hätte der zweite oder dritte Durchgang ans Licht gebracht?

Die obige Anekdote beschreibt eine explorative Analyse das hat nicht ganz geklappt. Explorative Analyse unterscheidet sich von beschreibende Analysedie einfach nur beschreiben soll, was passiert. Bei der explorativen Analyse geht es eher darum, ein tieferes Verständnis eines Methods zu erlangen, als eine klar definierte Frage zu stellen. Betrachten Sie die folgenden Arten von Fragen, die in einem Geschäftskontext auftreten können:

Beachten Sie, dass die explorativen Fragen offen sind und darauf abzielen, das Verständnis eines komplexen Problembereichs zu verbessern. Explorative Analysen erfordern häufig mehr Zyklen und eine engere Zusammenarbeit zwischen dem „Fachexperten“ und der Particular person, die die Analyse tatsächlich durchführt. Dabei handelt es sich selten um dieselbe Particular person. In der obigen Anekdote conflict die Zusammenarbeit nicht eng genug, die Feedbackschleifen waren nicht kurz genug und wir haben nicht genügend Zyklen eingeplant.

Aufgrund dieser Herausforderungen plädieren viele Experten für einen Ansatz der „Paaranalyse“ zur Datenexploration. Ähnlich wie bei der Paarprogrammierung Paaranalyse bringt einen Analysten und einen Entscheidungsträger zusammen, um eine Erkundung in Echtzeit durchzuführen. Leider kommt diese Artwork enger Partnerschaft zwischen Analysten und Entscheidungsträgern in der Praxis aufgrund von Ressourcen- und Zeitbeschränkungen selten vor.

Denken Sie jetzt einmal an die Organisation, in der Sie arbeiten. Was wäre, wenn jedem Entscheidungsträger ein erfahrener Analytiker zur Seite stünde? Was wäre, wenn er die ungeteilte Aufmerksamkeit dieses Analytikers hätte und ihn nach Belieben mit weiteren Fragen bombardieren könnte? Was wäre, wenn diese Analytiker problemlos den Kontext wechseln und dem Gedankenstrom ihres Companions in einer freien Assoziation von Ideen und Hypothesen folgen könnten?

Dies ist die Likelihood, die LLMs im Analytikbereich bieten: das Versprechen, dass jeder explorative Analysen durchführen kann und dabei von einem technischen Analysten an der Seite profitieren kann.

Schauen wir uns an, wie sich dies in der Praxis manifestieren könnte. Die folgende Fallstudie und die Demos veranschaulichen, wie ein Entscheidungsträger mit Fachwissen effektiv mit einem KI-Analysten zusammenarbeiten kann, der die Daten abfragen und visualisieren kann. Wir vergleichen die Erfahrungen mit der Datenexploration des 4o-Modells von ChatGPT mit einer manuellen Analyse mithilfe von Tableau, die auch als Fehlerprüfung gegen mögliche Halluzinationen dienen wird.

Hinweis zum Datenschutz: Die im folgenden Abschnitt verlinkten Videodemos verwenden rein synthetische Datensätze, die realistische Geschäftsmuster nachahmen sollen. Allgemeine Hinweise zu Datenschutz und Sicherheit für KI-Analysten finden Sie unter Datenprivatsphäre.

Stellen Sie sich Folgendes vor: Sie sind der vielbeschäftigte Geschäftsführer einer E-Commerce-Web site für Bekleidung. Sie haben Ihr Exec Abstract-Dashboard mit vordefinierten, hochrangigen KPIs, aber eines Morgens werfen Sie einen Blick darauf und sehen etwas Beunruhigendes: Die Marketingeinnahmen sind im Vergleich zum Vormonat um 45 % gesunken, aber der Grund dafür ist nicht sofort klar.

Ihre Gedanken ziehen Sie gleichzeitig in verschiedene Richtungen: Was trägt zum Umsatzrückgang bei? Ist er auf bestimmte Kanäle beschränkt? Ist das Downside auf bestimmte Nachrichtentypen beschränkt?

Aber was können wir mehr tun? Was hat in letzter Zeit intestine funktioniert? Was funktioniert nicht? Welche saisonalen Traits sehen wir zu dieser Jahreszeit? Wie können wir daraus Kapital schlagen?

Um diese Artwork von offenen Fragen zu beantworten, müssen Sie eine mäßig komplexe, multivariate Analyse durchführen. Dies ist genau die Artwork von Übung, bei der ein KI-Analyst helfen kann.

Lassen Sie uns zunächst einen genaueren Blick auf den beunruhigenden Rückgang der Einnahmen im Vergleich zum Vormonat werfen.

In unserem Beispiel sehen wir einen enormen Rückgang des Gesamtumsatzes, der auf Marketingaktivitäten zurückzuführen ist. Als Analyst gibt es zwei parallele Denkansätze, um mit der Diagnose der Grundursache zu beginnen:

Teilen Sie den Gesamtumsatz in mehrere Eingabemetriken auf:

1. Gesamtzahl gesendeter Nachrichten: Haben wir weniger Nachrichten gesendet?
2. Öffnungsrate: Haben die Leute diese Nachrichten geöffnet? Gab es beispielsweise ein Downside mit dem Betreff der Nachrichten?
3. Klickrate: Warfare die Wahrscheinlichkeit geringer, dass die Empfänger eine Nachricht durchklickten? Gab es additionally ein Downside mit dem Nachrichteninhalt?
4. Konversionsrate: Warfare die Wahrscheinlichkeit, dass die Empfänger etwas kauften, nachdem sie durchgeklickt hatten, geringer? Gab es additionally ein Downside mit der Touchdown-Web page-Erfahrung?

Isolieren Sie diese Traits über verschiedene kategorische Dimensionen hinweg

1. Kanäle: Wurde dieses Downside auf allen Kanälen beobachtet oder nur bei einem Teil davon?
2. Nachrichtentypen: Wurde dieses Downside bei allen Nachrichtentypen beobachtet?

In diesem Fall kann das LLM innerhalb weniger Eingabeaufforderungen einen großen Unterschied in der Artwork der in diesen beiden Zeiträumen gesendeten Nachrichten erkennen – nämlich den 50 %-Rabatt, der im Juli und nicht im August durchgeführt wurde.

Der Preisrückgang macht jetzt additionally mehr Sinn, aber wir können nicht jeden Monat einen Ausverkauf mit 50 % Rabatt durchführen. Was können wir sonst noch tun, um sicherzustellen, dass wir unsere Advertising and marketing-Kontaktpunkte optimum nutzen? Werfen wir einen Blick auf unsere Kampagnen mit der besten Leistung und sehen wir, ob es außer Verkaufsaktionen noch etwas gibt, das in die High 10 kommt.

Datenvisualisierungstools unterstützen eine Level-and-Click on-Oberfläche zum Erstellen von Datenvisualisierungen. Heute können Instruments wie ChatGPT und Julius AI bereits einen iterativen Datenvisualisierungsworkflow originalgetreu nachbilden.

Diese Instruments nutzen Python-Bibliotheken, um sowohl statische Datenvisualisierungen als auch interaktive Diagramme direkt in der Chat-Benutzeroberfläche zu erstellen und darzustellen. Die Möglichkeit, diese Visualisierungen mithilfe natürlicher Sprache zu optimieren und zu iterieren, ist ganz einfach. Mit der Einführung von Codemodulen, Bilddarstellung und interaktiven Diagrammelementen ähnelt die Chat-Oberfläche nun mehr dem bekannten „Pocket book“-Format, das durch Jupyter-Notebooks populär geworden ist.

Innerhalb weniger Eingabeaufforderungen können Sie eine Datenvisualisierung oft genauso schnell aufrufen, als wären Sie ein erfahrener Benutzer eines Datenvisualisierungstools wie Tableau. In diesem Fall mussten Sie nicht einmal die Hilfedokumente konsultieren, um zu erfahren, wie Tableau Diagrammerstellung mit zwei Achsen funktioniert.

Hier sehen wir, dass „Neuankömmlinge“-Nachrichten auch bei großen Versandvolumina einen hohen Umsatz professional Empfänger erzielen:

„Neu eingetroffen“ scheint additionally intestine anzukommen, aber welche Arten von Neu eingetroffen sollten wir nächsten Monat unbedingt auf den Markt bringen? Wir stehen kurz vor September und möchten verstehen, wie sich das Kaufverhalten der Kunden zu dieser Jahreszeit ändert. Welche Produktkategorien werden voraussichtlich zunehmen? Welche werden voraussichtlich abnehmen?

Auch hier haben wir innerhalb weniger Eingabeaufforderungen eine klare, genaue Datenvisualisierung erhalten, und wir mussten nicht einmal herausfinden, wie wir Tableaus knifflige Schnelle Tabellenberechnungen Besonderheit!

Da wir nun wissen, welche Produktkategorien im nächsten Monat wahrscheinlich zulegen werden, möchten wir vielleicht einige unserer Cross-Promoting-Empfehlungen anpassen. Wenn additionally Sportoberbekleidung für Herren den größten Zuwachs verzeichnen wird, wie können wir dann sehen, welche anderen Kategorien am häufigsten zusammen mit diesen Artikeln gekauft werden?

Dies wird allgemein als „Warenkorbanalyse“ bezeichnet und die dafür erforderlichen Datentransformationen sind etwas komplex. Tatsächlich ist die Durchführung einer Warenkorbanalyse in Excel ist praktisch unmöglich ohne den Einsatz von klobigen Add-ons. Aber bei LLMs müssen Sie nur einen Second innehalten und Ihre Frage klar stellen:

„Hey GPT, welche Produkttypen werden bei Bestellungen, die einen Artikel aus der Kategorie Sportoberbekleidung für Herren enthalten, am häufigsten vom selben Kunden im selben Warenkorb gekauft?“

Die obigen Demos zeigen einige Beispiele, wie LLMs eine bessere datengesteuerte Entscheidungsfindung im großen Maßstab unterstützen können. Große Akteure haben diese Likelihood erkannt und das Ökosystem entwickelt sich schnell weiter, um LLMs in Analyse-Workflows zu integrieren. Bedenken Sie Folgendes:

• Als OpenAI im vergangenen Jahr die Betaversion seines „Code-Interpreters“ veröffentlichte, wurde die Funktion schnell in „Erweiterte Datenanalyse“ umbenannt, um sie an die Artwork und Weise anzupassen, wie die Early Adopters die Funktion nutzten.
• Mit GPT4o unterstützt OpenAI jetzt Rendering Interaktive Diagrammeeinschließlich der Möglichkeit, die Farbcodierung zu ändern, Tooltips beim Hovern anzuzeigen, Diagramme zu sortieren/filtern sowie Diagrammspalten auszuwählen und Berechnungen anzuwenden.
• Instruments wie Julius.ai entstehen neue, die sich speziell auf wichtige Anwendungsfälle der Analytik konzentrieren und bei Bedarf Zugriff auf mehrere Modelle ermöglichen. Julius bietet Zugriff auf Modelle von OpenAI und Anthropic.
• Anbieter machen das Teilen von Daten immer einfacher und erweitern es vom Hochladen statischer Dateien auf Google Sheet-Konnektoren und erweiterte API-Optionen.
• Instruments wie Sprachfluss entstehen neue Technologien, die die Entwicklung von KI-Apps unterstützen und sich auf Anwendungsfälle für Retrieval Augmented Technology (RAG) (wie Datenanalyse) konzentrieren. Dadurch wird es für Drittanbieter immer einfacher, benutzerdefinierte Datensätze mit einer Vielzahl von LLMs verschiedener Anbieter zu verbinden.

Vor diesem Hintergrund wollen wir uns einen Second Zeit nehmen und uns vorstellen, wie sich BI-Analysen in den nächsten 12–24 Monaten entwickeln könnten. Hier sind einige Vorhersagen: