Ich wurde gebeten, bei der Arbeit etwas Neues zu machen: Geben Sie uns anhand eines Datendumps unstrukturierter Textdaten einen detaillierten PDF-Bericht mit Erkenntnissen darüber, was Kunden in diesem Quartal über unsere Produkte sagen.
Additionally habe ich eine klare Aufforderung geschrieben. Gab Claude eine detaillierte Anleitung. Habe es mit dem Datensatz gefüttert. Es gab mir eine Ausgabe. Ich habe es geliefert.
Doch als der Stakeholder und ich das Ergebnis eingehend überprüften, fielen uns einige zunehmend beunruhigende Dinge auf.
Claude hatte mit Sicherheit Unrecht.
Nicht falsch falsch, als würden Fakten aus dem Nichts halluziniert. Eher wie … übermütig falsch. Es würde einen vierteljährlichen Einblicksbericht erstellen und etwa Folgendes sagen:
„Die detrimental Stimmung in der Kleiderabteilung hat in diesem Quartal um 23 % zugenommen, was auf eine deutliche Verschiebung der Kundenzufriedenheit hindeutet, die sofortige Aufmerksamkeit des Produktteams erfordert.“
Klingt großartig. Allerdings struggle dieser Anstieg quick ausschließlich auf einen einzigen beliebten Artikel zurückzuführen, der Mitte des Quartals auf den Markt kam und einen bekannten Größenfehler aufwies. Ein Produkt. Nicht die ganze Abteilung.
Claude hatte keine Ahnung. Und meine Aufforderung besagte nicht, dass es sich darum kümmern sollte.
Ein vierteljährlicher Kundenbewertungsbericht
Ich werde Sie durch eine von mir erstellte Claude-Fähigkeit führen, die eine generiert vierteljährlicher Kundenstimmungsbericht aus unstrukturiertem Produktbewertungstext, der als PDF an Stakeholder geliefert wird.
Natürlich werde ich den tatsächlichen Datensatz, den ich bei der Arbeit analysiert habe, nicht weitergeben. Der Datensatz, den ich verwende, ist der Rezensionen zu E-Commerce-Bekleidung für Damen Datensatz von Kaggle (CC0-Lizenz). Es enthält 23.000 echte, anonymisierte Kundenbewertungen aus allen Bekleidungsabteilungen (Oberteile, Kleider, Unterteile, Jacken und mehr) mit Textual content, Sternebewertungen und Produktmetadaten. Verweise auf das Unternehmen in den Bewertungen wurden durch „Einzelhändler“ ersetzt.
Die Fähigkeit sollte:
- Lesen Sie einen gefilterten Teil der Bewertungen für das aktuelle Quartal
- Gruppieren Sie sie nach Abteilung
- Identifizieren Sie Tendencies und Bedenken
- Schreiben Sie eine professionelle PDF-Zusammenfassung für das Produktführungsteam
Hier ist die ursprüngliche Eingabeaufforderung:
Sie sind ein Datenanalyst, der einen vierteljährlichen Kundenstimmungsbericht für einen E-Commerce-Einzelhändler für Damenbekleidung erstellt. Verfassen Sie anhand der Kundenbewertungen dieses Quartals (einschließlich Bewertungstext, Sternebewertungen und Abteilung) einen professionellen Stakeholder-Bericht, der Folgendes umfasst:
– Eine allgemeine Stimmungszusammenfassung für das Quartal
– Schlüsselthemen nach Abteilung (Oberteile, Kleider, Unterteile, Jacken)
– 2-3 herausragende Erkenntnisse aus dem Rezensionstext
– Eine kurze Empfehlung für das Produktteam
Seien Sie professionell und klar.
Wenn Sie mit dieser Aufgabe fertig sind, erstellen Sie bitte einen Ability mit dem Titel „reviews-analysis“ und speichern Sie dort Ihre Anweisungen.
Wie „sicher falsch“ tatsächlich aussieht
Hier ist ein Beispiel dafür, was Claude mit der oben genannten naiven Fähigkeit in einem Quartal produziert hat, in dem die Kleiderabteilung einen Zustrom negativer Bewertungen verzeichnete:
„Die detrimental Stimmung in der Kleiderabteilung hat in diesem Quartal deutlich zugenommen, da Kunden häufig Passform- und Größenprobleme anführten. Dies deutet darauf hin, dass die Größenstandards des Einzelhändlers möglicherweise von den Kundenerwartungen abweichen – ein Development, der, wenn er nicht berücksichtigt wird, die Markentreue in dieser Schlüsselkategorie untergraben könnte.“
Die wahre Erklärung? Ein Kleid (eine einzelne SKU) wurde in Woche 7 mit einem Qualitätsproblem bei der Cost auf den Markt gebracht. Die Bewertungen waren quick ausschließlich über diesen einen Punkt. Der Relaxation der Kleiderabteilung lief intestine.
Claude hat nicht unbedingt etwas erfunden. Es gab einfach keinen Kontext dafür, warum das Muster existierte. Und ohne diesen Kontext tat es das, was LLMs tun: Es füllte die Lücke mit der plausibelsten Erzählung.
Die Lösung: 4 Zeilen, die Sie einschließen MÜSSEN
Zeile 1: Sagen Sie Claude, welcher Kontext fehlt
Sie haben KEINEN Zugriff auf Produkteinführungskalender, Bestandsaufzeichnungen, Werbekampagnen oder den Verlauf einzelner SKU-Ebenen. Führen Sie Tendencies auf Abteilungsebene NICHT auf markenweite Ursachen zurück. Melden Sie Muster, die Sie im Textual content beobachten. Erklären Sie nicht, warum sie existieren, es sei denn, die Bewertungen selbst machen dies eindeutig.
Diese einzige Anweisung eliminiert eine große Kategorie sicherer Unrichtigkeit. Ohne sie wird Claude immer nach einer strategischen Erzählung greifen, denn das ist es, was ein guter Analyst tut, und Claude versucht, ein guter Analyst zu sein.
Das Drawback ist, dass ein guter Analyst auch weiß, was er nicht weiß. Sie sagen: „Wir sehen in diesem Quartal Beschwerden über erhöhte Größen bei Kleidern. Dies kann auf eine kürzlich erfolgte Markteinführung beschränkt sein, aber wir benötigen Daten auf SKU-Ebene, um dies zu bestätigen.“ Claude wird das nicht sagen, es sei denn, du sagst es.
Zeile 2: Definieren Sie, was „signifikant“ tatsächlich bedeutet
Claude liebt das Wort bedeutsam. Es nutzt es ständig. Und es definiert es quick nie.
Kennzeichnen Sie eine Stimmungsänderung nur dann als „signifikant“, wenn sie eine Änderung des Positiv-/Negativ-Verhältnisses um mehr als 15 Prozentpunkte im Vergleich zum Vorquartal darstellt, ODER wenn ein Thema in mehr als 20 % der Bewertungen in einer bestimmten Abteilung vorkommt. Verwenden Sie für kleinere Signale Formulierungen wie „leichter Anstieg“ oder „geringfügiger Anstieg“. Verwenden Sie die Wörter „bemerkenswert“ oder „bedeutend“ nicht für alles, was unter diesen Schwellenwerten liegt. Geben Sie zusammen mit Ihrem Anspruch immer den tatsächlichen Zahlenwert für die Schicht an.
Sie können die Schwellenwerte von 15 % und 20 % so anpassen, wie es für Ihre Daten sinnvoll ist. Es geht darum, Claudes Sprache an etwas Realem zu verankern.
Ohne dies wird Claude sowohl einen Anstieg der Beschwerden um drei Bewertungen als auch einen echten Stimmungsrückgang um 30 Punkte als „signifikant“ bezeichnen. Ihre Stakeholder werden anfangen, abzuschalten. Und wenn etwas wirklich Bedeutsames passiert, werden sie es nicht bemerken.
Zeile 3: Erzwingen Sie einen Vertrauensqualifizierer für jede Erkenntnis
Fügen Sie vor jeder Erkenntnis eine Konfidenzbezeichnung in Klammern ein: (Datengestützt), (Möglich) oder (Spekulativ).
Verwenden Sie (Datengestützt) nur, wenn sich die Erkenntnisse direkt aus dem bereitgestellten Rezensionstext ergeben. Verwenden Sie (Möglich), wenn die Erkenntnis eine vernünftige Schlussfolgerung aus dem Textual content darstellt. Verwenden Sie (spekulativ), wenn Sie Annahmen über Ursachen oder Zusammenhänge treffen, die in den Bewertungen selbst nicht vorhanden sind.
Als ich diese Zeile zum ersten Mal hinzugefügt habe, hatte ich hauptsächlich (datengestützte) Tags erwartet. Was ich tatsächlich bekam, struggle eine Mischung aus allen dreien, die mir genau verriet, wie sehr Claude Lücken in meinen vorherigen Berichten gefüllt hatte, ohne dass ich es bemerkte.
Ein Beispiel dafür, wie die Ausgabe nach dem Hinzufügen dieser Zeile aussieht:
Jetzt können Ihre Stakeholder genau sehen, was solide und was eine Vermutung ist. Das ist ein viel ehrlicherer Bericht.
Zeile 4: Fordern Sie Claude auf, die Grenzen der Analyse anzugeben
Fügen Sie am Ende des Berichts einen Abschnitt mit dem Titel „Was Ihnen dieser Bericht nicht sagen kann“ ein. Pay attention Sie zwei bis drei Dinge auf, die erforderlich wären, um aussagekräftigere Schlussfolgerungen zu ziehen, z. B. Bewertungsaufschlüsselungen auf SKU-Ebene, Rücklaufquoten oder Daten zu Wiederholungskäufen.
Diese Zeile zwingt Claude dazu, die Grenzen seiner eigenen Analyse anzuerkennen. Und es gibt Ihren Stakeholdern einen klaren Fahrplan dafür, welche Fragen weiter untersucht werden müssen, was eigentlich das Wertvollste ist, was ein Analyst tun kann.
Hier ist die Ausgabe:
So verwenden Sie Claude, um die Fertigkeit zu verfeinern
Es reicht nicht aus, eine Fertigkeit einmal zu schreiben. Sie müssen es auf die gleiche Weise testen und verbessern, wie Sie es bei einem Modell tun würden.
Schritt 1: Führen Sie den Ability an bekannten Beispielen aus.
Filtern Sie den Datensatz nach einem Zeitfenster, in dem Sie bereits wissen, was passiert ist. (Ein Quartal mit einem Produktrückruf, einer saisonalen Aktion, einem Zeitraum mit ungewöhnlich hohen Rücklaufquoten usw.) Sehen Sie, was Claude sagt. Wird das Wort „erheblich“ richtig verwendet? Werden dort Fakten/Statistiken aufgeführt, wo sie sein sollten?
Schritt 2: Füttere Claude mit seiner eigenen Ausgabe und bitte ihn um eine Prüfung.
Claude ist intestine darin, seine eigene Selbstüberschätzung einzufangen, wenn man ihn ausdrücklich auffordert, danach zu suchen.
Hier ist ein vierteljährlicher Kundenstimmungsbericht, der von einem KI-Analysten erstellt wurde. Überprüfen Sie alle Erkenntnisse in diesem Bericht und kennzeichnen Sie Folgendes:
– Machen Sie kausale Behauptungen ohne direkte Beweise im Rezensionstext
– Verwenden Sie Wörter wie „bedeutend“ oder „bemerkenswert“ ohne Begründung
– Ordnen Sie einzelne Produktprobleme markenweiten Tendencies zu
– Gehen Sie davon aus, dass im Datensatz kein Kontext vorhanden ist (Startkalender,
Inventar, Kaufhistorie)
Schlagen Sie für jedes markierte Ingredient eine überarbeitete Model vor, die besser abgesichert ist.
Schritt 3: Fügen Sie für jeden gefundenen Fehler eine Klausel hinzu.
Jedes Mal, wenn Claude einen Bericht mit eindeutig falschen oder übertriebenen Erkenntnissen erstellt, bitten Sie ihn, Ihren Fähigkeiten eine neue Einschränkung hinzuzufügen. Mit der Zeit werden Ihre Fähigkeiten sozusagen zu einer Aufzeichnung von allem, was Claude falsch macht.
Ein Wort der Vorsicht
Das Hinzufügen von Einschränkungen zu Ihrem Ability kann manchmal dazu führen, dass Claude eine Ausgabe erzeugt, bei der jeder einzelne Satz mit „…obwohl zusätzliche Daten erforderlich wären, um dies zu bestätigen“ endet.
Das ist auch nicht nützlich.
Das Ziel ist kalibriertes Vertrauen, bei dem die Stärke von Claudes Sprache mit der Stärke der Beweise übereinstimmt. Wenn Sie den Eindruck haben, dass Claude zu unzuverlässig wird, können Sie eine ausgleichende Einschränkung hinzufügen:
Überqualifizieren Sie nicht jede Aussage. Wenn ein Muster in vielen Bewertungen deutlich und konsistent auftritt, geben Sie es klar an und geben Sie Verweise auf die Daten hinter dem Muster an. Reservequalifikationen für wirklich ungewisse oder spekulative Ansprüche.
Abschluss
Claude ist beeindruckend darin, professionell aussehende Berichte zu erstellen, was manchmal ein Drawback sein kann.
Der Lack verbirgt die Selbstüberschätzung. Ihre Stakeholder sehen eine saubere Formatierung und eine verbindliche Sprache und gehen davon aus, dass die Erkenntnisse solide sind, auch wenn dies nicht der Fall ist.
Die vier Zeilen, die ich hier durchlaufen habe, machen Claude nicht weniger fähig. Sie machen es ehrlicher. Und im Berichtskontext ist Ehrlichkeit mehr wertvoll als beeindruckend.
Lesen Sie hier mehr darüber, für welche anderen Anwendungsfälle Claude intestine ist, einschließlich der Erstellung von Dashboards, dem Debuggen und dem Schreiben von Dokumentation:
→ 3 Claude-Fähigkeiten, die jeder Datenwissenschaftler im Jahr 2026 braucht
Danke fürs Lesen
Verbinde dich mit mir LinkedIn
Kauf mir einen Kaffee um meine Arbeit zu unterstützen!