Bild vom Herausgeber

# Einführung

Zunächst einmal eine harte Wahrheit: Lehrbuch Datenwissenschaft wird in der realen Welt meist zur Lüge. Konzepte und Techniken werden anhand fein kuratierter, wunderschön glockenförmiger Datenvariablen gelehrt, aber sobald wir uns in die Wildnis realer Projekte wagen, werden wir mit vielen Ausreißern, übermäßig verzerrten Verteilungen und unbezwingbaren Varianzen konfrontiert.

A vorheriger Artikel beim Aufbau einer explorativen Datenanalyse-Pipeline (EDA) mit Pingouin zeigte, wie man durch Checks Fälle erkennt, in denen die Daten gegen eine Reihe von Annahmen wie Homoskedastizität und Normalität verstoßen. Was aber, wenn die Checks fehlschlagen? Die Lösung ist nicht darin, die Daten wegzuwerfen, sondern sie robuster zu machen.

In diesem Artikel wird die Kunstfertigkeit der Verwendung robuster Statistiken in datenwissenschaftlichen Prozessen aufgezeigt. Hierbei handelt es sich um mathematische Methoden, die speziell darauf ausgelegt sind, zuverlässige und gültige Ergebnisse zu liefern, selbst wenn die Daten nicht den klassischen Annahmen entsprechen oder von Ausreißern und Rauschen durchdrungen sind. Mit dem Ansatz „Wählen Sie Ihr eigenes Abenteuer“ erstellen wir mithilfe von Pythons Pingouin drei Szenarien, um die hässlichsten Aspekte in den Daten zu verwalten, auf die Sie bei Ihrer täglichen Arbeit stoßen könnten.

# Ersteinrichtung

Beginnen wir mit der Set up (falls erforderlich) und dem Import von Pingouin und PandasAnschließend laden wir den verfügbaren Weinqualitätsdatensatz Hier.

!pip set up pingouin pandas

import pandas as pd
import pingouin as pg

# Loading our messy, real-world-like dataset, containing pink and white wine samples
url = "https://uncooked.githubusercontent.com/gakudo-ai/open-datasets/refs/heads/major/wine-quality-white-and-red.csv"
df = pd.read_csv(url)

# Take a small peek at what we're about to take care of
df.head()

Wenn Sie sich den vorherigen Pingouin-Artikel angesehen haben, wissen Sie bereits, dass es sich um einen notorisch chaotischen Datensatz handelt, der mehrere gängige Annahmen nicht erfüllt. Jetzt werden wir uns auf drei verschiedene „Abenteuer“ einlassen, bei denen jedes ein Szenario, ein Kernproblem und einen Vorschlag für eine robuste Lösung zu dessen Lösung beleuchtet.

// Abenteuer 1: Wenn der Normalitätstest fehlschlägt

Angenommen, wir führen Normalitätstests für zwei Gruppen durch: Weißweinproben und Rotweinproben.

white_wine_alcohol = df(df('kind') == 'white')('alcohol')
red_wine_alcohol = df(df('kind') == 'pink')('alcohol')

print("Normality take a look at for White Wine Alcohol content material:")
print(pg.normality(white_wine_alcohol))
print("nNormality take a look at for Pink Wine Alcohol content material:")
print(pg.normality(red_wine_alcohol))

Sie werden feststellen, dass keine der beiden Verteilungen regular ist und extrem niedrige p-Werte aufweist. Obwohl die Nichtnormalität selbst nicht direkt auf Ausreißer oder Schiefe hinweist, deutet eine starke Abweichung von der Normalität häufig darauf hin, dass solche Merkmale in den Daten vorhanden sein könnten. In dieser Scenario wäre der Mittelwertvergleich mittels eines t-Checks gefährlich und würde wahrscheinlich zu unzuverlässigen Ergebnissen führen.

Die robuste Lösung für ein Szenario wie dieses ist die Mann-Whitney-U-Check. Anstatt Durchschnittswerte zu vergleichen, vergleicht dieser Check die Ränge in den Daten und sortiert beispielsweise alle Weine in einer Gruppe vom niedrigsten zum höchsten Alkoholgehalt. Dieser rangbasierte Ansatz ist der Meistertrick, der Ausreißern ihre manchmal gefährliche Größe nimmt. So geht’s:

# Separating our two teams
red_wine = df(df('kind') == 'pink')('alcohol')
white_wine = df(df('kind') == 'white')('alcohol')

# Operating the sturdy Mann-Whitney U take a look at
mwu_results = pg.mwu(x=red_wine, y=white_wine)
print(mwu_results)

Ausgabe:

         U_val different     p_val       RBC      CLES
MWU  3829043.5   two-sided  0.181845 -0.022193  0.488903

Da der p-Wert nicht unter 0,05 liegt, gibt es keinen statistisch signifikanten Unterschied im Alkoholgehalt zwischen den beiden Weintypen – und diese Schlussfolgerung ist garantiert ausreißer- und schiefesicher.

// Abenteuer 2: Wenn der gepaarte T-Check fehlschlägt

Angenommen, Sie möchten nun zwei Messungen desselben Probanden vergleichen – z. B. den Zuckerspiegel eines Patienten vor und nach einem Arzneimittelprototyp oder zwei in derselben Flasche Wein gemessene Eigenschaften. Der Fokus liegt hier darauf, wie die Unterschiede zwischen gepaarten Messungen verteilt werden. Wenn solche Unterschiede nicht normalverteilt sind, führt ein standardmäßiger gepaarter T-Check zu unzuverlässigen Konfidenzintervallen.

Die ideale Lösung in diesem Szenario ist die Wilcoxon-Signed-Rank-Check: der robuste Bruder des gepaarten t-Checks, der durch Beobachtung der Unterschiede zwischen Spalten und Rangfolge ihrer absoluten Werte funktioniert. In Pingouin wird dieser Check „utilizing“ genannt pg.wilcoxon()indem die beiden Spalten übergeben werden, die die gepaarten Maße innerhalb desselben Themas enthalten – z. B. zwei Arten von Weinsäure.

# Run the sturdy Wilcoxon signed-rank take a look at for paired knowledge
wilcoxon_results = pg.wilcoxon(x=df('fastened acidity'), y=df('unstable acidity'))
print(wilcoxon_results)

Ergebnis:

          W_val different  p_val  RBC  CLES
Wilcoxon    0.0   two-sided    0.0  1.0   1.0

Das obige Ergebnis zeigt einen statistisch signifikanten Unterschied oder eine „perfekte Trennung“ zwischen den beiden Messungen. Die beiden Weineigenschaften sind nicht nur unterschiedlich, sie wirken auch im gesamten Datensatz auf völlig unterschiedlichen Größenstufen.

// Abenteuer 3: Wenn die ANOVA fehlschlägt

In diesem dritten und letzten Abenteuer wollen wir prüfen, ob sich der Restzuckergehalt im Wein bei verschiedenen Qualitätsbewertungen erheblich unterscheidet. Beachten Sie, dass letztere zwischen 3 und 9 liegen, ganzzahlige Werte annehmen und daher als diskrete Kategorien behandelt werden können.

Wenn der Levene-Homoskedastizitätstest nach Pingouin dramatisch versagt – zum Beispiel, weil die Zuckervarianz bei mittelmäßigen Weinen groß ist, bei Spitzenweinen jedoch sehr gering – kann eine klassische einfaktorielle ANOVA zu irreführenden Ergebnissen führen, da dieser Check gleiche Varianzen zwischen den Gruppen annimmt.

Die Lösung ist Welchs ANOVAwodurch Gruppen mit hoher Varianz bestraft werden, wodurch Skalen ausgeglichen werden und Vergleiche über mehrere Kategorien hinweg fairer werden. So führen Sie diese robuste Various zur herkömmlichen ANOVA mit Pingouin durch:

# Run Welch's ANOVA to check sugar throughout high quality scores
welch_results = pg.welch_anova(knowledge=df, dv='residual sugar', between='high quality')
print(welch_results)

Ergebnis:

    Supply  ddof1      ddof2          F         p_unc       np2
0  high quality      6  54.507934  10.918282  5.937951e-08  0.008353

Auch wenn eine einfaktorielle ANOVA aufgrund ungleicher Varianzen möglicherweise Schwierigkeiten gehabt hätte, liefert die ANOVA von Welch eine solide Schlussfolgerung. Der sehr kleine p-Wert ist ein klarer Beweis dafür, dass sich die Restzuckerwerte je nach Weinqualitätsbewertung erheblich unterscheiden. Bedenken Sie jedoch, dass Zucker nur ein kleiner Teil des Puzzles ist, das die Weinqualität beeinflusst – ein Punkt, der durch den niedrigen Eta-Quadrat-Wert von 0,008 unterstrichen wird.

# Zusammenfassung

Anhand von drei Beispielszenarien, die jeweils ein Drawback mit chaotischen Daten mit einer robusten statistischen Strategie verbinden, haben wir gelernt, dass ein erfahrener Datenwissenschaftler nicht bedeutet, über perfekte Daten zu verfügen oder diese perfekt abzustimmen – es bedeutet zu wissen, was zu tun ist, wenn die Daten aus unterschiedlichen Gründen schwierig werden. Die Funktionen von Pingouin implementieren eine Vielzahl robuster Checks, die dabei helfen, der Falle fehlgeschlagener Annahmen zu entkommen und mit geringem Mehraufwand mathematisch fundierte Erkenntnisse zu gewinnen.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.

Good Knowledge Collective untersucht seit langem, wie Unternehmen Nutzen Sie Datenanalysen, um zu wachsen on-line und reduzieren gleichzeitig die Zeit- und Arbeitsverschwendung. Heutzutage ist besonders hervorzuheben, dass Unternehmen schneller intelligentere Entscheidungen treffen können, wenn sie sich auf Daten statt auf Vermutungen verlassen.

Naveen Kumar von Demand Sage berichtet das Über 97 % der Unternehmen weltweit haben in Massive Knowledge investiertund er erklärt: „Darüber hinaus werden 70 % der weltweiten Daten von Benutzern generiert und etwa 90 % davon sind unstrukturiert. Mit über 19 Milliarden IoT-Geräten und Netflix, die durch datengesteuerte Algorithmen 1 Milliarde US-Greenback professional Jahr einsparen, verändert Massive Knowledge Branchen, Arbeitsplätze und globale Konnektivität in Echtzeit. Lassen Sie uns mehr darüber erfahren.“ Es gibt klare Gründe, warum Unternehmen weiterhin stark investieren, denn Daten ermöglichen es ihnen, das Kundenverhalten im großen Maßstab zu verstehen, ohne die Arbeitsbelastung zu erhöhen, und Sie sehen, wie die Automatisierung eine wichtige Rolle bei der Reduzierung des manuellen Aufwands spielt. Lesen Sie weiter, um mehr zu erfahren.

Wie Datenanalysen den Aufwand reduzieren und gleichzeitig das Wachstum vorantreiben

Was die Datenanalyse so leistungsstark macht, ist ihre Fähigkeit, Versuch und Irrtum durch messbare Erkenntnisse zu ersetzen, die Entscheidungen leiten. Sie können schnell erkennen, was funktioniert, was weniger Kampagnenverschwendung und konsistentere Ergebnisse bedeutet.

Ein auf LinkedIn veröffentlichter Bericht von Analytical Issue unter Berufung auf eine Umfrage von Nucleus Analysis ergab, dass Unternehmen generieren eine durchschnittliche Rendite von 13,01 US-Greenback für jeden in Analysen investierten Greenbackwas einem ROI von 1.200 % entspricht. Es gibt starke finanzielle Anreize für Unternehmen, sich auf die Analytik zu konzentrieren, und es ist klar, dass selbst kleine Verbesserungen im Laufe der Zeit zu großen Gewinnen führen können. Sie können auch sehen, wie diese Rücksendungen die Notwendigkeit ständiger manueller Anpassungen verringern, da die Daten hervorheben, was wiederholt oder verbessert werden sollte.

Das fällt Ihnen vielleicht auf Unternehmen, die Analysen nutzen Verbringen Sie weniger Zeit mit Raten und mehr Zeit mit der Umsetzung bewährter Strategien. Es wird einfacher, leistungsstarke Produkte, Zielgruppen und Kanäle zu identifizieren, ohne alles blind testen zu müssen.

Ein weiterer Vorteil für Unternehmen ist die Möglichkeit, Routineentscheidungen zu automatisieren, was die Arbeitsbelastung aller Groups verringert. Sie können sich auf Dashboards und Berichte verlassen, um Erkenntnisse zu gewinnen, anstatt sich manuell durch Rohdaten zu wühlen.

Es gibt Muster im Kundenverhalten, die durch Analysen sichtbar werden und es Unternehmen ermöglichen, Bedürfnisse vorherzusehen, anstatt zu spät zu reagieren. Etwas, das hilft, ist die Verfolgung von Benutzerreisen, die genau zeigt, wo Menschen konvertieren oder absteigen.

Für Unternehmen ist es oft einfacher zu skalieren, wenn sie über klare Daten verfügen, die ihr Handeln leiten, da sie erfolgreiche Strategien über mehrere Kanäle hinweg reproduzieren können. Sie können sich auf Aktivitäten mit großer Wirkung konzentrieren, anstatt den Aufwand auf zu viele Experimente zu verteilen.

Möglicherweise stellen Sie fest, dass Analysetools komplexe Daten in visuelle Darstellungen umwandeln, die Groups schnell verstehen können. Eine weitere Möglichkeit, den Aufwand zu reduzieren, ist die Zentralisierung der Daten, wodurch die Notwendigkeit entfällt, Informationen aus mehreren getrennten Quellen abzurufen.

Es wird deutlich, dass Unternehmen, die on-line erfolgreich sind, nicht härter, sondern intelligenter arbeiten und dabei jeden Schritt von Daten leiten. Sie können sehen, wie dieser Ansatz den Stress für die Groups reduziert und gleichzeitig die Ergebnisse in den Bereichen Advertising, Vertrieb und Betrieb verbessert.

Es ist klar, dass Datenanalysen es Unternehmen ermöglichen, mit weniger Ressourcen mehr zu erreichen, wenn Entscheidungen auf Fakten statt auf Annahmen basieren. Eine weitere Sache, die Führungskräfte erkennen, ist, dass nachhaltiges Wachstum oft durch die Verfeinerung bereits Funktionierter entsteht, anstatt ständig bei Null anzufangen.

Es gibt Unternehmen, die offenbar etwas geknackt haben, an dem alle anderen noch arbeiten. Ihr Inhalt wird ohne Zweifel angezeigt. Ihre Marke erscheint in den richtigen Gesprächen. Ihr Identify taucht auf, wenn potenzielle Kunden nach Lösungen in ihrer Kategorie suchen. Und doch scheinen die Menschen hinter diesen Unternehmen nicht härter zu arbeiten als ihre Konkurrenten. Sie scheinen anders zu funktionieren.

Es lohnt sich, diesen Unterschied zu verstehen, denn er ist weder eine Frage des Glücks noch des Budgets. Es handelt sich um eine besondere Denkweise über On-line-Präsenz, die die meisten Unternehmen noch nicht gefunden haben.

Der Unterschied zwischen Aktivität und System

Der Unternehmen, die Schwierigkeiten haben Die meisten Unternehmen mit On-line-Wachstum neigen dazu, es als eine Reihe unzusammenhängender Aktivitäten zu betrachten. Sie veröffentlichen Inhalte, führen Kampagnen durch, aktualisieren ihre Web site und experimentieren mit neuen Plattformen. Da ist echte Anstrengung nötig. Der Aufwand ist jedoch nicht in einem kohärenten System organisiert und kann daher nicht in eine sinnvolle Richtung gebündelt werden.

Die Unternehmen, die scheinbar mühelos gewinnen, haben quick ausnahmslos ein System und nicht eine Ansammlung von Aktivitäten aufgebaut. Jeder Kanal dient einem bestimmten Zweck. Jeder Inhalt hat eine Aufgabe innerhalb einer breiteren Struktur. Der Output einer Anstrengung speist die nächste, und im Laufe der Zeit erzeugt das System Ergebnisse, die in keinem Verhältnis zur sichtbaren geleisteten Arbeit stehen.

Der Aufbau eines solchen Methods ist nicht passiv. Es erfordert viel Vorabdenken und die Bereitschaft, nicht jeder neuen Plattform oder jedem neuen Pattern hinterherzujagen. Aber wenn es erst einmal vorhanden ist, läuft es mit einer Dynamik, die einzelne Kampagnen nicht reproduzieren können.

Die Rolle der Klarheit, damit die Dinge einfach aussehen

Eines der beständigsten Merkmale von Unternehmen, die on-line erfolgreich sind, ohne den Anschein zu erwecken, dass sie sich anstrengen, ist Klarheit. Sie wissen genau, mit wem sie sprechen, was sie anbieten und warum es wichtig ist. Sie sind sich darüber im Klaren, welche spezifischen Kanäle ihr Publikum erreichen und welche Formate innerhalb dieser Kanäle am besten funktionieren.

Diese Klarheit bedeutet, dass sie ihre Energie nicht an den falschen Stellen verschwenden. Sie produzieren keine Inhalte für Plattformen, auf denen es kein Publikum gibt. Sie führen keine Kampagnen durch, die alle ansprechen und niemanden sinnvoll erreichen. Der Fokus auf echte Klarheit führt zu Ergebnissen, die nach Leichtigkeit aussehen, aber das Ergebnis disziplinierter und konsequent angewandter Entscheidungsfindung sind.

Was ein guter Accomplice tut

Unternehmen, die mit Fachkräften zusammenarbeiten Agentur für digitales Advertising beschreiben oft einen Wendepunkt, der nicht auf eine neue Taktik, sondern auf eine neue Ebene der Klarheit darüber zurückzuführen ist, was sie tatsächlich tun und warum. Die Agentur bringt die nötige Außenperspektive ein, um zu sehen, welche Bemühungen wirklich funktionieren, welche Aufsehen erregen und welche völlig fehlen.

Diese Klarheit verändert den Charakter des Werkes. Entscheidungen werden einfacher. Ressourcen werden mit größerer Zuversicht zugewiesen. Und die Ergebnisse, die zuvor zufällig wirkten, beginnen mit der Zeit einem vorhersehbareren Muster zu folgen.

Das lange Spiel, das wie kein Spiel aussieht

Die Unternehmen, die scheinbar on-line gewinnen, ohne es zu versuchen, spielen quick immer ein langes Spiel. Sie haben in den Aufbau von etwas Dauerhaftem investiert, anstatt kurzfristigen Spitzen hinterherzujagen. Sie haben akzeptiert, dass der Aufbau der wertvollsten Formen der On-line-Präsenz Zeit braucht und keine sinnvolle Abkürzung sein kann.

Da sie nicht auf jede Veränderung der Landschaft reagieren, wirken sie ruhig. Da sie etwas aufgebaut haben, das sie verbindet, müssen sie sich nicht jeden Monat so sehr anstrengen. Das System übernimmt die schwere Arbeit und sie konzentrieren sich darauf, dass es intestine läuft.

Ich hatte schon immer ein Händchen für das Geschichtenerzählen von Daten. Wissen Sie, die Muster zu finden und visuelle Darstellungen zu erstellen, die tatsächlich Sinn machten.

Ich hatte die Prinzipien gelernt und ehrlich gesagt dachte ich, ich hätte alles herausgefunden.

Stellen Sie die richtigen Fragen, bevor Sie Ihr Visualisierungstool überhaupt öffnen, und konzentrieren Sie sich dann darauf, eine klare Geschichte zu erzählen, anstatt eine Sammlung von Metriken.

Bei alledem hatte ich das Gefühl, den Code geknackt zu haben.

Ich wusste nicht, dass das nur der einfache Teil conflict.

Der schwierige Teil bestand darin, andere dazu zu bringen, diese Einfachheit zu akzeptieren.

Was mich überraschte, conflict, wie oft sich die Beteiligten zurückhielten. In dem Sinne, dass sie mehr Kennzahlen, mehr Aufschlüsselungen und im Grunde mehr von allem verlangen werden.

Und plötzlich stecken Sie zwischen den Prinzipien, die Sie gerade gelernt haben, und der Realität der tatsächlichen Auslieferung eines Dashboards fest.

Dies ist der Teil, über den sie Ihnen in den Tutorials nichts erzählen.

In diesem Artikel geht es um diese Lücke.

Ich erläutere Ihnen, was passiert ist, als ich versuchte, ein einfaches Dashboard in einer echten Organisation zu verteidigen, warum Stakeholder immer „alles hinzufügen“ wollen und welche Strategien ich gelernt habe, um mit diesem Spannungsverhältnis umzugehen.

Keine Theorie, sondern tatsächliche Taktiken, die echte Treffen überdauerten.

Wenn Sie schon einmal ein Dashboard vereinfacht haben und dann zusehen mussten, wie es wieder ins Chaos stürzte, glauben Sie mir, das hier ist das Richtige für Sie.

Das Stakeholder-Downside

Ich ging zuversichtlich in die Besprechung.

Mein neues Dashboard hatte drei klare Visualisierungen: ein Liniendiagramm, das den Development zeigt, ein Balkendiagramm, das die wichtigsten Treiber aufschlüsselt, und eine KPI-Karte mit der Metrik, die wirklich wichtig ist.

Mein Supervisor hat es auf die große Leinwand gebracht. Zehn Sekunden Scrollen, vielleicht weniger.

„Das ist großartig“, sagte sie.

„Aber können Sie die regionale Aufschlüsselung hinzufügen? Und vielleicht den Buyer Lifetime Worth? Oh, und was ist mit dem Conversion-Trichter nach Produktkategorie?“

Oh.

Mein Magen zog sich zusammen.

Ich verließ dieses Treffen mit sieben neuen Anfragen. Habe sie alle auf einen Zettel geschrieben. Eigentlich habe ich diesen Zettel noch irgendwo.

Mathe ist nicht meine stärkste Fähigkeit, aber selbst ich konnte erkennen, wohin das führen würde. Von drei Charts auf zehn. Das ist ziemlich viel.

Ich machte mich sofort an die Arbeit und reiste irgendwie durch die Zeit zurück zu meinem ersten Versuch.

Es erinnerte mich an eine unangenehme Wahrheit: Die Daten zu kennen ist eine Sache, sie aber intestine zu kommunizieren, ist eine ganz andere Fähigkeit.

Additionally habe ich etwas Riskantes getan. Ich habe zwei Versionen gebaut.

Model A hatte alles, was sie wollte: alle zehn Diagramme, alle Metriken und mehrere Filter.

Model B hingegen blieb einfach (genau wie ich es wollte): drei Visualisierungen, eine Erzählung und eine klare Hierarchie.

Am nächsten Morgen zeigte ich ihr beides.

Model A zuerst. Sie scrollte und runzelte leicht die Stirn. „Das hat alles … aber ich weiß nicht, worauf ich mich konzentrieren soll.“

Dann Model B. Sie beugte sich vor. „Warte. Das sagt mir tatsächlich etwas.“

Sie entschied sich für Model B. Sie bat mich aber, „für alle Fälle“ Model A beizubehalten.

Dieser Second hat mich etwas Entscheidendes gelehrt: Die Verteidigung der Einfachheit bedeutet nicht, stur zu sein. Es geht darum, den Stakeholdern zu zeigen, was sie verlieren, wenn man zu viel hinzufügt.

Das Prinzip des Sign-Rausch-Verhältnisses gilt hier genauso wie beim maschinellen Lernen. Wenn Sie zu viele Funktionen hinzufügen, passt Ihr Modell zu stark und verliert an Vorhersagekraft.

Wenn Sie zu viele Diagramme hinzufügen, passt sich Ihr Dashboard nicht mehr den Anforderungen einzelner Stakeholder an und verliert seinen erzählerischen Fokus.

Gleiches Downside, andere Domäne.

Zumindest denke ich so darüber. Ich könnte über die Analogie nachdenken.

Es geht nicht um die Charts

Es hat länger gedauert, als ich zugeben möchte, bis mir das klar wurde, aber die Stakeholder versuchen nicht, Ihnen das Leben schwer zu machen. Die Wahrheit ist, sie haben einfach Angst.

Sie haben Angst, ohne Antwort in einer Besprechung zu sein, und haben wahrscheinlich Angst, dass die eine Kennzahl, die sie übersprungen haben, genau das ist, wonach jemand fragen wird.

Irgendwann habe ich herausgefunden, dass meine Managerin nicht nach zehn Diagrammen gefragt hat, weil sie dachte, dass es besser aussehen würde. Sie deckte ihre Grundlagen ab und reduzierte Risiken. Weißt du, sie schützt sich vor Unsicherheit und ähnlichen Dingen.

Und damit conflict es noch nicht vorbei.

Es gibt auch dieses Vertrauensproblem, an das ich zunächst nicht gedacht habe.

Hier ist das Ding.

Wenn Sie ein Dashboard vereinfachen, treffen Sie Entscheidungen darüber, was wichtig ist und was nicht.

Macht doch Sinn, oder? Aber hier wird es schwierig.

Wenn Stakeholder Sie noch nicht kennen oder Sie noch nie gute Entscheidungen getroffen haben, werden sie diesen Urteilen nicht vertrauen. Dann heißt es standardmäßig: „Zeig mir alles, damit ich entscheiden kann.“

Es hat eine Weile gedauert, aber als mir klar wurde, dass es bei den Anfragen nach mehr nicht wirklich um Diagramme ging, konnte ich anfangen, mich mit den Dingen zu befassen, worüber sich die Leute eigentlich Sorgen machten.

Die Menschen hatten Angst, ohne Antwort erwischt zu werden. Außerdem vertrauten sie meinem Urteil noch nicht, was truthful conflict.

Es hat viel zu lange gedauert, bis ich das herausgefunden habe. Aber zumindest weiß ich jetzt, womit ich es zu tun habe.

Strategien, die funktionierten

Zu verstehen, warum Stakeholder mehr wollen, ist eine Sache. Zu wissen, was man dagegen tun kann, ist etwas völlig anderes.

Es hat eine Weile gedauert, bis ich das herausgefunden habe, aber ich habe ein paar Ansätze gefunden, die tatsächlich helfen. Keiner von ihnen ist perfekt, aber sie funktionieren in den meisten Fällen.

Beginnen Sie das Gespräch, bevor Sie etwas bauen

Das klingt offensichtlich, aber ich habe es immer wieder übersprungen. Ich würde zuerst das Dashboard erstellen und dann versuchen, meine Entscheidungen später zu verteidigen. Rückwärts.

Jetzt beginne ich mit einem 15-minütigen Gespräch. Nun, manchmal könnte es weniger sein, wenn die Leute beschäftigt sind.

Die Zeit muss nicht spezifisch sein, sie reicht aus, um zu fragen: Welche Entscheidung versuchen Sie mit diesen Daten zu treffen? Wer wird sich das sonst noch ansehen? Und was passiert, wenn wir das falsch verstehen?

Diese Fragen helfen in mehrfacher Hinsicht.

Zunächst einmal zeigen sie, dass Sie über ihre Probleme nachdenken und nicht nur über Ihre Designprinzipien. Empathie ist ein Kritische Fähigkeiten in der Datenwissenschaftinsbesondere wenn Sie Menschen brauchen, die das, was Sie bauen, tatsächlich nutzen.

Darüber hinaus geben sie Ihnen etwas, auf das Sie später zurückgreifen können.

Wenn jemand beispielsweise nach einem weiteren Diagramm fragt, können Sie das Gespräch auf das ursprüngliche Ziel zurückführen und ihn an die Entscheidung erinnern, die es unterstützt, an die Zielgruppe, die es anspricht, und an das Risiko, etwas falsch zu machen.

Dieser Wandel ist wichtig.

Eine Menge.

Denn jetzt dreht sich das Gespräch nicht mehr um das, was dürfen hinzugefügt werden, es geht darum, was seinen Platz verdient.

Bauen Sie Vertrauen auf, indem Sie es zeigen, nicht erzählen

Zu Beginn meiner Karriere habe ich versucht, Menschen mit Prinzipien zu überzeugen. Dinge wie „Finest Practices“ zur Lösung von Problemen oder zur Navigation in bestimmten Themen.

Stellt sich heraus? Es interessiert niemanden wirklich. Oder vielleicht kümmert es sie ein wenig, aber nicht genug, um ihre Angst, etwas zu verpassen, zu überwinden.

Additionally hörte ich auf, Menschen mit Worten zu überzeugen, und begann stattdessen, ihnen die Wirkung zu zeigen.

Ich habe angefangen, die umfassende Model beizubehalten, aber die einfache Model zur Standardversion zu machen.

Später würde ich verfolgen, wie die Stakeholder sie tatsächlich genutzt haben. Und in neun von zehn Fällen nutzten sie die einfache Model und rührten nie das Backup an.

Einmal sagte mir eine Vizepräsidentin, sie hätte tatsächlich vergessen, dass die umfassende Model existierte. Da wusste ich, dass wir etwas auf der Spur waren.

Wissen, wann man Kompromisse eingehen sollte (und wann nicht)

Das ist einfacher als es klingt.

Nach so vielen Treffen wie diesem habe ich gelernt, meine Schlachten auszuwählen. Nicht jede Bitte ist es wert, gekämpft zu werden.

Wenn jemand ein weiteres Diagramm hinzufügen möchte und es die Erzählung nicht grundlegend zerstört? Bußgeld. Fügen Sie es hinzu. Bewahren Sie Ihre Glaubwürdigkeit für die größeren Probleme auf.

Aber wenn eine Anfrage Ihr fokussiertes Dashboard in einen Datendump verwandeln würde? Dann drücke ich zurück.

Mein Ansatz besteht jetzt darin, zuzustimmen, das hinzuzufügen, was sie verlangen, aber ich befürchte, dass dies die Hauptfrage verwirren könnte. Fügen Sie alles hinzu, überprüfen Sie es gemeinsam und prüfen Sie, ob es noch funktioniert.

Letzte Gedanken

Klare Dashboards zu erstellen ist eine Fähigkeit, aber sie klar zu halten, wenn alle mehr wollen? Das ist nun eine ganz andere Herausforderung.

Früher dachte ich, es ginge um die Charts. Das ist es nicht. Es geht darum, zu verstehen, worüber sich die Menschen tatsächlich Sorgen machen, und diese Bedenken auszuräumen, ohne Ihr Dashboard ins Chaos zu stürzen.

An manchen Tagen verstehe ich es immer noch falsch. Ich gebe zu schnell nach oder kämpfe Schlachten, die keine Rolle spielen. Aber ich lerne immer noch.

Wenn Sie zwischen dem, von dem Sie wissen, dass es funktioniert, und dem, was Ihre Organisation akzeptieren wird, nicht weiterkommen, machen Sie sich keine Sorgen, Sie sind nicht allein. Wir sind alle dabei, das herauszufinden.

MIT Abteilung für Mathematikforscher David Roe ’06 und Andrew Sutherland ’90, PhD ’07 gehören zu den ersten Empfängern der Renaissance Philanthropy und XTX Markets ‚ KI für Mathematikzuschüsse.

Vier zusätzliche MIT -Alumni – Anshula Gandhi ’19, Viktor Kunčak SM ’01, PhD ’07; Gireeja Ranade ’07; und Damiano Testa PhD ’05 – wurden auch für separate Projekte geehrt.

Die ersten 29 Gewinnerprojekte werden Mathematiker und Forscher an Universitäten und Organisationen unterstützen, die an der Entwicklung künstlicher Intelligenzsysteme arbeiten, die dazu beitragen, die mathematische Entdeckung und Forschung in verschiedenen wichtigen Aufgaben zu fördern.

Roe und Sutherland zusammen mit Chris Birkbeck von der College of East Anglia wird ihren Zuschuss nutzen, um den automatisierten Satz zu steigern, der durch den Aufbau von Verbindungen zwischen dem beweist L-Funktionen und modulare Formendatenbank (LMFDB) und die Lean4 Arithmetic Library (Mathlib).

„Automatisierte Theoremprover sind technisch sehr involviert, aber ihre Entwicklung ist unterausgemerkt“, sagt Sutherland. Mit KI -Technologien wie Großsprachemodellen (LLMs) fällt die Eintrittsbarriere für diese formalen Instruments schnell ab und macht formelle Überprüfungsrahmen für arbeitende Mathematiker zugänglich.

Mathlib ist eine große, gemeinschaftsgetriebene mathematische Bibliothek für die Mager Theorem Prover, ein formales System, das die Richtigkeit jedes Schritts in einem Beweis überprüft. Mathlib enthält derzeit in der Reihenfolge von 10⁵ Mathematische Ergebnisse (wie Lemmas, Aussagen und Theoreme). Die LMFDB, eine huge, kollaborative On-line -Ressource, die als eine Artwork „Enzyklopädie“ der modernen Zahlentheorie dient, enthält mehr als 10⁹ konkrete Aussagen. Sutherland und Roe sind geschäftsführende Redakteure der LMFDB.

Der Zuschuss von Roe und Sutherland wird für ein Projekt verwendet, das darauf abzielt, beide Systeme zu erweitern, die Ergebnisse der LMFDB in Mathlib als Behauptungen verfügbar zu machen, die noch nicht formell nachgewiesen wurden, und genaue formale Definitionen der im LMFDB gespeicherten numerischen Daten bereitzustellen. Diese Brücke wird sowohl menschlichen Mathematikern als auch KI-Agenten zugute kommen und einen Rahmen für die Verbindung anderer mathematischer Datenbanken mit formalen Theorem-Schreibsystemen bieten.

Die Haupthindernisse für die Automatisierung mathematischer Entdeckungen und Beweise sind die begrenzte Menge formalisiertes mathematisches Wissen, die hohen Kosten für die Formalisierung komplexer Ergebnisse und die Lücke zwischen dem, was rechnerisch zugänglich ist, und dem, was für die Formalisierung möglich ist.

Um diese Hindernisse anzugehen, werden die Forscher die Mittel verwenden, um Instruments für den Zugriff auf das LMFDB von Mathlib zu erstellen und eine große Datenbank mit nicht formalisiertem mathematisches Wissen zugänglich zu machen, das einem formalen Beweissystem zugänglich ist. Dieser Ansatz ermöglicht es Proof -Assistenten, bestimmte Ziele für die Formalisierung zu identifizieren, ohne dass das gesamte LMFDB -Korpus im Voraus formalisiert werden muss.

„Eine große Datenbank mit nicht formalisierten zahlentheoretischen Fakten, die in Mathlib verfügbar sind, liefert eine leistungsstarke Technik für die mathematische Entdeckung, da der Satz von Fakten, die ein Agent bei der Suche nach einem Theorem oder einem Beweis, in Betracht ziehen möchte, exponentiell größer ist als die Set von Fakten, die schließlich beim Tatsachen des Theorems formuliert werden müssen“, sagt Roe.

Die Forscher stellen fest, dass das Nachweis neuer Theoreme an der Grenze des mathematischen Wissens häufig Schritte umfasst, die auf einer nicht trivialen Berechnung beruhen. Zum Beispiel verwendet Andrew Wiles ‚Beweis für Fermats letztes Theorem den sogenannten „3-5 Trick“ an einem entscheidenden Punkt im Beweis.

„Dieser Trick hängt davon ab, dass die modulare Kurve x_0 (15) nur endlich viele rationale Punkte hat und keiner dieser rationalen Punkte einer halbstabilen elliptischen Kurve entspricht“, so Sutherland. „Diese Tatsache warfare weit vor der Arbeit von Wiles bekannt und ist leicht zu überprüfen, ob Computertools in modernen Computeralgebra -Systemen verfügbar sind. Sie kann jedoch nicht realistisch beweisen, wie man mit Bleistift und Papier mithilfe von Papier versorgt wird, und es ist auch nicht unbedingt leicht zu formalisieren.“

Während formale Theorem -Prover zur effizienteren Überprüfung mit Computeralgebra -Systemen verbunden werden, bietet das Tippen auf die Rechenausgaben in vorhandenen mathematischen Datenbanken mehrere andere Vorteile.

Die Verwendung gespeicherter Ergebnisse nutzt die Tausenden von CPU-Jahren der Berechnungszeit, die bereits für die Erstellung des LMFDB aufgewendet wurden, und spart Geld, das für die Wiederholung dieser Berechnungen erforderlich wäre. Vorab vorangezogene Informationen können auch möglich sind, nach Beispielen oder Gegenbeispielen zu suchen, ohne vorher zu wissen, wie breit die Suche sein kann. Darüber hinaus sind mathematische Datenbanken kuratierte Repositorys, nicht nur eine zufällige Sammlung von Fakten.

„Die Tatsache, dass die Zahlentheoretiker die Rolle des Dirigenten in Datenbanken elliptischer Kurven betonten, hat sich bereits als entscheidend für eine bemerkenswerte mathematische Erkennung erwiesen, die mithilfe maschineller Lernwerkzeuge erstellt wurde: MurmelnSagt Sutherland.

„Unsere nächsten Schritte sind es, ein Crew aufzubauen, sich sowohl mit den LMFDB- als auch mit den Mathhlib -Gemeinden zu beschäftigen, die Definitionen zu formalisieren, die die elliptische Kurve, die Zahl der modularen Kind des LMFDB untermauern, und ermöglichen, LMFDB -Suchvorgänge innerhalb von Mathlib durchzuführen“, sagt Roe. „Wenn Sie ein MIT -Pupil sind, der daran interessiert ist, sich zu engagieren, können Sie gerne die Möglichkeit haben!“

Lehren aus der KI-Nobeldebatte

Seit der Verleihung der ersten Nobelpreise im Jahr 1901 ist die letzte Zeit des Jahres zu einer aufregenden Zeit geworden, um bemerkenswerte Persönlichkeiten und ihre Beiträge in verschiedenen Bereichen kennenzulernen.

Diese Nobelsaison conflict besonders faszinierend – und etwas kontrovers – aufgrund der besonderen Anerkennung, die den Fortschritten in der KI in den Kategorien Physik und Chemie zuteil wird.

Die diesjährigen Auszeichnungen heben das enorme Potenzial der KI hervor und werfen drängende Fragen über die Natur wissenschaftlicher Disziplinen in einer Zeit auf, in der … Computermethoden definieren traditionelle Bereiche neu.

In diesem Artikel möchten wir die Rolle der KI bei den Nobelpreisen 2024 untersuchen, die Kontroverse diskutieren, nachdem sich die Lage nun beruhigt hat, und Sie einladen, Ihre Meinung zu diesem Thema mitzuteilen!

Könnte KI eine dauerhafte Präsenz in künftigen Nobelpreiskategorien werden?

Obwohl Pc nicht wie Menschen „denken“ können, können Computeralgorithmen mittlerweile menschenähnliche Funktionen wie Gedächtnis und Lernen nachahmen.