Hatten Sie jemals eine Idee für etwas, das cool aussah, aber in der Praxis nicht intestine funktionierte? Wenn es um die Gestaltung von Dingen wie Dekoration und persönlichen Accessoires geht, können Modelle der generativen künstlichen Intelligenz (genAI) eine Rolle spielen. Sie können kreative und aufwändige 3D-Designs erstellen, aber wenn man versucht, solche Blaupausen in reale Objekte umzuwandeln, halten sie dem alltäglichen Gebrauch meist nicht stand.

Das zugrunde liegende Downside besteht darin, dass genAI-Modellen oft ein Verständnis der Physik fehlt. Während Instruments wie die von Microsoft GITTER Wenn das System aus einer Textaufforderung oder einem Bild ein 3D-Modell erstellen kann, ist das Design beispielsweise für einen Stuhl möglicherweise instabil oder weist nicht verbundene Teile auf. Das Modell versteht nicht vollständig, wozu Ihr beabsichtigtes Objekt dienen soll. Selbst wenn Ihr Sitz additionally in 3D gedruckt werden kann, würde er wahrscheinlich unter der Kraft einer sitzenden Individual auseinanderfallen.

Um diese Entwürfe in der realen Welt zum Laufen zu bringen, unterziehen Forscher des Laptop Science and Synthetic Intelligence Laboratory (CSAIL) des MIT generative KI-Modelle einem Realitätscheck. Ihr „PhysiOpt“-System erweitert diese Instruments durch physikalische Simulationen, sodass Blaupausen für persönliche Gegenstände wie Tassen, Schlüsselhalter und Buchstützen beim 3D-Druck wie vorgesehen funktionieren. Es testet schnell, ob die Struktur Ihres 3D-Modells realisierbar ist, indem es kleinere Formen sanft modifiziert und gleichzeitig sicherstellt, dass das Gesamterscheinungsbild und die Funktion des Designs erhalten bleiben.

Sie können einfach in PhysiOpt eingeben, was Sie erstellen möchten und wofür es verwendet werden soll, oder ein Bild auf die Benutzeroberfläche des Methods hochladen, und in etwa einer halben Minute erhalten Sie ein realistisches 3D-Objekt zum Herstellen. CSAIL-Forscher veranlassten sie beispielsweise, ein „Flamingo-förmiges Trinkglas“ zu entwickeln, das sie in 3D zu einem Trinkglas mit einem Griff und einer Foundation druckten, die dem Bein des tropischen Vogels ähneln. Während der Entwurf erstellt wurde, nahm PhysiOpt geringfügige Verfeinerungen vor, um sicherzustellen, dass der Entwurf strukturell einwandfrei warfare.

„PhysiOpt kombiniert GenAI und physikalisch-basierte Formoptimierung und hilft praktisch jedem, die gewünschten Designs für einzigartige Accessoires und Dekorationen zu erstellen“, sagt Xiao Sean Zhan SM ’25, Doktorand in Elektrotechnik und Informatik (EECS) am MIT und CSAIL-Forscher, der Co-Hauptautor von a ist Papier die Arbeit vorstellen. „Es handelt sich um ein automatisches System, das es Ihnen ermöglicht, die Type unter bestimmten Einschränkungen physisch herstellbar zu machen. PhysiOpt kann seine Kreationen so oft wiederholen, wie Sie möchten, ohne zusätzliche Schulung.“

Mit diesem Ansatz können Sie ein „intelligentes Design“ erstellen, bei dem der KI-Generator Ihren Artikel auf der Grundlage der Benutzerspezifikationen erstellt und dabei die Funktionalität berücksichtigt. Sie können Ihr bevorzugtes generatives 3D-KI-Modell anschließen, und nachdem Sie eingegeben haben, was Sie generieren möchten, geben Sie an, wie viel Kraft oder Gewicht das Objekt aushalten soll. Dies ist eine gute Möglichkeit, den realen Gebrauch zu simulieren, beispielsweise um vorherzusagen, ob ein Haken stark genug ist, um Ihren Mantel zu halten. Benutzer geben außerdem an, aus welchen Materialien sie den Artikel herstellen (z. B. Kunststoff oder Holz) und wie er gestützt wird – beispielsweise steht eine Tasse auf dem Boden, während eine Buchstütze an einer Büchersammlung lehnt.

Angesichts der Besonderheiten beginnt PhysiOpt mit der iterativen Optimierung des Objekts. Unter der Haube läuft eine physikalische Simulation namens „Finite-Elemente-Analyse“, um das Design einem Stresstest zu unterziehen. Dieser umfassende Scan liefert eine Heatmap über Ihrem 3D-Modell, die anzeigt, wo Ihr Entwurf nicht intestine unterstützt wird. Wenn Sie beispielsweise ein Vogelhaus bauen, stellen Sie möglicherweise fest, dass die Stützbalken unter dem Haus leuchtend rot gefärbt sind, was bedeutet, dass das Haus einstürzen wird, wenn es nicht verstärkt wird.

PhysiOpt kann sogar noch mutigere Stücke erstellen. Forscher sahen diese Vielseitigkeit aus erster Hand, als sie einen Steampunk-Schlüsselanhänger (ein Stil, der viktorianische und futuristische Ästhetik verbindet) mit komplizierten, roboterhaft aussehenden Haken und einem „Giraffentisch“ mit flacher Rückseite herstellten, auf dem man Gegenstände ablegen konnte. Aber woher wusste es, was „Steampunk“ ist oder wie so ein einzigartiges Möbelstück aussehen sollte?

Bemerkenswerterweise ist die Antwort keine umfassende Schulung – zumindest nicht seitens der Forscher. Stattdessen verwendet PhysiOpt ein vorab trainiertes Modell, das bereits Tausende von Formen und Objekten gesehen hat. „Bestehende Systeme benötigen oft viel zusätzliches Coaching, um ein semantisches Verständnis dessen zu entwickeln, was Sie sehen möchten“, fügt Co-Hauptautor Clément Jambon hinzu, der auch Doktorand am MIT EECS und CSAIL-Forscher ist. „Aber wir verwenden ein Modell, bei dem das Gespür für das, was Sie erstellen möchten, bereits integriert ist, sodass PhysiOpt keine Schulung erfordert.“

Durch die Arbeit mit einem vorab trainierten Modell kann PhysiOpt „Formprioritäten“ oder das Wissen darüber, wie Formen basierend auf einem früheren Coaching aussehen sollten, nutzen, um das zu generieren, was Benutzer sehen möchten. Es ist so, als würde ein Künstler den Stil eines berühmten Malers nachbilden. Ihr Fachwissen basiert auf der genauen Untersuchung verschiedener künstlerischer Ansätze, sodass sie wahrscheinlich in der Lage sind, diese bestimmte Ästhetik widerzuspiegeln. Ebenso hilft die Vertrautheit eines vorab trainierten Modells mit Formen bei der Generierung von 3D-Modellen.

CSAIL-Forscher stellten fest, dass das visuelle Know-how von PhysiOpt dazu beitrug, 3D-Modelle effizienter zu erstellen als „DiffIPC„, eine vergleichbare Methode, die Formen simuliert und optimiert. Als beide Ansätze mit der Generierung von 3D-Designs für Gegenstände wie Stühle beauftragt wurden, warfare das System von CSAIL professional Iteration quick zehnmal schneller und schuf gleichzeitig realistischere Objekte.

PhysiOpt stellt eine potenzielle Brücke zwischen Ideen und realen persönlichen Gegenständen dar. Was Sie vielleicht für eine großartige Idee für eine Kaffeetasse halten, könnte bald den Sprung von Ihrem Computerbildschirm auf Ihren Schreibtisch schaffen. Und während PhysiOpt bereits die Stresstests für Designer durchführt, könnte es bald in der Lage sein, Einschränkungen wie Lasten und Grenzen vorherzusagen, anstatt dass Benutzer diese Particulars angeben müssen. Dieser autonomere, vernünftigere Ansatz könnte durch die Einbindung von Imaginative and prescient-Language-Modellen ermöglicht werden, die das Verständnis menschlicher Sprache mit Laptop Imaginative and prescient kombinieren.

Darüber hinaus beabsichtigen Zhan und Jambon, die Artefakte oder zufälligen Fragmente, die gelegentlich in den 3D-Modellen von PhysiOpt auftauchen, zu entfernen, indem sie das System noch physikbewusster machen. Die MIT-Wissenschaftler überlegen auch, wie sie komplexere Einschränkungen für verschiedene Herstellungstechniken modellieren können, beispielsweise die Minimierung überhängender Komponenten für den 3D-Druck.

Zhan und Jambon haben ihre Arbeit mit Kenney Ng ’89, SM ’90, PhD ’00, dem leitenden Forschungswissenschaftler des Watson AI Lab des MIT-IBM Watson, und zwei CSAIL-Kollegen geschrieben: dem Bachelor-Forscher Evan Thompson und der Assistenzprofessorin Mina Konaković Luković, einer leitenden Forscherin im Labor.

Die Arbeit der Forscher wurde teilweise vom MIT-IBM Watson AI Laboratory und der Wistron Corp. unterstützt. Sie präsentierten sie im Dezember auf der SIGGRAPH-Konferenz und Ausstellung über Computergrafik und interaktive Techniken der Affiliation for Computing Equipment in Asien.

Bild von Autor | Chatgpt

Einführung

Das Erstellen interaktiver webbasierter Daten-Dashboards in Python ist einfacher als je zuvor, wenn Sie die Stärken von kombinieren StraffungAnwesend PandasUnd Handlung. Diese drei Bibliotheken arbeiten nahtlos zusammen, um statische Datensätze in reaktionsschnelle, visuell ansprechende Anwendungen umzuwandeln – alle, ohne einen Hintergrund in der Webentwicklung zu benötigen.

Es gibt jedoch einen wichtigen architektonischen Unterschied zu verstehen, bevor wir beginnen. Im Gegensatz zu Bibliotheken wie Matplotlib oder Seeborn, die direkt in Jupyter -Notebooks arbeiten, erstellt Streamlit eigenständige Webanwendungen, die aus der Befehlszeile ausgeführt werden müssen. Sie schreiben Ihren Code in eine textbasierte IDE wie VS-Code, speichern Sie ihn als a .Py -Dateiund führen Sie es mit streamlit run Filename.py. Diese Verschiebung von der Pocket book-Umgebung zur skriptbasierten Entwicklung eröffnet neue Möglichkeiten zum Teilen und Bereitstellen Ihrer Datenanwendungen.

In diesem praktischen Tutorial lernen Sie, wie Sie ein komplettes Verkaufs-Dashboard aufbauen können zwei klare Schritte. Wir beginnen mit der Kernfunktionalität mit nur Streamlit und Pandas und verbessern dann das Dashboard mit interaktiven Visualisierungen mithilfe von Plotly.

Aufstellen

Installieren Sie die erforderlichen Pakete:

pip set up streamlit pandas plotly

Erstellen Sie einen neuen Ordner für Ihr Projekt und öffnen Sie ihn in VS -Code (oder Ihrem bevorzugten Texteditor).

Schritt 1: Stromverschluss + Pandas Dashboard

Beginnen wir damit, ein funktionales Dashboard mit nur Stromversorgung und Pandas zu erstellen. Dies zeigt, wie streamlit interaktive Internet -Schnittstellen erstellt und wie Pandas die Datenfilterung umgeht.

Erstellen Sie eine Datei aufgerufen STEP1_Dashboard_Basic.py:

import streamlit as st
import pandas as pd
import numpy as np

# Web page config
st.set_page_config(page_title="Primary Gross sales Dashboard", structure="broad")

# Generate pattern information
np.random.seed(42)
df = pd.DataFrame({
    'Date': pd.date_range('2024-01-01', intervals=100),
    'Gross sales': np.random.randint(500, 2000, dimension=100),
    'Area': np.random.alternative(('North', 'South', 'East', 'West'), dimension=100),
    'Product': np.random.alternative(('Product A', 'Product B', 'Product C'), dimension=100)
})

# Sidebar filters
st.sidebar.title('Filters')
areas = st.sidebar.multiselect('Choose Area', df('Area').distinctive(), default=df('Area').distinctive())
merchandise = st.sidebar.multiselect('Choose Product', df('Product').distinctive(), default=df('Product').distinctive())

# Filter information
filtered_df = df((df('Area').isin(areas)) & (df('Product').isin(merchandise)))

# Show metrics
col1, col2, col3 = st.columns(3)
col1.metric("Whole Gross sales", f"${filtered_df('Gross sales').sum():,}")
col2.metric("Common Gross sales", f"${filtered_df('Gross sales').imply():.0f}")
col3.metric("Information", len(filtered_df))

# Show filtered information
st.subheader("Filtered Information")
st.dataframe(filtered_df)

Lassen Sie uns die hier verwendeten wichtigen Stromversorgungsmethoden aufschlüsseln:

• St.Set_Page_Config () Konfiguriert den Registerkarte und Format des Browsers
• St.SideBar Erstellt das linke Navigationspanel für Filter
• St. Multiselect () Generiert Dropdown -Menüs für Benutzerauswahl
• St.Columns () Erstellt nebeneinander Layoutabschnitte
• St.Metric () Zeigt große Zahlen mit Etiketten an
• St.Dataframe () Rendert interaktive Datentabellen

Diese Methoden verarbeiten automatisch Benutzerinteraktionen und lösen App -Updates, wenn sich die Auswahl ändert.

Führen Sie dies von Ihrem Terminal aus (oder integriertes Terminal des VS -Codes) aus:

streamlit run step1_dashboard_basic.py

Ihr Browser wird sich öffnen http: // localhost: 8501 Zeigen Sie ein interaktives Dashboard.

Versuchen Sie, die Filter in der Seitenleiste zu ändern – beobachten Sie, wie die Metriken und die Datentabelle automatisch aktualisieren! Dies zeigt die reaktive Natur von stromloses Kombination mit den Datenmanipulationsfunktionen von Pandas.

Schritt 2: Fügen Sie Plotly für interaktive Visualisierungen hinzu

Lassen Sie uns nun unser Dashboard verbessern, indem wir die interaktiven Diagramme von Plotly hinzufügen. Dies zeigt, wie alle drei Bibliotheken nahtlos zusammenarbeiten. Erstellen wir eine neue Datei und rufen Sie sie an STEP2_Dashboard_Plotly.py:

import streamlit as st
import pandas as pd
import plotly.categorical as px
import numpy as np

# Web page config
st.set_page_config(page_title="Gross sales Dashboard with Plotly", structure="broad")

# Generate information
np.random.seed(42)
df = pd.DataFrame({
    'Date': pd.date_range('2024-01-01', intervals=100),
    'Gross sales': np.random.randint(500, 2000, dimension=100),
    'Area': np.random.alternative(('North', 'South', 'East', 'West'), dimension=100),
    'Product': np.random.alternative(('Product A', 'Product B', 'Product C'), dimension=100)
})

# Sidebar filters
st.sidebar.title('Filters')
areas = st.sidebar.multiselect('Choose Area', df('Area').distinctive(), default=df('Area').distinctive())
merchandise = st.sidebar.multiselect('Choose Product', df('Product').distinctive(), default=df('Product').distinctive())

# Filter information
filtered_df = df((df('Area').isin(areas)) & (df('Product').isin(merchandise)))

# Metrics
col1, col2, col3 = st.columns(3)
col1.metric("Whole Gross sales", f"${filtered_df('Gross sales').sum():,}")
col2.metric("Common Gross sales", f"${filtered_df('Gross sales').imply():.0f}")
col3.metric("Information", len(filtered_df))

# Charts
col1, col2 = st.columns(2)

with col1:
    fig_line = px.line(filtered_df, x='Date', y='Gross sales', shade="Area", title="Gross sales Over Time")
    st.plotly_chart(fig_line, use_container_width=True)

with col2:
    region_sales = filtered_df.groupby('Area')('Gross sales').sum().reset_index()
    fig_bar = px.bar(region_sales, x='Area', y='Gross sales', title="Whole Gross sales by Area")
    st.plotly_chart(fig_bar, use_container_width=True)

# Information desk
st.subheader("Filtered Information")
st.dataframe(filtered_df)

Führen Sie dies von Ihrem Terminal aus (oder integriertes Terminal des VS -Codes) aus:

streamlit run step2_dashboard_plotly.py

Jetzt haben Sie ein komplettes interaktives Dashboard!

Die Diagramme für Handlung sind vollständig interaktiv – Sie können über Datenpunkte schweben, bestimmte Zeiträume vergrößern und sogar auf Legendelemente klicken, um Datenreihen anzuzeigen/auszublenden.

Wie die drei Bibliotheken zusammenarbeiten

Diese Kombination ist leistungsstark, weil jede Bibliothek das umgeht, was sie am besten kann:

Pandas verwaltet alle Datenvorgänge:

• Erstellen und Laden von Datensätzen
• Filterungsdaten basierend auf Benutzerauswahlen
• Daten für Visualisierungen aggregieren
• Umgang mit Datenumwandlungen

Straffung Bietet die Webschnittstelle:

• Erstellt interaktive Widgets (Multiselect, Sliders usw.)
• Weitere die gesamte App erneut, wenn Benutzer mit Widgets interagieren
• Behandelt das reaktive Programmiermodell
• Verwaltet das Format mit Spalten und Containern

Handlung erstellt reichhaltige, interaktive Visualisierungen:

• Diagramme, die Benutzer schweben, zoomen und erkunden können
• Professionelle Diagramme mit minimalem Code
• Automatische Integration in die Reaktivität von Streamlit

Schlüsselentwicklungsworkflow

Der Entwicklungsprozess folgt einem einfachen Muster. Schreiben Sie zunächst Ihren Code in VS -Code oder einem Texteditor und speichern Sie ihn als .Py -Datei. Führen Sie als nächstes die Anwendung von Ihrem Terminal aus streamlit run Filename.pywas Ihr Dashboard in einem Browser öffnet http: // localhost: 8501. Während Sie Ihren Code bearbeiten und speichern, erkennt Streamlit automatisch Änderungen und bietet die Anwendung an. Sobald Sie mit Ihrem Dashboard zufrieden sind, können Sie es über die streamlit Group Cloud bereitstellen, um sie mit anderen zu teilen.

Nächste Schritte

Probieren Sie diese Verbesserungen aus:

Fügen Sie echte Daten hinzu:

# Substitute pattern information with CSV add
uploaded_file = st.sidebar.file_uploader("Add CSV", kind="csv")
if uploaded_file:
    df = pd.read_csv(uploaded_file)

Beachten Sie, dass echte Datensätze die für Ihre Datenstruktur spezifischen Vorverarbeitungsschritte erfordern. Sie müssen Spaltennamen anpassen, fehlende Werte verarbeiten und die Filteroptionen so ändern, dass sie Ihren tatsächlichen Datenfeldern entsprechen. Der Beispielcode enthält eine Vorlage, aber jeder Datensatz hat einzigartige Anforderungen für die Reinigung und Vorbereitung.

Weitere Diagrammtypen:

# Pie chart for product distribution
fig_pie = px.pie(filtered_df, values="Gross sales", names="Product", title="Gross sales by Product")
st.plotly_chart(fig_pie)

Sie können eine Ganze nutzen Galerie von Plotlys Grafikfunktionen.

Bereitstellen Ihres Dashboards

Sobald Ihr Dashboard lokal funktioniert, ist es unkompliziert, es mit anderen durch die streamlite Group -Cloud zu teilen. Drücken Sie zunächst Ihren Code in ein öffentliches Github -Repository und stellen Sie sicher, dass a einbezogen werden Anforderungen.txt Dateiauflistung Ihrer Abhängigkeiten (streamlit, pandas, plotly). Dann besuchen Sie https://streamlit.io/cloudMelden Sie sich mit Ihrem Github -Konto an und wählen Sie Ihr Repository aus. Streamlit erstellt und bereitstellt Ihre App automatisch und bereitet eine öffentliche URL bereit, auf die jeder zugreifen kann. Die kostenlose Stufe unterstützt mehrere Apps und behandelt angemessene Verkehrsladungen, wodurch es perfekt ist, um Dashboards mit Kollegen zu teilen oder Ihre Arbeit in einem Portfolio zu präsentieren.

Abschluss

Die Kombination von Stromlit, Pandas und Plotly verwandelt die Datenanalyse aus statischen Berichten in interaktive Webanwendungen. Mit nur zwei Python -Dateien und einer Handvoll Methoden haben Sie ein komplettes Dashboard erstellt, das teure Enterprise Intelligence -Instruments enthält.

Dieses Tutorial zeigt eine signifikante Verschiebung, wie Datenwissenschaftler ihre Arbeit teilen können. Anstatt statische Diagramme zu senden oder Kollegen zu verpflichten, Jupyter -Notizbücher auszuführen, können Sie jetzt Webanwendungen erstellen, die jeder über einen Browser verwenden kann. Der Übergang von der Pocket book-basierten Analyse zu skriptbasierten Anwendungen eröffnet Datenfachleuten neue Möglichkeiten, ihre Erkenntnisse zugänglicher und wirkungsvoller zu gestalten.

Überlegen Sie, wie interaktive Dashboards mit diesen Instruments mit diesen Instruments fortgesetzt werden können. Die gleichen Prinzipien, die Sie hier gelernt haben, skalieren Sie, um echte Datensätze, komplexe Berechnungen und ausgefeilte Visualisierungen zu verarbeiten. Unabhängig davon, ob Sie Government Dashboards, explorative Datenwerkzeuge oder Kundenanwendungen erstellen, bietet diese Drei-Bibliothek-Kombination eine solide Grundlage für professionelle Datenanwendungen.

Vinod wurde in Indien geboren und ist in Japan aufgewachsen. Er bringt eine globale Perspektive in die Bildung von Datenwissenschaft und maschinellem Lernen. Er überbrückt die Lücke zwischen aufstrebenden KI -Technologien und der praktischen Umsetzung für Berufstätige. Vinod konzentriert sich darauf, zugängliche Lernwege für komplexe Themen wie Agenten -KI, Leistungsoptimierung und KI -Engineering zu erstellen. Er konzentriert sich auf praktische Implementierungen für maschinelles Lernen und Mentoring der nächsten Era von Datenfachleuten durch Reside -Sitzungen und personalisierte Anleitung.

In letzter Zeit habe ich mich auf Knowledge Storytelling und seine Bedeutung für die effektive Kommunikation der Ergebnisse der Datenanalyse zur Wertschöpfung konzentriert. Mein technischer Hintergrund, der der Welt des Datenmanagements und seinen Problemen sehr nahe kommt, brachte mich jedoch dazu, darüber nachzudenken, was Datenmanagement braucht, um sicherzustellen, dass Sie schnell datengesteuerte Geschichten erstellen können. Ich kam zu einer Schlussfolgerung, die oft als selbstverständlich angesehen wird, die man aber immer im Hinterkopf behalten sollte. Sie können sich nicht nur auf Daten verlassen, um datengesteuerte Geschichten zu erstellen. Ein Datenmanagementsystem muss auch mindestens zwei Aspekte berücksichtigen. Möchten Sie wissen, welche? Versuchen wir, es in diesem Artikel herauszufinden.

Was wir in diesem Artikel behandeln werden:

• Einführung in Daten
• Datenmanagementsysteme
• Daten-Storytelling
• Datenmanagement und Knowledge Storytelling

1. Daten einführen

Wir sprechen ständig über Daten, verwenden und generieren sie. Aber haben Sie sich schon einmal gefragt, was Daten sind und welche Arten von Daten es gibt? Versuchen wir, sie zu definieren.

Daten sind Rohdaten, Zahlen oder Symbole, die verarbeitet werden können, um aussagekräftige Informationen zu generieren. Es gibt verschiedene Arten von Daten:

• Strukturierte Daten sind Daten, die in einem festen Schema wie SQL oder CSV organisiert sind. Die Hauptvorteile dieser Artwork von Daten sind, dass sich daraus leicht Erkenntnisse ableiten lassen. Der Hauptnachteil besteht darin, dass die Schemaabhängigkeit die Skalierbarkeit einschränkt. Eine Datenbank ist ein Beispiel für diese Artwork von Daten.
• Halbstrukturierte Daten ist teilweise ohne festes Schema organisiert, wie etwa JSON XML. Der Vorteil liegt darin, dass sie flexibler sind als strukturierte Daten. Der Hauptnachteil besteht darin, dass die Metaebenenstruktur unstrukturierte Daten enthalten kann. Beispiele sind kommentierter Textual content, wie etwa Tweets mit Hashtags.
• Unstrukturierte Datenwie Audio, Video und Textual content, sind nicht kommentiert. Die Hauptvorteile sind, dass sie unstrukturiert sind und sich daher leicht speichern lassen. Außerdem sind sie sehr skalierbar. Allerdings sind sie schwierig zu verwalten. So ist es beispielsweise schwierig, Bedeutungen zu extrahieren. Reiner Textual content und digitale Fotos sind Beispiele für unstrukturierte Daten.

Um Daten zu organisieren, deren Volumen mit der Zeit zunimmt, ist eine ordnungsgemäße Verwaltung unerlässlich.

2. Datenmanagement

Unter Datenmanagement versteht man die Erfassung, Verarbeitung, Sicherung und Speicherung von Unternehmensdaten, die dann für strategische Entscheidungen zur Verbesserung der Geschäftsergebnisse genutzt werden (1). Es gibt drei zentrale Datenmanagementsysteme:

• Knowledge Warehouse
• Datensee
• Daten Lakehouse

2.1 Knowledge Warehouse

Ein Knowledge Warehouse kann nur strukturierte Daten nach Extraktions-, Transformations- und Ladeprozessen (ETL) verarbeiten. Nach der Aufbereitung können die Daten für Berichte, Dashboards oder Mining verwendet werden. Die folgende Abbildung fasst die Struktur eines Knowledge Warehouse zusammen.

Abb. 1: Die Architektur eines Knowledge Warehouse

Die Hauptprobleme mit Knowledge Warehouses sind:

• Skalierbarkeit – sie sind nicht skalierbar
• Unstrukturierte Daten – Sie verwalten keine unstrukturierten Daten
• Echtzeitdaten – sie verwalten keine Echtzeitdaten.

2.2 Datensee

Ein Knowledge Lake kann Rohdaten so aufnehmen, wie sie sind. Im Gegensatz zu einem Knowledge Warehouse verwaltet und bietet ein Knowledge Lake Möglichkeiten zum Konsumieren oder Verarbeiten strukturierter, halbstrukturierter und unstrukturierter Daten. Durch die Aufnahme von Rohdaten kann ein Knowledge Lake historische und Echtzeitdaten in einem Rohdatenspeichersystem aufnehmen.

Der Knowledge Lake fügt eine Metadaten- und Governance-Ebene hinzu, wie in der folgenden Abbildung dargestellt, um die Daten für die oberen Ebenen (Berichte, Dashboards und Knowledge Mining) nutzbar zu machen. Die folgende Abbildung zeigt die Architektur eines Knowledge Lake.

Abb. 2: Die Architektur eines Knowledge Lake

Der Hauptvorteil eines Knowledge Lake besteht darin, dass er jede Artwork von Daten schnell aufnehmen kann, da er keine Vorverarbeitung erfordert. Der Hauptnachteil eines Knowledge Lake besteht darin, dass er, da er Rohdaten aufnimmt, das Semantik- und Transaktionssystem des Knowledge Warehouse nicht unterstützt.

2.3 Daten-Lakehouse

Im Laufe der Zeit hat sich das Konzept eines Knowledge Lakes zum Knowledge Lakehouse entwickelt, einem erweiterten Knowledge Lake, der an seiner Spitze Unterstützung für Transaktionen bietet. In der Praxis ändert ein Knowledge Lakehouse die vorhandenen Daten im Knowledge Lake und befolgt dabei die Knowledge Warehouse-Semantik, wie in der folgenden Abbildung dargestellt.

Abb. 3: Die Architektur eines Knowledge Lakehouse

Das Knowledge Lakehouse nimmt die aus operativen Quellen extrahierten Daten auf, z. B. strukturierte, halbstrukturierte und unstrukturierte Daten. Es stellt sie Analyseanwendungen wie Berichterstellung, Dashboarding, Arbeitsbereichen und Anwendungen zur Verfügung. Ein Knowledge Lakehouse besteht aus den folgenden Hauptkomponenten:

• Knowledge Lake, der Tabellenformat, Dateiformat und Dateispeicher umfasst
• Knowledge Science- und Machine-Studying-Ebene
• Abfrage-Engine
• Metadatenverwaltungsebene
• Datenverwaltungsebene.

2.4 Verallgemeinerung der Datenmanagementsystemarchitektur

Die folgende Abbildung verallgemeinert die Architektur des Datenverwaltungssystems.

Abb. 4. Die allgemeine Architektur eines Datenmanagementsystems

Ein Datenmanagementsystem (Knowledge Warehouse, Knowledge Lake, Knowledge Lakehouse oder was auch immer) erhält Daten als Eingabe und generiert eine Ausgabe (Berichte, Dashboards, Arbeitsbereiche, Anwendungen usw.). Die Eingabe wird von Menschen generiert und die Ausgabe wird wiederum von Menschen genutzt. Wir können additionally sagen, dass wir Menschen in der Eingabe und Menschen in der Ausgabe haben. Ein Datenverwaltungssystem geht von Mensch zu Mensch.

Zu den Personen in der Eingabe zählen Personen, die die Daten generieren, z. B. Personen, die Sensoren tragen, Personen, die an Umfragen teilnehmen, Personen, die eine Rezension über etwas schreiben, Statistiken über Personen usw. Personen in der Ausgabe können zu einer der folgenden drei Kategorien gehören:

• Allgemeine Öffentlichkeitderen Ziel es ist, etwas zu lernen oder unterhalten zu werden
• Berufserfahrenedie technisch versiert sind und Daten verstehen wollen
• Führungskräfte die Entscheidungen treffen.

In diesem Artikel konzentrieren wir uns auf Führungskräfte, da sie Werte schaffen.

Aber was ist Wert? Der Cambridge Dictionary gibt verschiedene Definitionen von Wert (2).

1. Der Geldbetrag das kann man für etwas bekommen
2. Der Bedeutung oder Wert von etwas für jemanden
3. Werte: Die Überzeugungen der Menschen, insbesondere darüber, was richtig und falsch ist und was im Leben am wichtigsten ist, bestimmen ihr Verhalten.

Wenn wir die Definition von Wert als Geldbetrag akzeptieren, könnte ein Entscheidungsträger Wert für das Unternehmen generieren, für das er arbeitet, und indirekt für die Menschen im Unternehmen und die Menschen, die die vom Unternehmen angebotenen Dienste oder Produkte nutzen. Wenn wir die Definition von Wert als die Wichtigkeit von etwas akzeptieren, ist der Wert für die Menschen, die Daten generieren, und andere externe Menschen von wesentlicher Bedeutung, wie in der folgenden Abbildung dargestellt.

Abb. 5: Der Prozess der Wertschöpfung

In diesem Szenario ist die ordnungsgemäße und effektive Übermittlung von Daten an Entscheidungsträger entscheidend für die Wertschöpfung. Aus diesem Grund sollte die gesamte Datenpipeline so konzipiert sein, dass Daten an das Endpublikum (Entscheidungsträger) übermittelt werden, um Wert zu generieren.

3. Daten-Storytelling

Es gibt drei Möglichkeiten, Daten zu kommunizieren:

• Datenberichterstattung enthält eine Datenbeschreibung mit allen Particulars der Datenerkundungs- und -analysephasen.
• Datenpräsentation wählt nur relevante Daten aus und präsentiert sie dem Endpublikum auf organisierte und strukturierte Weise.
• Daten-Storytelling baut eine Geschichte auf Daten auf.

Konzentrieren wir uns auf Knowledge Storytelling. Knowledge Storytelling ist die Vermittlung der Ergebnisse eines Datenanalyseprozesses an ein Publikum durch eine Geschichte. Basierend auf Ihrem Publikum wählen Sie eine geeignete

• Sprache und Ton: Die Wortgruppe (Sprache) und der durch sie vermittelte emotionale Ausdruck (Ton)
• Kontext: Der Detailgrad, den Sie Ihrer Geschichte hinzufügen möchten, basierend auf der kulturellen Sensibilität des Publikums

Beim Knowledge Storytelling müssen die Daten und alle relevanten Informationen, die mit den Daten verbunden sind (Kontext), berücksichtigt werden. Der Datenkontext bezieht sich auf die Hintergrundinformationen und relevanten Particulars, die einen Datensatz umgeben und beschreiben. In Datenpipelines wird dieser Datenkontext als Metadaten gespeichert (3). Metadaten sollte Antworten auf folgende Fragen geben:

• Wer hat die Daten erhoben?
• Worum es in den Daten geht
• Wann die Daten erhoben wurden
• Wo die Daten erhoben wurden
• Warum die Daten erhoben wurden
• Wie die Daten erhoben wurden

3.1 Die Bedeutung von Metadaten

Lassen Sie uns die Datenmanagement-Pipeline aus der Perspektive des Daten-Storytellings betrachten, die Daten und Metadaten (Kontext) umfasst.

Abb. 6: Die Datenmanagement-Pipeline aus der Perspektive des Knowledge Storytelling

Das Datenmanagementsystem besteht aus zwei Elementen: Datenmanagement, bei dem der Dateningenieur der Hauptakteur ist, und Datenanalyse, bei der der Datenwissenschaftler der Hauptakteur ist.
Der Dateningenieur sollte sich nicht nur auf die Daten, sondern auch auf die Metadaten konzentrieren, die dem Datenwissenschaftler dabei helfen, den Kontext um die Daten herum aufzubauen. Es gibt zwei Arten von Metadatenverwaltungssystemen:

• Passives Metadatenmanagement, das Metadaten in einem statischen Datenkatalog aggregiert und speichert (z. B. Apache Hive)
• Aktives Metadatenmanagement, das dynamische und Echtzeit-Metadaten bereitstellt (z. B. Apache Atlas)

Der Datenwissenschaftler sollte die datengesteuerte Story erstellen.

4. Datenmanagement und Knowledge Storytelling

Die Kombination von Datenmanagement und Knowledge Storytelling bedeutet:

• Bedenken Sie, wer letztlich von den Daten profitiert. Ein Datenmanagementsystem wird von Mensch zu Mensch weitergegeben.
• Berücksichtigen Sie Metadaten, die beim Verfassen aussagekräftiger Geschichten hilfreich sind.

Wenn wir die gesamte Datenpipeline aus der Perspektive des gewünschten Ergebnisses betrachten, erkennen wir, wie wichtig die Menschen hinter jedem Schritt sind. Wir können nur dann einen Mehrwert aus Daten generieren, wenn wir die Menschen hinter den Daten betrachten.

Zusammenfassung

Herzlichen Glückwunsch! Sie haben gerade gelernt, wie Sie Datenmanagement aus der Perspektive des Knowledge Storytelling betrachten. Neben den Daten sollten Sie zwei Aspekte berücksichtigen:

• Die Menschen hinter den Daten
• Metadaten, die Ihren Daten einen Kontext verleihen.

Und vergessen Sie vor allem nie die Menschen! Knowledge Storytelling hilft Ihnen, die Geschichten hinter den Daten zu sehen!

Verweise

(1) IBM. Was ist Datenmanagement?
(2) Das Cambridge Wörterbuch. Wert.
(3) Peter Crocker. Leitfaden zur Verbesserung des Datenkontexts: Wer, was, wann, wo, warum und wie

Externe Ressourcen

Mithilfe von Knowledge Storytelling Daten in Werte umwandeln (Vortrag)

Angelica Lo Duca (Mittel) (@alod83) ist Forscherin am Institut für Informatik und Telematik des Nationalen Forschungsrats (IIT-CNR) in Pisa, Italien. Sie ist Professorin für „Datenjournalismus“ im Masterstudiengang Digital Humanities an der Universität Pisa. Ihre Forschungsinteressen umfassen Datenwissenschaft, Datenanalyse, Textanalyse, offene Daten, Webanwendungen, Datentechnik und Datenjournalismus, angewandt auf Gesellschaft, Tourismus und kulturelles Erbe. Sie ist Autorin des Buches Comet for Knowledge Science, herausgegeben von Packt Ltd., des kommenden Buches Knowledge Storytelling in Python Altair and Generative AI, herausgegeben von Manning, und Co-Autorin des kommenden Buches Studying and Working Presto, herausgegeben von O’Reilly Media. Angelica ist außerdem eine begeisterte Technikautorin.