Teil meiner Information-Engineering-Reisereihe. Im ersten Teil habe ich meine geteilt 12-monatige Roadmap für den Übergang vom Datenanalysten zum Dateningenieur. Hier beginnt der eigentliche Bau.

Als ich meinen ersten Artikel veröffentlichte, der meine Reise zum Information Engineering dokumentierte, geschah etwas Unerwartetes. Die Leute fanden es intestine. Fremde meldeten sich bei mir und sagten, sie seien begeistert, mitzumachen. Das fühlte sich intestine an.

Aber es struggle auch mit Druck verbunden.

Plötzlich struggle dies nicht mehr nur ein persönliches Ziel, das ich stillschweigend aufgeben konnte, wenn es schwierig wurde. Die Leute schauten zu. Die Leute saßen im selben Boot. Und diese Verantwortung ist, ehrlich gesagt, einer der Gründe, warum Sie dies gerade lesen.

Additionally musste ich umziehen. Und wie jeder, der mit einer neuen Fertigkeit beginnt, suchte ich zunächst nach Ressourcen. Im Web gibt es unzählige Tutorials zum Thema Information Engineering. YouTube-Movies, Kurse, schriftliche Leitfäden. Mehr, als du jemals schaffen könntest.

Aber ich konnte mich nicht dazu durchringen, nur Theorie zu konsumieren. Ich musste etwas bauen. Etwas Reales, mit echten Daten, das am Ende tatsächlich funktioniert hat.

Additionally habe ich die Tutorials geschlossen und stattdessen ein Google Colab-Notizbuch geöffnet. Ich habe die GitHub-API-Dokumentation gefunden und beschlossen, meine erste ETL-Pipeline von Grund auf zu erstellen. Kein Händchenhalten. Nur ich, etwas Python und ein Ziel.

In diesem Artikel wird diese Erfahrung vollständig dokumentiert. Der Code, die Verwirrung, die kleinen Erfolge und was ich dadurch tatsächlich gelernt habe.

Was ist ETL?

Bevor ich auf das eingehe, was ich erstellt habe, möchte ich kurz erklären, was ETL eigentlich bedeutet, da ich das vor nicht allzu langer Zeit selbst nachschlagen musste.

ETL steht für Extract, Rework, Load. Es ist eines der grundlegendsten Konzepte im Information Engineering.

• Extrakt bedeutet, irgendwohin zu gehen, um Daten zu bekommen. Eine API, eine Datenbank, eine Web site, eine Datei. Sie beziehen Rohinformationen aus einer Quelle.
• Verwandeln bedeutet, diese Daten zu bereinigen und zu formen. Entfernen fehlerhafter Zeilen, Hinzufügen neuer Spalten und Umstrukturieren, damit es tatsächlich nützlich ist.
• Laden bedeutet, die bereinigten Daten irgendwo zu speichern. Eine Datenbank, ein Information Warehouse, eine einfache CSV-Datei.

Das ist es. Diese drei Schritte, die nacheinander ausgeführt werden, bilden eine Datenpipeline. Alles andere in der Datentechnik, Airflow, Spark, Databricks, sind einfach ausgefeiltere Methoden, um dieselben drei Dinge in großem Maßstab zu erledigen.

Da ich noch am Anfang meiner Roadmap stehe, habe ich es einfach gehalten. Reines Python, noch keine Orchestrierungstools. Aber die Kind des Issues ist dieselbe.

Was ich gebaut habe

Ich habe Daten aus der GitHub-API extrahiert, insbesondere die am häufigsten markierten Python-Repositories, die in den letzten 30 Tagen erstellt wurden. Anschließend habe ich es bereinigt, eine neue Spalte hinzugefügt und die Ausgabe als CSV-Datei gespeichert.
Einfach. Actual. Ganz meins.

So lief es.

Schritt 1: Extrahieren

Als Erstes musste ich herausfinden, wie ich mit der GitHub-API kommunizieren kann. Eine API ist im Grunde eine Tür, die ein Unternehmen oder eine Plattform öffnet, sodass Entwickler programmgesteuert Daten von ihr anfordern können, ohne etwas manuell kopieren und einfügen zu müssen.

GitHub verfügt über eine kostenlose, öffentliche API. Für einfache Suchen ist kein Konto oder kostenpflichtiger Plan erforderlich.

Hier ist der Code, den ich geschrieben habe, um die Daten zu extrahieren:

import requests

url = "https://api.github.com/search/repositories"

params = {
    "q": "language:python created:>2025-04-22",
    "kind": "stars",
    "order": "desc",
    "per_page": 30
}

response = requests.get(url, params=params)
information = response.json()

print(response.status_code)
print(information.keys())

Ich werde ehrlich sein. Dieser Block hat mich zunächst verwirrt. Der requests Die Bibliothek struggle für mich neu. Der params Wörterbuch damit q Die Syntax fühlte sich fremd an. Ich wusste nicht sofort, was .json() was ich tat oder warum ich es brauchte.

Lassen Sie es mich einfach aufschlüsseln.

• requests.get() ist die Artwork und Weise, wie man an die Tür von GitHub klopft und um etwas bittet. Der url ist die Adresse dessen, wonach Sie fragen. Der
• params Wörterbuch ist die spezifische Frage, die Sie stellen. In diesem Fall: „Gib mir Python-Repos, sortiert nach Sternen, erstellt nach dem 22. April, zeige mir 30 Ergebnisse.“
• .json() Konvertiert GitHubs Antwort aus Rohtext in ein Python-Wörterbuch, mit dem Sie tatsächlich arbeiten können.

Als ich es ausgeführt habe, bekam ich Folgendes:

200 
dict_keys(('total_count', 'incomplete_results', 'objects'))

Der 200 bedeutet Erfolg. Das ist die Artwork und Weise, wie das Web sagt: „Ihre Anfrage hat funktioniert.“ Wenn Sie 403 oder 404 sehen, ist ein Fehler aufgetreten.
Das Wörterbuch verfügt über drei Schlüssel. total_count gibt an, wie viele Repos mit der Suche übereinstimmten. incomplete_results sagt Ihnen, ob GitHub etwas kürzen musste. Und objects Hier befinden sich die eigentlichen Daten.

Dann lief ich einen zweiten Block, um einen Blick hineinzuwerfen:

print("Whole matches on GitHub:", information('total_count'))
print("Repos returned:", len(information('objects')))

first_repo = information('objects')(0)
print("nFirst repo title:", first_repo('title'))
print("Stars:", first_repo('stargazers_count'))
print("Language:", first_repo('language'))
print("URL:", first_repo('html_url'))

Ausgabe:

Whole matches on GitHub: 9228201
Repos returned: 30

First repo title: expertise
Stars: 139136
Language: Python
URL: https://github.com/anthropics/expertise

Das erste Ergebnis struggle ein Anthropic-Repo mit 139.000 Sternen. Echte Daten. Reside. Gezogen durch Code, den ich geschrieben habe.

Damit ist der Extrakt fertig.

Schritt 2: Transformieren

Jetzt hatte ich 30 Repos in einer Python-Liste, jedes davon ein verschachteltes Wörterbuch mit Dutzenden von Feldern. Das meiste davon brauchte ich nicht. Im Schritt „Transformieren“ nehmen Sie diese rohen, unübersichtlichen Daten und formen sie in etwas Sauberes und Zweckmäßiges.

Zuerst habe ich nur die Felder herausgezogen, die mir wichtig waren, und sie in einen Pandas-Datenrahmen geladen:

import pandas as pd

repos = ()

for repo in information('objects'):
    repos.append({
        "title": repo('title'),
        "proprietor": repo('proprietor')('login'),
        "stars": repo('stargazers_count'),
        "forks": repo('forks_count'),
        "language": repo('language'),
        "description": repo('description'),
        "url": repo('html_url'),
        "created_at": repo('created_at')
    })

df = pd.DataFrame(repos)
df.head()

Das Erscheinen dieses Datenrahmens struggle ein echter „Wow“-Second. Ich bin von einer JSON-Wand zu einer sauberen, lesbaren Tabelle mit beschrifteten Spalten in wenigen Zeilen übergegangen.

Dann habe ich drei Transformationen durchgeführt:

# Drop rows the place description is lacking
df_clean = df.dropna(subset=('description'))

# Add a viral flag for repos with over 50k stars
df_clean = df_clean.copy()
df_clean('viral') = df_clean('stars').apply(lambda x: 'Sure' if x > 50000 else 'No')

# Kind by stars descending
df_clean = df_clean.sort_values('stars', ascending=False).reset_index(drop=True)

print("Earlier than cleansing:", len(df))
print("After cleansing:", len(df_clean))

Ausgabe:

Earlier than cleansing: 30 
After cleansing: 29

Ein Repo hatte keine Beschreibung und wurde gelöscht. Die Virussäule wurde sauber angezeigt. Die Daten waren nun sortiert und strukturiert.
Damit ist die Transformation abgeschlossen.

Schritt 3: Laden

Der letzte Schritt. Nehmen Sie die sauberen Daten und speichern Sie sie irgendwo. Ich habe es einfach gehalten und es in eine CSV-Datei geladen:

df_clean.to_csv('github_trending_repos.csv', index=False)

print("Pipeline full. File saved.")
print(f"{len(df_clean)} repos loaded into github_trending_repos.csv")

Ausgabe:

Pipeline full. File saved.
29 repos loaded into github_trending_repos.csv

Ich habe die Datei heruntergeladen und geöffnet. Eine saubere Tabelle mit 29 Zeilen und 9 Spalten. Echte GitHub-Daten, geformt und gespeichert durch eine Pipeline, die ich von Grund auf neu erstellt habe.

Das ist fertig.

Wie sich das tatsächlich anfühlte

Zuvor suchte ich immer dann, wenn ich mit Daten arbeiten wollte, nach einem öffentlichen Datensatz, den jemand bereits bereinigt und hochgeladen hatte. Kaggle, Google Dataset Search, wo auch immer. Ich struggle immer ein Konsument von Daten, die jemand anderes aufbereitet hatte.

Das hat etwas für mich verändert.

Als mir klar wurde, dass ich Python einfach auf eine API verweisen konnte, die mich interessierte, und selbst Reside-Daten extrahieren konnte, fühlten sich die Möglichkeiten völlig anders an. Ich bin nicht auf bereits vorhandene Datensätze beschränkt. Ich kann die Pipeline erstellen, die den Datensatz erstellt.

Das ist eine andere Artwork von Macht. Und es ist eines der Dinge, die mich überhaupt zum Information Engineering hingezogen haben.

Was kommt als nächstes?

Diese Pipeline ist vom Design her einfach. Ich stehe am Anfang meiner Roadmap und werde noch nicht so tun, als würde ich Airflow oder Spark verwenden. Aber das Fundament ist actual. Extrahieren, transformieren, laden. Es funktioniert. Ich habe es gebaut. Ich verstehe es.

Der nächste Schritt besteht darin, es robuster zu machen. Planen Sie die tägliche Ausführung. Speichern Sie die Ausgabe in einer SQLite-Datenbank statt in einer flachen CSV-Datei. Beginnen Sie mit der Verfolgung der Repo-Developments im Laufe der Zeit.

Und schließlich orchestrieren Sie das Ganze mit Airflow. Aber das ist ein zukünftiger Artikel.

Das Wichtigste, was ich mir vorerst bewiesen habe, ist, dass man beim Bauen Dinge lernt, die man beim Anschauen nie lernen wird. Ich verbrachte Wochen im Tutorialland und bewegte mich kaum. Ich habe einen Nachmittag damit verbracht, tatsächlich zu bauen, und ich verstehe ETL besser als jedes Video, das es vermittelt.

Hör auf zu schauen. Beginnen Sie mit dem Bau.

Dies ist Teil zwei meiner fortlaufenden Information-Engineering-Reihe. Begleiten Sie mich, während ich jeden Schritt der Reise dokumentiere, einschließlich der Teile, die nicht reibungslos verlaufen. Schauen Sie sich gerne meine ausführlichere ETL-Erfahrung auf meinem YouTube-Kanal unten an.

Verbinde dich mit mir LinkedIn, YouTubeUnd Twitter.

Die KI-Technologie ist auf dem Vormarsch, aber das bedeutet nicht, dass wir immer eine revolutionäre Funktion daraus haben wollen. Wovon sich die meisten Benutzer mehr wünschen würden, sind einfache Funktionen innerhalb der KI, die sie bei ihren alltäglichen Aufgaben unterstützen können, sei es im Büro, zu Hause oder anderswo. In diesen Zeilen, OpenAI hat möglicherweise gerade eines der vielversprechendsten Updates für sein GPT-5.5 in ChatGPT herausgebracht:

GPT-5.5 kann jetzt Excel-Tabellen erstellen und darin arbeiten.

Aufregend, oder? Aber was genau bedeutet das? Wie funktioniert es? Und vor allem: Wie kann es Ihnen helfen?

Lassen Sie uns alle diese Fragen einzeln beantworten.

Was ist das neue GPT-5.5-Replace?

Wenn Sie jemals ChatGPT oder ein anderes KI-Modell zum Erstellen oder Verwalten von Excel-Tabellen verwendet haben, kennen Sie genau den Schwachpunkt, der das größte Hindernis für eine höhere Effizienz darstellt. Sie müssen ständig Daten oder manchmal auch das Blatt selbst zwischen dem Chatbot und Excel hin- und herwechseln, um die KI darin effektiv nutzen zu können. Nun, nicht mehr!

Wie? In einem neuen Barrierefreiheits-Replace hat OpenAI angekündigt, dass ChatGPT nun sowohl in Excel als auch in Google Sheets funktioniert. Das bedeutet, dass Sie KI jetzt in allen Excel- und Google Sheets verwenden können, ohne jemals außerhalb der jeweiligen Plattformen navigieren zu müssen.

So funktioniert es:

GPT-5.5 in Excel + Google Sheets

Die Idee ist einfach. Denken Sie an das Neue ChatGPT Funktion als Miniversion, die in Excel passt. Man kann es ein Plugin nennen.

Damit müssen Sie nur noch Ihre bevorzugte Plattform starten und das neue ChatGPT-Plugin einmalig hinzufügen. Sobald Sie fertig sind, haben Sie Ihren bevorzugten KI-Chatbot direkt zur Hand, selbst wenn Sie in Excel oder Google Sheets arbeiten.

So installieren Sie es für beide:

ChatGPT in Excel

So erhalten Sie ChatGPT in Ihrem Excel:

• Gehen Sie zunächst zu Begin → Add-Ins
• Suchen Sie nach ChatGPT von OpenAI und klicken Sie auf Hinzufügen
• Gehen Sie die Installationseinstellungen und Anmeldungen durch
• Wenn Sie fertig sind, gehen Sie zu Erweiterungen → ChatGPT → Seitenleiste öffnen
• Melden Sie sich bei Ihrem OpenAI-Konto an und beginnen Sie damit zu arbeiten

ChatGPT auf Google Sheets

• Installieren Sie zunächst ChatGPT für Google Sheets⁠ über „Startseite“ → „Erweiterungen“ → „Add-ons“ → „Add-ons abrufen“.
• Melden Sie sich bei Ihrem Google-Konto an, um die Set up abzuschließen
• Gehen Sie nach der Set up zu Erweiterungen → ChatGPT → Seitenleiste öffnen
• Melden Sie sich bei Ihrem OpenAI-Konto an, um eine Verbindung herzustellen und mit der Arbeit zu beginnen

Beachten Sie, dass ChatGPT für Excel und Google Sheets weltweit verfügbar ist. Laut OpenAI ist es für ChatGPT Enterprise-, Enterprise-, Edu-, Lehrer-, Okay-12-, Free-, Go-, Professional- und Plus-Benutzer verfügbar.

Nachdem Sie nun genau wissen, wie Sie ihn installieren, erkunden wir nun die Fülle an Möglichkeiten, die diese neue Kind des KI-Chatbots mit sich bringt.

ChatGPT in Excel/Google Sheets: Anwendungsfälle

Hier sind die verschiedenen Möglichkeiten, wie ChatGPT in Excel und Google Sheets Ihren täglichen Arbeitsablauf enorm bereichern kann.

1. Generieren Sie einen Beispieldatensatz für die Verkaufsverfolgung

Sie können ChatGPT bitten, einen einfachen Verkaufsdatensatz mit Spalten wie Produktname, Monat, verkauften Einheiten, Preis und Gesamtumsatz zu erstellen.

Beispielaufforderung:

„Erstellen Sie einen Beispiel-Verkaufsdatensatz für 5 Produkte über 3 Monate.“

2. Erstellen Sie eine vollständige Tabelle rund um den Datensatz

Sobald die Daten fertig sind, kann ChatGPT sie in einer richtigen Tabelle mit einer Registerkarte „Rohdaten“ und einer einfachen Registerkarte „Zusammenfassung“ organisieren.

Beispielaufforderung:

„Verwandeln Sie diesen Verkaufsdatensatz in eine Tabelle mit einer Registerkarte „Rohdaten“ und einer Registerkarte „Zusammenfassung.“

3. Fügen Sie Formeln hinzu, um Gesamtbeträge zu berechnen

ChatGPT kann grundlegende Formeln hinzufügen, um den Gesamtumsatz, den monatlichen Umsatz und den produktbezogenen Umsatz zu berechnen.

Beispielaufforderung:

„Fügen Sie Formeln hinzu, um den Gesamtumsatz für jedes Produkt und den Gesamtumsatz für jeden Monat zu berechnen.“

4. Bearbeiten und korrigieren Sie vorhandene Formeln

Wenn eine Formel falsch ist, kann ChatGPT das Drawback identifizieren und beheben.

Beispielaufforderung:

„Überprüfen Sie die Umsatzformel in diesem Blatt und korrigieren Sie sie, wenn sie falsch ist.“

5. Erhalten Sie Einblicke über Tabs hinweg

ChatGPT kann die Daten- und Zusammenfassungsregisterkarten zusammen lesen, um zu erklären, was die Zahlen anzeigen.

Beispielaufforderung:

„Schauen Sie sich beide Registerkarten an und sagen Sie mir, welches Produkt am meisten verkauft wurde und welcher Monat den höchsten Umsatz erzielte.“

6. Aktualisieren Sie das Blatt in Echtzeit

Wenn neue Verkaufsdaten hinzugefügt werden, kann ChatGPT die Formeln und die Zusammenfassung aktualisieren.

Beispielaufforderung:

„Fügen Sie die Verkaufsdaten für April zu diesem Blatt hinzu und aktualisieren Sie die Gesamtsummen und die Zusammenfassung.“

ChatGPT in Excel/Sheets: Wichtige Punkte

Hier sind einige wichtige Punkte, die Sie beachten sollten, bevor Sie ChatGPT in Excel und Google Sheets verwenden.

Datenverarbeitung

Laut OpenAI werden mit ChatGPT geteilte Daten nicht standardmäßig zur Verbesserung von Modellen für ChatGPT-Benutzer aus den Bereichen Enterprise, Enterprise, Edu und Lecturers verwendet. Dies ist wichtig für Groups, die mit sensiblen Tabellenkalkulationen, Geschäftsberichten, Finanzmodellen oder internen Trackern arbeiten.

Getrennt vom ChatGPT-Chatverlauf

Das Excel- und Google Sheets-Add-in funktioniert unabhängig von regulären ChatGPT-Chats. Laut OpenAI werden Konversationen und Daten in Excel nicht mit dem ChatGPT-Chatverlauf geteilt und die Aktivitäten werden derzeit nicht zwischen beiden Erlebnissen synchronisiert.

Admin-Kontrollen für Unternehmen

Für ChatGPT Enterprise-Arbeitsbereiche ist diese Funktion standardmäßig deaktiviert. Administratoren können es aktivieren und den Zugriff mithilfe rollenbasierter Zugriffskontrollen in den Arbeitsbereichseinstellungen steuern.

Aktuelle Einschränkungen

Einige erweiterte Tabellenkalkulationsfunktionen werden noch nicht unterstützt. Dazu gehören Workplace-Skripte, Energy Question, Pivot/Datenmodell, Datenvalidierung, Slicer, Zeitleisten, externe Verbindungsverwaltung, erweiterte Diagramme und VBA-Automatisierung. Sehr große Arbeitsmappen geben aufgrund von Kontextbeschränkungen möglicherweise auch Teilergebnisse zurück.

Mit Vorsicht verwenden

OpenAI sagt eindeutig, dass ChatGPT kein Finanz- oder Buchhaltungsberater ist. Da Arbeitsmappen bearbeitet werden können, kann es bei unklaren Eingabeaufforderungen dazu kommen, dass Daten versehentlich geändert oder gelöscht werden. Daher sollten Benutzer genau angeben, was sie ändern möchten, und die Aktualisierungen noch einmal überprüfen.

Unterstützung für das Hochladen von Dateien

Benutzer können Bilder, PDFs, Phrase-Dateien, PowerPoint-Dateien, Excel-Tabellen, CSV/TSV/IIF-Dateien, JSON, HTML, Markdown und andere Textual content-/Codeformate hochladen. Die genannten aktuellen Grenzwerte liegen bei bis zu 20 Anhängen professional Nachricht und 25 MB professional Datei.

App-Verbindungen

ChatGPT für Excel und Google Sheets kann auch eine Verbindung zu Apps herstellen, die im OpenAI-Konto des Benutzers verfügbar sind. Der Zugriff hängt vom Plan des Benutzers, den Administratoreinstellungen des Arbeitsbereichs, der App-Verfügbarkeit, den Berechtigungen und dem Datenquellenzugriff ab.

Abschluss

Es besteht absolut kein Zweifel daran, dass dies ein fantastischer Sprung für ChatGPT ist, genau in die Richtung, die sich viele seiner Benutzer schon lange gewünscht haben. Solche praktischen Einsatzmöglichkeiten von KI, die sich in alltägliche Arbeitsabläufe integrieren, gehören zu den stärksten Aspekten, die ihre weltweite Akzeptanz vorantreiben. Ich habe es 10 Minuten lang in einer Tabellenkalkulation verwendet und kann bereits feststellen, dass es mein Arbeitstempo beschleunigt, indem ich einfach das ständige Hin und Her von der früheren App/Weboberfläche zum Google Sheets-Plugin vermeide. Und für diejenigen, die noch nicht einmal KI für ihre Tabellenkalkulationen verwendet haben, glauben Sie mir, dies wird mit Sicherheit eine Wende bedeuten!

Allerdings sollten Sie wissen, dass solche KI-Instruments bereits auf beiden Plattformen verfügbar sind, jetzt auch in Excel kommt mit CoPilotwährend Google Sheets beherbergt Zwillinge. Sie finden beides im Menübereich, normalerweise oben rechts im Fenster.

Probieren Sie es einfach aus. Wenn nicht GPT-5.5, dann die anderen, und Sie werden sehen, wie KI bei Ihren täglichen Aufgaben ihre Magie entfaltet.

Bild vom Autor

Sie und Ihr Unternehmen sind „datengesteuert“, oder? Das bedeutet sicherlich, die ausgefeilteste Technologie für den Umgang mit Daten einzusetzen. Das Vorhandensein einer Datenbank und deren Abfrage mit SQL scheint in dieser Welt eine Mindestanforderung zu sein.

Was aber, wenn es Fälle gibt, in denen eine einfache Tabellenkalkulation eine sorgfältig geschriebene Abfrage um Längen übertrifft? Hier sind einige Situationen aus dem wirklichen Leben.

Bild vom Autor

1. Ihre Daten sind klein und/oder einmalig

Beispiele für solche Daten sind:

• Eine CSV von einem Anbieter
• Ein Finanzmodell mit einigen hundert Zeilen
• Eine einfache Budgetprognose
• Ein Aufgaben-Tracker

Bild vom Autor

Es wäre quick bizarr, solche Daten in eine Datenbank zu laden und ein paar Abfragen auszuführen. Es ist übertrieben. Öffnen Sie es in Excel oder Google Sheets, und Sie können schnell filtern, sortieren und Berechnungen und Transformationen durchführen. Sie würden wahrscheinlich immer noch Tabellen, Indizes und Schemata in einer Datenbank einrichten.

2. Sie benötigen Geschwindigkeit und Null-Setup

Wenn Sie noch keine relationale Datenbank haben, erfordert deren Einrichtung Folgendes:

• Eine laufende Datenbank, lokal oder in der Cloud
• Definierte Tabellen und Datentypen
• Richtige Berechtigungen

Mit Tabellenkalkulationen? Nichts davon. Selbst wenn eine Set up erforderlich ist, geht es viel schneller. Sie müssen jedoch wahrscheinlich nichts installieren, da Ihr Pc wahrscheinlich mit einem vorinstallierten Tabellenkalkulationsprogramm geliefert wird, oder Sie können problemlos eine Cloud-Model verwenden.

Bild vom Autor

Klicken Sie einfach auf die Datei und legen Sie los – vor allem, wenn Sie nur sehen möchten, was darin enthalten ist, oder ein paar schnelle Berechnungen durchführen möchten.

3. Sie müssen zusammenarbeiten

Datenbanken können die Zusammenarbeit bewältigen, sie erfordern jedoch das Festlegen von Berechtigungen, das Definieren von Rollen und SQL-Kenntnisse.

Beispielsweise ist die Zusammenarbeit in Google Sheets viel einfacher:

• Teilen Sie einen Hyperlink mit Ihren Mitarbeitern
• Kommentare hinzufügen
• Verfolgen Sie Dateiänderungen

Bild vom Autor

Wenn Ihre Mitarbeiter außerhalb des Datenteams sind (z. B. Finanzen, Advertising and marketing, Betrieb), verwenden sie wahrscheinlich kein SQL – bei Tabellenkalkulationen spielt das keine Rolle.

4. Sie möchten Daten visualisieren und präsentieren

SQL dient der Abfrage und Datenanalyse, ist jedoch nicht für die Präsentation Ihrer Ergebnisse geeignet. Normalerweise exportieren Sie die Ausgabe Ihrer Abfragen an einen anderen Ort. Ironischerweise sind es oft Tabellenkalkulationen, die wir vermeiden wollten.

Wenn die Visualisierung und Präsentation von Daten wichtig ist und Sie die Analyse relativ einfach in einer Tabellenkalkulation durchführen können, dann wählen Sie diese gegenüber SQL. Tabellenkalkulationen sind sowohl Berechnungs- als auch Präsentationswerkzeuge.

Bild vom Autor

Normalerweise bevorzugen Sie Tabellenkalkulationen gegenüber SQL, wenn Sie Folgendes benötigen:

• Diagramme für eine Präsentation
• Pivot-Tabellen für Führungskräfte
• Ein Finanzprognosemodell

5. Ihre Arbeit ist iterativ und chaotisch

Beispiele für solche Arbeiten sind das Erstellen von Modellen, das Brainstorming von Szenarien und das Testen von Annahmen. Hier würde ich Tabellenkalkulationen verwenden.

Bild vom Autor

Sie können sie verwenden, um:

• Brainstormen Sie Finanzszenarien -> kopieren Sie das Blatt, optimieren Sie ein paar Zellen und sehen Sie sofort die Ergebnisse
• Annahmen testen -> zwei Formeln schreiben, vergleichen, die schwächere löschen; Keine Schemamigration erforderlich
• Schnelle Was-wäre-wenn-Modelle -> Erstellen Sie eine grobe Model in einer Tabelle, bevor Sie sie in SQL formalisieren
• Advert-hoc-Anmerkungen -> Farbcodierung, Kommentare hinterlassen, Daten hervorheben
• Formeliteration -> einfach =SUM(A1:A52) in =AVERAGE(A1:A52) ändern; Es ist nicht erforderlich, Abfragen neu zu schreiben oder die Syntax zu validieren

6. Ihre Zielgruppe spricht kein SQL

Unternehmensleiter, Projektmanager und externe Kunden öffnen weitaus eher eine Tabellenkalkulation als eine Datenbank.

Bild vom Autor

Mit Tabellenkalkulationen erhalten sie etwas, das sie lesen, optimieren und teilen können, ohne eine Programmiersprache zu lernen, die sie nicht lernen wollten.

7. Sie berücksichtigen Kosten und Zugang

Die Pflege relationaler Datenbanken in Produktionsumgebungen kann kostspielig sein; Denken Sie an Cloud-Speicher, Rechenressourcen und Verwaltungszeit.

Bild vom Autor

Tabellenkalkulationen sind kostenlos oder quick kostenlos. Wenn Ihr Datensatz und Ihre Analyse relativ einfach mit einer Tabellenkalkulation verarbeitet werden können, vermeidet die Wahl dieser anstelle von SQL den Mehraufwand.

8. Sie benötigen eine schnelle Dateneingabe

Datenbanken sind nicht für eine einfache manuelle zeilenweise Eingabe konzipiert. Sie müssten entweder eine Abfrage schreiben oder Daten aus einer Tabellenkalkulation importieren.

Bild vom Autor

Das direkte Eingeben von Daten in eine Tabelle ist einfacher, wenn Sie beispielsweise Folgendes tun möchten:

• Zeichnen Sie Besprechungsnotizen auf
• Sammeln Sie mehrere Vertriebskontakte
• Verfolgen Sie Aufgaben oder Fristen

Abschluss

Der beste Weg ist natürlich die Kombination von Tabellenkalkulationen und SQL. Letzteres dient der Verarbeitung, Transformation und Analyse umfangreicher Daten, insbesondere wenn es sich dabei um sich wiederholende Aufgaben handelt. Dann lohnt es sich, eine logische Abfrage zu erstellen und diese bei Bedarf einfach erneut auszuführen. Wenn Sie gerade erst anfangen oder eine Auffrischung benötigen, ist dies hier SQL-Spickzettel ist eine großartige Ressource für Kernkonzepte, die Sie tatsächlich verwenden werden.

Tabellenkalkulationen sind besser, wenn Sie Agilität, schnelles Verständnis von Daten, einfachere Analysen, schnelle Datenvisualisierungen und gemeinsame Nutzung suchen.

Nate Rosidi ist Datenwissenschaftler und in der Produktstrategie tätig. Er ist außerdem außerordentlicher Professor für Analytik und Gründer von StrataScratch, einer Plattform, die Datenwissenschaftlern hilft, sich mit echten Interviewfragen von Prime-Unternehmen auf ihre Interviews vorzubereiten. Nate schreibt über die neuesten Developments auf dem Karrieremarkt, gibt Ratschläge zu Vorstellungsgesprächen, stellt Knowledge-Science-Projekte vor und behandelt alles rund um SQL.

Es ist über einen Monat her, seit Veo 3 der Welt eingeführt wurde, und seitdem habe ich diesen Gen Ai Marvel ausprobieren. Jetzt ist das Warten vorbei! Google hat Veo 3 weltweit an alle Profi -Benutzer veröffentlicht, und ich habe auch einen kostenlosen Weg gefunden, um darauf zuzugreifen. Schließlich gibt es immer einen „freien“ Weg. In diesem Weblog werden wir verschiedene Aufgaben untersuchen, die mit VEO 3, dem Schreiben der Eingabeaufforderungen erledigt werden können, damit Sie das Beste aus VEO 3 und schließlich auf unterschiedliche Weise herausholen können, wie Sie darauf zugreifen können. Ich hoffe du bist aufgeregt, denn ich bin es in Sily, ich bin.

Was ist VEO 3?

Veo 3 ist ein Traum eines Videosschöpfers, der in der Decke der generativen KI gepackt ist. Es handelt sich um eine AI-Videogeneratoranwendung, mit der Benutzer acht Sekunden lang, hochwertige Movies generieren können. Es bietet 4K -Ausgänge mit einem tiefen Verständnis der Physik, einer besseren Einhaltung und einer verbesserten kreativen Kontrolle.

All dies magazine erstaunlich klingen – aber vertrau mir, das Beste kommt noch.

VEO 3 -Movies kommen auch mit Audio. Sie können dem Video, das Sie generieren möchten, Soundeffekte, Umgebungsgeräusche und sogar Dialog hinzufügen. Sie müssen nicht einmal etwas zusätzliches tun, um diese Audios zu erhalten, und beschreiben Sie es einfach in der gleichen Eingabeaufforderung, und es wird mit dem Video nativ erzeugt.

Um die Funktionen von VEO 3 ausführlich zu lesen, können Sie sich auf den Weblog beziehen: Ist Veo 3 den Hype wert?

Veo 3 kommt in zwei Versionen:

• Veo 3: Es handelt sich um ein hochmodernes Modellgenerierungsmodell, das mit dem Google AI Extremely-Plan für 250 US-Greenback professional Monat geliefert wird.
• Veo 3 schnell: Ein speedoptimiertes hochwertiges Videogenerierungsmodell, das großartige Videoausgaben mit einer besseren Geschwindigkeit bietet. Das Modell verfügt über einen Google Professional AI -Plan für 20 US -Greenback professional Monat.

Lassen Sie mich Ihnen nun sagen, wie Sie darauf zugreifen können (kostenlos).

Wie kann man VEO 3 kostenlos zugreifen?

Google hat dafür gesorgt, dass Veo 3 zu Recht hinter Paywalls eingeschlossen bleibt. Das Generieren solcher Movies ist ziemlich ressourcenintensiv, und wenn ein solches Instrument der Öffentlichkeit kostenlos zur Verfügung gestellt wird, würde es den GPUs von Google schneller ausbrennen als der Ghibli-Pattern, um die Server von AI zu öffnen. Bevor Sie jedoch Geld für ein Gen -AI -Instrument ausgeben, sollten Sie seine Nützlichkeit validieren, und diese Validierung stammt aus dem Check. Um Ihnen dabei zu helfen, VEO 3 zu testen, bevor Sie sich entscheiden, dass es Ihr Geld (und die Zeit) wert ist, werde ich Sie auf die freie Weise führen.

Geheimnis: Der Gemini Professional -Plan ist für einen Monat kostenlos – für alle Benutzer!

Alles, was Sie tun müssen, ist:

1. Gehen Sie zu https://gemini.google.com/app
2. Klicken Sie auf der rechten Seite der Seite auf „Anmelden“. Geben Sie Ihre Google Mail -Anmeldeinformationen ein, um loszulegen.
3. Klicken Sie nun auf der rechten Seite Ihres Bildschirms auf „Improve“.
4. Klicken Sie auf „Angebot abrufen“
5. Fügen Sie Ihre Zahlungsdaten hinzu.

Es kann Ihnen zwei Rupien (wenige Cent) berechnen und in einigen Fällen nicht einmal das nicht.

Es wird ein Autopay -Mandat für Ihr Konto festgelegt, aber keine Sorge, wir werden das vor dem Ende des Monats kündigen.

Sobald Sie mit allen Schritten fertig sind, machen Sie den letzten Schritt.

Richten Sie eine Erinnerung an, um das Abonnement zu kündigen Vor dem Monat endet! (Verpassen Sie diesen Schritt nicht).

Wenn Sie wie ich Ihren kostenlosen Monat für den Professional -Plan von Google bereits erschöpft hatten, lassen Sie sich einen Freund oder ein Familienmitglied dafür anmelden. Sobald Sie fertig sind, haben Sie einen Monat lang Zugriff auf VEO 3, mit dem Sie 3 Movies professional Tag generieren können!

Lassen Sie uns jetzt Veo 3 testen!

3 Eingabeaufforderungen für die Verwendung von VEO 3

Movies sind jetzt die soziale Währung. Diese haben das Potenzial, Ihre soziale Präsenz zu steigern, Ihre Arbeitsprojekte zu verbessern und Ihre kreativen Ideen zum Leben zu erwecken. Veo 3 kann Ihnen in all Ihren „Video“ -Büriebeln helfen. Die drei Aufgaben, für die ich VEO 3 verwendet habe, waren:

1. Eine virale Rolle erzeugen
2. Eine filmische Aufnahme erzeugen
3. Um eine Produktwerbung zu generieren

Lassen Sie uns nun etwas Veo 3 Magie streuen.

Eine virale Rolle

Immediate: “Eine kleine indische Küche am Morgen mit Sonnenlicht, die durch das Fenster filtert. Eine 40-jährige Inderin in einem roten Saree kocht und sieht frustriert aus. Sie dreht sich zu einem klugen Sprecher und schreit in Hindi: „Alexa, Kya Roti Bel Degi?!“

Schneiden Sie zu einem humanoiden Roboter, der von der Seite eindringt, eine Schürze trägt und einen Rollstift hält. Der Roboter ist glänzendes Silber mit einem freundlichen LED -Gesicht.

Es macht eine Pause, antwortet dann mit einer ruhigen Roboter -männliche Hindi -Stimme: „Aapki Mumie Jaisi Gol Chahiye ya aap Jaisi Tedhi?“

Die Kamera schneidet eine Nahaufnahme des schockierten Gesichts der Mutter.

Fügen Sie einen dramatischen Tabla -Tropfen hinzu. Frieren Sie die schockierte Reaktion im Seifenoper-Stil ein. “

Stil: unbeschwerte Satire, Sitcom Realismus

Kamera: Weitaufnahme → Nahaufnahme → Mittelaufnahme → Einfrieren des Zooms

Audio: Hindi -Sprachlinien, Tabla Sting, Ambient Kitchen Sounds”

Ausgabe:

Meine Bewertung

Das Video ist komisch und ähnlich wie erwartet. Die Dialoglieferung und der Fluss des Movies sind auch ziemlich intestine. Einige Probleme, die ich bemerkte, waren: Einige Übergangsfehler, einige Teile, in denen die Charaktere Positionen wechselten, so gab es Bewegungsdiskrepanzen, und ich fand heraus, dass der Audio in der ersten Szene Klänge aus der Küchenszene enthalten hätte (die ich nicht zur Eingabeaufforderung hinzugefügt habe). Insgesamt eine ziemlich solide Ausgabe direkt bei der ersten Einstellung!

Ein Punkt, an den Sie sich erinnern sollten: VEO 3 folgt genau den Anweisungen. Fügen Sie additionally an Orten, an denen es offensichtlich erscheinen magazine, die Particulars hinzu, sogar die minuten, um das generierte Video Ihrer Fantasie näher zu bringen.

Ein filmischer Schuss

Eingabeaufforderung 2: {

„Szene“: „Eine futuristische Spiele, nachts mit harten roten Lichtern.“,.

„Charaktere“: (

{

„Rolle“: „Kandidat“,

„Aussehen“: „Tragen eines grünen Trainingsanzugs, Schwitzens, sichtbar Angst“,

„Emotion“: „nervös“

}

),

„Kamera“: (

„Großer Schuss der Area mit zwei Kandidaten, die ausgerichtet sind“,

„Nahaufnahme der verängstigten Augen eines Teilnehmers“,

„Schneiden Sie zu Wachen, die hinter ihnen stehen“,

„Zoom in den Kandidaten als Summer season klingt“

),

„Audio“: {{

„Musik“: „Spannende basslastige Partitur“,

„SFX“: („Metall -Summer season“, „Heartbeat“, „Metall Door Slam“),

„Dialog“: ()

},

„Model“: „Cinematic Thriller, Squid Recreation-inspiriert“,

„Dauer“: „8 Sekunden“

}

Ausgabe:

Meine Bewertung

Meine Inspiration für dieses Video warfare das Tintenfischspiel, und die Ausgabe ähnelte stark ihm. Der Schuss warfare intestine erzeugt und erfasste die Angst in den Augen der Teilnehmer mit der Stimme ihres Atems und den Sirenen der Area. Obwohl ich bei der Eröffnung auch einen leichten Blick auf die anderen Teilnehmer vorgezogen hätte, wie ich in meiner Eingabeaufforderung erwähnt habe, ist das Video auch ohne es anständig.

Ein Punkt, an den Sie sich erinnern sollten: Stellen Sie sicher, dass Sie die Teile betonen, auf die sich das Modell konzentrieren soll.

3. Ein Produktaufnahmen

Eingabeaufforderung 3: „Ein Außenpickleballplatz zur goldenen Stunde. Das Licht ist heat und niedrig. Staub schwimmt in der Luft. Das Netz rastet sanft in der Brise. Der Platz ist leer, bis zwei Spieler von den entgegengesetzten Enden eingehen.

Ein Teenager in Sportswear, selbstbewusst und lässig und eine ältere Frau in Professional -Ausrüstung, konzentriert und ruhig. Beide halten Paddel und spazieren in Zeitlupe. Sie drehen ihre Paddel synchron mit dem aufstrebenden Beat.

Beginnen Sie mit einer breiten Drohnenaufnahme des vollen Hofes. Dolly schoss durch das Netz, als die Spieler eintraten. Nahaufnahme auf Paddelhahn synchron mit dem Beat. Makroaufnahme des Ballwurfs mit einer Verlangsamung der Zeit. Beim Beat Drop: Paddle Strike in Zeitlupe, gefolgt von einer Rallye -Sequenz schneller, rhythmischer Schnitte. Ultimate Broad Shot als Smash landet. Frierenrahmen auf dem Ball mitten in der Luft. Emblem und Slogan werden in der Rahmenzentrale angezeigt.

Musik: Elektronischer Beat bei 120 bpm, in den ersten 4 Sekunden steigenden Spannungen, Hartbass fallen bei 4 Sekunden. Soundeffekte mit Musik synchronisiert – Paddle Faucet Matches Snare, Ball Bounce Matches Kick Drum, Smash Matches The Bass Drop. Kein Dialog. Ein sanftes Glockenspiel spielt, während das Emblem verblasst.

8-Sekunden-Bogen: Spieler treten (0–2s), Paddelhahn und Ballwurf (2–4s), Beat Drop und Rally (4–6s), Ultimate Smash und Freeze-Rame (6–8s) ein.

Visible Tone: Movie, musik-video inspiriert, energisch. Farbpalette: warmes Gold, tiefgrüne, weiche Schatten.

On-Display-Textual content (bei 7s):

Smashline

„Wo Rallyes anders getroffen haben.“ “

Ausgabe:

Meine Bewertung

Dieses Video warfare wahrscheinlich mein am wenigsten Favorit. Das Video enthält alle Elemente, die in der Eingabeaufforderung erwähnt wurden, aber es gibt einige Probleme mit ihnen. Wie ihre Platzierung vor der Kamera und sogar auf dem Platz. Der Identify des Pickleball -Platzes kam am Ende, aber sein Slogan wurde nicht korrekt erwähnt. Ich fühlte mich auch von der Musik des Movies enttäuscht.

Ein Punkt, an den Sie sich erinnern sollten: Veo 3 kämpft mit der Einbeziehung von Textual content. Es ist daher am besten, ihn zu vermeiden.

Wie schreibe ich VEO 3 Eingabeaufforderungen?

Veo 3 hat so viel zu bieten und mit etwas intelligenter Aufforderung können Sie Ihre Kreativität zum Leben erwecken. Eine Aufforderung für VEO 3 muss die folgende Struktur haben:

1. Räumliche + zeitliche Struktur: Räumliche und zeitliche Struktur geben Ihrer Szene einen Kontext und diktieren Sie die Abfolge der Ereignisse in der Szene.
2. Charakterdetails: Diese erzählen das Modell über verschiedene Charaktere und ihre unterschiedlichen Merkmale, sodass Veo 3 ihre Emotionen richtig animieren kann.
3. Filmfluss: Es erzählt über die Ausführung einer Aktion. Die Kamera -Richtung deutet auf die Stimmung und den Ton jeder Szene hin.
4. Audio -Ausrichtung: Sie stellt sicher, dass die Szene, der Audio (oder der Dialog/die Musik) harmonisch funktionieren.
5. Klarer Zeit -Erzählbogen: Es diktiert den Zeitbogen aus dem Anfang, Mitte, und Ende des MoviesAnwesend So liefern Sie es mit einer Gesamtstruktur.

Wenn Sie es bemerkt haben müssen, folgte ich drei verschiedene Eingabeaufentwicklungsstrukturen aus den drei Movies, die ich generiert hatte.

• Der erste fehlte die richtige Struktur.
• Der zweite hatte Struktur, wurde aber im JSON -Format geschrieben.
• Der dritte hatte Struktur und wurde im Textformat geschrieben.

Daraus fand ich die beste Ausgabe von der zweiten Eingabeaufforderung – Struktur + JSON. Tatsächlich, Ich habe viele Leute gefunden, die im Web dasselbe erwähnt haben. Bevor Sie jedoch den Ansatz für Sie abschließen, stellen Sie sicher, dass Sie Ihre eigenen Assessments durchführen.

Schlussfolgerung: Ist VEO 3 den Hype wert?

Ich fühle mich an einer Kreuzung, die diese Frage beantwortet, weil es auf der einen Seite weitaus besser ist als das, was wir bisher mit anderen Bildgenerierungsmodellen gesehen haben, und andererseits hat es noch eine Menge zu verbessern. Aber wenn Sie jemand sind, der kreative Unterstützung braucht, um ihre Ideen zu überprüfen, dann ist Veo 3 ein Muss! Es spart Zeit und gibt Ihren Gedanken eine Plattform. Aber wenn Sie jemand wie ich sind, der seltener Movies verwendet, können Sie vielleicht noch warten oder nur einige kreative freie Wege finden, um weiterhin Veo 3 zu verwenden.

Versuchen Sie es und lassen Sie mich Ihre Gedanken wissen!

Die Aktie von Superior Micro Units (AMD) stieg aufgrund der optimistischen Berichterstattung der Analysten und der Erwartung neuer Produkteinführungen um 5,7 %. Rosenblatt bezeichnete AMD kürzlich als Prime-Investitionsidee für das erste Halbjahr 2025 und nannte ein optimistisches Einjahres-Kursziel von 250 US-Greenback professional Aktie. Dies stellt ein potenzielles Aufwärtspotenzial von etwa 100 % dar. Die Analysten des Unternehmens führen die positiven Aussichten auf AMDs Wachstum in den Märkten für Zentraleinheiten (CPUs) und Grafikprozessoren (GPUs) zurück, insbesondere auf die erwartete starke Leistung seiner Epyc-CPUs und der kommenden M1350- und M1400-GPUs.

AMD-Aktien steigen aufgrund optimistischer Prognosen und Produkteinführungen um 5,7 %

Trotz eines schwierigen Begins ins Jahr 2024, in dem die AMD-Aktien seit Jahresbeginn um etwa 15 % fielen und sich in der Nähe eines 52-Wochen-Tiefs bewegten, haben die jüngsten Gewinne die Aufmerksamkeit von Anlegern auf sich gezogen, die nach Erholungsmöglichkeiten suchen. Während Nvidia in diesem Jahr den Markt für künstliche Intelligenz (KI) mit erheblichen Aktienzuwächsen dominiert hat, verzeichnet das Rechenzentrumssegment von AMD ein explosionsartiges Wachstum, wenn auch unter den Erwartungen einiger Analysten.

---

Wann man Nvidia-Aktien kaufen sollte: Eine Analyse

---

Der Handel am Montag wurde durch Gerüchte über die bevorstehenden Markteinführungen von AMD beflügelt, darunter die CPUs Ryzen 9 9950X3D und Ryzen 9 9900X3D sowie RDNA 4-GPUs, insbesondere die RX 9070 XT. Diese Fortschritte versprechen Verbesserungen, die von höheren Taktraten bis hin zu verbesserten KI-Verarbeitungsfunktionen reichen und auf verschiedene anspruchsvolle Anwendungen wie Spiele und Inhaltserstellung abzielen. Der Ryzen 9 9950X3D verfügt beispielsweise über eine Turbo-Enhance-Fähigkeit von bis zu 5,7 GHz und arbeitet effizient im 4-nm-Prozess, was eine bessere Leistung professional Watt bei reduzierter Wärmeabgabe ermöglicht.

Technologische Fortschritte am Horizont

Die kommenden RDNA 4-GPUs werden in der Tech-Group mit großer Spannung erwartet und versprechen erhebliche Verbesserungen beim Raytracing für realistischere Beleuchtung und Schatten. Da die Taktraten voraussichtlich bei 3,0 GHz liegen, sind diese GPUs auf Energieeffizienz ausgelegt und eignen sich daher für den Langzeiteinsatz bei Spielen und intensiven Aufgaben. Der Wechsel von AMD zur RX 9000-Serie deutet auf eine Strategie hin, das Verbraucherinteresse wiederzubeleben und wahrscheinlich neue Investitionen auf der Grundlage konkreter Produktinnovationen anzuziehen.

Die Aufregung rund um diese Produkteinführungen und die optimistischen Analystenaussichten stellen AMD derzeit als attraktive Choice für Anleger dar. Während erhebliche Wettbewerbsrisiken bestehen bleiben – insbesondere mit der führenden GPU-Technologie von Nvidia – könnte der wachsende Anteil von AMD sowohl am CPU- als auch am GPU-Markt zu einem erheblichen Wachstum führen. Die erfolgreiche Einführung von Produkten der nächsten Technology durch das Unternehmen, die auf die anhaltende Nachfrage nach KI-Lösungen abgestimmt sind, könnte seine langfristige Place im Halbleiterbereich festigen.

---

Haftungsausschluss: Der Inhalt dieses Artikels dient ausschließlich Informationszwecken und sollte nicht als Anlageberatung ausgelegt werden. Wir befürworten keine spezifischen Anlagestrategien und geben keine Empfehlungen zum Kauf oder Verkauf von Wertpapieren ab.

Hervorgehobener Bildnachweis: AMD

Die Veröffentlichung mehrerer leistungsstarker Open-Supply-Grundmodelle in Verbindung mit Fortschritten bei der Feinabstimmung haben ein neues Paradigma im maschinellen Lernen und in der künstlichen Intelligenz hervorgebracht. Im Zentrum dieser Revolution steht die Transformatormodell.

Während hochpräzise domänenspezifische Modelle früher für alle außer den finanzkräftigsten Unternehmen unerreichbar waren, ermöglicht das grundlegende Modellparadigma heute sogar den bescheidenen Ressourcen von Studenten oder unabhängigen Forschern, Ergebnisse zu erzielen, die mit den modernsten proprietären Modellen mithalten können.

Dieser Artikel untersucht die Anwendung von Metas Section Something Mannequin (SAM) auf die Fernerkundungsaufgabe der Flusspixelsegmentierung. Wenn Sie direkt in den Code einsteigen möchten, ist die Quelldatei für dieses Projekt verfügbar unter GitHub und die Daten sind auf Umarmendes Gesichtobwohl es ratsam ist, zuerst den gesamten Artikel zu lesen.

Der erste Schritt besteht darin, einen geeigneten Datensatz zu finden oder zu erstellen. Basierend auf vorhandener Literatur enthält ein guter Feinabstimmungsdatensatz für SAM mindestens 200–800 Bilder. Eine wichtige Lektion der letzten zehn Jahre der Weiterentwicklung des Deep Studying ist, dass mehr Daten immer besser sind. Mit einem größeren Feinabstimmungsdatensatz kann man additionally nichts falsch machen. Das Ziel grundlegender Modelle besteht jedoch darin, dass auch relativ kleine Datensätze für eine starke Leistung ausreichen.

Außerdem ist ein HuggingFace-Konto erforderlich. hier erstellt. Mit HuggingFace können wir unseren Datensatz jederzeit und von jedem Gerät aus problemlos speichern und abrufen, was die Zusammenarbeit und Reproduzierbarkeit erleichtert.

Die letzte Voraussetzung ist ein Gerät mit einer GPU, auf dem wir den Trainingsworkflow ausführen können. Eine Nvidia T4 GPU, die kostenlos erhältlich ist über Google Colabist leistungsstark genug, um den größten SAM-Modell-Checkpoint (sam-vit-huge) für 50 Epochen in weniger als 12 Stunden anhand von 1000 Bildern zu trainieren.

Um zu vermeiden, dass der Fortschritt aufgrund von Nutzungsbeschränkungen bei gehosteten Laufzeiten verloren geht, können Sie Google Drive einbinden und jeden Modellprüfpunkt dort speichern. Alternativ können Sie eine Verbindung zu einem Virtuelle GCP-Maschine um Beschränkungen vollständig zu umgehen. Wenn Sie GCP noch nie zuvor verwendet haben, haben Sie Anspruch auf ein kostenloses Guthaben von 300 US-Greenback, das ausreicht, um das Modell mindestens ein Dutzend Mal zu trainieren.

Bevor wir mit dem Coaching beginnen, müssen wir die Architektur von SAM verstehen. Das Modell enthält drei Komponenten: einen Bildencoder aus einem minimal modifizierten maskierter Autoencoderein flexibler Immediate-Encoder, der verschiedene Immediate-Typen verarbeiten kann, und ein schneller und leichter Masken-Decoder. Eine Motivation hinter dem Design ist es, eine schnelle Segmentierung in Echtzeit auf Edge-Geräten (z. B. im Browser) zu ermöglichen, da die Bildeinbettung nur einmal berechnet werden muss und der Masken-Decoder in ca. 50 ms auf der CPU ausgeführt werden kann.

Theoretisch hat der Bildencoder bereits gelernt, wie man ein Bild optimum einbettet, indem er Formen, Kanten und andere allgemeine visuelle Merkmale erkennt. Ebenso ist der Immediate-Encoder theoretisch bereits in der Lage, Prompts optimum zu kodieren. Der Maskendecoder ist der Teil der Modellarchitektur, der diese Bild- und Immediate-Einbettungen übernimmt und tatsächlich die Maske erstellt, indem er die Bild- und Immediate-Einbettungen bearbeitet.

Ein Ansatz besteht daher darin, die mit den Bild- und Eingabeaufforderungs-Encodern verbundenen Modellparameter während des Trainings einzufrieren und nur die Masken-Decodergewichte zu aktualisieren. Dieser Ansatz hat den Vorteil, dass sowohl überwachte als auch unbeaufsichtigte nachgelagerte Aufgaben möglich sind, da Kontrollpunkt- und Begrenzungsrahmen-Eingabeaufforderungen sowohl automatisierbar als auch von Menschen verwendbar sind.

Ein alternativer Ansatz besteht darin, den Immediate-Encoder zu überladen, den Bild-Encoder und den Masken-Decoder einzufrieren und einfach den ursprünglichen SAM-Masken-Encoder nicht zu verwenden. Beispielsweise verwendet die AutoSAM-Architektur ein auf Harmonic Dense Web basierendes Netzwerk, um Immediate-Einbettungen basierend auf dem Bild selbst zu erzeugen. In diesem Tutorial behandeln wir den ersten Ansatz, bei dem die Bild- und Immediate-Encoder eingefroren und nur der Masken-Decoder trainiert werden. Code für diesen alternativen Ansatz finden Sie jedoch im AutoSAM GitHub Und Papier.

Der nächste Schritt besteht darin, zu bestimmen, welche Artwork von Eingabeaufforderungen das Modell während der Inferenzzeit erhält, damit wir diese Artwork von Eingabeaufforderung zur Trainingszeit bereitstellen können. Persönlich würde ich angesichts der unvorhersehbaren/inkonsistenten Natur der Verarbeitung natürlicher Sprache die Verwendung von Texteingabeaufforderungen für eine ernsthafte Pc-Imaginative and prescient-Pipeline nicht empfehlen. Es bleiben Punkte und Begrenzungsrahmen, wobei die Wahl letztendlich von der besonderen Natur Ihres spezifischen Datensatzes abhängt, obwohl in der Literatur festgestellt wurde, dass Begrenzungsrahmen Kontrollpunkte ziemlich konsistent übertreffen.

Die Gründe hierfür sind nicht ganz klar, es könnte jedoch einer der folgenden Faktoren oder eine Kombination davon sein:

• Gute Kontrollpunkte sind zum Zeitpunkt der Inferenz (wenn die Floor-Reality-Maske unbekannt ist) schwieriger auszuwählen als Begrenzungsrahmen.
• Der Raum der möglichen Punktaufforderungen ist um Größenordnungen größer als der Raum der möglichen Begrenzungsrahmenaufforderungen und wurde daher nicht so gründlich trainiert.
• Die ursprünglichen SAM-Autoren konzentrierten sich auf die Zero-Shot- und Few-Shot-Fähigkeiten des Modells (gezählt als menschliche Interaktionen), sodass der Schwerpunkt beim Vortraining möglicherweise mehr auf Begrenzungsrahmen lag.

Unabhängig davon ist die Flusssegmentierung tatsächlich ein seltener Fall, in dem Punkteingabeaufforderungen tatsächlich besser abschneiden als Begrenzungsrahmen (wenn auch nur geringfügig, selbst bei einer äußerst günstigen Domäne). Da sich in jedem Bild eines Flusses das Gewässer von einem Ende des Bildes zum anderen erstreckt, bedeckt ein umgebender Begrenzungsrahmen quick immer den größten Teil des Bildes. Daher können die Eingabeaufforderungen für Begrenzungsrahmen für sehr unterschiedliche Flussabschnitte äußerst ähnlich aussehen, was theoretisch bedeutet, dass Begrenzungsrahmen dem Modell deutlich weniger Informationen liefern als Kontrollpunkte und daher zu einer schlechteren Leistung führen.

Beachten Sie, dass in der obigen Abbildung die jeweiligen Begrenzungsrahmen nahezu identisch sind, obwohl die tatsächlichen Segmentierungsmasken für die beiden Flussabschnitte völlig unterschiedlich sind, während ihre Punktaufforderungen sich (relativ) stärker unterscheiden.

Der andere wichtige zu berücksichtigende Faktor ist, wie einfach Eingabeaufforderungen zum Zeitpunkt der Inferenz generiert werden können. Wenn Sie davon ausgehen, dass ein Mensch in die Schleife eingebunden ist, sind sowohl Begrenzungsrahmen als auch Kontrollpunkte zum Zeitpunkt der Inferenz relativ einfach zu erfassen. Wenn Sie jedoch eine vollständig automatisierte Pipeline haben möchten, wird die Beantwortung dieser Fragen komplizierter.

Unabhängig davon, ob Kontrollpunkte oder Begrenzungsrahmen verwendet werden, umfasst das Generieren der Eingabeaufforderung normalerweise zunächst die Schätzung einer groben Maske für das Objekt von Interesse. Begrenzungsrahmen können dann einfach die kleinste Field sein, die die grobe Maske umschließt, während Kontrollpunkte aus der groben Maske abgetastet werden müssen. Dies bedeutet, dass Begrenzungsrahmen einfacher zu erhalten sind, wenn die Grundmaske unbekannt ist, da die geschätzte Maske für das Objekt von Interesse nur ungefähr der Größe und Place des tatsächlichen Objekts entsprechen muss, während die geschätzte Maske für Kontrollpunkte genauer mit den Konturen des Objekts übereinstimmen müsste.

Wenn wir für die Flusssegmentierung sowohl auf RGB als auch auf NIR zugreifen können, können wir Schwellenwertmethoden für Spektralindizes verwenden, um unsere grobe Maske zu erhalten. Wenn wir nur auf RGB zugreifen können, können wir das Bild in HSV konvertieren und alle Pixel innerhalb eines bestimmten Farbton-, Sättigungs- und Wertebereichs mit Schwellenwerten versehen. Dann können wir verbundene Komponenten unterhalb einer bestimmten Größenschwelle entfernen und verwenden erosion aus skimage.morphology um sicherzustellen, dass die einzigen 1 Pixel in unserer Maske diejenigen sind, die sich in Richtung der Mitte der großen blauen Flecken befinden.

Um unser Modell zu trainieren, benötigen wir einen Datenlader, der alle unsere Trainingsdaten enthält, die wir für jede Trainingsepoche durchlaufen können. Wenn wir unseren Datensatz von HuggingFace laden, nimmt er die Type eines datasets.Dataset Klasse. Wenn der Datensatz privat ist, installieren Sie zuerst die HuggingFace CLI und melden Sie sich mit !huggingface-cli login.

from datasets import load_dataset, load_from_disk, Dataset
hf_dataset_name = "stodoran/elwha-segmentation-v1"
training_data = load_dataset(hf_dataset_name, break up="prepare")
validation_data = load_dataset(hf_dataset_name, break up="validation")

Wir müssen dann unsere eigene benutzerdefinierte Dataset-Klasse codieren, die nicht nur ein Bild und ein Label für jeden Index zurückgibt, sondern auch die Eingabeaufforderung. Unten sehen Sie eine Implementierung, die sowohl Kontrollpunkt- als auch Begrenzungsrahmen-Eingabeaufforderungen verarbeiten kann. Zur Initialisierung wird ein HuggingFace benötigt. datasets.Dataset Instanz und eine SAM-Prozessorinstanz.

from torch.utils.information import Dataset
class PromptType:
CONTROL_POINTS = "pts"
BOUNDING_BOX = "bbox"
class SAMDataset(Dataset):
def __init__(
self, 
dataset, 
processor, 
prompt_type = PromptType.CONTROL_POINTS,
num_positive = 3,
num_negative = 0,
erode = True,
multi_mask = "imply",
perturbation = 10,
image_size = (1024, 1024),
mask_size = (256, 256),
):
# Asign all values to self
...
def __len__(self):
return len(self.dataset)
def __getitem__(self, idx):
datapoint = self.dataset(idx)
input_image = cv2.resize(np.array(datapoint("picture")), self.image_size)
ground_truth_mask = cv2.resize(np.array(datapoint("label")), self.mask_size)
if self.prompt_type == PromptType.CONTROL_POINTS:
inputs = self._getitem_ctrlpts(input_image, ground_truth_mask)
elif self.prompt_type == PromptType.BOUNDING_BOX:
inputs = self._getitem_bbox(input_image, ground_truth_mask)
inputs("ground_truth_mask") = ground_truth_mask
return inputs

Wir müssen auch definieren, SAMDataset._getitem_ctrlpts Und SAMDataset._getitem_bbox Funktionen, obwohl, wenn Sie nur planen, einen Eingabeaufforderungstyp zu verwenden, dann können Sie den Code umgestalten, um nur diesen Typ direkt zu verarbeiten in SAMDataset.__getitem__ und entfernen Sie die Hilfsfunktion.

class SAMDataset(Dataset):
...
def _getitem_ctrlpts(self, input_image, ground_truth_mask):
# Get management factors immediate. See the GitHub for the supply
# of this operate, or change with your individual level choice algorithm.
input_points, input_labels = generate_input_points(
num_positive=self.num_positive,
num_negative=self.num_negative,
masks=ground_truth_mask,
dynamic_distance=True,
erode=self.erode,
)
input_points = input_points.astype(float).tolist()
input_labels = input_labels.tolist()
input_labels = ((x) for x in input_labels)
# Put together the picture and immediate for the mannequin.
inputs = self.processor(
input_image,
input_points=input_points,
input_labels=input_labels,
return_tensors="pt"
)
# Take away batch dimension which the processor provides by default.
inputs = {ok: v.squeeze(0) for ok, v in inputs.gadgets()}
inputs("input_labels") = inputs("input_labels").squeeze(1)
return inputs
def _getitem_bbox(self, input_image, ground_truth_mask):
# Get bounding field immediate.
bbox = get_input_bbox(ground_truth_mask, perturbation=self.perturbation)
# Put together the picture and immediate for the mannequin.
inputs = self.processor(input_image, input_boxes=((bbox)), return_tensors="pt")
inputs = {ok: v.squeeze(0) for ok, v in inputs.gadgets()} # Take away batch dimension which the processor provides by default.
return inputs

Wenn wir alles zusammenfassen, können wir eine Funktion erstellen, die einen PyTorch-Datenlader erstellt und zurückgibt, wenn der HuggingFace-Datensatz aufgeteilt wird. Das Schreiben von Funktionen, die Datenlader zurückgeben, anstatt nur Zellen mit demselben Code auszuführen, ist nicht nur eine gute Praxis zum Schreiben von flexiblem und wartbarem Code, sondern auch notwendig, wenn Sie planen, HuggingFace Beschleunigen um verteiltes Coaching durchzuführen.

from transformers import SamProcessor
from torch.utils.information import DataLoader
def get_dataloader(
hf_dataset,
model_size = "base",  # Certainly one of "base", "giant", or "large" 
batch_size = 8, 
prompt_type = PromptType.CONTROL_POINTS,
num_positive = 3,
num_negative = 0,
erode = True,
multi_mask = "imply",
perturbation = 10,
image_size = (256, 256),
mask_size = (256, 256),
):
processor = SamProcessor.from_pretrained(f"fb/sam-vit-{model_size}")
sam_dataset = SAMDataset(
dataset=hf_dataset, 
processor=processor, 
prompt_type=prompt_type,
num_positive=num_positive,
num_negative=num_negative,
erode=erode,
multi_mask=multi_mask,
perturbation=perturbation,
image_size=image_size,
mask_size=mask_size,
)
dataloader = DataLoader(sam_dataset, batch_size=batch_size, shuffle=True)
return dataloader

Danach besteht das Coaching lediglich darin, das Modell zu laden, die Bild- und Eingabeaufforderungs-Encoder einzufrieren und für die gewünschte Anzahl von Iterationen zu trainieren.

mannequin = SamModel.from_pretrained(f"fb/sam-vit-{model_size}")
optimizer = AdamW(mannequin.mask_decoder.parameters(), lr=learning_rate, weight_decay=weight_decay)
# Prepare solely the decoder.
for identify, param in mannequin.named_parameters():
if identify.startswith("vision_encoder") or identify.startswith("prompt_encoder"):
param.requires_grad_(False)

Unten sehen Sie die grundlegende Gliederung des Trainingsschleifencodes. Beachten Sie, dass die forward_pass, calculate loss, evaluate_modelUnd save_model_checkpoint Funktionen wurden der Kürze halber weggelassen, aber Implementierungen sind auf GitHub verfügbar. Der Vorwärtspasscode unterscheidet sich je nach Eingabeaufforderungstyp leicht, und die Verlustberechnung erfordert ebenfalls einen Sonderfall basierend auf dem Eingabeaufforderungstyp. Bei der Verwendung von Punkteingabeaufforderungen gibt SAM für jeden einzelnen Eingabepunkt eine vorhergesagte Maske zurück. Um additionally eine einzelne Maske zu erhalten, die mit der Grundwahrheit verglichen werden kann, müssen entweder die vorhergesagten Masken gemittelt oder die beste vorhergesagte Maske ausgewählt werden (identifiziert basierend auf den vorhergesagten IoU-Werten von SAM).

train_losses = ()
validation_losses = ()
epoch_loop = tqdm(whole=num_epochs, place=epoch, go away=False)
batch_loop = tqdm(whole=len(train_dataloader), place=0, go away=True)
whereas epoch < num_epochs:
epoch_losses = ()
batch_loop.n = 0  # Loop Reset
for idx, batch in enumerate(train_dataloader):
# Ahead Cross
batch = {ok: v.to(accelerator.system) for ok, v in batch.gadgets()}
outputs = forward_pass(mannequin, batch, prompt_type)
# Compute Loss
ground_truth_masks = batch("ground_truth_mask").float()
train_loss = calculate_loss(outputs, ground_truth_masks, prompt_type, loss_fn, multi_mask="greatest")
epoch_losses.append(train_loss)
# Backward Cross & Optimizer Step
optimizer.zero_grad()
accelerator.backward(train_loss)
optimizer.step()
lr_scheduler.step()
batch_loop.set_description(f"Prepare Loss: {train_loss.merchandise():.4f}")
batch_loop.replace(1)
validation_loss = evaluate_model(mannequin, validation_dataloader, accelerator.system, loss_fn)
train_losses.append(torch.imply(torch.Tensor(epoch_losses)))
validation_losses.append(validation_loss)
if validation_loss < best_loss:
save_model_checkpoint(
accelerator,
best_checkpoint_path,
mannequin,
optimizer,
lr_scheduler,
epoch,
train_history,
validation_loss,
train_losses,
validation_losses,
loss_config,
model_descriptor=model_descriptor,
)
best_loss = validation_loss
epoch_loop.set_description(f"Finest Loss: {best_loss:.4f}")
epoch_loop.replace(1)
epoch += 1

Für das Elwha-River-Projekt wurde im besten Fall das Modell „sam-vit-base“ mithilfe eines Datensatzes von über 1.000 Segmentierungsmasken unter Verwendung einer GCP-Instanz in weniger als 12 Stunden trainiert.

Im Vergleich zum Foundation-SAM verbesserte sich die Leistung durch die Feinabstimmung drastisch, wobei die Medianmaske von unbrauchbar zu hochpräzise wurde.

Wichtig zu beachten ist, dass der Trainingsdatensatz mit 1.000 Flussbildern nicht perfekt conflict und die Segmentierungsbezeichnungen hinsichtlich der Anzahl korrekt klassifizierter Pixel stark variierten. Daher wurden die oben gezeigten Metriken anhand eines pixelgenauen Datensatzes mit 225 Flussbildern berechnet.

Ein interessantes beobachtetes Verhalten conflict, dass das Modell lernte, aus den unvollkommenen Trainingsdaten zu verallgemeinern. Bei der Auswertung von Datenpunkten, bei denen das Trainingsbeispiel offensichtliche Fehlklassifizierungen enthielt, können wir beobachten, dass die Vorhersage des Modells den Fehler vermeidet. Beachten Sie, dass die Bilder in der oberen Reihe, die Trainingsbeispiele zeigen, Masken enthalten, die den Fluss nicht bis zum Ufer füllen, während die untere Reihe, die Modellvorhersagen zeigt, die Flussgrenzen enger segmentiert.