# Einführung

Es wird geschätzt, dass die Datenbereinigung und -aufbereitung bis zu 80 % des täglichen Arbeitsablaufs eines Datenwissenschaftlers ausmacht. Weil Pandas ist die Standardbibliothek zur Datenbearbeitung in Python. Die Effizienz Ihrer Vorgänge bestimmt direkt, wie schnell Sie von rohen, schmutzigen Datensätzen zu modellbereiten Funktionen wechseln können. Und es gibt gute Gründe, Ihre Reinigungs- und Vorbereitungszeit zu verlängern: Dies bedeutet direkt, dass mehr Zeit für die Modellierung, Analyse und Vermittlung von Erkenntnissen zur Verfügung steht.

Allerdings schreiben viele Entwickler Pandas-Code, der Customary-Python-Schleifenstrukturen nachahmt oder crucial, zustandsverändernde Aktualisierungen verwendet. Diese Ansätze weisen mehrere Probleme auf: Sie können zu Verwirrung führen SettingWithCopyWarningblähen die RAM-Auslastung durch redundante Kopien auf und verlangsamen die Ausführungsgeschwindigkeit durch die Vermeidung von Vektorisierung.

Um Datenpipelines in Produktionsqualität zu schreiben, müssen Sie von der grundlegenden Syntax zu idiomatischen Pandas-Entwurfsmustern übergehen. In diesem Artikel gehen wir drei wesentliche Pandas-Methods durch, um Ihre Daten effizient zu bereinigen und aufzubereiten:

1. deklarative Methodenverkettung
2. Speicher- und Geschwindigkeitsoptimierung über Kategorialfunktionen und vektorisierte String-Accessoren
3. Gruppenbewusste Imputation unter Verwendung .rework()

# 1. Deklarative Methodenverkettung mit .assign(), .question()Und .pipe()

Beim Vorbereiten von Daten ist es üblich, eine Reihe von Änderungen vorzunehmen: Zeichenfolgenwerte bereinigen, neue mathematische Spalten erstellen, Ausreißer filtern, Felder umbenennen usw.

Bei einem naiven Ansatz werden diese Vorgänge nacheinander geschrieben, wobei der DataFrame direkt verändert oder wiederholt derselben Variablen neu zugewiesen wird. Dies erschwert nicht nur das Lesen und Debuggen von Code, sondern das Ändern von Slices in DataFrames löst auch häufig das berüchtigte Drawback aus SettingWithCopyWarning. Mit dieser Warnung weist Pandas darauf hin, dass nicht garantiert werden kann, ob Sie eine Kopie oder den ursprünglichen Array-Puffer im Speicher ändern.

Indem Sie Ihre Datenbereinigungspipeline in Klammern setzen, können Sie Pandas-Methoden sequentiell verketten. Benutzen .assign() um neue Spalten zu deklarieren, .question() zur Zeilenfilterung und .pipe() Durch die Anwendung benutzerdefinierter Funktionen bleiben Ihre Abläufe linear, lesbar und vor Nebenwirkungen geschützt.

Dieser zwingende Stil modifiziert den DataFrame Schritt für Schritt, wodurch das Risiko von Warnmeldungen besteht und die Isolierung von Zwischenstufen schwierig wird:

import pandas as pd
import numpy as np

# Pattern uncooked gross sales information
information = {
    'sale_date': ('2026-01-01', '2026-01-02', 'invalid_date', '2026-01-04'),
    'item_code': ('  PROD_A ', ' PROD_B', 'PROD_C  ', '  PROD_D '),
    'worth': (100.0, 250.0, -99.0, 150.0),
    'amount': (2, 1, 5, 3)
}
df = pd.DataFrame(information)

# Naive multi-step cleansing
df('sale_date') = pd.to_datetime(df('sale_date'), errors="coerce")
df('item_code') = df('item_code').str.strip()
df('total_revenue') = df('worth') * df('amount')

# Filtering out unhealthy dates and invalid costs
df = df(df('sale_date').notna())
df = df(df('worth') > 0)

# Renaming columns for consistency
df.rename(columns={'item_code': 'product_id'}, inplace=True)

print(df)

Hier strukturieren wir genau dieselbe Logik in eine einzige, zusammenhängende, von oben nach unten verlaufende Pipeline um. Wir verwenden eine benutzerdefinierte Hilfsfunktion mit .pipe() So behandeln Sie benutzerdefinierte Anomalien:

import pandas as pd
import numpy as np

information = {
    'sale_date': ('2026-01-01', '2026-01-02', 'invalid_date', '2026-01-04'),
    'item_code': ('  PROD_A ', ' PROD_B', 'PROD_C  ', '  PROD_D '),
    'worth': (100.0, 250.0, -99.0, 150.0),
    'amount': (2, 1, 5, 3)
}
df_raw = pd.DataFrame(information)

# Customized modular cleansing step
def clean_item_codes(df):
    df('item_code') = df('item_code').str.strip()
    return df

# Technique Chaining pipeline
cleaned_df = (
    df_raw
    .copy()  # Prevents modifying the unique uncooked information
    .assign(
        sale_date=lambda d: pd.to_datetime(d('sale_date'), errors="coerce"),
        total_revenue=lambda d: d('worth') * d('amount')
    )
    .pipe(clean_item_codes)
    .question("sale_date.notna() and worth > 0")
    .rename(columns={'item_code': 'product_id'})
)

print(cleaned_df)

Ausgabe:

   sale_date product_id  worth  amount  total_revenue
0 2026-01-01     PROD_A  100.0         2          200.0
1 2026-01-02     PROD_B  250.0         1          250.0
3 2026-01-04     PROD_D  150.0         3          450.0

Durch Einschließen des Ausdrucks ( ... )Python erlaubt mehrzeilige Ketten ohne die Verwendung von Backslashes.

• .assign() akzeptiert Schlüsselwortargumente, bei denen Lambdas den aktuellen Standing des DataFrame empfangen (d), sodass Sie mehrere Spalten nacheinander erstellen oder ändern können.
• .pipe() übergibt den Zwischen-DataFrame an eine externe Funktion. Dadurch wird die wiederverwendbare Reinigungslogik von der Hauptkette getrennt.
• .question() akzeptiert einen booleschen Ausdruck als String. Es ist sauberer als verschachtelte Klammern (df((df(a) > 0) & (df(b).notna()))) und läuft unter der Haube schneller mit dem schnellen numerischen Ausdrucks-Evaluator von NumPy, NumExpr.

Dieses Funktionsmuster vermeidet SettingWithCopyWarning weil es niemals Zwischen-Slices verändert.

# 2. Speicher- und Geschwindigkeitsoptimierung mit kategorialen und vektorisierten String-Methoden

Standardmäßig weist Pandas das Generikum zu object Datentyp für Spalten mit Textual content. Eine Objektspalte speichert Python-Zeiger auf Zeichenfolgen, die im Heapspeicher verstreut sind, und nicht auf zusammenhängende, gepackte Werte. Bei großen Datensätzen mit Zeichenfolgen mit geringer Kardinalität (Spalten mit sich wiederholenden Kategorien wie Statusflaggen, Städtenamen oder Geschlecht) ist dies standardmäßig ein offensichtlicher Speicherbedarf.

Darüber hinaus wenden Entwickler häufig benutzerdefinierte Zeichenfolgenmodifikationen an, indem sie Python-Lambda-Ausdrücke an übergeben .apply(). Dies zwingt Pandas dazu, bei langsamer Python-Interpreter-Geschwindigkeit nacheinander jede Zeile zu durchlaufen.

Wir können sowohl die RAM-Nutzung als auch die Ausführungszeit optimieren, indem wir:

1. Konvertieren von Zeichenfolgenspalten mit niedriger Kardinalität in die native class Datentyp
2. Langsamer Austausch .apply() Schleifen mit optimierten vektorisierten String-Methoden über die .str Zugriffsberechtigter

Lassen Sie uns die Bereinigung eines großen Datensatzes (1.000.000 Zeilen) simulieren, indem wir Textual content als Objektspalten beibehalten und Leerzeichen mit bereinigen .apply():

import pandas as pd
import numpy as np
import time

# Create a mock dataset with 1 million rows of low-cardinality string information
n_rows = 1000000
classes = (' PENDING ', ' COMPLETED ', ' FAILED ', ' SHIPPED ')
df = pd.DataFrame({
    'standing': np.random.selection(classes, dimension=n_rows),
    'val': np.random.rand(n_rows)
})

# Benchmark reminiscence utilization earlier than cleansing
mem_before = df('standing').memory_usage(deep=True) / (1024 ** 2)

start_time = time.time()

# Naive cleansing: sluggish Python apply loops
df('standing') = df('standing').apply(lambda x: x.strip().higher())
duration_apply = time.time() - start_time

mem_after = df('standing').memory_usage(deep=True) / (1024 ** 2)

print(f"Apply cleansing accomplished in: {duration_apply:.4f} seconds")
print(f"Standing column reminiscence utilization: {mem_after:.2f} MB (initially {mem_before:.2f} MB)")

Durch Umwandlung der Statusspalte in class Zuerst und unter Verwendung der vektorisierten .str Mit dem Accessor erzielen wir sofortige Beschleunigungen und sparen erheblich Speicher:

import pandas as pd
import numpy as np
import time

n_rows = 1000000
classes = (' PENDING ', ' COMPLETED ', ' FAILED ', ' SHIPPED ')
df = pd.DataFrame({
    'standing': np.random.selection(classes, dimension=n_rows),
    'val': np.random.rand(n_rows)
})

# Convert to class dtype
df('standing') = df('standing').astype('class')

# Benchmark reminiscence utilization
mem_category = df('standing').memory_usage(deep=True) / (1024 ** 2)

start_time = time.time()

# Vectorized string cleansing immediately on classes
df('standing') = df('standing').cat.rename_categories(lambda x: x.strip().higher())
duration_vectorized = time.time() - start_time

print(f"Vectorized class cleansing accomplished in: {duration_vectorized:.4f} seconds")
print(f"Class standing column reminiscence utilization: {mem_category:.2f} MB")
print(f"Speedup: {duration_apply / duration_vectorized:.2f}x sooner")

Kombinierte Ausgabe:

Apply cleansing accomplished in: 0.1213 seconds
Standing column reminiscence utilization: 53.64 MB (initially 55.55 MB)

Vectorized class cleansing accomplished in: 0.0003 seconds
Class standing column reminiscence utilization: 0.95 MB
Speedup: 407.83x sooner

Wir nennen diese Leistungsverbesserungen einen Sieg.

Wenn eine Spalte umgewandelt wird classPandas kodiert die Zeichenfolgen unter der Haube in Ganzzahlschlüssel (z PENDING -> 0, COMPLETED -> 1).

• Anstatt 1.000.000 Strings zu speichern, speichert Pandas 1.000.000 kleine Ganzzahlen und eine winzige Karte mit 4 tatsächlichen String-Kategorien. Dadurch reduziert sich der Speicherbedarf von ~56 MB auf weniger als 1 MB.
• Durch die direkte Reinigung der Etiketten .cat.rename_categories()führt Pandas die String-Operationen nur für die 4 eindeutigen Kategorien durch, anstatt eine Schleife durch 1.000.000 Zeilen zu durchlaufen. Die Ausführungszeit sinkt auf nahezu Null.

Notiz: Wenn Sie mit Textual content mit hoher Kardinalität arbeiten (bei dem sich Werte selten wiederholen), behalten Sie es bei class spart keinen Speicher. In diesen Fällen sollten Sie es dennoch vermeiden .apply() und verwenden Sie vektorisierte String-Methoden direkt in der Objektspalte: df('standing').str.strip().str.higher()das in kompiliertem C und nicht in Python ausgeführt wird.

# 3. Gruppenbewusste Imputation und Interpolation mit groupby() Und .rework()

Der Umgang mit fehlenden Daten ist ein grundlegender Schritt bei der Datenbereinigung. In vielen Fällen führt das Ersetzen fehlender Werte durch einen globalen Durchschnitt oder eine Konstante zu einer statistischen Verzerrung. Wenn Sie beispielsweise einen fehlenden Produktpreis angeben, ist die Verwendung des globalen Durchschnittspreises aller Filialprodukte ungenau. Es ist viel präziser, die Berechnung anhand des Durchschnittspreises dieser spezifischen Produktkategorie vorzunehmen.

Der naive Ansatz besteht darin, die Produktkategorien zu durchlaufen, den Gruppenmittelwert zu berechnen, den DataFrame zu filtern, die fehlenden Werte zu füllen und die Gruppen wieder zusammenzufügen. Alternativ können Sie eine benutzerdefinierte Funktion darin verwenden groupby().apply() löst langsame Break up-Apply-Mix-Zyklen aus, die sich schlecht skalieren lassen.

Die optimale Lösung ist die Kombination groupby() mit dem .rework() Verfahren.

Hier simulieren wir die Imputation fehlender numerischer Preise (dargestellt durch NaN) mithilfe einer Schleife oder einer benutzerdefinierten Funktion, die an übergeben wird .apply():

import pandas as pd
import numpy as np
import time

# Create a mock catalog of 100,000 objects grouped by class
n_items = 100000
classes = (f"CAT_{i}" for i in vary(100))

df = pd.DataFrame({
    'class': np.random.selection(classes, dimension=n_items),
    'worth': np.random.uniform(10.0, 500.0, dimension=n_items)
})

# Introduce 10% lacking costs (NaN)
nan_mask = np.random.rand(n_items) < 0.1
df.loc(nan_mask, 'worth') = np.nan

df_clunky = df.copy()

start_time = time.time()

# Break up-apply-combine utilizing apply() with a customized lambda
df_clunky('worth') = df_clunky.groupby('class')('worth').apply(lambda x: x.fillna(x.imply())).reset_index(stage=0, drop=True)
duration_clunky = time.time() - start_time

print(f"Apply-based group imputation took: {duration_clunky:.4f} seconds")

Durch Hebelwirkung .rework()umgehen wir benutzerdefinierte Lambda-Schleifen und ermöglichen Pandas, die Indexausrichtung und Vektorisierung nativ zu handhaben:

import pandas as pd
import numpy as np
import time

# Use the identical setup
df_optimized = df.copy()

start_time = time.time()

# Optimized method utilizing rework
group_means = df_optimized.groupby('class')('worth').rework('imply')
df_optimized('worth') = df_optimized('worth').fillna(group_means)
duration_opt = time.time() - start_time

print(f"Remodel-based group imputation took: {duration_opt:.4f} seconds")
print(f"Speedup: {duration_clunky / duration_opt:.2f}x sooner")

Ausgabe:

Apply-based group imputation took: 0.0224 seconds
Remodel-based group imputation took: 0.0032 seconds
Speedup: 7.04x sooner

Verstehen wie .rework() „operiert“ ist der Schlüssel zum Schreiben von leistungsstarkem Pandas-Code:

• Wenn du rennst df.groupby('class')('worth').rework('imply')Pandas berechnet den Durchschnittspreis für jede Kategorie.
• Anstatt eine kleinere gruppierte Übersichtstabelle zurückzugeben, .rework() Sendet die berechneten Werte zurück in die Größe und Ausrichtung des ursprünglichen DataFrame. Es wird eine Reihe mit genau der gleichen Länge wie der Originaldatensatz ausgegeben, wobei der Index gilt i enthält den Mittelwert der Gruppe dieser Zeile i gehört dazu.
• Wir können es dann verwenden df('worth').fillna(group_means). Dadurch werden die fehlenden Werte durch eine saubere, vektorisierte, indexausgerichtete Zuweisung aufgefüllt.

Dieses Muster ist sehr vielseitig. Sie können damit eine Standardisierung auf Gruppenebene durchführen (z. B. Gruppenmittelwerte subtrahieren) oder fehlende Werte professional Gruppe vorwärts ergänzen, indem Sie Folgendes verwenden: df.groupby('group')('val').rework('ffill').

# Zusammenfassung

Indem Sie über einfache, naive Schleifenkonstrukte hinausgehen und idiomatische Pandas-Entwurfsmuster übernehmen, können Sie Datenvorbereitungspipelines erstellen, die sich nahtlos von lokalen Prototypen bis hin zu Produktionsumgebungen skalieren lassen.

Fassen wir noch einmal zusammen:

• Methodenverkettung ersetzt spröde, mehrzeilige crucial Mutationen durch lesbare, deklarative Verarbeitungssequenzen, die vollständig vermeiden SettingWithCopyWarning
• Kategoriales Casting und vektorisierte String-Methoden Optimieren Sie Speicherlayouts und verlagern Sie String-Transformationen auf die Ausführung mit C-Geschwindigkeit, wodurch die RAM-Nutzung bei Daten mit geringer Kardinalität um bis zu 98 % gesenkt wird
• Gruppenbewusste Imputation mit .rework() Berechnet Statistiken auf Gruppenebene und richtet sie nativ wieder auf die ursprünglichen Indexformen aus, wodurch langsame benutzerdefinierte Gruppierungsschleifen vermieden werden

Wenn Sie diese Muster in Ihre tägliche Arbeit integrieren, werden Ihre Function-Engineering- und Datenbereinigungsprozesse schnell, sauber und äußerst wartbar.

Matthew Mayo (@mattmayo13) hat einen Grasp-Abschluss in Informatik und ein Diplom in Information Mining. Als geschäftsführender Herausgeber von KDnuggets & Statistikund Mitherausgeber bei Beherrschung des maschinellen LernensZiel von Matthew ist es, komplexe datenwissenschaftliche Konzepte zugänglich zu machen. Zu seinen beruflichen Interessen zählen die Verarbeitung natürlicher Sprache, Sprachmodelle, Algorithmen für maschinelles Lernen und die Erforschung neuer KI. Seine Mission ist es, das Wissen in der Datenwissenschaftsgemeinschaft zu demokratisieren. Matthew programmiert seit seinem sechsten Lebensjahr.

Ein neues Computermodellierungstool, das von einem Forschungsteam der MIT Vitality Initiative (MITEI) entwickelt wurde, wird Infrastrukturplanern, die in der Elektrizitätswirtschaft und anderen energieintensiven Sektoren arbeiten, dabei helfen, zukünftige Bedürfnisse und Bedingungen besser vorherzusagen und sich darauf vorzubereiten, während sie Pläne für Stromerzeugungskapazitäten, Übertragungsleitungen und andere notwendige Infrastruktur entwickeln. Das Software könnte den Zeitaufwand für diese Planung verkürzen und dazu beitragen, dass das Stromnetz Kunden weiterhin effizienten, zuverlässigen und kostengünstigen Strom liefern kann, der den Emissions- und Regulierungsstandards entspricht. Das Software wurde im Rahmen eines philanthropisch unterstützten Forschungsprojekts von MITEI in Zusammenarbeit mit der Princeton College und der New York College entwickelt.

Macro, das neue Software, wurde speziell für Versorgungsplaner, Regulierungsbehörden und Forscher entwickelt, die verstehen möchten, wie sich Stromnetze und andere Energiesektoren angesichts neuer Technologien und Richtlinien oder unterschiedlicher Arten der Nutzung von Strom und energieintensiven Gütern entwickeln könnten, erklärt MITEI-Forscher Ruaridh Macdonald. Durch die Eingabe von Particulars über verfügbare Erzeugungseinheiten, prognostizierten Bedarf, Kosten, mögliche neue Technologien und potenzielle politische Einschränkungen können Planer verschiedene Optionen für die Gestaltung und den Betrieb zukünftiger Infrastruktur untersuchen, die die Preise minimieren und den Wert für alle maximieren. Im Gegensatz zu herkömmlichen Modellen berücksichtigt Macro insbesondere die gegenseitigen Abhängigkeiten zwischen Industriesektoren.

Mit der weiteren Entwicklung wird Macro es politischen Entscheidungsträgern ermöglichen, in Echtzeit die Auswirkungen potenzieller politischer Optionen auf Ergebnisse zu untersuchen, die von Kohlenstoffemissionen über Netzzuverlässigkeit bis hin zu Rohstoffpreisen und mehr reichen.

Die wachsende Herausforderung für Versorgungsplaner und frühere MIT-Modelle

Der Strombedarf steigt mittlerweile sprunghaft an, was unter anderem auf den zunehmenden Einsatz künstlicher Intelligenz und die Elektrifizierung von Fahrzeugen und Gebäuden zurückzuführen ist. Infolgedessen wird mehr Stromerzeugung und -übertragung erforderlich sein. Mittlerweile gehen Tausende von Wind- und Solarenergieprojekten ans Netz, aber man kann sich nicht darauf verlassen, dass diese Einheiten ständig Strom erzeugen, sodass ergänzende Stromquellen und Speichereinrichtungen benötigt werden. Darüber hinaus müssen Energieverbraucher wie Rechenzentren, Produktionszentren und Krankenhäuser strenge Zuverlässigkeitsanforderungen erfüllen. Die Aufgabe des Planers wird durch die Verpflichtung, den CO2-Ausstoß zu reduzieren oder sogar zu eliminieren, noch komplizierter.

Macro baut auf einer Geschichte von Kapazitätserweiterungsmodellen (CEMs) auf, darunter GenX und DOLPHYN, die von MITEI-Forschern entwickelt wurden, um Versorgungsunternehmen bei der Planung für die Zukunft zu unterstützen. GenX wurde 2017 entwickelt, um die Entscheidungsfindung im Zusammenhang mit Investitionen in Energiesysteme sowie den Netzbetrieb in Echtzeit zu unterstützen und die Auswirkungen möglicher politischer Initiativen auf diese Entscheidungen zu untersuchen. DOLPHYN, das 2021 veröffentlicht wurde, hat die gleiche Kernstruktur wie GenX, verfügt jedoch über zusätzliche Sektoren, darunter die Produktion von Wasserstoff, Biokraftstoffen und mehr.

Allerdings Macdonald; Jesse Jenkins, einer der Erfinder von GenX und jetzt Professor an der Princeton College; und Dharik Mallapragada, einer der Gründer von DOLPHYN und jetzt Professor an der New York College, erkannte, dass sie größere und höher auflösende Modelle erstellen mussten, als GenX oder DOLPHYN in der Lage sind, um genauere Antworten auf die Auswirkungen von Richtlinien und neuen Technologien zu erhalten.

Einführung in Makro

Macdonald, Jenkins und Mallapragada entwickelten zusammen mit den Princeton-Mitarbeitern Filippo Pecci und Luca Bonaldo eine neue Architektur, die die erforderlichen erweiterten Funktionen bietet. Beim Aufbau von Macro entwickelten sie und ihre Groups eine Reihe von vier Kernkomponenten, die kombiniert werden können, um das Energiesystem für jeden industriellen Prozess zu beschreiben. „Die Komponenten beschreiben jeweils grundlegende Vorgänge in einem Energiesystem: Übertragung, Speicherung, Transformation und Ein- oder Austritt aus dem Netzwerk“, erklärt Macdonald. „Da die Komponenten nicht branchenspezifisch sind, können wir sie zum Aufbau von Netzwerken aus Strom-, Rohstoff- und Datensystemen nutzen.“ Mit Macro können sich Nutzer gezielt auf bestimmte Bereiche der Wirtschaft konzentrieren, beispielsweise für den überregionalen Switch von Strom oder Rohstoffen. Diese Flexibilität hat andere Forschungsgruppen dazu veranlasst, Macro für ihre eigenen Projekte zu verwenden. „Tatsächlich beschäftigen sich bereits einige Leute mit der Zementproduktion und der Produktion bestimmter Chemikalien“, sagt Macdonald.

Darüber hinaus kann der Benutzer mit Makro ein Downside in kleinere Teile zerlegen. Die meiste für diese Artwork der Modellierung verwendete Software program ist für die Ausführung auf einem Laptop konzipiert. „Mit der neuen Architektur von Macro können wir ein großes Downside problemlos in viele kleine Probleme zerlegen, die wir auf separaten Computern ausführen können“, sagt Macdonald. Dadurch eignet sich Macro intestine für die Ausführung auf modernen Hochleistungs-Computing-Clustern. Es bietet auch einen zusätzlichen Vorteil bei der Planung von Energiesystemen. Bestimmte Aspekte der Growth – zum Beispiel die Übertragung – sind zu komplex, um mit herkömmlichen Optimierungsmethoden gelöst zu werden, daher gehen die meisten CEMs von bestimmten Näherungen aus. Aber mit Macro kann der Übertragungsteil vom Relaxation des Issues getrennt und mithilfe von KI-Techniken separat gelöst werden, wodurch eine genauere Lösung generiert wird, die dann in das Gesamtmodell eingespeist werden kann.

Darüber hinaus legten die Entwickler von Macro großen Wert auf eine einfache Bedienung. Sie entwickelten eine „Taxonomie“ potenzieller Benutzer und vereinfachten den Arbeitsablauf jeder Gruppe so weit wie möglich. Die meisten Benutzer möchten lediglich ihre Daten mithilfe von Excel und anderen Instruments, mit denen sie vertraut sind, eingeben, eine Problemanalyse durchführen und eine Antwort erhalten. Andere sind Modellierer, die eine neue Technologie oder Richtlinie hinzufügen möchten; Diese Leute müssen möglicherweise etwas zusätzlichen Computercode schreiben – aber nicht viel. Schließlich gibt es Entwickler, die dem Modell neue Funktionen oder große Elemente hinzufügen möchten und dafür viel Codierung durchführen müssen. „Wir haben die Dinge in Macro so strukturiert, dass das Leben für die ersten beiden Benutzergruppen viel einfacher ist, auf Kosten der Tatsache, dass es für die Entwickler etwas schwieriger wird“, sagt Macdonald. Das Group entwickelt derzeit eine grafische Benutzeroberfläche für das Modell, sodass die meisten Benutzer nie Code verwenden müssen. „Sie interagieren einfach damit, wie sie es mit der meisten Software program tun, die sie verwenden.“

Zukunftspläne: Verwendung von Makros zur Steuerung der Politikgestaltung – in Echtzeit

Christopher Knittel, George P. Shultz-Professor an der MIT Sloan College of Administration, plant, Macro zur Gestaltung der Energiepolitik zu nutzen. Seine Imaginative and prescient ist inspiriert von den Erfahrungen von Professor John Sterman vom MIT Sloan, der die Entwicklung des globalen Klimasimulators „En-ROADS“ leitete, sowie eines Systemdynamikmodells, das schnelle, aber annähernde Analysen durchführt und es Benutzern ermöglicht, verschiedene Ansätze zur Reduzierung von Kohlenstoffemissionen in Echtzeit auszuprobieren.

Wie beim globalen Klimasimulator kann es Tage dauern, mit Macro eine vollständige Analyse einer vorgeschlagenen Politik durchzuführen. Es gibt jedoch Techniken zum Erstellen eines „Emulators“, der in Sekundenschnelle ein ungefähres Ergebnis generieren kann. In seiner Rolle als Direktor der Mission „Enabling New Coverage Approaches“ des MIT Local weather Undertaking prüft Knittel die Möglichkeit, ein „Flaggschiffprojekt“ zu unterstützen, um einen Emulator zu entwickeln, der auf das vollständige Makromodell aufsetzt und in Echtzeit ausgeführt werden könnte. Knittel und sein Group würden sich dann mit ausgewählten politischen Entscheidungsträgern treffen und sie einladen, mithilfe von Macro zu sehen, wie sich verschiedene politische Schritte auf die globalen Temperaturen, Treibhausgaskonzentrationen, Energiepreise, den Anstieg des Meeresspiegels usw. auswirken würden.

Durch die Verwendung des Emulators „verlieren Sie eine gewisse Genauigkeit oder einige Funktionen des vollständigen Makromodells“, bemerkt Knittel. Daher stellt er sich vor, Kongressabgeordnete zunächst den Emulator ausführen zu lassen, um eine Richtlinie zu entwerfen. „Bevor der Gesetzgeber dann den Gesetzentwurf tatsächlich ausarbeitet, würde das akademische Group das vollständige Makromodell ausführen, um die Genauigkeit der Ergebnisse des Emulators zu bestätigen“, sagt Knittel. „Diese Übung könnte dazu beitragen, die politischen Entscheidungsträger davon zu überzeugen, welche politischen Hebel sie ansetzen sollten.“

Macro wurde als Open-Supply-Software program veröffentlicht und ist für Forschungs- und kommerzielle Zwecke frei verfügbar. Es wurde von Mitarbeitern in den USA, Südkorea, Indien und China getestet. Mehrere dieser Groups entwickeln Länder- und Regionalmodelle, die andere bei ihrer Arbeit nutzen können.

zur Vorbereitung von Movies für maschinelles Lernen/tiefes Lernen. Aufgrund der Größe und der Rechenkosten von Videodaten ist es wichtig, dass sie für Ihren Anwendungsfall so effizient verarbeitet werden. Dies umfasst Dinge wie Metadatenanalysen, Standardisierung, Augmentation, Schuss- und Objekterkennung und Tensorbelastung. In diesem Artikel wird einige Möglichkeiten untersucht, wie diese getan werden können und warum wir sie tun würden. Ich habe auch ein Open -Supply -Python -Paket namens gebaut Vid-Prepper. Ich habe das Paket mit dem Ziel erstellt, eine schnelle und effiziente Möglichkeit zu bieten, verschiedene Vorverarbeitungstechniken auf Ihre Videodaten anzuwenden. Das Paket baut einige Riesen des maschinellen Lernens und der Deep -Studying -Welt auf. Während dieses Paket nützlich ist, um sie in einem gemeinsamen und einfach zu bedienenden Rahmen zusammenzubringen, ist die wirkliche Arbeit auf jeden Fall auf sie!

Video conflict ein wichtiger Teil meiner Karriere. Ich habe meine Datenkarriere in einem Unternehmen begonnen, das eine SaaS -Plattform für Videoanalysen für wichtige führende Videounternehmen aufgebaut hat (genannt NPAW) und derzeit für die BBC arbeiten. Video dominiert derzeit die Weblandschaft, aber mit KI ist immer noch ziemlich begrenzt, obwohl sie superschnell wachsen. Ich wollte etwas schaffen, das die Fähigkeit der Menschen beschleunigt, Dinge auszuprobieren und zu diesem wirklich interessanten Bereich beizutragen. In diesem Artikel wird erläutert, was die verschiedenen Paketmodule tun und wie sie verwendet werden, beginnend mit Metadatenanalysen.

Metadatenanalyse

from vid_prepper import metadata

Bei der BBC habe ich das große Glück, in einer professionellen Organisation mit sehr talentierten Personen zu arbeiten, die über hochwertige Qualitätsvideos erstellen. Ich weiß jedoch, dass die meisten Videodaten nicht das sind. Oft sind Dateien gemischte Formate, Farben, Größen oder sie können beschädigt oder Teile fehlen. Sie können auch Macken aus älteren Movies wie Interlacing haben. Es ist wichtig, dass Sie sich eines davon bewusst sind, bevor Sie Movies für maschinelles Lernen verarbeiten.

Wir werden unsere Modelle für GPUs ausbilden und diese sind fantastisch für Tensorberechnungen im Maßstab, aber teuer zu laufen. Beim Coaching großer Modelle für GPUs möchten wir so effizient wie möglich sein, um hohe Kosten zu vermeiden. Wenn wir Movies oder Movies in unerwarteten oder nicht unterstützten Formaten beschädigt haben, verschwenden Sie Zeit und Ressourcen, können Ihre Modelle weniger genau machen oder sogar die Trainingspipeline zum Ausbruch bringen. Das Überprüfen und Filtern Ihrer Dateien im Voraus ist daher eine Notwendigkeit.

Ich habe das Metadata -Analysemodul in der FFPROBE -Bibliothek, Teil der Ffmpeg Bibliothek in C und Assembler eingebaut. Dies ist eine äußerst leistungsstarke und effiziente Bibliothek, die im Beruf ausgiebig verwendet wird, und das Modul kann verwendet werden, um eine einzelne Videodatei oder eine Stapel von ihnen zu analysieren, wie im folgenden Code gezeigt.

# Extract metadata
video_path = (“pattern.mp4”)
video_info = metadata.Metadata.validate_videos(video_path)

# Extract metadata batch
video_paths = (“sample1.mp4”, “sample2.mp4”, “sample3.mp4”)
video_info = metadata.Metadata.validate_videos(video_paths)

Dies bietet eine Wörterbuchausgabe der Videometadaten, einschließlich Codecs, Größen, Bildraten, Dauer, Pixelformaten, Audio -Metadaten und mehr. Dies ist sowohl für das Suchen von Videodaten mit Problemen oder ungeraden Macken als auch für die Auswahl bestimmter Videodaten oder die Auswahl der Formate und Codec wirklich nützlich, um basierend auf den am häufigsten verwendeten zu standardisieren.

Filterung aufgrund von Metadatenproblemen

Angesichts dessen schien es ein ziemlich regelmäßiger Anwendungsfall zu sein, habe ich die Fähigkeit eingebaut, die Liste der Movies basierend auf einer Reihe von Schecks zu filtern. Wenn beispielsweise Video- oder Audiofehle, Codecs oder Formate nicht wie angegeben oder Bildraten oder -dauern von den angegebenen Personen unterscheiden, können diese Movies identifiziert werden, indem die Parameter Filter und nur_errors festgelegt werden, wie unten gezeigt.

# Run assessments on movies
movies = ("video1.mp4", "video2.mkv", "video3.mov")

all_filters_with_params = {
    "filter_missing_video": {},
    "filter_missing_audio": {},
    "filter_variable_framerate": {},
    "filter_resolution": {"min_width": 1280, "min_height": 720},
    "filter_duration": {"min_seconds": 5.0},
    "filter_pixel_format": {"allowed": ("yuv420p", "yuv422p")},
    "filter_codecs": {"allowed": ("h264", "hevc", "vp9", "prores")}
}

errors = Metadata.validate_videos(
    movies,
    filters=all_filters_with_params,
    only_errors=True
)

Durch das Entfernen oder Identifizieren von Problemen mit den Daten, bevor wir die wirklich intensive Arbeit des Modelltrainings erreichen, vermeiden wir es, Zeit und Geld zu verschwenden, was es zu einem wichtigen ersten Schritt macht.

Standardisierung

from vid_prepper import standardize

Die Standardisierung ist in der Regel ziemlich wichtig bei der Vorverarbeitung für das maschinelle Lernen von Videoen. Es kann dazu beitragen, die Dinge viel effizienter und konsistenter zu machen, und oft erfordern Deep -Lern -Modelle bestimmte Größen (z. B. 224 x 224). Wenn Sie viele Videodaten haben, wird jeder Zeitpunkt, der in dieser Section verbracht wird, später in der Trainingsphase später oft zurückgezahlt.

Codecs

Movies werden häufig zur effizienten Speicherung und Verteilung über das Web strukturiert, damit sie billig und schnell übertragen werden können. Dies beinhaltet normalerweise eine starke Komprimierung, um Movies so klein wie möglich zu machen. Leider ist dies so intestine wie diametral gegen das, was intestine für Deep Studying ist.

Der Engpass für Deep Studying ist quick immer, Movies zu dekodieren und sie in Tensoren zu laden. Je komprimierter eine Videodatei ist, desto länger dauert dies. Dies bedeutet in der Regel, extremely komprimierte Codecs wie H265 und VVC zu vermeiden und leichter komprimierte Alternativen mit {Hardware} -Beschleunigung wie H264 oder VP9 oder so lange, wie Sie I/O -Engpässe vermeiden können, wobei Sie in der Produktion, die in der Produktion verwendet werden, wie es in der Produktion verwendet werden, die sich in Tensoren befinden.

Bildrate

Die Normal -Frameraten (FPS) für Video betragen 24 für Kino, 30 für Fernseh- und On-line -Inhalte und 60 für schnelle Bewegungsinhalte. Diese Bildrate werden durch die Anzahl der Bilder bestimmt, die professional Sekunde angezeigt werden müssen, damit unsere Augen eine glatte Bewegung sehen. Deep Studying -Modelle müssen jedoch nicht unbedingt eine so hohe Bildrate in den Trainingsvideos benötigen, um numerische Darstellungen von Bewegung zu erstellen und reibungslose Movies zu erzeugen. Da jeder Body ein zusätzlicher Tensor ist, der berechnet werden muss, möchten wir die Bildrate bis zu dem kleinsten minimieren, mit dem wir davonkommen können.

Verschiedene Arten von Movies und der Anwendungsfall unserer Modelle bestimmen, wie niedrig wir gehen können. Je weniger Bewegung in einem Video, desto niedriger können wir die Eingangsbildungsrate einstellen, ohne die Ergebnisse zu beeinträchtigen. Beispielsweise erfordert ein Eingabedatensatz von Studio -Nachrichtenclips oder Talkshows eine niedrigere Bildrate als ein Datensatz aus Eishockey -Spielen. Wenn wir an einem Videoverständnis oder einem Video-zu-Textual content-Modell arbeiten, anstatt Movies für den menschlichen Verbrauch zu generieren, ist es möglicherweise möglich, die Bildrate noch niedriger festzulegen.

Berechnung der minimalen Bildrate

Es ist tatsächlich möglich, eine ziemlich gute Mindestrate für Ihren Video -Datensatz basierend auf Bewegungsstatistiken mathematisch zu bestimmen. Mit a FLOSS oder FarneBack Algorithmus Bei einer Probe Ihres Datensatzes können Sie den optischen Fluss professional Pixel für jede Rahmenänderung berechnen. Dies liefert die horizontale und vertikale Verschiebung für jedes Pixel, um die Größe der Änderung (die quadratische Wurzel des Hinzufügens der quadratischen Werte) zu berechnen.

Durchschnittlich dieses Wertes über den Rahmen ergibt den Rahmen im Momentum und die Einnahme des Median- und 95. Perzentils aller Rahmen ergibt Werte, die Sie in die folgende Gleichung einstellen können, um eine Reihe wahrscheinlicher optimaler Mindestrahmenquoten für Ihre Trainingsdaten zu erhalten.

Optimum FPS (Decrease) = Present FPS x Max mannequin interpolation fee / Median momentum

Optimum FPS (Increased) = Present FPS x Max mannequin interpolation fee / ninety fifth percentile momentum

Wenn die Interpolation des maximalen Modells die maximale professional Rahmenimpuls ist, kann das Modell verarbeiten, normalerweise in der Modellkarte.

Sie können dann kleine Checks Ihrer Trainingspipeline durchführen, um die niedrigste Bildrate zu ermitteln, die Sie für eine optimale Leistung erzielen können.

Vid Prepper

Das Standardize-Modul in VID-Prepper kann die Größe, das Codec, die Farbformat und die Bildrate eines einzelnen Movies oder eine einzelne Movies standardisieren.

Auch hier basiert es auf FFMPEG und kann die Dinge bei GPU beschleunigen, wenn Ihnen dies zur Verfügung steht. Um Movies zu standardisieren, können Sie den folgenden Code einfach ausführen.

# Standardize batch of movies
video_file_paths = (“sample1.mp4”, “sample2.mp4”, “sample3.mp4”)
standardizer = standardize.VideoStandardizer(
            measurement="224x224",
            fps=16,
            codec="h264",
            shade="rgb",
            use_gpu=False  # Set to True when you have CUDA
        )

standardizer.batch_standardize(movies=video_file_paths, output_dir="movies/")

Um die Dinge effizienter zu gestalten, insbesondere wenn Sie teure GPUs verwenden und keinen IO -Engpass beim Laden von Movies möchten, akzeptiert das Modul auch WebDatasets. Diese können ähnlich wie der folgende Code geladen werden:

# Standardize webdataset
standardizer = standardize.VideoStandardizer(
            measurement="224x224",
            fps=16,
            codec="h264",
            shade="rgb",
            use_gpu=False  # Set to True when you have CUDA
        )

standardizer.standardize_wds("dataset.tar", key="mp4", label="cls")

Tensorlader

from vid_prepper import loader

Ein Video -Tensor beträgt normalerweise 4 oder 5 Abmessungen, bestehend aus der Pixelfarbe (normalerweise RGB), der Höhe und Breite des Rahmens, der Zeit- und Stapelkomponenten (optionally available). Wie oben erwähnt, sind Dekodieren von Movies in Tensoren häufig der größte Engpass in der Vorverarbeitungspipeline.

Dieses Modul wandelt Movies in Pytorch -Tensoren mit FFMPEG für Body -Proben und NVDEC um, um eine GPU -Beschleunigung zu ermöglichen. Sie können die Größe der Tensoren so ändern, dass Sie Ihr Modell anpassen und die Anzahl der Rahmen, die professional Clip und den Rahmenschritt (Abstand zwischen den Frames) ausgewählt werden sollen, ausgewählt werden. Wie bei der Standardisierung ist auch die Possibility zur Verwendung von WebDatasets verfügbar. Der folgende Code gibt ein Beispiel, wie dies erledigt ist.

# Load clips into tensors
loader = VideoLoader(num_frames=16, frame_stride=2, measurement=(224,224), system="cuda")
video_paths = ("video1.mp4", "video2.mp4", "video3.mp4")
batch_tensor = loader.load_files(video_paths)

# Load webdataset into tensors
wds_path = "information/shards/{00000..00009}.tar"
dataset = loader.load_wds(wds_path, key="mp4", label="cls")

Detektor

from vid_prepper import detector

Es ist oft ein notwendiger Bestandteil der Videovorverarbeitung, um Dinge im Videoinhalt zu erkennen. Dies können bestimmte Objekte, Aufnahmen oder Übergänge sein. Dieses Modul vereint leistungsstarke Prozesse und Modelle von Pyszenedetektor, Harmgingface, Concept Analysis und Pytorch, um eine effiziente Erkennung zu ermöglichen.

Schusserkennung

In vielen Anwendungsfällen für maschinelles Lernen (z. B. semantische Suche, SEQ2SEQ -Trailergenerierung und vielem mehr) ist es ein wichtiger Schritt, Movies in einzelne Aufnahmen aufzuteilen. Es gibt ein paar Möglichkeiten, dies zu tun, aber Pyszenedetekt ist eine der genaueren und zuverlässigeren Möglichkeiten, dies zu tun. Diese Bibliothek bietet einen Wrapper für die Inhaltserkennungsmethode von PyscenedEct, indem die folgende Methode aufgerufen wird. Es gibt die Begin- und Endrahmen für jeden Schuss aus.

# Detect photographs in movies
video_path = "video.mp4"
detector = VideoDetector(system="cuda")
shot_frames = detector.detect_shots(video_path)

Übergangserkennung

Während PyszenedEtekt ein starkes Werkzeug ist, um Movies in einzelne Szenen aufzuteilen, ist es nicht immer 100% genau. Es gibt Zeiten, in denen Sie möglicherweise wiederholte Inhalte (z. B. Übergänge) ausbrechen können. Beispielsweise verfügt BBC Information über einen rot -weißen Wischwechsel zwischen den Segmenten, die mithilfe von Pytorch leicht erkannt werden können.

Die Übergangserkennung funktioniert direkt auf Tensoren, indem Pixeländerungen in Pixelblöcken erfasst werden, die eine bestimmte Schwellenwertänderung überschreiten, die Sie festlegen können. Der Beispielcode unten zeigt, wie er funktioniert.

# Detect gradual transitions/wipes
video_path = "video.mp4"
video_loader = loader.VideoLoader(num_frames=16, 
                                  frame_stride=2, 
                                  measurement=(224, 224), 
                                  system="cpu",
                                  use_nvdec=False  # Use "cuda" if obtainable)
video_tensor = loader.load_file(video_path)

detector = VideoDetector(system="cpu" # or cuda)
wipe_frames = detector.detect_wipes(video_tensor, 
                                    block_grid=(8,8), 
                                    threshold=0.3)

Objekterkennung

Die Objekterkennung ist häufig eine Voraussetzung, um die Clips zu finden, die Sie in Ihren Videodaten benötigen. Zum Beispiel benötigen Sie möglicherweise Clips mit Menschen in ihnen oder Tieren. Diese Methode verwendet eine Open Supply Dino -Modell gegen einen kleinen Satz von Objekten aus dem Normal Coco -Datensatzetiketten zum Erkennen von Objekten. Sowohl die Modellauswahl als auch die Liste der Objekte sind vollständig anpassbar und können von Ihnen festgelegt werden. Der Modelllader ist das Paket für die Umarmung der Transformatoren, sodass das von Ihnen verwendete Modell verfügbar sein muss. Für benutzerdefinierte Beschriftungen nimmt das Standardmodell eine Zeichenfolge mit der folgenden Struktur im Parameter text_queries – „Hund. Cat. Ambulance“.

# Detect objects in movies
video_path = "video.mp4"
video_loader = loader.VideoLoader(num_frames=16, 
                                  frame_stride=2, 
                                  measurement=(224, 224), 
                                  system="cpu",
                                  use_nvdec=False  # Use "cuda" if obtainable)
video_tensor = loader.load_file(video_path)

detector = VideoDetector(system="cpu" # or cuda)
outcomes = detector.detect_objects(video, 
                                  text_queries=text_queries # if None will default to COCO listing, 
                                  text_threshold=0.3, 
                                  model_id=”IDEA-Analysis/grounding-dino-tiny”)

Datenvergrößerung

Dinge wie Video -Transformatoren sind unglaublich leistungsfähig und können verwendet werden, um großartige neue Modelle zu erstellen. Sie benötigen jedoch häufig eine große Menge an Daten, die mit Dingen wie Video nicht unbedingt leicht verfügbar sind. In diesen Fällen benötigen wir eine Möglichkeit, verschiedene Daten zu generieren, die unsere Modelle übertreffen. Datenvergrößerung ist eine solche Lösung, um die begrenzte Datenverfügbarkeit zu steigern.

Für Video gibt es eine Reihe von Standardmethoden, um die Daten zu erweitern, und die meisten werden von den Hauptrahmen unterstützt. Vid-Prepper bringt zwei der besten zusammen- Kornia Und Torchvision. Mit VID-Prepper können Sie einzelne Augmentationen wie Zuschneiden, Flippen, Spiegelung, Polsterung, Gaußsche Unschärfe, Helligkeit, Farbe, Sättigung und Kontrast sowie grobes Ausfallende (bei maskiertem Teilen des Videobrahmens) durchführen. Sie können sie auch für eine höhere Effizienz zusammenketten.

Augmentationen arbeiten alle an den Video -Tensoren und nicht direkt in den Movies und unterstützen Sie die GPU -Beschleunigung, wenn Sie es haben. Der folgende Beispielcode zeigt, wie die Methoden einzeln aufgerufen werden und wie sie angehalten werden.

# Particular person Augmentation Instance
video_path = "video.mp4"
video_loader = loader.VideoLoader(num_frames=16, 
                                  frame_stride=2, 
                                  measurement=(224, 224), 
                                  system="cpu",use_nvdec=False  # Use "cuda" if obtainable)
video_tensor = loader.load_file(video_path)

video_augmentor = augmentor.VideoAugmentor(system="cpu", use_gpu=False)
cropped = augmentor.crop(video_tensor, sort="heart", measurement=(200, 200))
flipped = augmentor.flip(video_tensor, sort="horizontal")
brightened = augmentor.brightness(video_tensor, quantity=0.2)


# Chained Augmentations
augmentations = (
            ('crop', {'sort': 'random', 'measurement': (180, 180)}),
            ('flip', {'sort': 'horizontal'}),
            ('brightness', {'quantity': 0.1}),
            ('distinction', {'quantity': 0.1})
        )
        
chained_result = augmentor.chain(video_tensor, augmentations)

Zusammenfassen

Videovorverarbeitung ist aufgrund der relativ großen Größe der Daten im Vergleich zum Textual content im tiefen Lernen von großer Bedeutung. Transformatormodellanforderungen für Ozeane der Datenverbindung verbinden dies noch weiter. Drei Schlüsselelemente bilden den tiefen Lernprozess – Zeit, Geld und Leistung. Durch die Optimierung unserer Eingabevideodaten können wir die Menge der ersten beiden Elemente minimieren, die wir benötigen, um das Beste aus dem letzten herauszuholen.

Es gibt einige erstaunliche Open -Supply -Instruments für Video -maschinelles Lernen, wobei derzeit jeden Tag mehr weitergeht. Vid-Prepper steht auf den Schultern einiger der besten und am weitesten verbreiteten, um zu versuchen, sie in einem einfach zu bedienenden Paket zusammenzubringen. Hoffentlich finden Sie einen gewissen Wert darin und es hilft Ihnen, die nächste Technology von Video -Modellen zu erstellen, was äußerst aufregend ist!

https://www.youtube.com/watch?v=2gbaifv4sqy

Das Information Science -Interviewprozess kann einschüchternd sein, insbesondere für Neuankömmlinge des Feldes. Laut unserer jüngsten Umfrage, die während eines Webinars durchgeführt wurde, fühlen sich mehr als 75% der angehenden Datenfachleute für den Datenwissenschaftterinterviewprozess nicht vorbereitet oder völlig neu. Wenn Sie unter ihnen sind, sind Sie nicht allein – und dieser Leitfaden ist für Sie.

Um diesen wichtigen Karriereschritt zu entmystifizieren, teilte Kishawna Peck, Gründerin und CEO von WOMXN in Information Science, kürzlich ihre Experteninterviewstrategien während unseres Masterclass -Webinars von Information Profession. Kishawna bringt mehr als 10 Jahre Erfahrung in Bezug auf gemeinnützige Organisationen, Fintech und Werbung in Bezug auf gemeinnützige Organisationen, Fintech und Werbung, und bringt wertvolle Einblicke in das, was Personalmanager wirklich in Datenkandidaten suchen.

Dieser Leitfaden destilliert ihre bewährten Strategien, mit denen Sie sich mit Zuversicht Ihrem nächsten Information Science -Interview nähern können.

Verständnis der Perspektive des Einstellungsmanagers

Bevor Sie Ihre Interviewantworten perfektionieren, Verständnis Was Einstellungsmanager suchen nach einem wertvollen Kontext für Ihre Vorbereitung. Wie Kishawna erklärt, bewerten Personalmanager Kandidaten in drei Hauptdimensionen:

1. Technische und nichttechnische Passform für die Rolle
2. Insgesamt slot in die Unternehmenskultur
3. Wachstumspotenzial und Fortschritt

Unter Berücksichtigung dieser Bewertungskriterien können Sie Ihre Vorbereitung an jeden Bereich anpassen.

1. Technische und nichttechnische Fähigkeiten

Um Ihre technische Kompetenz zu demonstrieren, empfiehlt Kishawna:

• Untersuchung der spezifischen Werkzeuge und Technologien des Unternehmens (über Glassdoor, Unternehmensblogs, Tech -Artikel)
• Praktizieren von Codierungsproblemen und Überprüfung relevanter Frameworks
• Polieren Sie Ihre Fähigkeit, Datenkonzepte klar und präzise zu erklären

„Manchmal erhalten Sie die einfachsten Fragen zu Statistiken, beispielsweise in einem Information Science -Interview, da sie versuchen, sicherzustellen, dass Sie die Grundlagen kennen“, bemerkt Kishawna. „Es ist sehr wichtig, sicherzustellen, dass Sie auf der technischen Seite bereit sind.“

2. Insgesamt match für die Rolle

Über technische Fähigkeiten hinaus möchten Einstellungsmanager sehen, dass Sie sich mit der Unternehmenskultur und den Werten der Unternehmenswerte übereinstimmen:

• Erforschen Sie die Mission und die Werte des Unternehmens (Unternehmenswebsite, aktuelle Nachrichtenartikel)
• Verstehen Sie ihre Marktposition (wachsen sie, kontraktieren sich, drehbar?)
• Bereiten Sie Geschichten vor, die Ihre Erfahrung in Bezug auf ihre Werte zeigen

3. Wachstumspotenzial

Einstellungsmanager möchten visualisieren, wie Sie sich innerhalb der Organisation entwickeln können:

• Markieren Sie Beispiele für das Wachstum und die Anpassungsfähigkeit in der Vergangenheit
• Stellen Sie aufschlussreiche Fragen zu zukünftigen Projekten
• Betonen Sie Ihr Engagement für kontinuierliches Lernen

Wie Kishawna rät:

Wenn Sie 100% der Kriterien in der Stellenbeschreibung erfüllen, sollten Sie sich nicht bewerben. Sie sind überqualifiziert. Sie möchten Raum für Wachstum haben. Aus Sicht des Einstellungsmanagers möchte ich in der Lage sein, zu visualisieren, wie Sie innerhalb dieser Rolle wachsen und innerhalb des Unternehmens wachsen können.

Beherrschen Sie verschiedene Arten von Interviewfragen

Eine unserer Webinar-Umfragen ergab, dass technische Fragen (45%) und Fallszenario-basierte Fragen (24%) die größte Besorgnis für Kandidaten verursachen. Lassen Sie uns die wichtigsten Fragetypen aufschlüsseln und wie Sie sich jeweils effektiv nähern.

Technische und fallbasierte Fragen

Für diese Fragen empfiehlt Kishawna die Verwendung der CODE Verfahren:

C – Klären Sie bei Bedarf die Frage

O – Überrissen Sie Ihren Ansatz, bevor Sie eintauchen

D – Demonstrieren Sie Ihre Lösung (schreiben Sie Code oder erläutern Sie Ihren Prozess).

E – Bewerten Sie Ihre Lösung, diskutieren Sie Kantenfälle und mögliche Verbesserungen

Dieser strukturierte Ansatz zeigt Ihren analytischen Denkprozess und Ihre Fähigkeiten zur Problemlösung.

So könnte dies in der Praxis aussehen:

Arten von technischen Bewertungen

Kishana hob drei gängige technische Bewertungsformate hervor:

• Bewertungen zum Mitnehmen: Zu Ihrer eigenen Zeit abgeschlossen, normalerweise mit einem Tag oder mehr zu vervollständigen
• Paarprogrammierung: Zusammenarbeit mit einem Teammitglied, um ein Drawback gemeinsam zu lösen
• Dwell -Codierung: Lösen von technischen Problemen in Echtzeit während des Interviews

Kishawna rät:

Ein Tipp besteht darin, vorher nach dem Bewertungsformat zu fragen. Auf diese Weise machen Sie sich Wochen im Voraus keine Sorgen, wie Sie sich vorbereiten können.

Verhaltensfragen

Obwohl diese Fragen weniger einschüchternd erscheinen, sind sie entscheidend für die Bewertung Ihrer Gentle Abilities und der vergangenen Leistung. Der STERN Die Methode hilft, Ihre Antworten effektiv zu strukturieren:

S – State of affairs: Szene die Szene

T – Aufgabe: Erläutern Sie Ihre Rolle und Verantwortlichkeiten

A – Aktion: Beschreiben Sie, was Sie getan haben

R – Ergebnis: Teilen Sie das Ergebnis und seine Auswirkungen mit

Zum Beispiel:

Frage: „Erzähl mir von einer Zeit, als du einer schwierigen Frist gegenübersteht. Wie bist du damit umgegangen?“

Antwort: „Bei meinem früheren Unternehmen hatte ich eine zweiwöchige Frist, um ein Vorhersagemodell für unser Produktteam (State of affairs) zu entwickeln. Ich warfare für die Bereitstellung eines genauen Modells verantwortlich, das das Engagement der Benutzer (Aufgabe) verbessert. (Ergebnis).“

Kulturgepasste Fragen

Diese Fragen ermitteln, ob Sie in der Umgebung des Unternehmens gedeihen. Kishawna schlägt vor, die zu verwenden REIHE Verfahren:

R – Relevante Erfahrung

O – Wachstumschancen

W – Möglichkeiten zum Beitrag

Zum Beispiel:

Frage: „Wie können Sie mit Tendencies in der Datenwissenschaft Schritt halten und was motiviert Sie, in einem so schnell verändernden Feld auf dem neuesten Stand zu bleiben?“

Antwort: „Ich engagiere mich regelmäßig mit Information Science Communities, nehme On-line-Kurse und nehme an Konferenzen teil, um auf dem neuesten Stand zu bleiben (relevante Erfahrung). Ich freue mich besonders über die Weiterentwicklung meiner Fähigkeiten in Bezug auf die Ethik, die mit dem Fokus Ihres Unternehmens auf verantwortungsbewusste Innovationen übereinstimmen (Möglichkeiten für das Wachstum). Ich freue mich darauf, Erkenntnisse und Instruments mit dem Workforce zu tauschen, um vorwärts zu denken und das Wachstum zu unterstützen.“

Nachdenkliche Fragen stellen

Einer der am meisten übersehenen Aspekte der Vorbereitung der Interviews ist die Entwicklung sinnvoller Fragen, um den Interviewer zu stellen. Wie Kishawna betont: „Wenn ich ein Interview habe und es keine Fragen vom Befragten gibt, werde ich misstrauisch. Warum haben Sie keine Fragen?“

Das Stellen aufschlussreicher Fragen dient zwei Zwecken: Es zeigt Ihr echtes Interesse an der Rolle und hilft Ihnen, zu bewerten, ob das Unternehmen intestine zu Ihren Karrierezielen passt.

Hier sind einige kraftvolle Fragen, die Kishawna empfiehlt:

• „Welchen Rat würden Sie jemandem geben, der in den ersten 90 Tagen einen Einfluss auf diese Rolle haben möchte?“
• „Wie stellen Sie sich diese Rolle vor, die das Workforce unterstützt und was sind die wichtigsten Ziele für das nächste Jahr?“
• „Was genießen Sie es, dieses Workforce zu führen, und wie stellen Sie sich diese Rolle vor, die zu dieser Umgebung beiträgt?“
• „Wie arbeitet das Information -Workforce mit anderen Abteilungen zusammen?“
• „Welche Rolle spielt das Datenteam bei der Entscheidungsfindung im gesamten Unternehmen?“

Kishawnas Lieblingsabschlussfrage: „Hast du irgendwelche Zögern über mein Profil und meine Fähigkeit, diese Rolle hervorzuheben?“ Diese Frage bietet die Möglichkeit, alle Bedenken direkt vor dem Verlassen des Interviews auszusprechen.

„Wenn Sie ein“ Nein „bekommen, dass sie kein Zögern über Ihr Profil haben, ist das wirklich intestine und es bedeutet, dass Sie wahrscheinlich die Rolle bekommen“, bemerkt sie.

Beantwortung der Gehaltsfrage

Viele Kandidaten fühlen sich unwohl über die Entschädigung diskutieren, aber wie Kishawna betont: „Sie sind nicht freiwillig – Sie suchen nach einem Job, um Geld zu verdienen, um auf sich und Ihre Familie aufzupassen.“

Hier sind ihre Empfehlungen für die Behandlung von Gehaltsdiskussionen:

1. Forschen Sie Ihre Recherchen: Verwenden Sie Ressourcen wie Glassdoor, um typische Bereiche für ähnliche Rollen bei vergleichbaren Unternehmen zu verstehen.
2. Fragen Sie früh nach dem Gehaltsbereich: Versuchen Sie, während des ersten Screening -Anrufs über die Reichweite des Unternehmens zu erfahren, bevor sie nach Ihren Erwartungen fragen.

3. Kennen Sie Ihre Zahlen: Entscheiden Sie sich im Voraus für Ihre Ziel- und Walkaway -Zahlen.

   Kishawna rät:

   Normalerweise für Ihr Ziel, so dass Sie einen Bereich auswählen, und ich würde sagen, was auch immer Ihr Hintern ist, würde ich 10 bis 15% hinzufügen. Wenn Ihr Hintern 50.000 wäre und Sie wissen, dass Sie damit sehr zufrieden wären, würde ich 55 bis 70.000 sagen.

4. Betrachten Sie Verhandlungen über das Gehalt hinaus: Wenn das angebotene Gehalt unter Ihren Erwartungen liegt, sollten Sie die Verhandlungen in Betracht ziehen:
   • Urlaubszeit (oft am einfachsten zu verhandeln)
   • Fernarbeit Flexibilität
   • Leistungen Startdatum
   • Funds für berufliche Entwicklung
   • Transportkosten
5. Stellen Sie sich fest auf Ihre Nicht-Negotablen: Wissen Sie, was Ihnen wirklich wichtig ist:
   • Karrierewachstumschancen
   • Leistungspaket
   • Work-Life Steadiness
   • Teamkultur

Kishawna sagt:

Sie möchten keinen Ressentiment haben, wenn Sie herausgefunden haben, dass andere Leute verhandelt und Sie entschieden haben, dass Sie nicht wollten, weil Sie versuchten, nett zu sein. Es ist Geschäft. Es ist ein Austausch. Stellen Sie additionally sicher, dass Sie verhandeln.

Put up-Interview-Schritte

Nach dem Abschluss des Interviews empfiehlt Kishawna diese Observe-up-Aktionen:

1. Über Passform nachdenken: Bewerten Sie, ob die Rolle und das Workforce Ihren Werten und Karrierezielen übereinstimmen. „Es ist möglich, zu einem Interview zu gehen und zu erkennen, dass Sie diese Rolle nicht wollen. Es passt nicht intestine zu Ihnen“, bemerkt Kishawna.
2. Senden Sie eine personalisierte Dankes-E-Mail: Verweisen Sie auf bestimmte Themen aus Ihrem Gespräch. „Wenn ich es wie ein grundlegendes Dosen hat – wir öffnen es, aber ich bin es nicht ernst. Aber wenn es eine ist, über die wir auf Dinge verweisen, über die wir gesprochen haben, dann habe ich es normalerweise durchgelesen“, sagt Kishawna.
3. Angemessen nachverfolgen: Warten Sie bis nach der Zeitleiste, die sie zur Verfügung gestellt haben, bevor Sie Ihren Bewerbungsstatus überprüfen.
4. Überprüfen Sie das Angebot sorgfältig: Lesen Sie alle Begriffe gründlich durch, bevor Sie akzeptieren oder verhandeln.

Letzte Vorbereitungstipps

Wenn sich Ihr Interview nähert, bietet Kishawna diese letzten Ratschläge an:

• Überprüfen Sie Ihre wichtigsten Fähigkeiten und Geschichten: Stellen Sie sicher, dass sie den Rollenanforderungen übereinstimmen
• Verfeinern Sie Ihre Fragen: Bereiten Sie nachdenkliche Fragen vor, die Ihr Interesse zeigen
• Holen Sie sich ausreichende Pause: „Es ist nicht sinnvoll, ein Interview zu betonen. Sie möchten als Ihr Bestes sein. Sie möchten ruhig sein. Sie möchten zuversichtlich sein.“
• Planen Sie etwas Entspannendes für danach: Planen Sie nach dem Interview etwas Erfreude, um Stress abzubauen

Übung mit KI -Interviewsimulation

Um Sie effektiver vorzubereiten, hat Kishawna eine erweiterte LLM -Interview -Eingabeaufforderung entwickelt, mit der Sie Folgendes haben:

• Erstellen Sie personalisierte Praxisfragen basierend auf Ihrem Lebenslauf und der Zielbeschreibung
• Führen Sie Scheininterviews mit Stimme oder Textual content durch
• Erhalten Sie Suggestions zur Verwendung der Methoden Code, Stern und Zeilen

Sie können hier auf diese wertvolle Ressource zugreifen: Verbesserte LLM -Interviewer -Eingabeaufforderung

Dieses interaktive Software kann dazu beitragen, Ihr Selbstvertrauen aufzubauen, insbesondere wenn Sie niemanden zur Verfügung haben, um Scheininterviews mit Ihnen durchzuführen.

Letzte Gedanken

Das Information Science -Interviewprozess magazine entmutigend erscheinen, aber mit ordnungsgemäßer Vorbereitung und der richtigen Einstellung können Sie Ihre Fähigkeiten effektiv präsentieren und bewerten, ob die Rolle wirklich zu Ihren Karrierezielen passt. Erinnern Sie sich an Kishawnas Schlüsselrat:

Sie sind in die Interviewphase gekommen, additionally müssen Sie etwas richtig machen. Additionally bleib ruhig und selbstbewusst.