Am 20. Oktober während ihrer Jahrestagung, der Nationwide Academy of Medication angekündigt die Wahl von 100 neuen Mitgliedern, darunter die MIT-Fakultätsmitglieder Dina Katabi und Facundo Batista sowie drei weitere MIT-Alumni.

Die Wahl in die Nationwide Academy of Medication (NAM) gilt als eine der höchsten Auszeichnungen in den Bereichen Gesundheit und Medizin und würdigt Personen, die herausragende berufliche Leistungen und Engagement für den Dienst gezeigt haben.

Facundo Batista ist stellvertretender Direktor und wissenschaftlicher Direktor des Ragon Institute of MGH, MIT und Harvard sowie der erste Phillip T. und Susan M. Ragon Professor in der MIT-Abteilung für Biologie. Die Nationwide Academy of Medication würdigte Batista für „seine Arbeit zur Entschlüsselung der Biologie von Antikörper produzierenden B-Zellen, um besser zu verstehen, wie das Immunsystem unseres Körpers auf Infektionskrankheiten reagiert.“ In jüngerer Zeit hat Facundos Forschung die präklinische Impfstoff- und Therapieentwicklung für weltweit wichtige Krankheiten wie HIV, Malaria und Grippe vorangetrieben.

Batista erwarb einen Doktortitel an der Worldwide Faculty of Superior Research und gründete sein Labor 2002 als Mitglied des Francis Crick Institute (ehemals London Analysis Institute) und hatte gleichzeitig eine Professur am Imperial Faculty London inne. Im Jahr 2016 trat er dem Ragon Institute bei, um ein neues Forschungsprogramm zu verfolgen, bei dem er sein Fachwissen über B-Zellen und Antikörperreaktionen auf die Impfstoffentwicklung und die präklinische Vakzinologie für Krankheiten wie SARS-CoV-2 und HIV anwendet. Batista ist gewählter Fellow oder Mitglied der UK Academy of Medical Sciences, der American Academy of Microbiology, der Academia de Ciencias de América Latina und der European Molecular Biology Group und Chefredakteur von Das EMBO-Journal.

Dina Katabi SM ’99, PhD ’03 ist Thuan (1990) und Nicole Pham Professor in der Abteilung für Elektrotechnik und Informatik am MIT. Ihre Forschung umfasst digitale Gesundheit, drahtlose Sensorik, mobiles Computing, maschinelles Lernen und Pc Imaginative and prescient. Zu Katabis Beiträgen gehören effiziente Kommunikationsprotokolle für das Web, fortschrittliche kontaktlose Biosensoren und neuartige KI-Modelle, die physiologische Signale interpretieren. Das NAM würdigte Katabi für „bahnbrechende digitale Gesundheitstechnologie, die eine nicht-invasive Fernüberwachung des Gesundheitszustands außerhalb des Körpers über KI und drahtlose Signale ermöglicht, und für die Entwicklung digitaler Biomarker für das Fortschreiten und die Erkennung von Parkinson. Sie hat diese Technologie umgesetzt, um objektive, empfindliche Messungen des Krankheitsverlaufs und des Ansprechens auf die Behandlung in klinischen Studien voranzutreiben.“

Katabi ist Direktor des MIT Middle for Wi-fi Networks and Cellular Computing. Sie ist außerdem Mitglied des Pc Science and Synthetic Intelligence Laboratory (CSAIL), wo sie die Netzwerke der MIT Analysis Group leitet. Katabi erhielt einen Bachelor-Abschluss von der Universität Damaskus sowie einen MS- und Ph.D.-Abschluss in Informatik vom MIT. Sie ist MacArthur Fellow; ein Mitglied der American Academy of Arts and Sciences, der Nationwide Academy of Sciences und der Nationwide Academy of Engineering; und ein Empfänger des ACM Computing Prize.

Weitere MIT-Alumni, die für 2025 in die NAM gewählt wurden, sind:

• Christopher S. Chen SM ’93, PhD ’97, Absolvent der Fakultät für Maschinenbau und des Harvard-MIT-Programms für Gesundheitswissenschaften und Technologie;
• Michael E. Matheny SM ’06, Absolvent des Harvard-MIT-Programms für Gesundheitswissenschaften und Technologie; Und
• Rebecca R. Richards-Kortum SM ’87, PhD ’90 und Absolventin des Fachbereichs Physik und des Harvard-MIT-Programms für Gesundheitswissenschaften und Technologie.

Ursprünglich als Institute of Medication im Jahr 1970 von der Nationwide Academy of Sciences gegründet, befasst sich die Nationwide Academy of Medication mit kritischen Themen in den Bereichen Gesundheit, Wissenschaft, Medizin und damit verbundener Politik und inspiriert zu positiven Maßnahmen in allen Sektoren.

„Es ist mir eine große Ehre, diese außergewöhnlichen Führungskräfte und Forscher aus den Bereichen Gesundheit und Medizin in der Nationwide Academy of Medication willkommen zu heißen“, sagt NAM-Präsident Victor J. Dzau. „Ihre nachgewiesene Exzellenz bei der Bewältigung von Herausforderungen im Bereich der öffentlichen Gesundheit, der Führung wichtiger Entdeckungen, der Verbesserung der Gesundheitsversorgung, der Weiterentwicklung der Gesundheitspolitik und der Förderung der gesundheitlichen Chancengleichheit wird unsere gemeinsame Fähigkeit, die dringendsten gesundheitlichen Herausforderungen unserer Zeit anzugehen, entscheidend stärken.“

Sprachmodelle haben viele natürliche Verarbeitung (NLP) Aufgaben mühelos erscheinen. Instruments wie Chatgpt erzeugen manchmal auffallend gute Antworten und führen auch erfahrene Fachkräfte dazu, sich zu fragen, ob einige Jobs eher früher als später Algorithmen übergeben werden könnten. So beeindruckend diese Modelle auch sind, sie stolpern immer noch auf Aufgaben, die eine präzise, ​​domänenspezifische Extraktion erfordern.

Motivation: Warum einen Pico -Extraktor bauen?

Die Idee trat während eines Gesprächs mit einem Studenten auf, der das internationale Gesundheitsmanagement abgeschlossen hat, der sich vor der Analyse zukünftiger Traits bei der Behandlung von Parkinson und der Berechnung der potenziellen Kosten, die auf Versicherungen erwarteten, analysieren, wenn sich die aktuellen Studien in ein erfolgreiches Produkt verwandeln. Der erste Schritt warfare klassisch und mühsam: Isolieren Sie die Pico -Elemente – Inhabitants, Intervention, Vergleicher und Ergebnisbeschreibungen – aus laufenden Versuchsbeschreibungen, die auf ClinicalTrials.gov veröffentlicht wurden. Dieser Pico-Framework wird häufig in evidenzbasierter Medizin verwendet, um klinische Studiendaten zu strukturieren. Da sie weder eine Kodiererin noch eine NLP -Spezialistin warfare, tat sie dies ganz von Hand und arbeitete mit Tabellenkalkulationen. Mir wurde klar, dass selbst in der LLM -Ära eine echte Nachfrage nach einfachen, zuverlässigen Instrumenten für die Extraktion für biomedizinische Informationen besteht.

Schritt 1: Verständnis der Daten und Festlegen von Zielen

Wie bei jedem Datenprojekt ist die erste Aufgabe der Geschäftsaufgabe klare Ziele und ermittelt, wer die Ergebnisse verwenden. Hier bestand das Ziel, Pico-Elemente für nachgelagerte Vorhersageanalysen oder Meta-Forschung zu extrahieren. Das Publikum: Jeder, der sich systematisch an der Analyse klinischer Studiendaten interessiert, sei es Forscher, Kliniker oder Datenwissenschaftler. Vor diesem Hintergrund begann ich mit Exporten von ClinicalTrials.gov im JSON -Format. Die anfängliche Feldextraktion und die Datenreinigung lieferten einige strukturierte Informationen (Tabelle 1) – insbesondere für Interventionen -, aber andere wichtige Felder waren für nachgeschaltete automatisierte Analysen immer noch unmanagierbar ausführlich. Hier glänzt NLP: Es ermöglicht uns, entscheidende Particulars aus unstrukturierten Textual content wie Zulassungskriterien oder getesteten Arzneimitteln zu destillieren. Die benannte Entitätserkennung (NER) ermöglicht die automatisierte Erkennung und Klassifizierung von Schlüsseleinheiten, beispielsweise die Identifizierung der in einem Berechtigungsabschnitt beschriebenen Bevölkerungsgruppe oder der Steckdauermessungen innerhalb einer Studienzusammenfassung. Daher wechselte das Projekt natürlich von der grundlegenden Vorverarbeitung zur Implementierung von domänen angepassten NER-Modellen.

Schritt 2: Benchmarkieren vorhandenen Modellen

Mein nächster Schritt warfare eine Übersicht über NER-Modelle außerhalb der Länder, insbesondere über die in biomedizinischen Literatur geschult und über Huggingface, dem zentralen Repository für Transformatormodelle. Von 19 Kandidaten arbeiteten nur bioelektra-pico (110 Millionen Parameter) (1) direkt zum Extrahieren von Pico-Elementen, während die anderen in der NER-Aufgabe trainiert werden, jedoch nicht speziell zur Pico-Anerkennung. Das Testen von Bioelektra in meinem eigenen „Gold-Normal“ -Set von 20 manuell annotierten Versuchen zeigte eine akzeptable, aber weit entfernt von ideale Leistung, mit besonderer Schwäche des „Komparator“ -Parts. Dies warfare wahrscheinlich daran, dass Komparatoren in den Versuchszusammenfassungen selten beschrieben werden, was eine Rückkehr zu einem praktischen regelbasierten Ansatz erzwang und direkt den Interventionstext nach Schlüsselwörtern Standardvergleiche wie „Placebo“ oder „übliche Pflege“ durchsucht.

Schritt 3: Feinabstimmung mit domänenspezifischen Daten

Um die Leistung weiter zu verbessern, wechselte ich zur Feinabstimmung, was dank kommentierter PICO-Datensätze von Bids-XU-Lab, einschließlich alzheimer-spezifischer Proben (2), ermöglicht wurde. Um die Notwendigkeit einer hohen Genauigkeit mit Effizienz und Skalierbarkeit auszugleichen, habe ich drei Modelle für Experimente ausgewählt. Biobert-V1.1Mit 110 Millionen Parametern (3) diente aufgrund seiner starken Erfolgsbilanz bei biomedizinischen NLP -Aufgaben das Hauptmodell. Ich habe auch zwei kleinere, abgeleitete Modelle aufgenommen, um die Geschwindigkeits- und Speicherverwendung zu optimieren: Compactbiobertmit 65 Millionen Parametern ist eine destillierte Model von Biobert-V1.1; Und BiomobilentMit nur 25 Millionen Parametern ist eine weitere komprimierte Variante, die nach Komprimierung eine zusätzliche Runde des kontinuierlichen Lernens unterzogen hat (4). Ich habe alle drei Modelle mit Google Colab GPUs fein abgestimmt, was ein effizientes Coaching ermöglichte-das bestehende Modell warfare in weniger als zwei Stunden testet.

Schritt 4: Bewertung und Erkenntnisse

Die in Tabelle 2 zusammengefassten Ergebnisse zeigen klare Traits. Alle Varianten zeigten sich stark bei der Extraktion der Inhabitants, wobei Biomobilent bei F1 = 0,91 führte. Die Ergebnissextraktion lag in der Nähe der Decke über alle Modelle. Das Extrahieren von Interventionen erwies sich jedoch als schwieriger. Obwohl der Rückruf ziemlich hoch warfare (0,83–0,87), verzögerte sich die Präzision (0,54–0,61), wobei Modelle häufig zusätzliche Medikamenten im freien Textual content markieren-häufig, weil Versuchsbeschreibungen auf Medikamente oder „interventionelle“ Schlüsselwörter beziehen, die den Hintergrund beschreiben, sich jedoch nicht auf die geplante Hauptintervention konzentrieren.

Bei näherer Betrachtung unterstreicht dies die Komplexität des biomedizinischen NER. Interventionen schienen gelegentlich als kurze, fragmentierte Saiten wie „Gebrauch von Ganzes“, „Woche“, „Prime“ oder „Taschentüchern mit“ zu sein, die für einen Forscher, der versucht, eine kompilierte Liste von Studien zu verstehen, von geringer Wert sind. In ähnlicher Weise ergab die Untersuchung der Bevölkerung eher ernüchternde Beispiele wie „Prozent“ oder „Staaten mit“, was auf die Notwendigkeit einer zusätzlichen Aufräum- und Pipeline -Optimierung hinweist. Gleichzeitig könnten die Modelle beeindruckend detaillierte Bevölkerungsdeskriptoren extrahieren, wie „Erwachsene mit der Diagnose kognitiv ungepflegtes oder wahrscheinlicher Alzheimer -Krankheit, frontotemporaler Demenz oder Demenz mit Lewy -Körpern“. Während solche langen Zeichenfolgen korrekt sein können, sind sie tendenziell zu wortreich für die praktische Zusammenfassung, da die Teilnehmerbeschreibung jedes Versuchs so spezifisch ist und häufig irgendeine Kind von Abstraktion oder Standardisierung erfordert.

Dies unterstreicht eine klassische Herausforderung im biomedizinischen NLP: Kontextangelegenheiten, und domänenspezifischer Textual content widersteht häufig rein generische Extraktionsmethoden. Für Vergleichselemente funktionierte ein regelbasierter Ansatz (entsprechende explizite Komparator-Schlüsselwörter) am besten und erinnert uns daran, dass das Mischen statistisches Lernen mit pragmatischen Heuristiken häufig die praktikables Strategie in realen Anwendungen ist.

Eine Hauptquelle für diese „Unfug“ -Extraktionen beruht auf der Artwork und Weise, wie Prüfungen in breiteren Kontextabschnitten beschrieben werden. Zu den weiteren Verbesserungen gehören das Hinzufügen eines Nachbearbeitungsfilters zum Verwerfen von kurzen oder mehrdeutigen Ausschnitten, das Einbeziehen eines domänenspezifischen kontrollierten Vokabulars (daher werden nur anerkannte Interventionsbegriffe aufbewahrt) oder die Anwendung von Konzept, die mit bekannten Ontologien verknüpft sind. Diese Schritte könnten dazu beitragen, dass die Pipeline sauberere, standardisiertere Ausgaben erzeugt.

Ein Wort zur Leistung: Für jedes Endbenutzer-Instrument ist Pace ​​so wichtig wie die Genauigkeit. Die kompakte Größe von Biomobilebent übersetzt zu einem schnelleren Inferenz, was es zu meinem bevorzugten Modell machte, zumal es für Bevölkerung, Komparator und Ergebniselemente optimum ausgeführt wurde.

Schritt 5: Das Werkzeug verwendbar machen – Ablehnung

Technische Lösungen sind nur so wertvoll, wie sie zugänglich sind. Ich habe die endgültige Pipeline in eine Streamlit -App eingeholt, damit Benutzer klinische TOV -Datensätze hochladen, zwischen Modellen wechseln, Pico -Elemente extrahieren und Ergebnisse herunterladen können. Schnelle Zusammenfassungsdiagramme bieten eine AT-A-Look-Ansicht von Prime-Interventionen und -ergebnissen (siehe Abbildung 1). Ich habe das unterdurchschnittliche Bioelektra -Modell absichtlich gelassen, damit der Benutzer die Leistungsdauer vergleichen kann, um die Effizienzgewinne durch die Verwendung einer kleineren Architektur zu schätzen. Obwohl das Instrument zu spät kam, um meine studentischen Stunden der manuellen Datenextraktion zu ersparen, hoffe ich, dass es anderen zugute kommt, die mit ähnlichen Aufgaben ausgesetzt sind.

Um die Bereitstellung unkompliziert zu machen, habe ich die App mit Docker Containerisiert, sodass Follower und Mitarbeiter schnell aufbauen können. Ich habe auch erhebliche Anstrengungen in das Github Repo (5) investiert und eine gründliche Dokumentation zur Verfügung gestellt, um weitere Beiträge oder Anpassungen für neue Domänen zu fördern.

Lektionen gelernt

Dieses Projekt zeigt die vollständige Reise der Entwicklung einer realen Extraktionspipeline-von der Festlegung klarer Ziele und dem Benchmarking vorhandenen Modellen bis hin zur Feinabstimmung von speziellen Daten und zur Bereitstellung einer benutzerfreundlichen Anwendung. Obwohl Modelle und Daten für die Feinabstimmung leicht verfügbar waren, erwies sich sie zu einem wirklich nützlichen Instrument als schwieriger als erwartet. Der Umgang mit komplizierten biomedizinischen Multi-Wörtern, die oft nur teilweise anerkannt waren, hob die Grenzen von einheitlichen Lösungen ein. Der Mangel an Abstraktion im extrahierten Textual content wurde auch zu einem Hindernis für jeden, der sich darauf abzielte, globale Traits zu identifizieren. Wenn Sie sich vorwärts bewegen, sind fokussiertere Ansätze und Pipeline-Optimierungen erforderlich, anstatt sich auf eine einfache PRêt-à-Porter-Lösung zu verlassen.

Wenn Sie daran interessiert sind, diese Arbeit zu erweitern oder den Ansatz für andere biomedizinische Aufgaben anzupassen, lade ich Sie ein, das Repository (5) zu untersuchen und beizutragen. Nur das Projekt aufgeben und Completely satisfied Coding!

Referenzen

• (1) S. Alrowili und V. Shanker, „Biom-Transformler: Aufbau großer biomedizinischer Sprachmodelle mit Bert, Albert und Electra“ in Verfahren des 20. Workshops zur biomedizinischen SprachverarbeitungD. Demner-Fushman, KB Cohen, S. Ananiadou und J. Tsujii, Hrsg., On-line: Affiliation for Computational Linguistics, Juni 2021, S. 221–227. doi: 10.18653/v1/2021.bionlp-1.24.
• (2) BIDS-XU-LAB/SECTION_SPECIFIC_ANNOTATION_OF_PICO. (23. August 2025). Jupyter Pocket book. Klinisches NLP -Labor. Zugriff: 13. September 2025. (on-line). Verfügbar: https://github.com/bids-xu-lab/section_specific_annotation_of_pico
• (3) J. Lee et al.„Biobert: Ein vorgebildetes Modell für biomedizinische Sprachdarstellungen für den biomedizinischen Textabbau“, “ Bioinformatikvol. 36, nein. 4, S. 1234–1240, Februar 2020, doi: 10.1093/bioinformatics/btz682.
• (4) O. Rohanian, M. Nouriborji, S. Kouchaki und Da Clifton, „Über die Wirksamkeit kompakter biomedizinischer Transformatoren“, “ Bioinformatikvol. 39, nein. 3, p. BTAD103, März 2023, doi: 10.1093/bioinformatics/btad103.
• (5) Elenj, Elenj/Biomed-Extractor. (13. September 2025). Jupyter Pocket book. Zugriff: 13. September 2025. (on-line). Verfügbar: https://github.com/elenj/biomed-extractor

---

Dieser Beitrag wird hinter dem Faucet fortgesetzt, einer Serie, in der die verborgenen Mechanik der alltäglichen Technologie erforscht wird – von Uber über Spotify bis hin zu Suchmaschinen. Ich werde unter der Motorhaube tauchen, um die Systeme zu entmystifizieren, die Ihre digitale Welt prägen.

Die erste Beziehung zum Musikhörer begann um 6 und drehte sich durch die Alben im Onkyo 6-Disc-Participant des Wohnzimmers. Katze StevensAnwesend Rille ArmadaAnwesend Sade. Es gab immer ein Lied, gegen das ich immer wieder zurückspulen konnte, obwohl ich seinen Namen nicht kannte. 10 Jahre später kehrten Momente des Songs in die Erinnerung zurück. Ich habe durch Foren gesucht, ‚alte Saxophon Melodie ‚“Classic -Lied über Sanddünen‚, auf der Suche nach Jahren ohne Erfolg. Dann, eines Tages an der Universität, struggle ich im Schlafsaal meines Freundes Pegler, als er es spielte:

https://www.youtube.com/watch?v=wzct7abuu9y

Diese lange Suche lehrte mich, wie wichtig es ist, die Musik zu finden, die Sie lieben.

---

Vor dem Streaming und intelligenten Assistenten stützte sich Musik Discovery auf Erinnerung, Glück oder einen Freund mit gutem Musikgeschmack. Dieser ein eingängige Chor könnte durch den Äther verloren gehen.

Dann kam das Wunder eines Musikliebhabers.

Ein paar Sekunden des Klangs. Eine Style drücken. Und ein Identify auf Ihrem Bildschirm.

Shazam machte Musik erkennbar.

Der Ursprung: 2580

Shazam startete 2002, lange bevor Apps eine Sache waren. Damals hat es so funktioniert:

Du würdest wählen 2580# auf Ihrem Useful (nur in Großbritannien).
Halten Sie Ihr Telefon bis zum Lautsprecher.
… Warte schweigend…
Und erhalten a SMS Erzählen Sie Ihnen den Namen des Liedes.

Es fühlte sich wie Magie an. Das Gründungsteam Chris Barton, Philip Inghelbrecht, Avery Wang und Dhiraj Mukherjee haben jahrelang diese Phantasm aufgebaut.

Um seine erste Datenbank zu erstellen, Shazam stellte 30 junge Arbeiter ein Um 18-Stunden-Schichten auszuführen, 100.000 CDs manuell in Laptop zu laden und benutzerdefinierte Software program zu verwenden. Da CDs keine Metadaten enthalten, mussten sie die Namen der Songs manuell eingeben und sich auf die CD -Hülse beziehen, um schließlich die ersten Million Audio -Fingerabdrücke des Unternehmens zu erstellen – ein sorgfältiger Prozess, der Monate dauerte.

In einer Zeit vor Smartphones oder Apps musste Shazam, als Nokia und Blackberry’s nicht mit den Verarbeitungs- oder Speicheranforderungen erledigen konnten, lange genug am Leben bleiben, damit die Technologie ihre Idee einholt. Dies struggle eine Lektion im Markttiming.

In diesem Beitrag geht es darum, was im Second zwischen dem Faucet und dem Titel, der Signalverarbeitung, Hashing, Indizierung und Muster -Matching passiert, die Shazam hören lässt, was Sie nicht ganz benennen können.

---

Der Algorithmus: Audio -Fingerabdruck

Im Jahr 2003, Shazam-Mitbegründer Avery Wang veröffentlicht Die Blaupause für einen Algorithmus, der die App heute noch führt. Die zentrale Idee der Zeitung: Wenn Menschen Musik durch verstehen können Überlagerung Klangschichten, eine Maschine könnte es auch tun.

Lassen Sie uns durchgehen, wie Shazam auf etwas abbricht, das eine Maschine sofort erkennen kann.

1. Audioprobe erfassen

Es beginnt mit einem Wasserhahn.

Wenn Sie auf die Shazam -Style klicken, zeichnet die App ein 5–10 Sekunden -Ausschnitt des Audio um Sie herum auf. Dies dauert lang genug, um die meisten Songs zu identifizieren, obwohl wir alle Minuten gewartet haben, um unsere Telefone in der Luft zu halten (oder uns in unseren Taschen zu verstecken).

Aber Shazam speichert diese Aufnahme nicht. Stattdessen reduziert es es auf etwas viel kleineres und schlaueres: a Fingerabdruck.

2. Erzeugen des Spektrogramms

Bevor Shazam ein Lied erkennen kann, muss es verstehen, was Frequenzen sind im Klang und wenn sie auftreten. Dazu verwendet es ein mathematisches Device namens The Schnelle Fourier -Transformation (FFT).

Der Fft Unterschlägt ein Audiosignal in seine Komponentenfrequenzen und zeigt, welche Noten oder Töne jederzeit den Klang ausmachen.

Warum es wichtig ist: Wellenformen sind zerbrechlich und empfindlich gegenüber Rauschen, Pitchänderungen und Gerätekomprimierung. Frequenzbeziehungen im Laufe der Zeit bleiben jedoch stabil. Das ist das Gold.

Wenn Sie Mathematik an der UNI studieren würden, erinnern Sie sich an die Kämpfe, das zu lernen Diskreter Fourier -Transformationsprozess.Schnelle Fourier -Transformation (FFT) ist eine effizientere Model, mit der wir ein komplexes Sign in seine Frequenzkomponenten zerlegen können, z. B. alle Notizen in einem Akkord zu hören.

Musik ist nicht statisch. Notizen und Harmonische ändern sich im Laufe der Zeit. Shazam läuft additionally nicht nur einmal FFT, sondern leitet es wiederholt über kleine, überlappende Fenster des Alerts. Dieser Prozess ist als der bekannt Kurzzeit-Fourier-Transformation (STFT) und bildet die Grundlage der Spektrogramm.

Das resultierende Spektrogramm ist eine Transformation des Klangs aus dem Amplitudenzeitdomäne (Wellenform) in die Frequenzzeitdomäne.

Stellen Sie sich dies als eine unordentliche Audio -Wellenform in eine musikalische Heatmap um.
Anstatt zu zeigen, wie laut der Klang ist, zeigt ein Spektrogramm Welche Frequenzen sind vorhanden zu welcher Zeit.

Ein Spektrogramm bewegt die Analyse aus dem Amplitudenzeitdomäne Zu Frequenzzeitdomäne. Es zeigt die Zeit auf der horizontalen Achse, die Frequenz auf der vertikalen Achse und verwendet Helligkeit, um die Amplitude (oder das Volumen) jeder Frequenz in jedem Second anzuzeigen. Auf diese Weise können Sie nicht nur feststellen, welche Frequenzen vorhanden sind, sondern auch, wie sich ihre Intensität entwickelt, und ermöglicht es, Muster, transiente Ereignisse oder Änderungen des Alerts zu identifizieren, die in einer Commonplace-Zeit-Domänen-Wellenform nicht sichtbar sind.

Spektrogramme werden in Bereichen wie Audioanalyse, Sprachverarbeitung, Seismologie und Musik weit verbreitet und bieten ein leistungsstarkes Instrument zum Verständnis der zeitlichen und spektralen Eigenschaften von Signalen.

3. vom Spektrogramm zur Sternbilderkarte

Spektrogramme sind dicht und enthalten zu viele Daten, um sich über Millionen von Songs zu vergleichen. Shazam filtert die Frequenzen mit geringer Intensität und hinterlässt genau die lautesten Gipfel.

Dadurch wird eine Sternbildkarte erstellt, eine visuelle Streuung von herausragenden Frequenzen im Laufe der Zeit, ähnlich wie Noten, obwohl sie mich an eine mechanische Musikkiste erinnert.

4. Erstellen des Audio -Fingerabdrucks

Jetzt kommt die Magie, Wendepunkte in eine Signatur.

Shazam nimmt jeden Ankerpunkt (einen dominanten Peak) und kombiniert ihn mit Zielpeaks in einem kleinen Zeitfenster – und bildet eine Verbindung, die sowohl Frequenzpaar als auch Zeitdifferenz codiert.

Jedes von diesen wird zu einem Hash -Tupel:

(Anchor_Frequency, target_frequency, time_delta)

Was ist ein Hash?

Ein Hash ist die Ausgabe einer mathematischen Funktion, die als Hash-Funktion bezeichnet wird und die Eingabedaten in eine Zeichenfolge mit fester Länge von Zahlen und/oder Zeichen umwandelt. Es ist eine Möglichkeit, komplexe Daten in eine kurze, eindeutige Kennung zu verwandeln.

Hashing wird in Informatik und Kryptographie häufig verwendet, insbesondere für Aufgaben wie Daten -Lookup, Überprüfung und Indexierung.

Für Shazam eine typische Hash ist 32 Bit lang und es könnte so strukturiert sein:

• 10 Bit Für die Ankerfrequenz
• 10 Bit Für die Zielfrequenz
• 12 Bit Für die Zeit Delta zwischen ihnen

Dieser winzige Fingerabdruck fängt die Beziehung zwischen zwei Soundspitzen und wie weit sie rechtzeitig voneinander entfernt sind, und ist stark genug, um den Tune zu identifizieren, und klein genug, um schnell zu übertragen, selbst bei Verbindungen mit niedrigem Bandbreite.

5. Anpassung gegen die Datenbank

Sobald Shazam einen Fingerabdruck aus Ihrem Snippet erstellt hat, muss es in seiner Datenbank mit Millionen von Songs schnell ein Match finden.

Obwohl Shazam keine Ahnung hat, woher Ihr Clip kam – Intro, Vers, Refrain, Bridge – spielt keine Rolle, dass es nach relativem Timing zwischen Hash -Paaren sucht. Dies macht das System sturdy, um Offsets im Eingabe -Audio zu zeitigen.

Shazam vergleicht den Hashes Ihrer Aufnahme mit seiner Datenbank und identifiziert den Tune mit der höchsten Anzahl von Übereinstimmungen, dem Fingerabdruck, der am besten mit Ihrem Beispiel entspricht, auch wenn es aufgrund von Hintergrundgeräuschen nicht genau übereinstimmt.

Wie es so schnell sucht

Um diesen Blitzschnitzel zu machen, verwendet Shazam a HashmapAnwesend Eine Datenstruktur, die eine nahezu instantierte Suche ermöglicht.

Ein HashMap kann in O (1) eine Übereinstimmung finden, dh die Suchzeit bleibt konstant, auch wenn Millionen von Einträgen vorhanden sind.

Im Gegensatz dazu nimmt ein sortierter Index (wie B-Tree auf der Festplatte) o (log n) Zeit, was langsam wächst, wenn die Datenbank wächst.

Dieses Gleichgewicht zwischen Zeit und Raumkomplexität ist als bekannt als als Huge O NotationTheorie Ich bin nicht darauf vorbereitet, zu lehren. Bitte beachten Sie einen Informatiker.

6. Skalierung des Methods

Um diese Geschwindigkeit im globalen Maßstab aufrechtzuerhalten, nutzt Shazam mehr als nur schnelle Datenstrukturen, sondern es optimiert, wie und wo die Daten leben:

• Scherben Die Datenbank – dividieren Sie sie nach Zeitbereich, Hash -Präfix oder Geographie
• Hält heiße Scherben im Speicher (RAM) für sofortigen Zugriff
• Lädt kältere Daten auf die Festplatte ab, was langsamer, aber billiger zu speichern ist
• Verteilt das System nach Area (z. B. US -Osten, Europa, Asien). Daher ist die Anerkennung schnell, egal wo Sie sich befinden

Dieses Design unterstützt 23.000 Anerkennungen professional Minutesogar in globaler Ebene.

---

Auswirkungen und zukünftige Anwendungen

Die offensichtliche Anwendung ist Musikentdeckung auf Ihrem Telefon, aber es gibt eine weitere wichtige Anwendung von Shazams Prozess.

Shazam erleichtert Markteinsichten. Jedes Mal, wenn ein Benutzer ein Lied markiert, sammelt Shazam anonymisierte, geo-zeitliche Metadaten (wo, wann und wie oft ein Lied ids.)

Labels, Künstler und Promotoren verwenden dies, um:

• Spot Breakout -Tracks, bevor sie in die Charts getroffen werden.
• Identifizieren Sie regionale Traits (ein Remix, der in Tokio vor LA an Tokio gewinnt).
• Leitfadenvermarktungsausgaben basierend auf Bio -Attraktion.

Im Gegensatz zu Spotify, das das Hörverhalten von Benutzern verwendet, um Empfehlungen zu verfeinern, liefert Shazam Echtzeitdaten zu Songs, die Menschen aktiv identifizieren und die Musikindustrie frühzeitige Einblicke in neue Traits und beliebte Tracks bieten.

Was Spotify hört, bevor Sie dies tun
Die Datenwissenschaft der MusikempfehlungMedium.com

Im Dezember 2017, Apfel kaufte Shazam für eine gemeldete 400 Millionen Greenback. Apple verwendet Berichten zufolge Shazams Daten, um die Empfehlungsmotor von Apple Music zu erweiternAnwesend und Aufzeichnungsbezeichnungen überwachen jetzt Shazam -Traits, wie sie früher überwacht haben Radiospins.

In Zukunft wird die Entwicklung in Bereichen wie folgt erwartet:

• Visible Shazam: Zeigen Sie bereits pilotiert auf eine Kamera auf ein Objekt oder ein Kunstwerk, um es zu identifizieren, nützlich für eine Augmented Actuality -Zukunft.
• Konzertmodus: Identifizieren Sie Songs dwell während der Gigs und synchronisieren Sie eine Echtzeit-Setlist.
• Hyper-lokale Traits: Oberflächenüberlegen, was auf dieser Straße oder in diesem Veranstaltungsort tendiert, wodurch der Musikgeschmack von Group-Shared-Musik erweitert wird.
• Generative AI -Integration: P.Air -Audio -Snippets mit Lyrikgenerierung, Remixvorschlägen oder visueller Begleitung.

Outro: Der Algorithmus, der Bestand hat

In einer Welt immer verändernder Tech-Stapel ist es selten, dass ein Algorithmus über 20 Jahre lang related bleibt.

Aber Shazams Fingerabdruckmethode hat es nicht nur ertragen, sie ist skaliert, entwickelt und wird zu einer Blaupause für Audioerkennungssysteme in der gesamten Branche.

Die Magie ist nicht nur so, dass Shazam ein Lied nennen kann. So macht es es, verwandelte unordentlichen Sound in elegante Mathematik und macht es zuverlässig, sofort und international.

Wenn Sie additionally das nächste Mal in einer lauten, trashigen Bar sind, hält Ihr Telefon bis zum Lautsprecher, um zu spielen Lola Youngs ‚chaotisch‘ Denken Sie daran: Hinter diesem Wasserhahn befindet sich ein wunderschöner Stapel von Signalverarbeitung, Hashing und Suche, so intestine, dass sich kaum ändern musste.

Aufregende Neuigkeiten: Wir haben eine Daten Engineering Pfad Das bietet ein Coaching aus dem Scratch für alle, die Dateningenieur werden oder einige Daten für Daten technisch erlernen möchten.

https://www.youtube.com/watch?v=du1pirfi21a

Sieht cool aus, oder? Aber es wirft die Frage auf:

Warum Datentechnik lernen?

In der Regel bestehen Knowledge Science -Groups aus Datenanalysten, Datenwissenschaftlern und Dateningenieuren. Wir haben über die Unterschiede zwischen diesen gesprochen DatenrollenAber hier gehen wir tiefer in einige der Vorteile, Dateningenieur zu sein.

Dateningenieure sind die Personen, die alle Teile des Datenökosystems innerhalb eines Unternehmens oder einer Establishment verbinden. Sie erreichen dies, indem sie Dinge tun wie:

• Zugriff auf, sammeln, auditieren und reinigen Daten von Anwendungen und Systemen in einen verwendbaren Zustand
• Erstellen und Wartung effizienter Datenbanken
• Datenpipelines bauen
• Überwachung und Verwaltung aller Datensysteme (Skalierbarkeit, Sicherheit usw.)
• Implementierung der Ausgabe von Datenwissenschaftlern auf skalierbare Weise

Dateningenieur vs. Datenwissenschaftler

Alles, was oben aufgeführt ist, ist in erster Linie eine bestimmte Fähigkeit erforderlich: Programmierung. Dateningenieure sind Software program -Ingenieure, die sich auf Daten- und Datentechnologien spezialisiert haben.

Das unterscheidet sie ganz anders als Datenwissenschaftler, die sicherlich Programmierfähigkeiten haben, aber normalerweise keine Ingenieure sind. Es ist nicht ungewöhnlich, dass Datenwissenschaftler ihre Arbeit (z. B. ein Empfehlungssystem) an Dateningenieure zur tatsächlichen Implementierung übergeben.

Und während es Datenanalysten und Datenwissenschaftler sind, die die Analyse durchführen, sind es in der Regel Dateningenieure, die die Datenpipelines und andere Systeme erstellen, die erforderlich sind, um sicherzustellen, dass jeder einen einfachen Zugriff auf die benötigten Daten hat (und dass niemand Zugriff auf die hat Daten, die nicht).

Eine starke Grundlage für Software program -Engineering und -Programmierung vermittelt Dateningenieure, um die Instruments -Datenteams zu erstellen, und ihre Unternehmen müssen erfolgreich sein. Oder, as Jeff Magnusson Setzen Sie es aus:

Ich denke gerne an Lego -Blöcke. Ingenieure entwerfen neue LEGO -Blöcke, die Datenwissenschaftler auf kreative Weise zusammenstellen, um neue Datenwissenschaft zu schaffen.

Dies bringt uns zum ersten Grund, warum Sie vielleicht Daten Engineering lernen möchten:

1. Es ist das Rückgrat der Datenwissenschaft

Dateningenieure stehen an vorderster Entrance der Datenstrategie, damit es andere nicht sein müssen. Sie sind die ersten Personen, die sich mit dem Zustrom strukturierter und unstrukturierter Daten befassen, die in die Systeme eines Unternehmens eintreten. Sie sind die Grundlage für jede Datenstrategie. Ohne Lego -Blöcke kann man schließlich kein Lego -Schloss bauen.

Im obigen Datenwissenschaftshierarchie der Bedürfnisse (vorgeschlagen von Monica Rogati) Dateningenieure sind vollständig für die beiden unteren Zeilen verantwortlich und teilen die Verantwortung mit Datenanalysten und Datenwissenschaftlern für die dritte Zeile von unten.

Wie kritisch ist Datentechnik?

Stellen Sie sich vor, dass die oben abgebildete Pyramide als Trichter verwendet und auf den Kopf gestellt wird. Die Daten werden in die Spitze dieses Trichters gegossen, und die ersten Personen, die es berühren, sind Dateningenieure. Je effizienter sie bei der Filterung, Reinigung und Regie dieser Daten sind, desto effizienter kann alles andere sein, wenn die Daten weiter im Trichter und auf andere Teammitglieder fließen.

Umgekehrt, wenn die Dateningenieure sind nicht Effizient können sie als Block im Trichter dienen, der die Arbeit aller nachgelagerten Arbeiten schadet. Wenn beispielsweise eine schlecht gebaute Datenpipeline das Knowledge Science-Workforce unvollständige Daten füttert, kann jede Analyse, die sie auf diesen Daten durchführen, nutzlos sein.

Auf diese Weise fungieren Dateningenieure als Multiplikatoren für die Ergebnisse einer Datenstrategie. Sie sind die Riesen, auf deren Schultern Datenanalysten und Datenwissenschaftler stehen.

Dies zeigt sich in der Artwork und Weise, wie Unternehmen mit guten Datenstrategien ihre Groups strukturieren. Laut Jesse Anderson, einem Dateningenieur und Geschäftsführer der Massive Knowledge Institute:

Ein häufiger Ausgangspunkt sind 2-3 Dateningenieure für jeden Datenwissenschaftler. Für einige Organisationen mit komplexeren Anforderungen an Daten technisch können dies 4-5 Dateningenieure professional Datenwissenschaftler sein.

2. Es ist technisch herausfordernd

Einer der Python -Funktionen Datenanalysten und Wissenschaftler verwenden am meisten read_csv – von der Pandas Bibliothek. Diese Funktion liest tabellarische Daten, die in einer Textdatei in Python gespeichert sind, damit sie untersucht und manipuliert werden können.

Wenn Sie zuvor mit Daten in Python gearbeitet haben, sind Sie wahrscheinlich sehr daran gewöhnt, so etwas zu tippen:

import pandas as pd

df = pd.read_csv("a_text_file.csv")

Einfach und bequem, oder? Der read_csv Funktion ist ein gutes Beispiel für die Essenz von Software program Engineering: Erstellung abstrakter, breiter, effizienter und skalierbarer Lösungen.

Was bedeutet das und wie hängt es mit dem Lerndatenentwicklung zusammen? Lassen Sie uns einen tieferen Blick darauf werfen.

• Abstrakt: Beim Lesen einer Datei in einem Laptop, a Sehr komplexer Prozess tritt unter der Motorhaube auf. Unsere Verwendung der Funktion ist jedoch sehr einfach, da das, was im Hintergrund vor sich geht, vom Gebrauch abstrahiert wird. Sie müssen nicht verstehen, was read_csv tut „unter der Motorhaube“, um es effektiv zu verwenden.
• Breit: Diese Funktion ermöglicht es uns auch, explizit auszuwählen, was der Trennzeichen in den Tabellendaten des Textes verwendet wird (z. B. Kommas, Semikolonen, Registerkarten usw.). Dies erleichtert die Verwendung mit einer Vielzahl von CSV -Stilen, und das ist Musik für die Ohren der Datenwissenschaftler. Und es gibt viele andere Optionen, die es Datenpraktikern ermöglichen, sich auf ihre Ziele zu konzentrieren, anstatt sich um Programmdetails sorgen zu müssen.
• Effizient: read_csv Funktioniert schnell und effizient und es ist auch effizient, in Code zu lesen.
• Skalierbar: Eine andere Possibility, die in dieser Funktion enthalten ist, ermöglicht es uns, Dateien nach Stücken zu lesen. Wenn eine Datei zu groß ist, um in den RAM des Computer systems zu lesen, kann sie Chunk von Chunk gelesen werden, sodass Benutzer Dateien so groß wie sie kommen.

Robert A. Heinlein ist berühmt dafür, dass es gesagt hat:

Ein Mann Magie ist die Ingenieur eines anderen Mannes.

Es sind Dateningenieure, die diese Magie arbeiten und Instruments wie die bauen read_csv Funktionen, die abstrakt, breit, effizient und skalierbar sind, damit sich der Relaxation des Groups auf die Daten selbst und ihre Analyse konzentrieren kann, anstatt mit Programmierrätseln zu kämpfen.

Gleichzeitig erfordert Knowledge Engineering wahrscheinlich weniger Mathematik als Knowledge Science. Wenn Sie additionally die Programmierung über Mathematik bevorzugen, könnte Knowledge Engineering eine ideale Possibility für Sie sein!

3. Es lohnt sich

Das Leben der Datenwissenschaftler leichter zu machen ist nicht das einzige, was Dateningenieure motiviert. Es ist nicht zu leugnen, dass Dateningenieure einen bedeutenden und wachsenden Einfluss auf die Welt im Allgemeinen haben.

Entsprechend Jüngste StatistikenWir erstellen jeden Tag mehr als 402 Milliarden Gigabyte Daten. Wenn das nicht genug struggle, wird angenommen, dass in den letzten zwei Jahren 90% der Daten der Welt erstellt wurden. Diese Unermesslichkeit der Daten hat Dateningenieure wertvoller als je zuvor gemacht. IoT Analytics Schätzungsweise mehr als 18,8 Milliarden IoT -Geräte Ende 2024, gegenüber etwa 16,6 Milliarden im Jahr 2023 und 14,4 Milliarden im Jahr 2022. Bei all diesem Wachstum kommt es viel mehr Daten von viel mehr Quellen und so viel mehr Bedarf an Dateningenieuren Wer kann es effektiv verarbeiten und kanalisieren.

Dies bedeutet, dass Dateningenieure eine Vielzahl von Möglichkeiten haben, wie sie ihre Interessen verfolgen und ihre Fähigkeiten vertiefen können. Um Ihnen eine Vorstellung davon zu geben, wie groß diese Welt ist, finden Sie hier eine Liste der beliebten Datenwerkzeuge und -technologien:

Natürlich muss ein Dateningenieur es nicht wissen alle Von diesen, aber diese Liste zeigt, wie viel es in der Welt der Datenentwicklung zu tun hat. Sobald Sie die Fähigkeiten haben, Jobs zu bekommen, haben Sie viel Freiheit, zu wählen, woran Sie arbeiten und an welchen Instruments Sie arbeiten.

Da Dateningenieure sowohl Daten- als auch Software program -Engineering -Fähigkeiten haben, können sie auch eine Vielzahl von Produkten aufbauen. Möchten Sie zu einem Startup im Frühstadium beitragen oder Unternehmer werden und eines Tages Ihr eigenes gefunden haben? Daten Engineering -Fähigkeiten bieten Ihnen die Instruments, die Sie benötigen, um großartige Produkte zu erstellen und zu analysieren, wie sich diese Produkte entwickeln. Sie können den Erfolg von so ziemlich allem implementieren und messen, was Sie sich vorstellen können.

Willst du distant arbeiten? Entsprechend Das US -amerikanische Büro für Arbeit und Statistik:

Der Anteil der Beschäftigten, die an Tagen, an denen sie arbeiteten, Zeit zu Hause arbeiteten, struggle ungefähr der gleiche wie im Jahr 2022 (34 Prozent), aber höher als im Jahr 2019 (24 Prozent) vor der Covid-19-Pandemie.

Wenn die Arbeit außerhalb des Büros etwas ist, das zu Ihnen passt, kann Knowledge Engineering Ihnen helfen, dieses Ziel zu erreichen. Da es eine hohe Nachfrage nach Dateningenieuren gibt und der größte Teil der Arbeit distant erledigt werden kann, ist es definitiv möglich, Fernbedienung zu finden Daten technische Jobsoder arbeiten Sie als freiberuflicher Auftragnehmer für kurzfristige Datenentwicklungsprojekte.

Schließlich haben Dateningenieure auch viele Möglichkeiten, der Group etwas zurückzugeben. Entsprechend 2024’s Stack Overflow Developer’s Survey:

93% der Befragten besuchen den Stack -Überlauf mindestens mehrmals professional Monat, wenn nicht mehrmals professional Tag.

Und da Sie über Daten und technische Fähigkeiten verfügen, können Sie einen wirklichen Unterschied machen, um coole neue Instruments für die Knowledge Science Group zu entwickeln.

4. Es zahlt sich intestine aus

Sie sollten niemals einen Jobbasis nehmen nur Im Gehalt, aber es ist nicht zu leugnen, dass das Gehalt wichtig ist!

Laut Glassdoor a Maschinenlerningenieur wird durchschnittlich 168.000 US -Greenback bezahlt. Beworben Datenwissenschaftler Positionen zahlen durchschnittlich 164.000 US -Greenback. Und Daten Engineering Positionen zahlen durchschnittlich 202.000 US -Greenback.”

Es ist keine Überraschung, warum. Datenentwicklungsfähigkeiten wie Python, SQL und The Shell gehören regelmäßig zu den am besten bezahlten Fähigkeiten in den Entwicklerumfragen von Stackoverflow. Und zum Zeitpunkt dieses Schreibens gibt es rund 140.000 Ergebnisse für den Suchbegriff Datenwissenschaftler auf LinkedIn und rund 251.000 Ergebnisse für den Suchbegriff Dateningenieur.

Eine Mehrheit der Unternehmen meldet Schwierigkeiten, qualifizierte Dateningenieure zu finden. In a Neuere Umfrage87% der Technologieführer gaben an, dass sie Schwierigkeiten haben, qualifizierte technische Talente auf dem aktuellen Markt zu sichern. Dieser anhaltende Talentmangel zeigt, dass die Nachfrage das Angebot immer noch übertrifft, obwohl mehr Menschen in das Feld eintreten. Mit Blick auf die Zukunft erscheint der Arbeitsmarkt für Dateningenieure widerstandsfähig. Die jüngste „Reset“ der Technologiebranche (mit einigen Entlassungen im Jahr 2022–23) struggle größtenteils eine Korrektur der Übereinstellung, und Experten erwarten Datenrollen bleiben bis 2025 gefragt.

Und das ist nicht alles! Nach Statista:

Der globale Massive -Knowledge -Markt wird voraussichtlich bis 2027 auf 103 Milliarden US -Greenback wachsen

5. Es ist wertvoll, auch wenn Sie kein Dateningenieur sein möchten

Auch wenn Sie keine Karriere als Dateningenieur verfolgen möchten, kann es sehr nützlich sein, Kenntnisse über Datengenieure zu kennen. Die Vorteile sind mehrfach:

• Als Datenpraktiker besteht eine gute Likelihood, dass Sie regelmäßig Aufgaben erledigen, die sich über andere Jobs, einschließlich Datengenieure, überschneiden.
• Das Erlernen einer anderen Sichtweise kann für Ihr Verständnis von Vorteil sein und bietet Ihnen die Möglichkeit, Fähigkeiten zu erfüllen, die Sie möglicherweise schon seit einiger Zeit nicht mehr verwendet haben.
• In technischen Fähigkeiten werden Sie autarker. Dies kann Ihrer Karriere enorm helfen, da Sie nicht mehr blockiert werden müssen und darauf warten, dass jemand etwas für Sie tut.
• Mit den Fähigkeiten zum Erlernen von Daten technischen Engineering können Sie sich in Dateningenieure einfühlen und besser mit ihnen kommunizieren. Dies hilft auch Ihrem Workforce, da Sie die Brücke werden können, die Ihre mit dem Knowledge Engineering -Workforce verbindet.

Abwickeln und nächste Schritte

Wir haben fünf gute Gründe untersucht, warum Knowledge Engineering ein so aufregendes und lohnendes Feld ist: Es ist das Rückgrat der Datenwissenschaft, es ist technisch herausfordernd, es ist zutiefst wirksam, es zahlt sich intestine aus und es ist wertvoll, auch wenn Sie nie offiziell ein Dateningenieur werden . Wenn es darum geht, geht es bei Daten Engineering um das Entwerfen von Systemen, mit denen Daten zugänglich, zuverlässig und analysiert werden. Hier werden die LEGOs, die unsere Daten mit Daten entwickelt haben, zusammengebracht, um neue Datenwissenschaft zu schaffen.

Wenn Sie bereit sind, den nächsten Schritt zum Dateningenieur zu werden – oder nur einige von unschätzbare technische Fähigkeiten zu Ihrem Daten -Toolkit hinzuzufügen -, müssen Sie sich in unserem Anmeldung anmelden Karriereweg des Datenentwicklungspfads. Wir haben es von Grund auf neu gestaltet, um Ihnen die praktische Erfahrung und das grundlegende Wissen zu bieten, das Sie benötigen.

Viel Glück für Sie und eine glückliche Codierung!

NVIDIA CES hat der Welt einen Einblick in die Zukunft gegeben! Es gab einige erstaunliche Markteinführungen, die von transparenten, wirklich drahtlosen Fernsehern bis hin zu Prototypen fliegender Autos reichten – NVIDIA CES hatte alles, um die Aufmerksamkeit jedes Technikbegeisterten zu fesseln. Während es im Technologiebereich mutige Aufrufe und Designeinführungen gab, battle es die KI, die die Present stahl.

Von Brillen über Supercomputer bis hin zu Häusern – KI stand im Mittelpunkt der NVIDIA-Feierlichkeiten.

Hier die Highlights:

LGs KI-betriebene Häuser

Die AI- oder „Affectionate Intelligence“-Initiative von LG wurde während der CES 2025 offiziell vorgestellt. Mit dieser Initiative möchte LG ein Good-Dwelling-Erlebnis schaffen, das weniger künstlich und stärker auf den Menschen ausgerichtet ist.

Zu den Highlights der Affectionate Intelligence von LG gehören:

1. LG ThinQ ON AI Dwelling Hub: Als zentraler Hub verbindet und steuert ThinQ ON verschiedene Good Home equipment und IoT-Geräte. Es versteht natürliche Sprache, ermöglicht Konversations-Sprachbefehle und lernt Benutzerpräferenzen, um personalisierte Erlebnisse bereitzustellen.
2. KI-gestützte Geräte: Die neuesten Geräte von LG sind mit fortschrittlicher KI ausgestattet und passen sich den Routinen und Verhaltensweisen der Benutzer an. Beispielsweise können Waschmaschinen Stoffarten und Verschmutzungsgrad erkennen, um Waschzyklen zu optimieren und so den Komfort und die Effizienz zu steigern.
3. Kooperationen für verbesserte Konnektivität: LG hat sich mit Unternehmen wie Microsoft zusammengetan, um KI-Assistenten wie Copilot in seine Good-TVs zu integrieren, mit dem Ziel, KI-gestützte Wohnräume zu revolutionieren. Diese Zusammenarbeit zielt darauf ab, KI-Agenten zu entwickeln, die Kundenbedürfnisse vorhersagen und darauf eingehen und so das Verbrauchererlebnis verbessern.
4. Fokus auf Sicherheit mit LG Protect: LG hat die Bedeutung der Datensicherheit erkannt und LG Protect eingeführt, ein robustes System zum Schutz personenbezogener Daten im Good-Dwelling-Ökosystem. Dadurch wird sichergestellt, dass die Benutzerinformationen auch bei zunehmender Vernetzung der Geräte sicher bleiben.

Während es bereits Ankündigungen zu Dwelling Hub und seinen Good-TVs gab, ging die gesamte Produkt- und Dienstleistungspalette am zweiten Tag der CES reside.

2. Intelligente Brillen

Es ist ein paar Monate her, seit Meta seine Datenbrillen angekündigt hat, und seitdem ist eine Reihe von Datenbrillen auf den Markt gekommen. Am NVIDIA CES Day -2 stellten zwei Unternehmen ihre einzigartigen Datenbrillen vor.

Halliday-Brille: 3,5-Zoll-KI-Good-Brille:

Halliday stellte eine KI-gestützte Datenbrille mit einem diskreten 3,5-Zoll-DigiWindow-Show für Echtzeitinformationen vor. Zu den Hauptmerkmalen gehören:

• Reside-Übersetzung
• Navigation
• Sprach-zu-Textual content-Transkription
• Ein KI-Assistent für Besprechungszusammenfassungen.

Benutzer können die Brille per Sprache, Berührung oder einem optionalen Good Ring steuern. Mit einem Gewicht von 35 Gramm bieten sie eine Akkulaufzeit von bis zu 8 Stunden und unterstützen Brillengläser mit Sehstärke. Der Preis liegt zwischen 399 und 499 US-Greenback, der Versand beginnt im ersten Quartal 2025.

XREAL neue X1 Professional AI Good-Brille:

XREAL stellte die X1 Professional AR Good Glasses vor, die mit dem X1 Spatial Computing Chip für unabhängige AR-Verarbeitung ohne externe Geräte ausgestattet sind. Sie verfügen über:

• Ein 0,55-Zoll-Micro-OLED-Show von Sony mit einem Sichtfeld (FoV) von 57° und einer Auflösung von 1080p professional Auge für scharfe Bilder.
• Die einstellbare Linsentransparenz ermöglicht den nahtlosen Einsatz bei verschiedenen Lichtverhältnissen, während die Bose-Audio-Integration für einen beeindruckenden Klang sorgt.
• USB-C-Konnektivität für Kompatibilität mit Smartphones, Tablets und Laptops.

Mit einem Gewicht von nur 87 Gramm ist die Brille auf Komfort ausgelegt und verfügt über eine Einstellung des Pupillenabstands (IPD). Der Preis beträgt 599 US-Greenback, Vorbestellungen sind möglich und der Versand ist für Anfang 2025 geplant.

3. Blaupause für die Videosuche und -zusammenfassung

NVIDIAs AI Blueprint for Video Search and Summarization ermöglicht es Entwicklern, KI-Agenten für die Analyse von Videodaten zu erstellen. Zu den Hauptmerkmalen gehören:

• Videozusammenfassung: Erstellt prägnante Videozusammenfassungen.
• Interaktive Fragen und Antworten: Ermöglicht präzise Abfragen von Videoinhalten.
• Echtzeitwarnungen: Erkennt Anomalien in Reside-Streams.

Zu den Kernkomponenten gehören eine Ingestion Pipeline für die Videoverarbeitung, eine Retrieval Pipeline für die Datenindizierung und Context-Conscious Retrieval-Augmented Technology (CA-RAG) für genaue Antworten. Seine Anwendungen umfassen Branchen wie Fertigung, Einzelhandel und öffentliche Sicherheit. Frühzeitiger Zugriff und Dokumentation sind über das Entwicklerportal von NVIDIA verfügbar.

4. Agentische KI

NVIDIAs Blueprints für Agentic AI ermöglichen es Entwicklern, benutzerdefinierte KI-Agenten zu entwerfen und bereitzustellen, die auf Argumentation, Planung und Maßnahmen spezialisiert sind.

Zu den Hauptmerkmalen gehören:

• NVIDIA NIM Microservices: Leistungsstarke, modulare KI-Dienste für nahtlose Integration.
• NVIDIA NeMo: Erweiterte Instruments zum Erstellen von Konversations-KI und großen Sprachmodellen.
• Agentic AI Frameworks: Integriert modernste Frameworks führender Anbieter, um die Agentenfunktionen zu verbessern.

Diese Blaupausen bieten eine solide Grundlage für die Entwicklung von KI-Agenten, die auf verschiedene Branchen und Anwendungen zugeschnitten sind.

5. KI-Supercomputer

NVIDIA hat sein Projekt DIGITS auf der CES 2025 vorgestellt. Es handelt sich um einen kompakten persönlichen KI-Supercomputer, der sich ideally suited für die lokale Ausführung großer KI-Modelle ohne Abhängigkeit von Cloud-Diensten eignet und sich somit perfekt für KI-Entwicklung, Forschung und Echtzeitanwendungen eignet

Zu seinen Funktionen gehören:

• Unübertroffene Leistung: Bis zu 1.000-fache Leistung eines typischen Laptops.
• GB10 Grace Blackwell Superchip: Kombiniert eine 20-Core-Arm-CPU und eine Blackwell-GPU für fortgeschrittene KI-Aufgaben.
• Hoher Arbeitsspeicher und Speicher: 128 GB einheitlicher Speicher und bis zu 4 TB NVMe SSD.
• Skalierbarkeit: Unterstützt KI-Modelle mit bis zu 405 Milliarden Parametern bei Vernetzung mit einer anderen DIGITS-Einheit.
• Kompaktes Design: Desktop-freundlich, Stromversorgung über eine Standardsteckdose.
• Zum Preis von 3.000 US-Greenback soll es im Mai 2025 auf den Markt kommen.

Das Projekt DIGITS demokratisiert KI, indem es Hochleistungsrechnen zugänglich und portabel macht.

Weitere Updates von der CES 2025:

Schlussbemerkung

NVIDIA CES 2025 zeigte, wie sich KI nahtlos in unser Leben integriert und die Artwork und Weise, wie wir leben, arbeiten und interagieren, verändert. Von intelligenteren Häusern bis hin zu Echtzeit-Entscheidungstools – KI ist kein futuristisches Konzept mehr – sie ist da und steigert Effizienz, Kreativität und Komfort. Während sich diese Innovationen weiterentwickeln, versprechen sie, Branchen neu zu definieren und Einzelpersonen zu stärken, sodass KI-gestütztes Leben zur neuen Normalität wird.

Bleiben Sie dran Analytics Vidhya Information für weitere solcher Updates.

Anu Madan verfügt über mehr als 5 Jahre Erfahrung in der Erstellung und Verwaltung von Inhalten. Als Content material-Erstellerin, Rezensentin und Managerin hat sie mehrere Kurse und Blogs erstellt. Derzeit arbeitet sie an der Erstellung und Strategieentwicklung der Inhaltskuration und des Designs rund um generative KI und andere kommende Technologien.

Die generative KI verzeichnete im Jahr 2024 bemerkenswerte Fortschritte. High-Unternehmen für generative KI wie OpenAI, Google und Anthropic führen das LLM-Rennen mit Architektur und Verbesserung an LLMs. Unternehmen wie Nvidia ergänzten die GenAI-Revolution mit der notwendigen {Hardware}, die als Rechenrückgrat diente. Außerdem haben diese LLMs es ermöglicht, autonome Systeme zum Leben zu erwecken Agentische KI. Und all dies spiegelt sich darin wider, wie die Aktienkurse dieser Unternehmen im Jahr 2024 in die Höhe geschnellt sind. Für mich als Nutzer generativer KI und Börseninvestor sind dies aufregende Zeiten, um zu investieren und solche Aktien in unsere Portfolios aufzunehmen. In diesem Artikel stelle ich Ihnen die fünf besten generativen KI-Aktien vor, die Ihnen möglicherweise Investitionsmöglichkeiten bieten, die ein Vermögen wert sind.

High 5 generative KI-Aktien

In diesem Artikel betrachten wir 5 generative KI-Aktien, die auf den US-Märkten gehandelt werden. Wir werden uns Unternehmen ansehen, die:

• Nutzen Sie generative KI in Ihren bestehenden Arbeitsabläufen, um die Effizienz zu steigern
• Mit generativer KI neue Produkte schaffen

Unser Hauptaugenmerk liegt auf mittelgroßen/kleinen Unternehmen, die großartige Arbeit leisten, in den Nachrichten jedoch von den großen Giganten – Google, Microsoft, Meta, Nvidia usw. – in den Schatten gestellt werden.

Und schließlich sollten Sie vorsichtig sein, wie Sie diesen Artikel wahrnehmen, es handelt sich hierbei nicht um eine Anlageberatung. Wir möchten Ihre Aufmerksamkeit nur auf einige börsennotierte Unternehmen lenken, die mit generativer KI zaubern.

Schauen wir uns additionally ohne weitere Umschweife die 5 generativen KI-Aktien an, die Sie sich unbedingt ansehen sollten.

1. Salesforce

Es wäre sehr selten, dass jemand in der Unternehmenswelt noch nie davon gehört hätte Salesforce; der unangefochtene Marktführer im Bereich Kundenbeziehungsmanagement (CRM). Es bietet eine Reihe von Instruments für Vertriebsautomatisierung, Advertising, Kundenservice und Analysen.

Salesforce ist führend bei der Einführung generativer KI-Technologie zur Steigerung der Effizienz. Im September 2024 sorgte die Einführung von Agentforce für Schlagzeilen – ein Dienst, der es Kunden ermöglicht, mithilfe von KI-Agenten computergestützte Aufgaben zu erledigen und die Produktivität zu steigern. Im Dezember 2024 gaben sie bekannt Agentforce 2.0 Das übertrifft Ersteres durch die Einführung der Slack-Integration. Diese aktualisierte Atlas Reasoning Engine verbesserte die Genauigkeit und erweiterte CRM- und Analysefunktionen, was effizientere und intelligentere KI-gesteuerte Arbeitsabläufe ermöglichte.

Als Börseninvestor in KI lohnt es sich, solche Nachrichten von einem der High-Unternehmen seiner jeweiligen Branche zu erhalten, die Zahlen zu prüfen und möglicherweise in das Unternehmen zu investieren.

• Aktienkurs vom 20. Dezember 2024: 343,65 USD
• Marktkapitalisierung zum 20. Dezember 2024: 328,87 Milliarden US-Greenback

2. Phunware

Phunware Inc. ist ein kleines Unternehmen für Unternehmenssoftware, das sich auf maßgeschneiderte cellular App-Lösungen, Analysen, digitale Werbung und standortbasierte Dienste spezialisiert hat. Sie konzentrieren sich auf die Verbesserung des mobilen Engagements durch skalierbare, personalisierte App-Erlebnisse und ein Ökosystem für digitale Belongings.

Auch Phunware hat mit dem Aufkommen der generativen KI einen Schritt gemacht. Im Oktober 2024 hat Phunware Inc. angekündigt die Entwicklung einer generativen KI-basierten Plattform mit dem Ziel, die Erstellung mobiler Apps zu demokratisieren. Diese Plattform wird es Unternehmen jeder Größe ermöglichen, schnell hochwertige, maßgeschneiderte cellular Anwendungen zu entwerfen, zu erstellen und bereitzustellen, wodurch der mit der herkömmlichen App-Entwicklung verbundene Zeit- und Kostenaufwand deutlich reduziert wird.

Als KI-Aktieninvestor ist dies eine sehr riskante, aber äußerst lohnende Investitionsmöglichkeit, die Sie Ihrem Portfolio hinzufügen können. Besonders wenn man bedenkt, wie volatil diese Small-Cap-Aktie conflict, von einer Marktkapitalisierung von 12 Millionen US-Greenback im Jahr 2023 auf 120 Millionen US-Greenback im ersten Quartal 2024 und wieder auf 61 Millionen US-Greenback im vierten Quartal 2024. Gehen Sie additionally sorgfältig vor und achten Sie auf die Wertentwicklung .

• Aktienkurs vom 20. Dezember 2024: 3,89 USD
• Marktkapitalisierung zum 20. Dezember 2024: 77,37 Millionen USD

3. SoundHound-KI

SoundHound KI bietet eine Sprach-KI-Plattform zum Erstellen benutzerdefinierter Gesprächserlebnisse. Das Unternehmen ist auf Spracherkennung und das Verstehen natürlicher Sprache spezialisiert und ermöglicht sprachgesteuerte Anwendungen in Branchen wie Automobil, IoT und Kundenservice. Zu seinen Produkten gehören Good Answering und SoundHound Chat AI, die Benutzerinteraktionen und Geschäftsanalysen verbessern

Im August 2024 erwarb SoundHound AI Amelia, ein KI-Softwareunternehmen für Unternehmen, das sich auf Konversations-KI-Agenten für Kundenservice und Assist spezialisiert hat. Diese strategische Übernahme erweiterte die Reichweite von SoundHound in mehreren Branchen, darunter Einzelhandel, Finanzdienstleistungen, Gesundheitswesen, Automobilindustrie und mehr. Und seine Auswirkungen werden in der Branche bereits erkannt. SoundHound-KIs Amelia Die Plattform wurde von Frost & Sullivan als führend für die Förderung von Innovationen und Wachstum bei Patienteneinbindung und betrieblicher Effizienz bezeichnet

All dies hat zu einem Höhenflug der Aktie von SoundHound AI Inc. (SOUN) beigetragen. Das Unternehmen hat im Jahr 2024 eine bemerkenswerte Aktienperformance gezeigt, wobei der Aktienkurs im Vergleich zum Vorjahr um über 900 % gestiegen ist und damit große KI-Unternehmen wie Nvidia deutlich übertroffen hat. Eine interessante generative KI-Aktie, die Sie Ihrer Aktienliste hinzufügen können.

• Aktienkurs vom 20. Dezember 2024: 21,76 USD
• Marktkapitalisierung zum 20. Dezember 2024: 8,04 Milliarden US-Greenback

4. Innodata

Innodata ist ein globales Knowledge-Engineering-Unternehmen mit der Mission, weltweit führende Technologieunternehmen und Unternehmen dabei zu unterstützen, Innovationen im Bereich der generativen KI voranzutreiben. Sie bieten eine Reihe übertragbarer Lösungen, Plattformen und Dienste für Entwickler und Anwender generativer KI/KI.

Im Jahr 2024 startete Innodata Inc. eine Open-Supply-Lösung LLM-Evaluierungs-Toolkitbegleitet von 14 halbsynthetischen und von Menschen erstellten Datensätzen, die es Unternehmen ermöglichen, die Sicherheit ihrer LLMs über mehrere Schadenskategorien hinweg zu bewerten. Dieses Toolkit unterstützt Datenwissenschaftler bei der Identifizierung und Behebung problematischer Ergebnisse. Eine kommerzielle Model wird noch in diesem Jahr erwartet.

Innodata wurde ebenfalls vorgestellt Intelligente Einblickeeine generative KI-gestützte Funktion innerhalb seiner Agility PR Options-Plattform. Dies ermöglicht es Unternehmen, globale Medieninhalte schnell zu analysieren, Markenerwähnungen und -trends zu bewerten sowie Sprachübersetzungen durchzuführen und so die Entscheidungsfindung hinsichtlich des Rufs des Unternehmens und der Branchenpositionierung zu verbessern.

Als KI-Aktieninvestor ist Innodata, wenn wir den einjährigen Pattern betrachten, um etwa 400 % gestiegen. Kombinieren Sie dies mit den Fortschritten, die das Unternehmen mit generativer KI macht, und Innodata scheint eine starke Investitionsmöglichkeit zu sein, die Sie Ihrer Aktienliste hinzufügen können.

• Aktienkurs vom 20. Dezember 2024: 43,01 USD
• Marktkapitalisierung zum 20. Dezember 2024: 1,25 Milliarden US-Greenback

5. UiPath

UiPath ist ein führendes Unternehmen für Robotic Course of Automation (RPA), das Unternehmen bei der Automatisierung sich wiederholender Aufgaben unterstützt. Die UiPath-Plattform beschleunigt den Übergang zu einer neuen Ära der Agentenautomatisierung – einer Ära, in der Agenten, Roboter, Menschen und Modelle nahtlos integriert werden, um autonome Prozesse und intelligentere Entscheidungsfindung zu ermöglichen.

Kürzlich, UiPath hat das große Sprachmodell von Anthropic integriertClaude 3.5 Sonnet, in seine Plattform, um die KI-Funktionen in drei Schlüsselprodukten zu verbessern:

• UiPath-Autopilot für alle: Ein KI-Begleiter, der die täglichen Arbeitsaufgaben rationalisiert, indem er sofortige, genaue Antworten auf Geschäftsfragen liefert und den digitalen Papierkram automatisiert.
• Zwischenablage-KI: Ein Device, das die Dateneingabe automatisiert, indem es Informationen aus digitalen Dokumenten clever extrahiert und in Unternehmensanwendungen einfügt.
• Lösung zur Zusammenfassung von Krankenakten: Eine neue Funktion, die die Analyse von Krankenakten verbessern und eine schnellere und genauere Zusammenfassung ermöglichen soll.

Diese Integration zielt darauf ab, Kunden durch die Kombination der Automatisierungsplattform von UiPath mit den erweiterten KI-Funktionen von Claude eine verbesserte Produktivität, Kosteneinsparungen und Entscheidungsmöglichkeiten zu bieten.

Für jemanden, der in seinem Portfolio in generative KI-Aktien investieren möchte, scheint dies eine riskante Investitionsmöglichkeit zu sein. Der Aktienkurs befand sich auf einem Abwärtstrend, wobei der Preis gegenüber dem Preisniveau von 2021 um mehr als 80 % einbrach. Angesichts der Fortschritte, die das Unternehmen bei der Einführung von LLMs und Agenten macht, sehen die Maßnahmen des Unternehmens jedoch vielversprechend aus. Es handelt sich additionally definitiv um eine Aktie, auf die man achten sollte.

• Aktienkurs vom 20. Dezember 2024: 13,25 USD
• Marktkapitalisierung zum 20. Dezember 2024: 7,28 Milliarden US-Greenback

Lesen Sie auch: High 10 generative KI-Startups des Jahres 2025

Abschluss

Die generative KI-Revolution definiert Branchen weiterhin neu und bietet beispiellose Innovation und Effizienz. Während Giganten wie Google und Nvidia die Schlagzeilen dominieren, machen mittelgroße und kleine Unternehmen wie Salesforce, Phunware, SoundHound AI, Innodata und UiPath erhebliche Fortschritte bei der Einführung und Nutzung generativer KI. Diese Unternehmen zeichnen sich durch eine Mischung aus Innovation und Risiko aus, was sie zu spannenden Investitionsmöglichkeiten für zukunftsorientierte Anleger macht. Denken Sie bei der Erkundung dieser generativen KI-Aktien daran, Ihre Anlagestrategie und Risikotoleranz sorgfältig abzuwägen. Generative KI birgt ein enormes Potenzial, und diese Unternehmen könnten entscheidende Akteure bei der Gestaltung ihrer künftigen Auswirkungen auf die Weltwirtschaft sein.

Häufig gestellte Fragen

Datenwissenschaft

Rahul beschließt, den „Puls“ der Kunden zu messen, die in seinem On-line-Store einkaufen. Er wollte wissen, wie es ihnen geht, was intestine läuft und was für die Benutzererfahrung verbessert werden kann. Da er etwas über Mathematik gelernt hat und das Zahlenspiel kennt, beschließt er, eine Umfrage bei 200 seiner 2500 Kunden durchzuführen. Rahul verwendet einfache Zufallsstichproben und erhält 200 eindeutige Kunden-IDs. Er schickt ihnen eine On-line-Umfrage und erhält die Ergebnisse. Laut der Umfrage battle das größte Hindernis für die Kunden das Fehlen von Zahlungsmöglichkeiten beim Auschecken. Rahul kontaktiert einige Anbieter und investiert in die Einführung einiger weiterer Zahlungsoptionen. Leider zeigten die Ergebnisse nach sechs Monaten, dass es zu keiner nennenswerten Umsatzsteigerung kam. Seine Analyse schlägt fehl und er fragt sich, ob die Ressourcen am richtigen Ort eingesetzt wurden.

Rahul ignorierte die größte Wahrheit von allen. Nicht alle Kunden sind homogen. Manche geben mehr aus, manche weniger und wieder andere geben viel aus. Sei nicht wie Rahul. Machen Sie es wie Sheila und erfahren Sie, wie Sie PPS Sampling – einen Ansatz, der sicherstellt, dass Ihre wichtigsten (profitabelsten) Kunden nie übersehen werden – für sinnvolle und robuste statistische Analysen nutzen können.

Was ist Probenahme?

Bevor ich auf PPS-Sampling eingehe, möchte ich kurz erläutern, was Sampling ist. Die Stichprobenziehung ist eine statistische Technik, die es uns ermöglicht, einen Teil unserer Bevölkerung zu nehmen und diesen Teil unserer Bevölkerung zu verwenden, um einige Merkmale der Bevölkerung zu messen. Zum Beispiel die Entnahme einer Blutprobe, um festzustellen, ob wir an einer Infektionskrankheit leiden, die Entnahme einer Milchreisprobe, um zu überprüfen, ob Zucker ausreicht, und die Entnahme einer Probe bei Kunden, um den allgemeinen Puls der Kunden zu messen. Da wir es uns nicht leisten können, jede einzelne Einheit der Gesamtbevölkerung zu messen, ist es am besten, eine Stichprobe zu entnehmen und daraus die Merkmale der Bevölkerung abzuleiten. Dies reicht hier für eine Definition aus. Wenn Sie weitere Informationen zur Probenahme benötigen, finden Sie im Web zahlreiche Ressourcen.

Was ist PPS-Probenahme?

Die Wahrscheinlichkeitsproportional-zu-Größen-Stichprobe (PPS) ist eine Stichprobentechnik, bei der die Wahrscheinlichkeit der Auswahl einer Einheit in der Stichprobe von der Größe einer definierten Variablen oder einer Hilfsvariablen abhängt.

WAS???

Lassen Sie es mich anhand eines Beispiels erklären. Angenommen, Sie haben einen On-line-Store und 1000 Personen sind Ihre Kunden. Manche Kunden geben viel Geld aus und bringen Ihrem Unternehmen große Einnahmen. Das sind sehr wichtige Kunden. Sie müssen sicherstellen, dass Ihre Organisation die Interessen dieser Kunden bestmöglich wahrnimmt.

Wenn Sie die Stimmung dieser Kunden verstehen möchten, bevorzugen Sie eine Scenario, in der Ihre Stichprobe diese Kunden besser repräsentiert. Genau das ermöglicht Ihnen PPS. Wenn Sie PPS Sampling verwenden, ist die Wahrscheinlichkeit, die umsatzstärksten Kunden auszuwählen, ebenfalls hoch. Das macht Sinn. Der Erlös ist in diesem Fall die Hilfs- bzw. Abhängigkeitsvariable.

PPS-Probenahme vs. SRS-Probenahme

Einfache Zufallsstichproben sind großartig. Das lässt sich nicht leugnen, aber es ist nicht das einzige Werkzeug, das Sie in Ihrem Arsenal haben. SRS eignet sich am besten für Situationen, in denen Sie Die Bevölkerung ist homogen. Leider ist bei vielen praktischen Geschäftsanwendungen das Publikum oder die Bevölkerung nicht homogen. Wenn Sie eine Analyse mit falschen Annahmen durchführen, werden Sie falsche Schlussfolgerungen ziehen. Die SRS-Stichprobe gibt jeder Einheit der Grundgesamtheit die gleiche Auswahlwahrscheinlichkeit, was sich von der PPS-Stichprobe unterscheidet.

Warum sollte ich PPS Sampling verwenden?

Wie der Titel dieses Artikels schon sagt, können Sie es sich nicht leisten, PPS Sampling nicht zu kennen. Hier sind fünf Gründe dafür.

1. Bessere Repräsentativität — Indem Sie die Einheiten priorisieren, die einen größeren Einfluss auf Ihre Interessenvariable (Umsatz) haben, stellen Sie sicher, dass die Stichprobe eine bessere Repräsentativität aufweist. Dies steht im Gegensatz zu SRS, das davon ausgeht, dass ein Kunde, der 100 USD professional Monat ausgibt, dem Kunden entspricht, der 1000 USD professional Monat ausgibt. Nein, nein, nahin, das ist nicht der Fall.
2. Konzentrieren Sie sich auf leistungsstarke Einheiten — Nach dem Pareto-Prinzip werden 80 % Ihres Umsatzes von 20 % der Kunden generiert. Sie müssen sicherstellen, dass Sie diese 20 % der Kunden nicht verärgern. Indem Sie sicherstellen, dass eine Stichprobe bei diesen 20 % der Kunden ein größeres Mitspracherecht hat, vermeiden Sie für sich und Ihre Kunden unerwartete Überraschungen.
3. Ressourceneffizienz — In der Statistik gibt es eine Faustregel, die besagt, dass man im Durchschnitt bei einer Stichprobe von 30 Personen nahe an die geschätzten Bevölkerungsparameter herankommen kann. Beachten Sie, dass dies nur eine Faustregel ist. Mit PPS Sampling können Sie die Ressourcen, die Ihnen beim Entwerfen, Verteilen und Analysieren von Interventionen zur Verfügung stehen, sinnvoll einsetzen.
4. Verbesserte Genauigkeit — Da wir den Einheiten, die einen größeren Einfluss auf unsere interessierende Variable haben, mehr Gewicht beimessen, sind wir bei unserer Analyse genauer. Dies ist möglicherweise nicht nur mit SRS möglich. Die Stichprobenschätzungen, die Sie von PPS Sampling erhalten, werden für die Einheiten gewichtet, die eine größere Auswirkung haben. Mit einfachen Worten: Sie arbeiten für diejenigen, die am meisten zahlen.
5. Bessere Entscheidungsfindung — Wenn Sie PPS-Stichproben verwenden, treffen Sie Entscheidungen auf der Grundlage von Daten, die wirklich wichtig sind. Wenn Sie Kunden nur nach dem Zufallsprinzip befragen, erhalten Sie möglicherweise Suggestions oder Erkenntnisse von Personen, deren Meinung kaum Einfluss auf Ihren Umsatz hat. Mit PPS konzentrieren Sie sich auf die wichtigen Kunden. Es ist, als würde man den richtigen Leuten die richtigen Fragen stellen und nicht irgendjemandem in der Menge.

PPS-Implementierung in Python

Vor etwas mehr als sechs Jahren schrieb ich dieser Artikel auf Medium, einem meiner meistgelesenen Artikel, der auf der ersten Seite angezeigt wird, wenn Sie nach Chance Proportional to Dimension Sampling (von nun an PPS Sampling) suchen. Der Artikel zeigt, wie man PPS Sampling für repräsentative Stichproben mit Python nutzen kann. Seitdem ist viel Wasser unter die Brücke geflossen, und ich habe jetzt viel mehr Erfahrung im Kausalschluss, und auch meine Python-Kenntnisse haben sich erheblich verbessert. Der oben verlinkte Code verwendete systematische PPS-Stichproben, während der neue Code zufällige PPS-Stichproben verwendet.

Hier ist der neue Code, der dasselbe auf effizientere Weise tun kann.

import numpy as np
import pandas as pd
# Simulate buyer knowledge
np.random.seed(42)  # For reproducibility
num_customers = 1000
prospects = (f"C{i}" for i in vary(1, num_customers + 1))
# Simulate income knowledge (e.g., income between $100 and $10,000)
revenues = np.random.randint(100, 10001, dimension=num_customers)
customer_data = pd.DataFrame({
"Buyer": prospects,
"Income": revenues
})
# Calculate choice chances proportional to income
total_revenue = customer_data("Income").sum()
customer_data("Selection_Prob") = customer_data("Income") / total_revenue
# Carry out PPS Sampling
sample_size = 60 # resolve to your evaluation
# the precise PPS algorithm
sample_indices = np.random.selection(
customer_data.index,
dimension=sample_size,
exchange=False,  # No substitute, we aren't changing the items
p=customer_data("Selection_Prob")
)
# Extract sampled prospects
sampled_customers = customer_data.iloc(sample_indices)
# Show outcomes
print("Sampled Clients:")
print(sampled_customers)

Herausforderungen bei der PPS-Probenahme

Wenn Sie bis hierher gelesen haben, fragen Sie sich sicher, wie es möglich ist, dass PPS Sampling keine Nachteile hat. Nun, es hat welche. Hier sind sie.

1. PPS Sampling ist komplex zu verstehen und wird daher möglicherweise nicht immer vom Administration einer Organisation unterstützt. In diesem Fall ist es die Aufgabe des Datenwissenschaftlers, dafür zu sorgen, dass die Vorteile richtig erklärt werden.
2. PPS Sampling erfordert, dass eine Abhängigkeitsvariable vorhanden ist. In unserem Fall haben wir beispielsweise den Umsatz als Variable ausgewählt, anhand derer wir unsere Einheiten auswählen. Wenn Sie in der Landwirtschaft tätig sind, könnte dies die Landgröße zur Messung des Ertrags einer Erntesaison sein.
3. Es wird davon ausgegangen, dass die PPS-Stichprobe voreingenommen ist und die Einheiten mit geringerer Auswirkung berücksichtigt. Nun, es ist nicht voreingenommen und die kleineren Einheiten haben auch eine Probability, ausgewählt zu werden, aber die Wahrscheinlichkeit ist für sie geringer.

Abschluss

In diesem Artikel habe ich Ihnen erklärt, was PPS Sampling ist, warum es besser und ressourceneffizienter als SRS Sampling ist und wie Sie es mit Python implementieren können. Ich bin gespannt auf weitere Beispiele aus Ihrer Arbeit, um zu sehen, wie Sie PPS bei Ihrer Arbeit umsetzen.

Ressourcen:

1. PPS-Sampling-Wiki https://en.wikipedia.org/wiki/Chance-proportional-to-size_sampling
2. PPS-Sampling in Python https://chaayushmalik.medium.com/pps-sampling-in-python-b5d5d4a8bdf7

Ich habe meinen ersten Vollzeitjob als Information Scientist im Januar 2018 als Affiliate Product Analyst angetreten. Dies ist das 7. Jahr meiner Karriere bei Information Scientist, jetzt als Senior Information Scientist. Sechs Jahre sind wie im Flug vergangen (vor allem wegen der Pandemie). Ich habe für zwei Unternehmen gearbeitet, mindestens 10 verschiedene Groups unterstützt, mit Partnern in den Bereichen Produkt, Entwicklung, Design, Finanzen und Betrieb zusammengearbeitet und bin in verschiedene Bereiche der Information Science eingestiegen, darunter Information Pipelining, Dashboarding, Metriküberprüfung …