für Analytik.

Generative KI ist kein Nebenexperiment oder Produktivitäts-Hack mehr. Durch den verbesserten Zugang zu generativen KI-Instruments wie ChatGPT, Copilot und KI-nativen Funktionen, die in die Analysetools und Plattformen unseres täglichen Lebens integriert sind, verändert sich die Arbeit mit Daten strukturell.

KI wird in der Arbeit von Datenexperten nicht nur dazu genutzt, die Effizienz zu steigern und Probleme schneller zu lösen; Datenexperten arbeiten mit diesen Systemen zusammen, die autonom argumentieren, erforschen und handeln können.

Und das ist die Verschiebung Agentische Analytik kommt ins Bild.

Ein KI-Agent ist jetzt der erste Analyst, und der Datenprofi folgt heutzutage einer Aufforderung und erwartet vom KI-Agenten Folgendes:

• Untersuchen Sie Daten proaktiv und erkennen Sie Muster, Risiken oder Anomalien
• Führen Sie Folgeanalysen selbst durch
• Empfehlen Sie oder treffen Sie Entscheidungen mit minimalem menschlichen Eingriff

Der eigentliche Wandel ist jedoch nicht nur technischer Natur, sondern auch eine Änderung der Denkweise.

Datenprofis werden nicht mehr nur für das Schreiben von Abfragen oder die Erstellung von Modellen geschätzt, sondern auch für ihr Wissen wo und wie man die Intelligenz am besten nutzt Und wie man die Lücke zwischen Einsicht und Handeln schließt.

Was diese Zeiten besonders interessant macht, ist die Tatsache, dass viele nichttechnische Fachkräfte schon immer über starke analytische Instinkte verfügten, sich jedoch nicht besonders intestine mit der Abfrage von Daten, dem Schreiben von Code und der Operationalisierung von Analysen auskennen. Mit den Fähigkeiten, die Agentensysteme bieten, beginnen diese Barrieren zu beseitigen.

Datenrollen nehmen zu

Die Rolle eines Datenwissenschaftlers oder Datenanalysten wird immer mehr zum Full-Stack. Da die KI immer leistungsfähiger wird, sehen wir bereits, dass sich die Datenrollen über die herkömmliche Modellierung und Dashboards hinaus auf Bereiche wie die folgenden erstrecken:

• Durchgängiger Aufbau von ML- und KI-Systemen
• Entwurf und Wartung von RAG-Systemen für unstrukturierte Daten
• Schulung, Feinabstimmung und Arbeiten mit Grundlagenmodellen
• Implementierung von Leitplanken, Überwachung und KI-Bewertungen

Der Umfang der Datenarbeit wird immer größer und von Datenexperten wird erwartet, dass sie als… agieren.

• Systemdesigner und Architekten
• Übersetzer zwischen Geschäft und Daten
• Geschichtenerzähler, die Entscheidungen vorantreiben, nicht nur Erkenntnisse (ich kann nicht genug betonen, wie wertvoll dies ist und der Schlüsselfaktor, der Sie related hält)

Da KI immer mehr Platz einnimmt, wird ein Großteil der technischen Ausführung in naher Zukunft automatisiert sein. Aber was absolut menschlich bleibt, ist Urteilsvermögen, Kontext und Verantwortlichkeit.

Meiner Meinung nach ist der menschliche Aspekt genau der Grund, warum wir als Datenprofis weiterhin wichtig sein können. Wenn wir an der Schnittstelle von Wirtschaft, Technik und Entscheidungsfindung sitzen, ist dieser Scharfsinn meiner Meinung nach schwer zu ersetzen.

Was können Sie und ich additionally tun, um related zu bleiben?

1. Arbeiten Sie an Datenprojekten außerhalb Ihres Tagesjobs

In den letzten Jahren, in denen ich zunehmend an meiner Rolle als Analytics-Experte gearbeitet habe, habe ich festgestellt, dass mich der Technologie-Stack meines Unternehmens im Vergleich zum Tempo der Branche einschränkt.

Um intellektuell scharf und auf dem neuesten Stand zu bleiben, muss ich über meine Arbeit hinausgehen, etwas lernen, an externen Projekten arbeiten und ein Gespür dafür entwickeln, wohin sich das Fachgebiet entwickelt. Wenn ich in mein Workforce zurückkehre, belohne ich mich selbst und meine Kollegen mit Relevanz für die Branche.

Was können Sie tun??

• Übernehmen Sie unabhängige Forschungs- oder Sondierungsprojekte
• Tragen Sie zu offenen Datensätzen bei oder veröffentlichen Sie technische Beiträge (z. B. Whitepapers oder sogar Forschungsarbeiten, wenn Sie an einer unabhängigen Forschung arbeiten).
• Experimentieren Sie mit neuen Instruments, Modellen oder Arbeitsabläufen und prüfen Sie, ob und wie sie Teil Ihrer täglichen Arbeit sein können, bevor sie im Unternehmen eingeführt werden.

2. Teilen Sie Ihre Erkenntnisse und Erfahrungen öffentlich

Als Technologie-Blogger stärkt das Dokumentieren die Klarheit meiner Gedanken. Durch das Schreiben und Teilen meiner Gedanken und Erkenntnisse mit einer Gemeinschaft von Gleichgesinnten kann ich Suggestions erhalten, neues Wissen in die Praxis umsetzen und Glaubwürdigkeit aufbauen, die über eine Berufsbezeichnung hinausgeht.

Bis ich mich hinsetze, um etwas zu schreiben, habe ich viel gelesen und mich über die Lage der Branche informiert, was mich mit der Relevanz von Fähigkeiten, Werkzeugen und Konzepten in der Branche belohnt.

Was können Sie tun??

• Schreiben Sie Blogs und/oder Publication, um sie mit einer Lesergemeinschaft zu teilen
• Teilen Sie kurze Einblicke in sozialen Medien: LinkedIn, Substack oder sogar Instagram
• Sprechen Sie offen darüber, was für Sie funktioniert und was nicht, und zwar auf einer Plattform, mit der Sie sich am wohlsten fühlen

3. Teilnahme an Tech-Communitys und Konferenzen

Wenn ich jedes neue Jahr meine persönlichen und beruflichen Ziele für das Jahr festlege, lege ich mir eines fest: an Gemeinschaftsveranstaltungen wie Treffen, Konferenzen oder Vorträgen teilzunehmen. Wenn ich weiß, wie andere ähnliche Probleme lösen, bin ich jemand, der vorausdenkt und nicht nur Aufgaben an meinem Arbeitsplatz ausführt. Die Tech-Communities und Konferenzen tauschen oft viel mehr über die wichtigsten Fortschritte, neuen Konzepte, nuancierten Probleme und Lösungen aus, um mit der Entwicklung der Branche Schritt zu halten.

Was können Sie tun??

• Bewerben Sie sich für die Teilnahme oder (noch besser) für die Teilnahme an Meetups und Branchenveranstaltungen
• Nehmen Sie an Konferenzen teil, die eher zu Ihrer nächsten Rolle als zu Ihrer aktuellen Rolle passen
• Nehmen Sie an Panels und Roundtables teil, bei denen Sie die Möglichkeit haben, Ihre Gedanken mit anderen Perspektiven zum gleichen Thema auszutauschen

4. Erweitern Sie Ihre Fähigkeiten durch strukturiertes Lernen

Während das Lesen von Artikeln oder das Anhören von Podcasts hilfreich ist, können strukturierte Lernkanäle wie On-line-Zertifizierungen, Bootcamps und Workshops einen klaren Rahmen für vertieftes Lernen und Weiterqualifizierung bieten. Die Motivation, related zu bleiben, sollte darin bestehen, dort Tiefe zu schaffen, wo Instinct allein nicht ausreicht, insbesondere in Bezug auf KI-Systeme, Governance und neue Finest Practices.

Was können Sie tun??

• Nehmen Sie an gezielten On-line-Kursen, Workshops und Zertifizierungen teil, die Ihnen neue Fähigkeiten, Instruments und Konzepte vermitteln – Ihr Arbeitgeber kooperiert möglicherweise mit Lernplattformen, nutzen Sie das!
• Melden Sie sich für Micro-Grasp- oder Govt-Programme an, die sich auf KI-Strategie, -Systeme oder -Führung konzentrieren, um dem Lernen gezielt Zeit zu widmen
• Beteiligen Sie sich am betreuten Lernen

5. Bleiben Sie mit dem Gesamtbild verbunden

Mit den sich ändernden Erwartungen an die Rollen von Datenexperten entwickelt sich auch die Aufrechterhaltung der Relevanz in einem sich schnell verändernden Umfeld weiter. Der Blick auf das Gesamtbild der Dinge, an denen ich arbeite, ermöglicht die strategische Entscheidungsfindung, verhindert eine übermäßige Konzentration auf Kleinigkeiten und fördert die Anpassungsfähigkeit, die für die berufliche Langlebigkeit von entscheidender Bedeutung ist.

Relevanz kommt über die Fähigkeiten hinaus auch aus der Perspektive.

Was können Sie tun??

• Lesen von Blogs und ausführlichen Aufsätzen zu Daten und KI
• Hören Sie Podcasts von Praktikern und Forschern
• Untersuchung von Veränderungen auf dem Daten- und KI-Arbeitsmarkt
• Kaffeegespräche mit Menschen aller Rollen und Branchen führen
• Teilnahme an Treffen, Konferenzen und Group-Occasions

Wenn Sie im Jahr 2026 vorankommen wollen, bringen Sie dies mit

Verdoppeln Sie Ihre Fähigkeiten, die den Menschen in den Mittelpunkt stellen: Da die Ausführung automatisiert wird, wird die Differenzierung durch menschliches Urteilsvermögen, Kommunikation und die Umsetzung von Erkenntnissen in echte Entscheidungen erfolgen

Konzentrieren Sie sich auf Finish-to-Finish-Denken: Der größte Nutzen ergibt sich aus dem Verständnis, wie Datenmodelle, Infrastruktur und Entscheidungsfindung im Puzzle zusammenpassen.

Beginnen Sie jetzt mit der Zukunftssicherheit: Die Kluft zwischen denen, die sich frühzeitig an die veränderte Dynamik dieser Technologiewelt anpassen, und denen, die warten, wird sich schneller vergrößern, als man erwarten würde. Bei Relevanz geht es nicht darum, jedem neuen Werkzeug nachzujagen – es geht darum, ständig neu zu definieren, wo Ihr Wert in einem sich weiterentwickelnden System liegt.

Schlussgedanken

Um in der heutigen Welt der KI related zu bleiben, geht es nicht darum, mit der KI zu konkurrieren, sondern zu lernen, wie man damit umgeht und gleichzeitig Ihre einzigartigen menschlichen Fähigkeiten zu stärken, die Technologie nicht ersetzen kann! Die Zukunft gehört Datenexperten, die Hand in Hand mit KI-Systemen denken, Ergebnisse klar kommunizieren und fortschrittliche Analysen im realen Kontext verankern können.

Das ist die Artwork von Datenprofi, die ich im Jahr 2026 werden möchte.

Das struggle’s von meiner Seite in diesem Blogbeitrag. Vielen Dank fürs Lesen! Ich hoffe, es struggle eine interessante Lektüre für Sie. Teilen Sie mir in den Kommentaren Ihre Erfahrungen mit dem Geschichtenerzählen, Ihre Reise in die Welt der Daten und Ihre Erwartungen für das neue Jahr mit!

Rashi ist ein Datenexperte aus Chicago, der es liebt, Daten zu analysieren und Datengeschichten zu erstellen, um Erkenntnisse zu vermitteln. Sie ist hauptberuflich als leitende Beraterin für Gesundheitsanalytik tätig und schreibt gerne am Wochenende bei einer Tasse Kaffee Blogs über Daten.

Bild von Autor | Leinwand

Wenn Sie in einem datenbezogenen Bereich arbeiten, sollten Sie sich regelmäßig aktualisieren. Datenwissenschaftler verwenden verschiedene Instruments für Aufgaben wie Datenvisualisierung, Datenmodellierung und sogar Lagersysteme.

So hat AI die Datenwissenschaft von A nach Z geändert. Wenn Sie nach Jobs im Zusammenhang mit Datenwissenschaften suchen, haben Sie wahrscheinlich den Begriff Lag gehört.

In diesem Artikel werden wir Lappen zerlegen. Beginnend mit dem akademischen Artikel, in dem es eingeführt wurde und wie es jetzt verwendet wird, um die Kosten bei der Arbeit mit großsprachigen Modellen (LLMs) zu senken. Aber zuerst behandeln wir die Grundlagen.

Was ist eine retrieval-ausgereifte Technology (LAG)?

Patrick Lewis stellte zum ersten Mal Lag in ein Das Der akademische Artikel zuerst im Jahr 2020. Er kombiniert zwei Schlüsselelemente: einen Retriever und einen Generator.

Die Idee dahinter ist einfach. Anstatt Antworten aus Parametern zu generieren, kann der Lappen relevante Informationen aus dem Dokument sammeln.

Was ist ein Retriever?

Ein Retriever wird verwendet, um relevante Informationen aus dem Dokument zu sammeln. Aber wie?

Betrachten wir das. Sie haben ein massives Excel -Blatt. Nehmen wir an, es sind 20 MB mit Tausenden von Reihen. Sie möchten call_date suchen user_id = 10234.

Dank dieses Retrievers wird Rag nur den entsprechenden Teil durchsuchen, anstatt sich das gesamte Dokument anzusehen.

Aber wie ist das für uns hilfreich? Wenn Sie das gesamte Dokument durchsuchen, geben Sie viele Token aus. Wie Sie wahrscheinlich wissen, wird die API -Verwendung von LLM unter Verwendung von Token berechnet.

Lassen Sie uns besuchen https://platform.openai.com/tokenizer und sehen Sie, wie diese Berechnung erfolgt. Wenn Sie beispielsweise die Einführung dieses Artikels einfügen. Es kostete 123 Token.

Sie müssen dies überprüfen, um die Kosten mithilfe der API von LLM zu berechnen. Wenn Sie beispielsweise in Betracht ziehen, ein Phrase -Dokument zu verwenden, beispielsweise 10 MB, können es Tausende von Token sein. Jedes Mal, wenn Sie dieses Dokument mit der LLM -API, den Kosten -Multiplikaten, hochladen.

Durch die Verwendung von RAG können Sie nur den relevanten Teil des Dokuments auswählen, wodurch die Anzahl der Token reduziert wird, damit Sie weniger bezahlen. Es ist unkompliziert.

Wie macht dieser Retriever das?

Bevor das Abrufen beginnt, werden Dokumente in kleine Stücke und Absätze aufgeteilt. Jeder Chunk wird unter Verwendung eines Einbettungsmodells (OpenAI-Einbettungen, Satzbert usw.) in einen dichten Vektor umgewandelt.

Wenn ein Benutzer eine Operation wie fragt, wie das Anrufdatum ist, vergleicht der Retriever den Abfragevektor mit allen Chunk -Vektoren und wählt die ähnlichsten aus. Es ist brillant, oder?

Was ist ein Generator?

Wie wir oben erläutert haben, übernimmt der Generator, nachdem der Retriever die relevantesten Dokumente gefunden hat. Es generiert eine Antwort mit der Abfrage des Benutzers und einem abgerufenen Dokument.

Durch die Verwendung dieser Methode minimieren Sie auch das Halluzinationsrisiko. Denn anstatt eine Antwort frei aus den Daten zu generieren, auf denen die KI geschult wurde, ergragt das Modell die Antwort auf ein tatsächliches Dokument, das Sie angegeben haben.

Die Kontextfensterentwicklung

Die ersten Modelle wie GPT-2 haben kleine Kontextfenster, um 2048 Token. Aus diesem Grund haben diese Modelle keine Dateien -Hochladenfunktionen. Wenn Sie sich erinnern, bietet ChatGPT nach ein paar Modellen eine Daten -Hochladen -Funktion an, da sich das Kontextfenster weiterentwickelt hat.

Fortgeschrittene Modelle wie GPT-4O haben ein 128K-Token-Grenzwert, das die Funktion zum Hochladen von Daten unterstützt und im Falle des Kontextfensters möglicherweise redundant ist. Aber hier geben die Kostenreduzieranfragen ein.

Einer der Gründe, warum Benutzer Lappen verwenden, ist es, die Kosten zu senken, aber nicht nur das. Da die Nutzungskosten der LLM sinken, führte GPT 4.1 ein Kontextfenster von bis zu 1 Million Token ein, ein fantastischer Anstieg. Jetzt hat sich auch Rag entwickelt.

Branchenbezogene Praxis

Jetzt entwickeln sich LLMs zu Agenten. Sie sollten Ihre Aufgaben automatisieren, anstatt nur Antworten zu generieren. Einige Unternehmen entwickeln Modelle, die sogar Ihre Key phrases und Maus steuern.

In diesen Fällen sollten Sie additionally keine Likelihood auf Halluzination eingehen. Additionally hier kommt Lag in die Szene. In diesem Abschnitt werden wir ein Beispiel aus der realen Welt tief analysieren.

Unternehmen suchen Talente, um Agenten für sie zu entwickeln. Es sind nicht nur große Unternehmen; Selbst mittelgroße oder kleine Unternehmen und Startups suchen nach ihren Optionen. Sie können diese Jobs auf freiberuflichen Web sites finden Upwork Und Fiverr.

Marketingagent

Nehmen wir an, ein mittelgroßes Unternehmen aus Europa möchte, dass Sie einen Agenten erstellen, ein Agent, der Marketingvorschläge für ihre Kunden mithilfe von Unternehmensdokumenten generiert.

Darüber hinaus sollte dieser Agent den Inhalt nutzen, indem sie relevante Hotelinformationen in diesen Vorschlag für Geschäftsereignisse oder Kampagnen aufgenommen hat.

Aber es gibt ein Downside: Der Agent halluziniert häufig. Warum passiert das? Denn anstatt sich nur auf das Dokument des Unternehmens zu verlassen, zieht das Modell Informationen aus seinen ursprünglichen Schulungsdaten. Diese Trainingsdaten können veraltet sein, da diese LLMs, wie Sie wissen, nicht regelmäßig aktualisiert werden.

Infolgedessen fügt KI falsche Hotelnamen oder einfach irrelevante Informationen hinzu. Jetzt bestimmen Sie die Hauptursache des Issues: das Fehlen zuverlässiger Informationen.

Hier kommt Rag ins Spiel. Mithilfe einer Net -Surfen -API haben Unternehmen LLMs verwendet, um zuverlässige Informationen aus dem Net abzurufen und sie zu verweisen, während sie Antworten darauf generieren, wie. Lassen Sie uns diese Eingabeaufforderung sehen.

„Generieren Sie einen Vorschlag, der auf dem Ton von Sprach- und Firmeninformationen basiert, und verwenden Sie die Websuche, um die Hotelnamen zu finden.“

Diese Funktion für Websuche wird zu einer RAG -Methode.

Letzte Gedanken

In diesem Artikel haben wir die Entwicklung von KI -Modellen entdeckt und warum Rag sie benutzt hat. Wie Sie sehen können, hat sich der Grund im Laufe der Zeit geändert, aber das Downside bleibt: die Effizienz.

Auch wenn der Grund Kosten oder Geschwindigkeit ist, wird diese Methode weiterhin in KI-bezogenen Aufgaben verwendet. Und von „KI-bezogen“, schließe ich die Datenwissenschaft nicht aus, weil die Datenwissenschaft, wie Sie wahrscheinlich wissen, auch mit dem bevorstehenden KI-Sommer auch von KI bereits stark beeinflusst wurde.

Wenn Sie ähnliche Artikel befolgen möchten, 700 Fragen zu Interviews im Zusammenhang mit Information Science und über 50 Datenprojekte lösen, besuchen Sie meine Plattform.

Nate Rosidi ist Datenwissenschaftler und in Produktstrategie. Er ist außerdem eine zusätzliche Professorin für Lehranalysen und Gründer von Stratascratch, einer Plattform, die Datenwissenschaftlern hilft, sich auf ihre Interviews mit echten Interviewfragen von High -Unternehmen vorzubereiten. Nate schreibt über die neuesten Tendencies auf dem Karrieremarkt, gibt Interviewberatung, teilt Datenwissenschaftsprojekte und deckt alles SQL ab.

Wir beginnen mit einer kurzen Erinnerung an die Probleme, die mit RAG gelöst werden können, bevor wir uns mit den Verbesserungen bei LLMs und deren Auswirkungen befassen brauchen RAG verwenden.

RAG ist nicht wirklich neu

Die Idee, einen Kontext einzufügen, um einem Sprachmodell Zugriff auf aktuelle Daten zu ermöglichen, ist ziemlich „alt“ (auf LLM-Ebene). Es wurde erstmals vom Fb-KI/Meta-Forscher in diesem Artikel aus dem Jahr 2020 vorgestellt „Retrieval-Augmented Era für wissensintensive NLP-Aufgaben“. Im Vergleich dazu wurde die erste Model von ChatGPT erst im November 2022 veröffentlicht.

In dieser Arbeit unterscheiden sie zwei Arten von Gedächtnis:

• Die parametrisch eins, das dem LLM innewohnt, was es gelernt hat während man während des Trainings mit vielen, vielen Texten gefüttert wird,
• Die nicht parametrisch Eins, das ist der Speicher, den Sie bereitstellen können Einspeisen eines Kontexts in die Eingabeaufforderung.

Klimamodelle sind eine Schlüsseltechnologie zur Vorhersage der Auswirkungen des Klimawandels. Durch Simulationen des Erdklimas können Wissenschaftler und politische Entscheidungsträger Bedingungen wie den Anstieg des Meeresspiegels, Überschwemmungen und steigende Temperaturen abschätzen und Entscheidungen über angemessene Reaktionen treffen. Aktuelle Klimamodelle haben jedoch Schwierigkeiten, diese Informationen schnell oder kostengünstig genug bereitzustellen, um auf kleineren Skalen, wie etwa der Größe einer Stadt, nützlich zu sein.

Nun, Autoren einer neuer Open-Entry-Artikel veröffentlicht im Zeitschrift für Fortschritte in der Modellierung von Erdsystemen haben eine Methode gefunden, mit der sich die Vorteile aktueller Klimamodelle durch maschinelles Lernen nutzen lassen, während gleichzeitig der für deren Ausführung erforderliche Rechenaufwand reduziert wird.

„Es stellt die traditionelle Weisheit auf den Kopf“, sagt Sai Ravela, ein leitender Forschungswissenschaftler in der Abteilung für Erd-, Atmosphären- und Planetenwissenschaften (EAPS) des MIT, der das Papier zusammen mit der EAPS-Postdoktorandin Anamitra Saha verfasst hat.

Traditionelle Weisheit

In der Klimamodellierung ist Downscaling der Prozess, bei dem ein globales Klimamodell mit grober Auflösung verwendet wird, um feinere Particulars über kleinere Regionen zu erzeugen. Stellen Sie sich ein digitales Bild vor: Ein globales Modell ist ein großes Bild der Welt mit einer geringen Anzahl von Pixeln. Um es herunterzuskalieren, zoomen Sie nur auf den Teil des Fotos, den Sie betrachten möchten – zum Beispiel Boston. Aber weil das Originalbild eine niedrige Auflösung hatte, ist die neue Model unscharf; sie bietet nicht genug Particulars, um besonders nützlich zu sein.

„Wenn man von einer groben zu einer feinen Auflösung übergeht, muss man irgendwie Informationen hinzufügen“, erklärt Saha. Beim Downscaling wird versucht, diese Informationen wieder hinzuzufügen, indem die fehlenden Pixel ergänzt werden. „Das Hinzufügen von Informationen kann auf zwei Arten erfolgen: Entweder kann es aus der Theorie kommen, oder es kann aus Daten stammen.“

Beim herkömmlichen Downscaling werden häufig physikalische Modelle verwendet (wie etwa der Prozess des Aufsteigens, Abkühlens und Kondensierens von Luft oder die Landschaft eines Gebiets) und mit statistischen Daten aus historischen Beobachtungen ergänzt. Diese Methode ist jedoch sehr rechenintensiv: Sie erfordert viel Zeit und Rechenleistung und ist zudem teuer.

Ein bisschen von beidem

In ihrem neuen Artikel haben Saha und Ravela einen Weg gefunden, die Daten auf andere Weise hinzuzufügen. Sie haben eine Technik des maschinellen Lernens verwendet, die als Adversarial Studying bezeichnet wird. Dabei kommen zwei Maschinen zum Einsatz: Eine generiert Daten, die in unser Foto einfließen. Die andere Maschine beurteilt die Probe, indem sie sie mit tatsächlichen Daten vergleicht. Wenn sie das Bild für gefälscht hält, muss die erste Maschine es erneut versuchen, bis sie die zweite Maschine überzeugt hat. Das Endziel des Prozesses ist die Erstellung von Daten mit Superauflösung.

Der Einsatz von maschinellen Lerntechniken wie Adversarial Studying ist in der Klimamodellierung keine neue Idee. Derzeit hapert es jedoch daran, dass große Mengen grundlegender physikalischer Gesetze wie Erhaltungssätze nicht verarbeitet werden können. Die Forscher fanden heraus, dass es ausreichte, die physikalischen Grundlagen zu vereinfachen und sie mit Statistiken aus den historischen Daten zu ergänzen, um die gewünschten Ergebnisse zu erzielen.

„Wenn man das maschinelle Lernen mit einigen Informationen aus der Statistik und vereinfachter Physik ergänzt, ist es plötzlich magisch“, sagt Ravela. Er und Saha begannen mit der Schätzung extremer Niederschlagsmengen, indem sie komplexere physikalische Gleichungen entfernten und sich auf Wasserdampf und Landtopographie konzentrierten. Dann erstellten sie allgemeine Niederschlagsmuster für das bergige Denver und das flache Chicago und wendeten historische Berechnungen an, um die Ergebnisse zu korrigieren. „So erhalten wir Excessive, genau wie die Physik, zu einem viel geringeren Preis. Und wir erhalten ähnliche Geschwindigkeiten wie die Statistik, aber mit einer viel höheren Auflösung.“

Ein weiterer unerwarteter Vorteil der Ergebnisse conflict, dass nur so wenige Trainingsdaten benötigt wurden. „Die Tatsache, dass nur ein bisschen Physik und ein bisschen Statistik ausreichten, um die Leistung des ML-Modells (Maschinelles Lernen) zu verbessern … conflict eigentlich nicht von Anfang an offensichtlich“, sagt Saha. Das Coaching dauert nur wenige Stunden und kann innerhalb von Minuten Ergebnisse liefern – eine Verbesserung gegenüber den Monaten, die andere Modelle zum Ausführen benötigen.

Risiken schnell quantifizieren

Die Fähigkeit, die Modelle schnell und häufig auszuführen, ist eine wichtige Voraussetzung für Interessengruppen wie Versicherungsunternehmen und lokale politische Entscheidungsträger. Ravela nennt das Beispiel Bangladesch: Wenn man sieht, wie sich excessive Wetterereignisse auf das Land auswirken, kann man unter Berücksichtigung einer sehr großen Bandbreite von Bedingungen und Unsicherheiten so schnell wie möglich Entscheidungen darüber treffen, welche Nutzpflanzen angebaut werden sollten oder wohin die Bevölkerung auswandern sollte.

„Wir können nicht Monate oder Jahre warten, um dieses Risiko quantifizieren zu können“, sagt er. „Man muss weit in die Zukunft blicken und eine große Anzahl an Unsicherheiten berücksichtigen, um sagen zu können, was eine gute Entscheidung sein könnte.“

Während das aktuelle Modell nur excessive Niederschläge berücksichtigt, ist der nächste Schritt des Projekts, es auf die Untersuchung anderer kritischer Ereignisse wie tropische Stürme, Winde und Temperaturen zu trainieren. Mit einem robusteren Modell hofft Ravela, es im Rahmen eines Local weather Grand Challenges-Projekt.

„Wir sind sowohl von der Methodik, die wir entwickelt haben, als auch von den potenziellen Anwendungen, die sie ermöglichen könnte, sehr begeistert“, sagt er.