Maschinenlernende Modelle können die Entdeckung neuer Materialien durch Vorhersagen und Experimente beschleunigen. Die meisten Modelle werden heute jedoch nur einige spezifische Arten von Daten oder Variablen berücksichtigen. Vergleichen Sie das mit menschlichen Wissenschaftlern, die in einem kollaborativen Umfeld arbeiten und experimentelle Ergebnisse berücksichtigen, die breitere wissenschaftliche Literatur, Bildgebung und strukturelle Analyse, persönliche Erfahrung oder Instinct sowie Enter von Kollegen und Peer -Rezensenten.

Jetzt haben MIT -Forscher eine Methode zur Optimierung von Materialrezepten und Planungsexperimenten entwickelt, die Informationen aus verschiedenen Quellen wie Erkenntnissen aus der Literatur, chemischen Zusammensetzungen, mikrostrukturellen Bildern und vielem mehr enthalten. Der Ansatz ist Teil einer neuen Plattform namens Copilot für experimentelle Wissenschaftler (CREST), die auch Robotergeräte für hochdurchsatz-Materialtests verwendet.

Menschliche Forscher können sich mit dem System in der natürlichen Sprache unterhalten, ohne dass das System erforderlich ist, und das System macht seine eigenen Beobachtungen und Hypothesen auf dem Weg. Mit Kameras und visuellen Sprachmodellen können das System auch Experimente überwachen, Probleme erkennen und Korrekturen vorschlagen.

„Im Bereich der KI für die Wissenschaft ist der Schlüssel, neue Experimente zu entwerfen“, sagt Ju Li, Professor für Energy Engineering Carl Richard Soderberg, Ju Li. „Wir verwenden multimodales Suggestions – beispielsweise Informationen aus der vorherigen Literatur darüber, wie sich Palladium in Brennstoffzellen bei dieser Temperatur und menschlichem Suggestions verhalten hat, um experimentelle Daten zu ergänzen und neue Experimente zu entwerfen. Wir verwenden auch Roboter, um die Struktur des Supplies zu synthetisieren und zu charakterisieren und die Leistung zu testen.“

Das System wird in a beschrieben Papier veröffentlicht in Natur. Die Forscher verwendeten Crest, um mehr als 900 Chemikalien zu erforschen und 3.500 elektrochemische Exams durchzuführen, was zur Entdeckung eines Katalysatormaterials führte, das in einer Brennstoffzelle, die mit Formatsalz zur Erzeugung von Elektrizität läuft, die Rekorddichte lieferte.

Zu Li in der Zeitung als erste Autoren, PhD-Scholar Zhen Zhang, Zhichu Ren PhD ’24, PhD-Scholar Chia-Wei Hsu und Postdoc Weibin Chen. Ihre Co -Autoren sind MIT Assistenzprofessor Iwnetim Abate; Affiliate Professor Pulkit Agrawal; JR East Professor für Ingenieurwesen Yang Shao-Horn; MIT.NANO -Forscher Aubrey Penn; Zhangweig PhD ’25, Hongbin Xu PhD ’25; Daniel Zheng PhD ’25; MIT -Doktoranden Shuhan Miao und Hugh Smith; MIT Postdocs Yimeng Huang, Weiyin Chen, Yungsheng Tian, ​​Yifan Gao und Yaoshen Niu; ehemaliger MIT Postdoc Sipei Li; und Mitarbeiter wie Chi-Feng Lee, Yu-Cheg Shao, Hsiao-Tsu Wang und Ying-Rui Lu.

Ein intelligenteres System

Materialwissenschaftsexperimente können zeitaufwändig und teuer sein. Sie verlangen Forscher, sorgfältig Workflows zu entwerfen, neues Materials zu erstellen und eine Reihe von Exams und Analysen durchzuführen, um zu verstehen, was passiert ist. Diese Ergebnisse werden dann verwendet, um zu entscheiden, wie das Materials verbessert werden kann.

Um den Prozess zu verbessern, haben sich einige Forscher einer als aktiven Lernen bezeichneten Strategie für maschinelles Lernen zugewandt, um frühere experimentelle Datenpunkte effizient zu nutzen und diese Daten zu untersuchen oder auszunutzen. In Kombination mit einer statistischen Technik, die als Bayesian Optimization (BO) bekannt ist, hat das aktive Lernen Forschern geholfen, neue Materialien für Batterien und fortschrittliche Halbleiter zu identifizieren.

„Die Bayesian -Optimierung ist wie Netflix, der den nächsten Movie empfiehlt, der auf Ihrer Betrachtungsgeschichte angesehen wird, außer stattdessen empfiehlt es das nächste Experiment“, erklärt Li. „Aber die grundlegende Bayesian-Optimierung ist zu simpel. Sie verwendet einen Boxed-In-Design-Raum. Wenn ich additionally sage, dass ich Platin, Palladium und Eisen verwenden werde, ändert es nur das Verhältnis dieser Elemente in diesem kleinen Raum. Aber echte Materialien haben viel mehr Abhängigkeiten, und Bo wird oft verloren.“

Die meisten aktiven Lernansätze stützen sich auch auf einzelne Datenströme, die nicht alles erfassen, was in einem Experiment vor sich geht. Um rechnerische Systeme mit menschlichem Wissen auszustatten und gleichzeitig die Geschwindigkeit und Kontrolle automatisierter Systeme zu nutzen, bauten Li und seine Mitarbeiter Crest auf.

Crests Roboterausrüstung umfasst einen Roboter für Flüssigkeiten, ein Karbauthermal-Schocksystem zur schnellen Synthese von Materialien, eine automatisierte elektrochemische Workstation für Exams, Charakterisierungsgeräte, einschließlich automatisierter Elektronenmikroskopie und optischer Mikroskopie sowie Hilfsgeräte wie Pumpen und Gasventile, die auch remotend kontrolliert werden können. Viele Verarbeitungsparameter können ebenfalls abgestimmt werden.

Mit der Benutzeroberfläche können Forscher mit Crest chatten und ihr aktives Lernen nutzen, um vielversprechende Materialrezepte für verschiedene Projekte zu finden. Crest kann bis zu 20 Vorläufermoleküle und Substrate in sein Rezept enthalten. Um Materialdesigns zu leiten, suchen Crests Modelle durch wissenschaftliche Papiere nach Beschreibungen von Elementen oder Vorläufermolekülen, die nützlich sein könnten. Wenn menschliche Forscher Crest anweisen, neue Rezepte zu verfolgen, startet es eine Roboter -Symphonie der Probenvorbereitung, -charakterisierung und -Exams. Der Forscher kann Crest auch bitten, eine Bildanalyse aus der Bildgebung von Rasterelektronenmikroskopie, Röntgenbeugung und anderen Quellen durchzuführen.

Informationen aus diesen Prozessen werden verwendet, um die aktiven Lernmodelle zu trainieren, die sowohl Literaturwissen als auch aktuelle experimentelle Ergebnisse verwenden, um weitere Experimente vorzuschlagen und die Entdeckung der Materialien zu beschleunigen.

„Für jedes Rezept verwenden wir frühere Literaturtext oder Datenbanken, und es erzeugt diese riesigen Darstellungen jedes Rezepts, die auf der vorherigen Wissensbasis basieren, bevor das Experiment überhaupt durchgeführt wird“, sagt Li. „Wir führen die Hauptkomponentenanalyse in diesem Wissen aus, um einen reduzierten Suchraum zu erhalten, der den größten Teil der Leistungsvariabilität erfasst. Dann verwenden wir die Bayesian -Optimierung in diesem reduzierten Raum, um das neue Experiment zu entwerfen. Nach dem neuen Experiment füttern wir neu erfasste multimodale experimentelle Daten und das menschliche Suggestions in ein großes Sprachmodell, um das Wissen zu vergrößern.

Materialswissenschaftsexperimente können auch Herausforderungen mit der Reproduzierbarkeit gegenüberstehen. Um das Downside anzugehen, überwacht Crest seine Experimente mit Kameras, sucht nach potenziellen Problemen und schlägt Lösungen über Textual content und Stimme für menschliche Forscher vor.

Die Forscher verwendeten Crest, um ein Elektrodenmaterial für eine fortschrittliche Artwork von Brennstoffzelle mit hoher Dichte zu entwickeln, die als Direktformat-Brennstoffzelle bekannt ist. Nachdem Crest mehr als 900 Chemikalien über drei Monate lang untersucht hatte, entdeckte er ein Katalysatormaterial aus acht Elementen, das eine 9,3-fache Verbesserung der Stromdichte professional Greenback über reinem Palladium, einem teuren Edelmetall, erzielte. In weiteren Exams wurde das Crests-Materials verwendet, um eine Rekord-Leistungsdichte für eine funktionierende Direktformat-Brennstoffzelle zu liefern, obwohl die Zelle nur ein Viertel der Edelmetalle früherer Geräte enthielt.

Die Ergebnisse zeigen das Potenzial von Crest, Lösungen für reale Energieprobleme zu finden, die die Materialien und die Ingenieurgemeinschaft seit Jahrzehnten plagen.

„Eine bedeutende Herausforderung für Kraftstoffzellkatalysatoren ist die Verwendung von Edelmetall“, sagt Zhang. „Für Brennstoffzellen haben Forscher verschiedene Edelmetalle wie Palladium und Platinum verwendet. Wir haben einen Multielement-Katalysator verwendet, der auch viele andere billige Elemente einbezieht, um die optimale Koordinationsumgebung für katalytische Aktivität und Resistenz gegen Vergiftungsarten wie Kohlenmonoxid zu schaffen und adsorbierte Wasserstoffatom zu adsorieren.

Ein hilfreicher Assistent

Schon früh wurde eine schlechte Reproduzierbarkeit zu einem Hauptproblem, das die Fähigkeit der Forscher, ihre neue aktive Lerntechnik für experimentelle Datensätze durchzuführen, einschränkte. Materialeigenschaften können durch die Artwork und Weise beeinflusst werden, wie die Vorläufer gemischt und verarbeitet werden, und eine beliebige Anzahl von Problemen kann subtil die experimentellen Bedingungen verändern und sorgfältig inspiziert werden, um zu korrigieren.

Um den Prozess teilweise zu automatisieren, haben die Forscher Pc -Imaginative and prescient- und Imaginative and prescient -Sprachmodelle mit Domänenwissen aus der wissenschaftlichen Literatur gekoppelt, die es dem System ermöglichten, die Quellen der Nichtproduktion zu hypothetieren und Lösungen vorzuschlagen. Beispielsweise können die Modelle bemerken, wenn eine Millimeter-Größe in der Kind einer Probe vorliegt oder wenn eine Pipette etwas nicht an der Stelle bewegt. Die Forscher haben einige Vorschläge des Modells aufgenommen, was zu einer verbesserten Konsistenz führte, was darauf hindeutet, dass die Modelle bereits gute experimentelle Assistenten machen.

Die Forscher stellten fest, dass Menschen in ihren Experimenten immer noch den größten Teil des Debuggens durchführten.

„Crest ist ein Assistent, kein Ersatz für menschliche Forscher“, sagt Li. „Menschliche Forscher sind immer noch unverzichtbar. Tatsächlich verwenden wir eine natürliche Sprache, damit das System erklären kann, was es tut, und Beobachtungen und Hypothesen zu präsentieren. Dies ist jedoch ein Schritt in Richtung flexiblerer, selbstfahrender Labors.“

Im Zentrum jedes erfolgreichen KI -Agenten liegt eine wesentliche Fähigkeit: Aufforderung (oder „schnelle Engineering“). Es ist die Methode, LLMs zu unterrichten, um Aufgaben durch das sorgfältige Entwerfen des Eingabentextes auszuführen.

Schnelltechnik ist die Entwicklung der Eingaben für die erste Textual content-to-Textual content-NLP-Modelle (2018). Zu dieser Zeit konzentrierten sich die Entwickler in der Regel mehr auf die Modellierungsseite und das Function Engineering. Nach der Erstellung großer GPT-Modelle (2022) haben wir alle hauptsächlich vorgeborene Werkzeuge verwendet, sodass sich der Fokus auf die Eingangsformatierung verschoben hat. Daher die Disziplin „immediate Engineering“ wurde geboren und jetzt (2025) ist es zu einer Mischung aus Kunst und Wissenschaft gereift, da NLP die Grenze zwischen Code und Eingabeaufforderung verwischt.

Verschiedene Arten von Anlaufstechniken erzeugen verschiedene Arten von Agenten. Jede Methode verbessert eine bestimmte Fähigkeit: Logik, Planung, Speicher, Genauigkeit und Werkzeugintegration. Lassen Sie uns alle mit einem sehr einfachen Beispiel sehen.

## setup
import ollama
llm = "qwen2.5"

## query
q = "What's 30 multiplied by 10?"

Haupttechniken

1) „Reguläre “Aufforderung – Stellen Sie einfach eine Frage und erhalten Sie eine einfache Antwort. Auch als „Null-Shot“ bezeichnet, fordert es speziell, wenn dem Modell eine Aufgabe ohne vorherige Beispiele für die Lösung von Vorlagen erhalten wird. Diese grundlegende Technik ist für die Auseinandersetzung für One-Step-Agenten Dadurch wird die Aufgabe ohne Zwischenunterhalt ausgeführt, insbesondere frühe Modelle.

response = ollama.chat(mannequin=llm, messages=(
    {'position':'consumer', 'content material':q}
))
print(response('message')('content material'))

2) Reagieren (Grund+Akt) – Eine Kombination aus Argumentation und Handlung. Das Modell überlegt nicht nur ein Drawback, sondern ergriffen auch Maßnahmen aufgrund seiner Argumentation. Es ist additionally interaktiver, da das Modell zwischen den Argumentationsschritten und -aktionen wechselt und seinen Ansatz iterativ verfeinert. Grundsätzlich ist es eine Schleife der Gedankenbeobachtung. Verwendet für kompliziertere Aufgabenwie die Suche im Web und das Treffen von Entscheidungen basierend auf den Ergebnis Mehrstufige Agenten Das führt eine Reihe von Argumentationsschritten und -aktionen aus, um zu einem Endergebnis zu gelangen. Sie können komplexe Aufgaben in kleinere, überschaubare Teile zerlegen, die sich schrittweise aufeinander aufbauen.

Persönlich magazine ich React -Agenten sehr, da ich sie dem Menschen ähnlicher finde, weil sie „herumfinden“ und es herausfinden “, genau wie wir.

immediate = '''
To unravel the duty, you could plan ahead to proceed in a collection of steps, in a cycle of 'Thought:', 'Motion:', and 'Commentary:' sequences.
At every step, within the 'Thought:' sequence, you need to first clarify your reasoning in the direction of fixing the duty, then the instruments that you simply wish to use.
Then within the 'Motion:' sequence, you shold use certainly one of your instruments.
Throughout every intermediate step, you need to use 'Commentary:' subject to avoid wasting no matter essential data you'll use as enter for the subsequent step.
'''

response = ollama.chat(mannequin=llm, messages=(
    {'position':'consumer', 'content material':q+" "+immediate}
))
print(response('message')('content material'))

3) Gedächtniskette (COT) – Ein Argumentationsmuster, bei dem der Prozess zur Erreichung einer Schlussfolgerung erzeugt wird. Das Modell wird dazu gedrängt, „laut zu denken“, indem er explizit die logischen Schritte ausstellt, die zur endgültigen Antwort führen. Grundsätzlich ist es ein Plan ohne Suggestions. COT ist am häufigsten für verwendet für Fortgeschrittene Aufgabenwie die Lösung eines mathematischen Issues, das Schritt-für-Schritt-Argumentation benötigt und normalerweise für die Auseinandersetzung für Mehrstufige Agenten.

immediate = '''Let’s suppose step-by-step.'''

response = ollama.chat(mannequin=llm, messages=(
    {'position':'consumer', 'content material':q+" "+immediate}
))
print(response('message')('content material'))

Kinderbettverlängerungen

Aus der Method stammte mehrere andere neue Ansätze.

4) Reflexion Aufforderung Dies fügt eine iterative Selbstprüfung oder Selbstkorrekturphase über dem anfänglichen COT-Argumentation hinzu, in dem das Modell seine eigenen Ausgänge überprüft und kritisiert (Erkennung von Fehlern, Identifizierung von Lücken und Verbesserungen).

cot_answer = response('message')('content material')

response = ollama.chat(mannequin=llm, messages=(
    {'position':'consumer', 'content material': f'''Right here was your authentic reply:nn{cot_answer}nn
                               Now replicate on whether or not it was appropriate or if it was the perfect strategy. 
                               If not, appropriate your reasoning and reply.'''}
))
print(response('message')('content material'))

5) Gedach der Gedanke (TOT) Das verallgemeinert das COT in einen Baum und untersucht mehrere Argumentationsketten gleichzeitig.

num_branches = 3

immediate = f'''
You'll consider a number of reasoning paths (thought branches). For every path, write your reasoning and ultimate reply.
After exploring {num_branches} totally different ideas, decide the perfect ultimate reply and clarify why.
'''

response = ollama.chat(mannequin=llm, messages=(
    {'position':'consumer', 'content material': f"Process: {q} n{immediate}"}
))
print(response('message')('content material'))

6) Graph -Of -Gedanke (Obtained) Das verallgemeinert COT in ein Diagramm, unter Berücksichtigung auch miteinander verbundener Zweige.

class GoT:
    def __init__(self, query):
        self.query = query
        self.nodes = {}  # node_id: textual content
        self.edges = ()  # (from_node, to_node, relation)
        self.counter = 1

    def add_node(self, textual content):
        node_id = f"Thought{self.counter}"
        self.nodes(node_id) = textual content
        self.counter += 1
        return node_id

    def add_edge(self, from_node, to_node, relation):
        self.edges.append((from_node, to_node, relation))

    def present(self):
        print("n--- Present Ideas ---")
        for node_id, textual content in self.nodes.gadgets():
            print(f"{node_id}: {textual content}n")
        print("--- Connections ---")
        for f, t, r in self.edges:
            print(f"{f} --({r})--> {t}")
        print("n")

    def expand_thought(self, node_id):
        immediate = f"""
        You might be reasoning in regards to the job: {self.query}
        Here's a earlier thought node ({node_id}):"""{self.nodes(node_id)}"""
        Please present a refinement, an alternate viewpoint, or a associated thought that connects to this node.
        Label your new thought clearly, and clarify its relation to the earlier one.
        """
        response = ollama.chat(mannequin=llm, messages=({'position':'consumer', 'content material':immediate}))
        return response('message')('content material')

## Begin Graph
g = GoT(q)

## Get preliminary thought
response = ollama.chat(mannequin=llm, messages=(
    {'position':'consumer', 'content material':q}
))
n1 = g.add_node(response('message')('content material'))

## Broaden preliminary thought with some refinements
refinements = 1
for _ in vary(refinements):
    enlargement = g.expand_thought(n1)
    n_new = g.add_node(enlargement)
    g.add_edge(n1, n_new, "enlargement")
    g.present()

## Remaining Reply
immediate = f'''
Listed here are the reasoning ideas thus far:
{chr(10).be a part of((f"{ok}: {v}" for ok,v in g.nodes.gadgets()))}
Primarily based on these, choose the perfect reasoning and ultimate reply for the duty: {q}
Clarify your selection.
'''

response = ollama.chat(mannequin=llm, messages=(
    {'position':'consumer', 'content material':q}
))
print(response('message')('content material'))

7) Programm -Of -Gedanke (Pot) Dies ist auf die Programmierung spezialisiert, bei denen die Argumentation über ausführbare Code -Snippets stattfindet.

import re

def extract_python_code(textual content):
    match = re.search(r"```python(.*?)```", textual content, re.DOTALL)
    if match:
        return match.group(1).strip()
    return None

def sandbox_exec(code):
    ## Create a minimal sandbox with security limitation
    allowed_builtins = {'abs', 'min', 'max', 'pow', 'spherical'}
    safe_globals = {ok: __builtins__.__dict__(ok) for ok in allowed_builtins if ok in __builtins__.__dict__}
    safe_locals = {}
    exec(code, safe_globals, safe_locals)
    return safe_locals.get('end result', None)

immediate = '''
Write a brief Python program that calculates the reply and assigns it to a variable named 'end result'.  
Return solely the code enclosed in triple backticks with 'python' (```python ... ```).
'''

response = ollama.chat(mannequin=llm, messages=(
    {'position':'consumer', 'content material': f"Process: {q} n{immediate}"}
))
print(response('message')('content material'))
sandbox_exec(code=extract_python_code(textual content=response('message')('content material')))

Abschluss

Dieser Artikel conflict ein Tutorial für Zusammenfesseln Sie alle wichtigen Aufforderungstechniken für AI -Agenten. Es gibt keine einzige „beste“ Aufforderungstechnik, da sie stark von der Aufgabe und der Komplexität der erforderlichen Argumentation abhängt.

Zum Beispiel einfache Aufgaben wie Zusammenfassung und Übersetzungwerden Eassiy mit einer Null-Schuss-/regelmäßigen Aufforderung durchgeführt, während COT intestine für intestine funktioniert für Mathematik und Logik Aufgaben. Auf der anderen Seite, Agenten mit Werkzeugen werden normalerweise mit dem React -Modus erstellt. Darüber hinaus ist Reflexion am besten geeignet, wenn das Lernen aus Fehlern oder Iterationen die Ergebnisse verbessert, wie Spiele.

Bezüglich Vielseitigkeit Für komplexe Aufgaben, Pot ist der wahre Gewinner, weil er ausschließlich auf der Erzeugung und Ausführung von Code basiert. In der Tat kommen Topfagenten näher zu Menschen ersetzen In mehreren Büro -Taks.

Ich glaube, dass in naher Zukunft die Aufforderung nicht nur darum geht, „das, was Sie dem Modell sagen“, sondern eine interaktive Schleife zwischen menschlicher Absicht, Maschinenbekenntnis und externer Aktion zu orchestrieren.

Voller Code für diesen Artikel: Github

Ich hoffe es hat dir gefallen! Wenden Sie sich an mich, um mich für Fragen und Suggestions zu kontaktieren oder einfach Ihre interessanten Projekte zu teilen.

Lassen Sie uns eine Verbindung herstellen

_{^{(Alle Bilder stammen vom Autor, sofern nicht anders notiert)}}

Am 21. Dezember 2022, als die Spitzenzeiten für die Hauptverkehrszeit begannen, durchlief Southwest Airways eine Reihe von Misserfolge in ihrer Planung, die zunächst durch schweres Winterwetter in der Gegend von Denver ausgelöst wurde. Die Probleme breiteten sich jedoch in ihrem Netzwerk aus, und im Laufe der nächsten 10 Tage legte die Krise über 2 Millionen Passagiere und verursachte Verluste von 750 Millionen US -Greenback für die Fluggesellschaft.

Wie hat ein lokalisiertes Wettersystem einen so weit verbreiteten Fehler ausgelöst? Forscher am MIT haben diesen weit verbreiteten Misserfolg als Beispiel für Fälle untersucht, in denen Systeme, die die meiste Zeit reibungslos funktionieren, plötzlich zusammenbrechen und einen Dominoeffekt von Fehlern verursachen. Sie haben nun ein Computersystem entwickelt, um die Kombination aus spärlichen Daten zu einem seltenen Fehlerereignis in Kombination mit viel umfangreicheren Daten zu normalen Vorgängen zu verwenden, um rückwärts zu arbeiten und zu versuchen, die Grundursachen für den Fehler zu bestimmen und hoffentlich in der Lage zu sein, Wege zu finden, um die Systeme anzupassen, um solche Fehler in der Zukunft zu verhindern.

Die Ergebnisse wurden auf der Internationalen Konferenz über Studying Repräsentationen (ICLR) vorgestellt, die vom 24. bis 28. April von Charles Dawson, Professor für Luftfahrt- und Astronautik-Chuchu-Fan, und Kollegen von der Harvard College und der College of Michigan in Singapur stattfanden.

„Die Motivation hinter dieser Arbeit ist, dass es wirklich frustrierend ist, wenn wir mit diesen komplizierten Systemen interagieren müssen, in denen es wirklich schwer zu verstehen ist, was hinter den Kulissen vor sich geht, die diese Probleme oder Fehler schafft, die wir beobachten“, sagt Dawson.

Die neue Arbeit baut auf früheren Untersuchungen aus dem Labor von Fan auf, bei denen sie Probleme mit Problemen mit hypothetischen Vorhersageproblemen untersuchten, wie beispielsweise bei Gruppen von Robotern, die an einer Aufgabe zusammenarbeiten, oder komplexe Systeme wie das Stromnetz, um nach Möglichkeiten zu suchen, wie solche Systeme möglicherweise scheitern. „Das Ziel dieses Projekts“, sagt Fan, „conflict es wirklich, dies in ein diagnostisches Software zu verwandeln, das wir auf realen Systemen verwenden können.“

Die Idee conflict, eine Möglichkeit zu bieten, wie jemand uns „Daten aus einer Zeit geben konnte, in der dieses reale System ein Downside oder einen Misserfolg hatte“, sagt Dawson, „und wir können versuchen, die Grundursachen zu diagnostizieren und ein wenig hinter dem Vorhang in dieser Komplexität zu verleihen.“

Die Absicht ist die Methoden, die sie entwickelt haben, um „für eine ziemlich allgemeine Klasse von Cyber-physischen Problemen zu arbeiten“, sagt er. Dies sind Probleme, bei denen „Sie über eine automatisierte Entscheidungskomponente verfügen, die mit der Unordnung der realen Welt interagiert“, erklärt er. Es stehen Instruments zum Testen von Softwaresystemen zur Verfügung, die selbst arbeiten. Die Komplexität entsteht jedoch, wenn diese Software program mit physischen Wesenheiten interagieren muss, um ihre Aktivitäten in einem realen physischen Umfeld zu begehen, unabhängig davon, ob es sich um die Planung von Flugzeugen, die Bewegungen autonomer Fahrzeuge, die Wechselwirkungen eines Roboterteams oder die Kontrolle der Eingaben und Produkte an einem elektrischen Strom. In solchen Systemen passiert oft, sagt er, dass „die Software program eine Entscheidung treffen könnte, die zuerst in Ordnung aussieht, aber dann hat sie all diese Domino-Auswirkungen, die die Dinge chaotischer und viel unsicherer machen.“

Ein wesentlicher Unterschied besteht jedoch darin, dass in Systemen wie Roboterteams, im Gegensatz zur Planung von Flugzeugen, „Zugang zu einem Modell in der Robotikwelt haben“, sagt Fan, der im MIT -Labor für Informations- und Entscheidungssysteme (LIDS) Hauptforscher ist. „Wir haben ein gutes Verständnis für die Physik hinter den Robotik und wir haben Möglichkeiten, ein Modell zu erstellen“, das ihre Aktivitäten mit angemessener Genauigkeit darstellt. Die Flugplanung der Fluggesellschaften umfasst jedoch Prozesse und Systeme, die proprietäre Geschäftsinformationen sind. Daher mussten die Forscher Wege finden, um zu schließen, was hinter den Entscheidungen stand, und nur die relativ spärlichen öffentlich verfügbaren Informationen, die im Wesentlichen nur aus den tatsächlichen Ankunfts- und Abfahrtszeiten der einzelnen Ebene bestand.

„Wir haben all diese Flugdaten gepackt, aber es steckt das gesamte System des Planungssystems dahinter, und wir wissen nicht, wie das System funktioniert“, sagt Fan. Und die Datenmenge im Zusammenhang mit dem tatsächlichen Ausfall ist nur mehrere Tage im Vergleich zu Daten der Daten zum normalen Flugbetrieb.

Die Auswirkungen der Wetterereignisse in Denver in der Woche der Planungskrise in Südwest zeigten sich eindeutig in den Flugdaten, nur aus den längeren normalen Turnaround-Zeiten zwischen Landung und Begin am Flughafen Denver. Aber die Artwork und Weise, wie sich das System auswirkte, obwohl das System weniger offensichtlich conflict und mehr Analyse erforderte. Der Schlüssel stellte sich heraus, dass es mit dem Konzept von Reserveflugzeugen zu tun hatte.

Fluggesellschaften halten in der Regel einige Flugzeuge an verschiedenen Flughäfen in Reserve. Wenn Probleme mit einem Flugzeug für einen Flug geplant sind, kann ein weiteres Flugzeug schnell ersetzt werden. Southwest verwendet nur einen einzigen Flugzeugtyp, daher sind sie alle austauschbar, was solche Substitutionen erleichtert. Die meisten Fluggesellschaften arbeiten jedoch mit einem Hub-and-Spoke-System mit einigen ausgewiesenen Hub-Flughäfen, an denen die meisten dieser Reserveflugzeuge aufbewahrt werden können, während Southwest keine Hubs verwendet, sodass ihre Reservenscheine in ihrem Netzwerk stärker verstreut sind. Und die Artwork und Weise, wie diese Flugzeuge eingesetzt wurden, spielte eine wichtige Rolle in der Entfaltungskrise.

„Die Herausforderung besteht darin, dass keine öffentlichen Daten verfügbar sind, wenn das Flugzeug im gesamten Southwest -Netzwerk stationiert ist“, sagt Dawson. „Wir können unsere Methode mithilfe der Methode finden, indem wir uns die öffentlichen Daten zu Ankünften, Abfahrten und Verzögerungen ansehen, können wir unsere Methode verwenden, um die verborgenen Parameter dieser Flugzeugreserven zurückzuziehen, um die Beobachtungen zu erklären, die wir gesehen haben.“

Sie fanden heraus, dass die Artwork und Weise, wie die Reserven eingesetzt wurden, ein „führender Indikator“ für die Probleme conflict, die in einer landesweiten Krise kaskadiert wurden. Einige Teile des Netzwerks, die direkt vom Wetter betroffen waren, konnten sich schnell erholen und sich im Zeitplan wiederholen. „Aber als wir uns andere Bereiche im Netzwerk ansah, sahen wir, dass diese Reserven einfach nicht verfügbar waren und sich die Dinge nur noch verschlechterten.“

Zum Beispiel zeigten die Daten, dass die Reserven von Denver aufgrund der Wetterverzögerungen schnell schwinden, aber „ermöglichte es uns auch, diesen Fehler von Denver nach Las Vegas zu verfolgen“, sagt er. Obwohl es dort kein Unwetter gab, „zeigte uns unsere Methode immer noch einen stetigen Rückgang der Anzahl der Flugzeuge, die Flüge aus Las Vegas ausstellen konnten.“

Er sagt: „Wir haben festgestellt, dass es diese Zirkulationen von Flugzeugen innerhalb des Southwest Community gab, wo ein Flugzeug den Tag in Kalifornien starten und dann nach Denver fliegen und dann den Tag in Las Vegas beenden könnte.“ Was bei diesem Sturm geschah, conflict, dass der Zyklus unterbrochen wurde. Infolgedessen „dieser eine Sturm in Denver bricht den Zyklus, und plötzlich verschlechtern sich die Reserven in Las Vegas, die nicht vom Wetter betroffen sind.“

Am Ende conflict Southwest gezwungen, eine drastische Maßnahme zu ergreifen, um das Downside zu lösen: Sie mussten einen „harten Zurücksetzen“ ihres gesamten Programs durchführen, alle Flüge absagen und leere Flugzeuge im ganzen Land fliegen, um ihre Reserven wieder zu wiederholen.

In Zusammenarbeit mit Experten für Lufttransportsysteme entwickelten die Forscher ein Modell, wie das Planungssystem funktionieren soll. „Was unsere Methode tut, ist, dass wir im Wesentlichen versuchen, das Modell rückwärts auszuführen.“ Wenn man sich die beobachteten Ergebnisse ansieht, ermöglicht das Modell sie zurück, um zu sehen, welche Arten von Anfangsbedingungen diese Ergebnisse erzeugen können.

Während die Daten zu den tatsächlichen Ausfällen spärlich waren, halfen die umfangreichen Daten zu typischen Operationen beim Unterrichten des Rechenmodells „Was möglich ist, was möglich ist, was der Bereich der physischen Möglichkeit hier ist“, sagt Dawson. „Das gibt uns das Domänenwissen, um in diesem extremen Ereignis angesichts des Raums, was möglich ist, zu sagen, was die wahrscheinlichste Erklärung für den Fehler ist.“

Dies könnte zu einem Echtzeit-Überwachungssystem führen, sagt er, wo Daten zu normalen Operationen ständig mit den aktuellen Daten verglichen werden und wie der Development aussieht. „Sind wir in Richtung Normalität oder trendern wir zu extremen Ereignissen?“ Wenn Anzeichen von bevorstehenden Problemen angezeigt werden, kann es zu präventiven Maßnahmen führen, wie z.

Die Arbeit an der Entwicklung solcher Systeme läuft in ihrem Labor, sagt Fan. In der Zwischenzeit haben sie ein Open-Supply-Software zur Analyse von Fehlersystemen mit Calnf erstellt, das für alle verfügbar ist. In der Zwischenzeit arbeitet Dawson, der letztes Jahr promovierte, als Postdoc, um die in dieser Arbeit entwickelten Methoden auf das Verständnis der Misserfolge in Energy -Netzwerken anzuwenden.

Das Forschungsteam umfasste auch Max Li von der College of Michigan und Van Tran von der Harvard College. Die Arbeit wurde von der NASA, dem Air Pressure Workplace of Scientific Analysis und dem MIT-DSTA-Programm unterstützt.

Einführung

Im „sich immer schnell verändern”(!) Das Verständnis von Daten und KI -Architektur battle noch nie kritischer. Allerdings ist etwas, was viele Führungskräfte übersehen, die Bedeutung der Datenteamstruktur.

Während viele von Ihnen dies lesen, identifizieren sich wahrscheinlich als Die Information -Group, etwas, das die meisten nicht erkennen, ist, wie begrenzt diese Denkweise sein kann.

In der Tat wirken sich unterschiedliche Teamstrukturen und Fertigkeitsanforderungen erheblich auf die Fähigkeit eines Unternehmens aus, Daten und KI zu verwenden, um sinnvolle Ergebnisse zu erzielen. Um dies zu verstehen, ist es hilfreich, an eine Analogie zu denken.

Stellen Sie sich einen zweiköpfigen Haushalt vor. John arbeitet von zu Hause aus und Jane geht ins Büro. Es gibt eine Reihe von Hausverwalter Jane, die sich auf John verlässt, was viel einfacher ist, da er die meiste Zeit zu Hause ist.

Jane und John haben Kinder und nachdem sie ein bisschen aufgewachsen sind, hat John doppelt so viel Administrator zu tun! Zum Glück sind die Kinder für die Grundlagen ausgebildet; Sie können sich waschen, aufgeräumt und sogar gelegentlich ein bisschen mit etwas Zwang ausbacken.

Während die Kinder erwachsen werden, ziehen Johns Eltern ein. Im Laufe der Zeit hat sich Johns Rolle ziemlich verändert! Aber er hat es immer zu einer glücklichen, nuklearen Familie gemacht – dank John und Jane.

Zurück zu Daten – John ist ein bisschen wie das Information -Group, und alle anderen sind ein Area -Experte. Sie verlassen sich auf John, aber auf unterschiedliche Weise. Dies hat sich im Laufe der Zeit stark verändert, und wenn es nicht hätte eine Katastrophe gewesen sein.

Im Relaxation dieses Artikels werden wir Johns Reise von einem zentralisierten Hub-and-Spoke zu einem Plattform-Mesh-Information-Group untersuchen.

Zentralisierte Groups

Ein zentrales Group ist für viele Dinge verantwortlich, die Ihnen bekannt sein werden:

• Kerndatenplattform und Architektur: Die Frameworks und Instruments, die zur Erleichterung von Daten und KI -Workloads verwendet werden.
• Daten- und KI -Engineering: Zentralisierung und Reinigungsdatensätze; Strukturierung unstrukturierter Daten für KI -Workloads
• BI: Erstellen von Dashboards zur Visualisierung von Erkenntnissen
• AI und ML: Das Coaching und die Bereitstellung von Modellen für die oben genannten sauberen Daten
• Befürwortung für den Wert von Daten und Schulungen, um zu verstehen, wie BI -Instruments verwendet werden können

Dies ist eine Menge Arbeit für ein paar Leute! Tatsächlich ist es praktisch unmöglich, all dies auf einmal zu nageln. Es ist am besten, die Dinge klein und überschaubar zu halten, sich auf einige wichtige Anwendungsfälle zu konzentrieren und leistungsstarke Werkzeuge zu nutzen, um frühzeitig einen Vorsprung zu erzielen.

Möglicherweise erhalten Sie sogar ein Kindermädchen- oder Au -Paar, um bei der Arbeit zu helfen (in diesem Fall – Berater).

Aber dieses Muster hat Mängel. Es ist leicht, in die zu fallen Silofalleein Szenario, in dem das zentrale Group zu einem großen Engpass für Daten und KI -Anfragen wird. Datenteams müssen auch Domänenwissen von Domänenexperten erwerben, um Anfragen effektiv zu beantworten, was ebenfalls zeitaufwändig und hart ist.

Ein Ausweg besteht darin, das Group zu erweitern. Mehr Menschen bedeuten mehr Ausgabe. Es gibt jedoch bessere modernere Ansätze, die die Dinge noch schneller laufen lassen können.

Aber es gibt nur einen John. Was kann er additionally tun?

Teilweise dezentralisiert oder Hub und sprach

Das teilweise dezentrale Setup ist ein attraktives Modell für mittelgroße Organisationen oder kleine, technisch zuerst, bei denen es gibt Technische Fähigkeiten außerhalb des Datenteams.

In der einfachsten Kind wird das Information -Group die BI -Infrastruktur aufrechterhalten, aber nicht der Inhalt selbst. Dies bleibt „Energy -Person“ überlassen, die dies selbst in die Hand nehmen und die BI selbst bauen.

Dies trifft natürlich auf alle möglichen Probleme wie die Silofalle, DatenentdeckungGovernance und Verwirrung. Verwirrung ist besonders schmerzhaft, wenn Menschen, die gesagt werden, dass sie sich selbst erhalten, versuchen, zu scheitern, da die Daten mangelnde Verständnissen mangeln.

Ein immer beliebterer Ansatz ist, dass zusätzliche Schichten des Stapels geöffnet werden. Da ist das Aufstieg des Analyseingenieurs Und Datenanalysten übernehmen zunehmend mehr Verantwortung. Dies beinhaltet die Verwendung von Instruments, die Durchführung von Datenmodellierung, das Erstellen von Finish-to-Finish-Pipelines und das Einsetzen des Unternehmens.

Dies hat zu enormen Problemen geführt, wenn sie falsch implementiert werden. Sie würden Ihren fünfjährigen Sohn nicht um die Obhut Ihrer Ältesten kümmern und sich unbeaufsichtigt um das Haus kümmern.

Insbesondere führt ein Mangel an grundlegenden Datenmodellierungsprinzipien und Information Warehouse -Motoren zu Modellverbreitung und Spiralkosten. Es gibt zwei klassische Beispiele.

Eine davon ist, wenn mehrere Personen versuchen, dasselbe wie Umsatz zu definieren. Advertising and marketing, Finanzen und Produkt haben alle eine andere Model. Dies führt zu unvermeidlichen Argumenten bei vierteljährlichen Geschäftsprüfungen, wenn jede Abteilung mit einer anderen Anzahl berichtet – Analyse -Lähmung.

Der andere zählt. Nehmen wir an, Finance will Einnahmen für den Monat, aber das Produkt möchte wissen, was es sieben Tage lang rollt. „Das ist einfach“, sagt der Analyst. „Ich werde nur einige materialisierte Ansichten mit diesen Metriken in ihnen erstellen.“

Wie jeder Dateningenieur weiß, ist dieser Rolling -Zählbetrieb ziemlich teuer, insbesondere wenn die Granularität tagsüber oder stundenweise sein muss. Seit dann benötigen Sie einen Kalender, um das Modell zu „fächern“. Bevor Sie es wissen, gibt es rolling_30_day_sales Anwesend rolling_7_day_sales Anwesend rolling_45_day_sales und so weiter. Diese Modelle kosten eine Größenordnung mehr als erforderlich.

Einfach nach der niedrigsten Granularität zu fragen (täglich), das Materialieren und die Erstellung von Ansichten stromabwärts gelöst werden, kann dieses Downside lösen, müsste jedoch eine zentrale Ressource erfordern.

Ein frühes Hub- und Spoke -Modell muss eine klare Verantwortung haben, wenn das Wissen außerhalb des Datenteams jung oder jugendlich ist.

Wenn Groups wachsen, entstehen auch Legacy, nur Code-Frameworks wie Apache Airflow, zu einem Downside: mangelnde Sichtbarkeit. Personen außerhalb des Datenteams, die versuchen, zu verstehen, was los ist, werden auf zusätzliche Instruments angewiesen, um zu verstehen, was Finish-to-Finish-UIs passiert, da die UIs mit Legacy keine Metadaten aus verschiedenen Quellen aggregieren.

Es ist unerlässlich, diese Informationen an Domänenexperten zu ermitteln. Wie oft wurde Ihnen mitgeteilt, dass die „Daten nicht richtig aussehen“, nur um zu erkennen, nachdem Sie alles manuell verfolgt haben, dass es sich um ein Downside auf der Seite des Datenproduzenten handelte?

Durch die Erhöhung der Sichtbarkeit sind Domänenexperten direkt mit Eigentümern von Quelldaten oder -prozessen verbunden, wodurch die Korrekturen schneller sein können. Dadurch werden unnötige Final, Kontextschalter und Tickets für das Information -Group entfernt.

Hub und sprachen (rein)

Ein reiner Hub und ein reine Hub sind ein bisschen wie die Delegation Ihrer jugendlichen Kinder mit spezifischen Verantwortung in klaren Leitplanken. Sie geben ihnen nicht nur Aufgaben, die Mülleimer herauszunehmen und ihr Zimmer zu reinigen – Sie fragen nach dem, was Sie wollen, wie ein „sauberes und ordentliches Zimmer“, und Sie vertrauen darauf, dass sie dies tun. Anreize funktionieren hier intestine.

In einem reinen Hub- und Spoke -Ansatz verwaltet das Information -Group die Plattform und lässt sie sie nutzen. Sie erstellen die Frameworks zum Erstellen und Bereitstellen von KI- und Datenpipelines und verwalten die Zugriffskontrolle.

Domänenexperten können Sachen von Finish-to-Finish erstellen, wenn sie müssen. Dies bedeutet, dass sie Daten verschieben, modellieren können, die Pipeline orchestrieren und sie mit KI oder Dashboards aktivieren können, wie sie es für richtig halten.

Oft wird das zentrale Group auch ein bisschen davon tun. Wenn Datenmodelle in allen Domänen komplex und überlappend sind, sollten sie quick immer die Bereitstellung von Kerndatenmodellen übernehmen. Der Schwanz sollte den Hund nicht wedeln.

Dies ähnelt einer Datenprodukt -Denkweise – während ein Finanzteam das Eigentum für die Investition und Reinigung von ERP -Daten übernehmen könnte, würde das zentrale Group wichtige Datenprodukte wie die Tabelle der Kunden oder die Tabelle für Rechnungen besitzen.

Diese Struktur ist sehr mächtig, da sie sehr kollaborativ ist. Es funktioniert oft nur, wenn Area -Groups ein ziemlich hohes Maß an technischer Kenntnis haben.

Hier gibt es immer Plattformen, die gemeinsame Code und No-Code zusammenfassen, da es immer eine harte technische Abhängigkeit vom zentralen Group gibt.

Ein weiteres Merkmal dieses Musters ist Coaching und Unterstützung. Das zentrale Group oder Hub verbringen einige Zeit damit, die Speichen zu unterstützen und zu verbessern, um KI- und Datenworkflows effizient in Leitplanken zu erstellen.

Auch hier ist es schwierig, die Sichtbarkeit mit älteren Orchestrierungsrahmen zu bieten. Zentrale Groups werden belastet sein, wie die Metadatenspeicher auf dem neuesten Stand zu halten, z. B. Datenkataloge, sodass Geschäftsbenutzer verstehen können, was los ist.

Die Different – Upskill -Area -Experten, um tiefe Python -Experience -Lernrahmen mit steilen Lernkurven zu haben, ist noch schwieriger zu ziehen.

Plattformgitter/Datenprodukt

Der natürliche Endpunkt in unserer theoretischen Haushaltsreise führt uns zu den viel kritisierten Datennetz oder Plattform -Mesh -Ansatz.

In diesem Haushalt wird erwartet, dass alle ihre Verantwortung sind. Kinder sind alle erwachsen und können sich verlassen, um das Haus in Ordnung zu halten und sich um seine Bewohner zu kümmern. Es gibt enge Zusammenarbeit und jeder arbeitet nahtlos zusammen.

Klingt ziemlich idealistisch, denkst du nicht!?

In der Praxis ist es selten so einfach. Es ist eine todsichere Möglichkeit, die Kontrolle zu verlieren und die Dinge zu verlangsamen.

Selbst wenn Sie Instruments zwischen Groups standardisieren würden, würden Finest Practices immer noch leiden.

Ich habe mit unzähligen Groups in massiven Organisationen wie Einzelhandelsketten oder Fluggesellschaften gesprochen, und das Vermeiden eines Netzes ist keine Possibility, da mehrere Geschäftsabteilungen voneinander abhängen.

Diese Groups verwenden unterschiedliche Instruments. Einige nutzen Luftstrominstanzen und ältere Rahmenbedingungen, die vor Jahren von Beratern erstellt wurden. Andere verwenden die neueste Technologie und einen vollständigen, aufgeblähten, modernen Datenstapel.

Sie alle kämpfen mit dem gleichen Downside; Zusammenarbeit, Kommunikation und orchestrierende Flüsse in verschiedenen Groups.

Die Implementierung einer einzigen übergreifenden Plattform zum Erstellen von Daten und KI -Workflows hier kann helfen. A Einheitliche Kontrollebene ist quick wie ein Orchestrator von Orchestratoren, der Metadaten an verschiedenen Orten aggregiert und zeigt, dass die Abstammungslinien zwischen den Domänen enden.

Natürlich sorgt es für ein effektives Kontrollflugzeug, in dem sich jeder versammeln kann, um Pipelines zu debuggen, zu kommunizieren und sich zu erholen – alles ohne sich auf ein zentrales Information Engineering -Group zu verlassen, das sonst ein Engpass wäre.

Es gibt klare Analogien dafür in der Software program -Engineering. Oft führt Code zu Protokollen, die von einem einzelnen Software wie Datadog zusammengefasst werden. Diese Plattformen bieten einen einzelnen Ort, um alles zu sehen (oder nicht), Warnungen und Zusammenarbeit für die Auflösung von Vorfällen.

Zusammenfassung

Organisationen sind wie Familien. So sehr wir die Idee einer großen, glücklichen und autarken Familie mögen, es gibt oft Verantwortlichkeiten, die wir tragen müssen, damit die Dinge zunächst zum Laufen bringen.

Während sie reifen, kommen die Mitglieder der Unabhängigkeit näher, wie Johns Kinder. Andere finden ihren Platz als abhängige, aber loyale Stakeholder wie Johns Eltern.

Organisationen sind nicht anders. Datenteams reifen vor Do-ERs in zentralisierten Groups, um in Hub zu erlangen und Architekturen zu sprechen. Schließlich werden die meisten Organisationen Dutzende, wenn nicht Hunderte von Menschen haben, die in ihren eigenen Speichen wegweisende Daten und KI -Workflows sind.

Sobald dies geschieht, ist es wahrscheinlich, dass die Artwork und Weise, wie Daten und KI in kleinen, agilen Organisationen verwendet werden, der Komplexität viel größerer Unternehmen ähneln, in denen die Zusammenarbeit und die Orchestrierung in verschiedenen Groups unvermeidlich sind.

Das Verständnis, wo sich Organisationen in Bezug auf diese Muster befinden, ist unerlässlich. Der Versuch, eine Denkweise für Daten wie Produkte in einem unreifen Unternehmen zu erzwingen oder sich an ein großes zentrales Group in einer großen und ausgereiften Organisation zu halten, führt zu einer Katastrophe.

Viel Glück