Viele technische Herausforderungen sind auf das gleiche Downside zurückzuführen: zu viele Knöpfe zum Drehen und zu wenige Möglichkeiten, sie zu testen. Ganz gleich, ob es um die Abstimmung eines Stromnetzes oder die Entwicklung eines sichereren Fahrzeugs geht: Jede Bewertung kann kostspielig sein, und es können Hunderte von Variablen von Bedeutung sein.

Denken Sie über das Design der Fahrzeugsicherheit nach. Ingenieure müssen Tausende von Teilen integrieren, und viele Designentscheidungen können das Verhalten eines Fahrzeugs bei einer Kollision beeinflussen. Klassische Optimierungstools könnten bei der Suche nach der besten Kombination Schwierigkeiten bereiten.

MIT-Forscher haben einen neuen Ansatz entwickelt, der überdenkt, wie eine klassische Methode, die sogenannte Bayes’sche Optimierung, zur Lösung von Problemen mit Hunderten von Variablen verwendet werden kann. In Exams an realistischen Benchmarks im Ingenieursstil, etwa zur Optimierung von Energiesystemen, fand der Ansatz Prime-Lösungen 10 bis 100 Mal schneller als weit verbreitete Methoden.

Ihre Technik nutzt ein auf Tabellendaten trainiertes Basismodell, das automatisch die Variablen identifiziert, die für die Leistungssteigerung am wichtigsten sind, und den Prozess wiederholt, um immer bessere Lösungen zu finden. Basis-Modelle sind riesige künstliche Intelligenzsysteme, die auf riesigen, allgemeinen Datensätzen trainiert werden. Dadurch können sie sich an unterschiedliche Anwendungen anpassen.

Das tabellarische Grundlagenmodell der Forscher muss nicht ständig neu trainiert werden, da es auf eine Lösung hinarbeitet, was die Effizienz des Optimierungsprozesses erhöht. Die Technik ermöglicht auch höhere Geschwindigkeiten bei komplizierteren Problemen, sodass sie besonders bei anspruchsvollen Anwendungen wie der Materialentwicklung oder der Arzneimittelforschung nützlich sein könnte.

„Moderne KI- und maschinelle Lernmodelle können die Artwork und Weise, wie Ingenieure und Wissenschaftler komplexe Systeme erstellen, grundlegend verändern. Wir haben einen Algorithmus entwickelt, der nicht nur hochdimensionale Probleme lösen kann, sondern auch wiederverwendbar ist, sodass er auf viele Probleme angewendet werden kann, ohne dass alles von vorne beginnen muss“, sagt Rosen Yu, ein Doktorand der Informatik und Ingenieurwissenschaften und Hauptautor von a Papier über diese Technik.

Yu wird bei dem Artikel von Cyril Picard, einem ehemaligen MIT-Postdoktoranden und Forschungswissenschaftler, und Faez Ahmed, außerordentlicher Professor für Maschinenbau und Kernmitglied des MIT Middle for Computational Science and Engineering, unterstützt. Die Forschung wird auf der Worldwide Convention on Studying Representations vorgestellt.

Verbesserung einer bewährten Methode

Wenn Wissenschaftler versuchen, ein vielschichtiges Downside zu lösen, aber über teure Methoden zur Erfolgsbewertung verfügen, etwa einen Crashtest eines Autos, um herauszufinden, wie intestine jedes Design ist, verwenden sie oft eine bewährte Methode namens Bayes’sche Optimierung. Diese iterative Methode findet die beste Konfiguration für ein kompliziertes System, indem sie ein Ersatzmodell erstellt, das dabei hilft, abzuschätzen, was als nächstes untersucht werden soll, und dabei die Unsicherheit seiner Vorhersagen zu berücksichtigen.

Allerdings muss das Ersatzmodell nach jeder Iteration neu trainiert werden, was rechnerisch schnell schwierig werden kann, wenn der Raum potenzieller Lösungen sehr groß ist. Darüber hinaus müssen Wissenschaftler immer dann ein neues Modell von Grund auf erstellen, wenn sie ein anderes Szenario angehen wollen.

Um beide Mängel zu beheben, verwendeten die MIT-Forscher ein generatives KI-System, das als tabellarisches Grundlagenmodell bekannt ist, als Ersatzmodell innerhalb eines Bayes’schen Optimierungsalgorithmus.

„Ein tabellarisches Grundlagenmodell ist wie ein ChatGPT für Tabellenkalkulationen. Die Eingabe und Ausgabe dieser Modelle sind tabellarische Daten, die im technischen Bereich viel häufiger zu sehen und zu verwenden sind als Sprache“, sagt Yu.

Genau wie große Sprachmodelle wie ChatGPT, Claude und Gemini wurde das Modell anhand einer enormen Menge tabellarischer Daten vorab trainiert. Dadurch ist es für die Bewältigung einer Reihe von Vorhersageproblemen bestens gerüstet. Darüber hinaus kann das Modell unverändert bereitgestellt werden, ohne dass eine erneute Schulung erforderlich ist.

Um ihr System genauer und effizienter für die Optimierung zu machen, verwendeten die Forscher einen Trick, der es dem Modell ermöglicht, Merkmale des Designraums zu identifizieren, die den größten Einfluss auf die Lösung haben.

„Ein Auto magazine 300 Designkriterien haben, aber nicht alle davon sind der Hauptfaktor für das beste Design, wenn man versucht, einige Sicherheitsparameter zu erhöhen. Unser Algorithmus kann clever die kritischsten Merkmale auswählen, auf die man sich konzentrieren sollte“, sagt Yu.

Dazu wird ein tabellarisches Grundlagenmodell verwendet, um abzuschätzen, welche Variablen (oder Kombinationen von Variablen) das Ergebnis am stärksten beeinflussen.

Anschließend wird die Suche auf diese Variablen mit großer Auswirkung konzentriert, anstatt Zeit damit zu verschwenden, alles gleichermaßen zu untersuchen. Wenn beispielsweise die Größe der vorderen Knautschzone erheblich zunahm und sich die Sicherheitsbewertung des Fahrzeugs verbesserte, spielte dieses Merkmal wahrscheinlich eine Rolle bei der Verbesserung.

Größere Probleme, bessere Lösungen

Eine ihrer größten Herausforderungen bestand darin, das beste tabellarische Fundamentmodell für diese Aufgabe zu finden, sagt Yu. Dann mussten sie es mit einem Bayes’schen Optimierungsalgorithmus so verknüpfen, dass es die herausragendsten Designmerkmale identifizieren konnte.

„Das Finden der prominentesten Dimension ist ein bekanntes Downside in Mathematik und Informatik, aber einen Weg zu finden, der die Eigenschaften eines tabellarischen Fundamentmodells nutzt, warfare eine echte Herausforderung“, sagt Yu.

Nachdem das algorithmische Framework vorhanden warfare, testeten die Forscher ihre Methode, indem sie sie mit fünf hochmodernen Optimierungsalgorithmen verglichen.

Bei 60 Benchmark-Problemen, darunter realistische Situationen wie Stromnetzdesign und Autounfalltests, fand ihre Methode durchweg die beste Lösung zwischen 10 und 100 Mal schneller als die anderen Algorithmen.

„Wenn ein Optimierungsproblem immer mehr Dimensionen annimmt, glänzt unser Algorithmus wirklich“, fügte Yu hinzu.

Ihre Methode warfare jedoch nicht bei allen Problemen besser als die Basislinien, beispielsweise bei der robotergesteuerten Pfadplanung. Dies deutet wahrscheinlich darauf hin, dass das Szenario in den Trainingsdaten des Modells nicht genau definiert warfare, sagt Yu.

Zukünftig wollen die Forscher Methoden untersuchen, die die Leistung tabellarischer Grundlagenmodelle steigern könnten. Sie wollen ihre Technik auch auf Probleme mit Tausenden oder sogar Millionen von Dimensionen anwenden, wie zum Beispiel den Entwurf eines Marineschiffs.

„Auf einer höheren Ebene weist diese Arbeit auf einen umfassenderen Wandel hin: Die Verwendung von Basismodellen nicht nur für Wahrnehmung oder Sprache, sondern als algorithmische Motoren in wissenschaftlichen und technischen Werkzeugen, wodurch klassische Methoden wie die Bayes’sche Optimierung auf Regime skaliert werden können, die zuvor unpraktisch waren“, sagt Ahmed.

„Der in dieser Arbeit vorgestellte Ansatz, der ein vorab trainiertes Grundlagenmodell zusammen mit hochdimensionaler Bayes’scher Optimierung verwendet, ist eine kreative und vielversprechende Möglichkeit, die hohen Datenanforderungen von simulationsbasiertem Design zu reduzieren. Insgesamt ist diese Arbeit ein praktischer und leistungsstarker Schritt, um fortgeschrittene Designoptimierung zugänglicher und einfacher in realen Umgebungen anwendbar zu machen“, sagt Wei Chen, Wilson-Prepare dinner-Professor für Ingenieurdesign und Vorsitzender der Abteilung für Maschinenbau an der Northwestern College, der nicht an dieser Forschung beteiligt warfare.

Bild vom Autor

Sie und Ihr Unternehmen sind „datengesteuert“, oder? Das bedeutet sicherlich, die ausgefeilteste Technologie für den Umgang mit Daten einzusetzen. Das Vorhandensein einer Datenbank und deren Abfrage mit SQL scheint in dieser Welt eine Mindestanforderung zu sein.

Was aber, wenn es Fälle gibt, in denen eine einfache Tabellenkalkulation eine sorgfältig geschriebene Abfrage um Längen übertrifft? Hier sind einige Situationen aus dem wirklichen Leben.

Bild vom Autor

1. Ihre Daten sind klein und/oder einmalig

Beispiele für solche Daten sind:

• Eine CSV von einem Anbieter
• Ein Finanzmodell mit einigen hundert Zeilen
• Eine einfache Budgetprognose
• Ein Aufgaben-Tracker

Bild vom Autor

Es wäre quick bizarr, solche Daten in eine Datenbank zu laden und ein paar Abfragen auszuführen. Es ist übertrieben. Öffnen Sie es in Excel oder Google Sheets, und Sie können schnell filtern, sortieren und Berechnungen und Transformationen durchführen. Sie würden wahrscheinlich immer noch Tabellen, Indizes und Schemata in einer Datenbank einrichten.

2. Sie benötigen Geschwindigkeit und Null-Setup

Wenn Sie noch keine relationale Datenbank haben, erfordert deren Einrichtung Folgendes:

• Eine laufende Datenbank, lokal oder in der Cloud
• Definierte Tabellen und Datentypen
• Richtige Berechtigungen

Mit Tabellenkalkulationen? Nichts davon. Selbst wenn eine Set up erforderlich ist, geht es viel schneller. Sie müssen jedoch wahrscheinlich nichts installieren, da Ihr Pc wahrscheinlich mit einem vorinstallierten Tabellenkalkulationsprogramm geliefert wird, oder Sie können problemlos eine Cloud-Model verwenden.

Bild vom Autor

Klicken Sie einfach auf die Datei und legen Sie los – vor allem, wenn Sie nur sehen möchten, was darin enthalten ist, oder ein paar schnelle Berechnungen durchführen möchten.

3. Sie müssen zusammenarbeiten

Datenbanken können die Zusammenarbeit bewältigen, sie erfordern jedoch das Festlegen von Berechtigungen, das Definieren von Rollen und SQL-Kenntnisse.

Beispielsweise ist die Zusammenarbeit in Google Sheets viel einfacher:

• Teilen Sie einen Hyperlink mit Ihren Mitarbeitern
• Kommentare hinzufügen
• Verfolgen Sie Dateiänderungen

Bild vom Autor

Wenn Ihre Mitarbeiter außerhalb des Datenteams sind (z. B. Finanzen, Advertising and marketing, Betrieb), verwenden sie wahrscheinlich kein SQL – bei Tabellenkalkulationen spielt das keine Rolle.

4. Sie möchten Daten visualisieren und präsentieren

SQL dient der Abfrage und Datenanalyse, ist jedoch nicht für die Präsentation Ihrer Ergebnisse geeignet. Normalerweise exportieren Sie die Ausgabe Ihrer Abfragen an einen anderen Ort. Ironischerweise sind es oft Tabellenkalkulationen, die wir vermeiden wollten.

Wenn die Visualisierung und Präsentation von Daten wichtig ist und Sie die Analyse relativ einfach in einer Tabellenkalkulation durchführen können, dann wählen Sie diese gegenüber SQL. Tabellenkalkulationen sind sowohl Berechnungs- als auch Präsentationswerkzeuge.

Bild vom Autor

Normalerweise bevorzugen Sie Tabellenkalkulationen gegenüber SQL, wenn Sie Folgendes benötigen:

• Diagramme für eine Präsentation
• Pivot-Tabellen für Führungskräfte
• Ein Finanzprognosemodell

5. Ihre Arbeit ist iterativ und chaotisch

Beispiele für solche Arbeiten sind das Erstellen von Modellen, das Brainstorming von Szenarien und das Testen von Annahmen. Hier würde ich Tabellenkalkulationen verwenden.

Bild vom Autor

Sie können sie verwenden, um:

• Brainstormen Sie Finanzszenarien -> kopieren Sie das Blatt, optimieren Sie ein paar Zellen und sehen Sie sofort die Ergebnisse
• Annahmen testen -> zwei Formeln schreiben, vergleichen, die schwächere löschen; Keine Schemamigration erforderlich
• Schnelle Was-wäre-wenn-Modelle -> Erstellen Sie eine grobe Model in einer Tabelle, bevor Sie sie in SQL formalisieren
• Advert-hoc-Anmerkungen -> Farbcodierung, Kommentare hinterlassen, Daten hervorheben
• Formeliteration -> einfach =SUM(A1:A52) in =AVERAGE(A1:A52) ändern; Es ist nicht erforderlich, Abfragen neu zu schreiben oder die Syntax zu validieren

6. Ihre Zielgruppe spricht kein SQL

Unternehmensleiter, Projektmanager und externe Kunden öffnen weitaus eher eine Tabellenkalkulation als eine Datenbank.

Bild vom Autor

Mit Tabellenkalkulationen erhalten sie etwas, das sie lesen, optimieren und teilen können, ohne eine Programmiersprache zu lernen, die sie nicht lernen wollten.

7. Sie berücksichtigen Kosten und Zugang

Die Pflege relationaler Datenbanken in Produktionsumgebungen kann kostspielig sein; Denken Sie an Cloud-Speicher, Rechenressourcen und Verwaltungszeit.

Bild vom Autor

Tabellenkalkulationen sind kostenlos oder quick kostenlos. Wenn Ihr Datensatz und Ihre Analyse relativ einfach mit einer Tabellenkalkulation verarbeitet werden können, vermeidet die Wahl dieser anstelle von SQL den Mehraufwand.

8. Sie benötigen eine schnelle Dateneingabe

Datenbanken sind nicht für eine einfache manuelle zeilenweise Eingabe konzipiert. Sie müssten entweder eine Abfrage schreiben oder Daten aus einer Tabellenkalkulation importieren.

Bild vom Autor

Das direkte Eingeben von Daten in eine Tabelle ist einfacher, wenn Sie beispielsweise Folgendes tun möchten:

• Zeichnen Sie Besprechungsnotizen auf
• Sammeln Sie mehrere Vertriebskontakte
• Verfolgen Sie Aufgaben oder Fristen

Abschluss

Der beste Weg ist natürlich die Kombination von Tabellenkalkulationen und SQL. Letzteres dient der Verarbeitung, Transformation und Analyse umfangreicher Daten, insbesondere wenn es sich dabei um sich wiederholende Aufgaben handelt. Dann lohnt es sich, eine logische Abfrage zu erstellen und diese bei Bedarf einfach erneut auszuführen. Wenn Sie gerade erst anfangen oder eine Auffrischung benötigen, ist dies hier SQL-Spickzettel ist eine großartige Ressource für Kernkonzepte, die Sie tatsächlich verwenden werden.

Tabellenkalkulationen sind besser, wenn Sie Agilität, schnelles Verständnis von Daten, einfachere Analysen, schnelle Datenvisualisierungen und gemeinsame Nutzung suchen.

Nate Rosidi ist Datenwissenschaftler und in der Produktstrategie tätig. Er ist außerdem außerordentlicher Professor für Analytik und Gründer von StrataScratch, einer Plattform, die Datenwissenschaftlern hilft, sich mit echten Interviewfragen von Prime-Unternehmen auf ihre Interviews vorzubereiten. Nate schreibt über die neuesten Developments auf dem Karrieremarkt, gibt Ratschläge zu Vorstellungsgesprächen, stellt Knowledge-Science-Projekte vor und behandelt alles rund um SQL.