|LLM|TRANSFORMER|FOUNDATION MODEL|GRAPH|NETWORK|

„Wenn das Fundament solide ist, wird alles andere folgen.“ – Unbekannt

„Je höher das Gebäude, desto tiefer muss das Fundament gelegt werden.“ – Thomas à Kempis

Stiftungsmodelle haben die künstliche Intelligenz in den letzten Jahren verändert. Ein Basismodell ist ein Modell, das mit riesigen Datenmengen (normalerweise durch unbeaufsichtigtes Lernen) trainiert wird und an verschiedene Aufgaben angepasst werden kann. Modelle wie BERT oder GPT führte zu einer Revolution, bei der ein Modell dann für alle Aufgaben in einer Domäne angepasst werden konnte, was den KI-Zugriff vereinfachte und den Bedarf an Daten für eine einzelne Aufgabe reduzierte. Wir verfügen über Grundmodelle für Textual content und andere Modalitäten, für Modalitäten wie Grafiken und Tabellendaten jedoch nicht. In diesem Artikel diskutieren wir, warum wir kein Basismodell für Graphen haben und wie wir eines bekommen könnten. Konkret werden wir diese Fragen beantworten:

• Warum wollen wir ein Grundlagenmodell für Graphen? Warum haben wir keins?

|LLM|KI|MENSCHLICHER GEIST|GEDÄCHTNIS|KOGNITION|

Die Grenzen meiner Sprache Sind die Grenzen meiner Geist. — Ludwig Wittgenstein

Die wahre Kunst des Erinnerns ist die Kunst der Aufmerksamkeit. – Samuel Johnson

Sprache ist eine der wichtigsten Fähigkeiten des Menschen; sie ermöglicht uns, zu kommunizieren und Wissen zu übertragen, und sie gilt als eine Säule der Zivilisation. Deshalb sind die unglaublichen Fähigkeiten, die Große Sprachmodelle (LLMs) haben die Welt in Erstaunen versetzt und die Frage aufgeworfen: Sind sie clever?

All dies wurde durch riesige Textmengen und eine einfache Lernfunktion erreicht: die Vorhersage des nächsten Wortes in einer Sequenz. Das Modell hinter diesem Erfolg ist das Transformatorund heute werden moderne, abgeleitete LLMs von einem großen Teil der Bevölkerung für Aufgaben wie Übersetzung, Zusammenfassung, Beantwortung von Fragen oder Erstellung von Artikeln verwendet.

|KI|KONTINUIERLICHES LERNEN|GRENZEN DES DEEP LEARNING|

„Die Weisen passen sich den Umständen an, so wie sich Wasser dem Krug anpasst.“ – Chinesisches Sprichwort

„Anpassen oder untergehen ist heute wie immer der unerbittliche Imperativ der Natur.“ — HG Wells

Künstliche Intelligenz in den letzten Jahren große Fortschritte gemacht. Alle diese Systeme verwenden künstliche Neuronen in irgendeiner Type. Diese Algorithmen sind von ihren biologischen Gegenstücken inspiriert. Beispielsweise aggregiert das Neuron Informationen von vorherigen Neuronen und wenn das Sign einen bestimmten Schwellenwert überschreitet, gibt es die Informationen an andere Neuronen weiter. Diese Idee wird durch die Gewichtsmatrix und die Aktivierungsfunktion dargestellt. Weitere Beispiele finden sich in Faltungsnetzwerken (inspiriert vom visuellen Kortex) oder genetischen Algorithmen. Während des Trainings werden die Verbindungen zwischen verschiedenen Neuronen (dargestellt durch die Gewichte) verstärkt oder verringert, ähnlich der Stärke neuronaler Synapsen. Dieser Prozess ist die Grundlage des…