Im 17. Jahrhundert fand der deutsche Astronom Johannes Kepler die Bewegungsgesetze heraus, die es ermöglichten, genau vorherzusagen, wo die Planeten unseres Sonnensystems am Himmel auftreten würden, während sie die Sonne umkreisen. Aber erst Jahrzehnte später, als Isaac Newton die universellen Gravitationsgesetze formulierte, wurden die zugrunde liegenden Prinzipien verstanden. Obwohl sie von Keplers Gesetzen inspiriert wurden, gingen sie viel weiter und ermöglichten es, dieselben Formeln auf alles anzuwenden, von der Flugbahn eines Kanonenballs bis zur Artwork und Weise, wie der Mond die Gezeiten auf der Erde steuert – oder wie man einen Satellit von der Erde auf die Oberfläche des Mondes oder auf Planeten startet.
Die heutigen anspruchsvollen künstlichen Intelligenzsysteme sind sehr intestine darin, die Artwork von spezifischen Vorhersagen zu machen, die Keplers Orbit -Vorhersagen ähneln. Aber wissen sie, warum diese Vorhersagen mit der Artwork des tiefen Verständnisses funktionieren, das aus Grundprinzipien wie Newtons Gesetzen herrührt? Wenn die Welt immer mehr von diesen Artwork von KI-Systemen abhängt, kämpfen die Forscher, zu messen, wie sie das tun, was sie tun, und wie tief ihr Verständnis der realen Welt tatsächlich ist.
Jetzt haben Forscher des MIT -Labors für Informations- und Entscheidungssysteme (LIDS) und an der Harvard College einen neuen Ansatz entwickelt, um zu beurteilen, wie tief diese prädiktiven Systeme ihr Thema verstehen und ob sie Wissen von einer Domäne auf eine etwas andere anwenden können. Und im Großen und Ganzen ist die Antwort zu diesem Zeitpunkt in den Beispielen, die sie untersuchten, – nicht so sehr.
Der Die Ergebnisse wurden vorgestellt Auf der Internationalen Konferenz über maschinelles Lernen in Vancouver, British Columbia, im vergangenen Monat von Harvard Postdoc Keyon Vafa, MIT -Doktorandin für Elektrotechnik und Informatik und Lids Affiliate Peter G. Chang, Assistenzprofessorin und Lids Principal Investigator Ashesh Rambachan, sowie der MIT -Professor, der Lids Principal Investigator sowie der Principal Writer, Sendhil Mullainatan.
„Menschen waren die ganze Zeit in der Lage, diesen Übergang von guten Vorhersagen zu Weltmodellen zu machen“, sagt Vafa, die Hauptautorin der Studie. Die Frage, die sich mit ihrem Workforce befasste, lautete: „Have Basis -Modelle – hat KI – in der Lage, diesen Sprung von Vorhersagen zu Weltmodellen zu machen? Und wir fragen nicht, ob sie in der Lage sind oder können sie oder werden sie. Er sagt.
„Wir wissen, wie wir testen können, ob ein Algorithmus intestine vorhersagt. Wir brauchen jedoch eine Möglichkeit, ob er intestine verstanden hat“, sagt Mullainathan, der Professor von Peter de Florez mit doppelten Terminen in den MIT -Abteilungen für Wirtschaftswissenschaften, Elektrotechnik sowie Informatik sowie der leitende Autor der Studie. „Selbst das Definieren, was Verständnis bedeutet, conflict eine Herausforderung.“
In der Kepler gegen Newton -Analogie sagte Vafa: „Beide hatten Modelle, die bei einer Aufgabe sehr intestine funktionierten, und die im Wesentlichen auf diese Aufgabe funktionierten. Was Newton anbot, waren Ideen, die sich auf neue Aufgaben verallgemeinern konnten.“ Diese Fähigkeit würde, wenn sie auf die Vorhersagen verschiedener KI -Systeme angewendet werden, dazu führen, dass es ein Weltmodell entwickelt, damit „die Aufgabe, an der Sie arbeiten, überschreiten und auf neue Arten von Problemen und Paradigmen verallgemeinern können“.
Eine weitere Analogie, die dazu beiträgt, den Punkt zu veranschaulichen, ist der Unterschied zwischen den Jahrhunderten der akkumulierten Kenntnis, wie man Pflanzen und Tiere selektiv züchtet, und Gregor Mendels Einblick in die zugrunde liegenden Gesetze der genetischen Vererbung.
„Auf diesem Gebiet gibt es eine große Aufregung darüber, dass Fundamentmodelle nicht nur Aufgaben ausführen, sondern etwas über die Welt lernen“, zum Beispiel in den Naturwissenschaften, sagt er. „Es müsste sich anpassen, ein Weltmodell haben, um sich an eine mögliche Aufgabe anzupassen.“
Sind KI -Systeme in der Nähe der Fähigkeit, solche Verallgemeinerungen zu erreichen? Um die Frage zu testen, untersuchte das Workforce verschiedene Beispiele für prädiktive KI -Systeme auf unterschiedlichen Komplexitätsniveaus. Bei den einfachsten Beispielen gelang es den Systemen, ein realistisches Modell des simulierten Programs zu erstellen, aber als die Beispiele komplexer wurden, verblasste die Fähigkeit schnell.
Das Workforce entwickelte eine neue Metrik, eine Möglichkeit, quantitativ zu messen, wie intestine ein System die realen Bedingungen nähert. Sie nennen die induktive Messung induktiv – dh eine Tendenz oder Tendenz zu Antworten, die die Realität widerspiegeln, die auf Schlussfolgerungen beruht, die sich aus der Betrachtung großer Datenmengen in bestimmten Fällen entwickeln.
Die einfachste Ebene an Beispielen, die sie betrachteten, conflict als Gittermodell bekannt. In einem eindimensionalen Gitter kann sich etwas nur entlang einer Linie bewegen. Vafa vergleicht es mit einem Froschsprung zwischen Lily Pads in einer Reihe. Während der Frosch springt oder sitzt, ruft er heraus, was er tut – rechts, hyperlinks oder bleibt. Wenn es das letzte Lily Pad in der Reihe erreicht, kann es nur bleiben oder zurückgehen. Wenn jemand oder ein KI -System nur die Anrufe hören kann, ohne etwas über die Anzahl der Lily -Pads zu wissen, kann er die Konfiguration herausfinden? Die Antwort lautet Ja: Vorhersagemodelle können die „Welt“ in einem so einfachen Fall intestine rekonstruieren. Aber selbst bei Gitter können die Systeme, wenn Sie die Anzahl der Abmessungen erhöhen, diesen Sprung nicht mehr machen.
„Zum Beispiel haben wir in einem Zwei- oder Drei-Staaten-Gitter gezeigt, dass das Modell eine ziemlich gute induktive Tendenz zum tatsächlichen Zustand hat“, sagt Chang. „Aber wenn wir die Anzahl der Zustände erhöhen, beginnt es eine Abweichung von realen Modellen.“
Ein komplexeres Downside ist ein System, das das Brettspiel Othello spielen kann, bei dem die Spieler abwechselnd schwarze oder weiße Scheiben in ein Netz legen. Die KI -Modelle können genau vorhersagen, welche Bewegungen zu einem bestimmten Zeitpunkt zulässig sind, aber es stellt sich heraus, dass sie schlecht abschneiden, was die Gesamtanordnung von Teilen auf dem Brett ist, einschließlich derjenigen, die derzeit vom Spielen blockiert sind.
Das Workforce untersuchte dann fünf verschiedene Kategorien von prädiktiven Modellen, die tatsächlich verwendet werden, und je komplexer die beteiligten Systeme, desto schlechter die Vorhersagemodi, die bei der Übereinstimmung mit dem wahren zugrunde liegenden Weltmodell durchgeführt werden.
Mit dieser neuen Metrik der induktiven Voreingenommenheit ist es, eine Artwork Testbett bereitzustellen, in dem Sie verschiedene Modelle, unterschiedliche Trainingsansätze, zu Problemen bewerten können, bei denen wir wissen, was das wahre Weltmodell ist “, sagt Vafa. Wenn es in diesen Fällen, in denen wir bereits die zugrunde liegende Realität kennen, eine gute Leistung erbringt, können wir mehr Vertrauen haben, dass seine Vorhersagen auch in Fällen nützlich sein können, „in dem wir nicht wirklich wissen, was die Wahrheit ist“, sagt er.
Menschen versuchen bereits, diese Artwork von prädiktiven KI -Systemen zu verwenden, um die wissenschaftliche Entdeckung zu unterstützen, einschließlich der Eigenschaften chemischer Verbindungen, die nie tatsächlich erzeugt wurden, oder potenzieller pharmazeutischer Verbindungen oder zur Vorhersage des Faltungsverhaltens und der Eigenschaften unbekannter Proteinmoleküle. „Für die realistischeren Probleme“, sagt Vafa, „haben wir auch für so etwas wie grundlegende Mechaniker festgestellt, dass es noch einen langen Weg zu gehen scheint.“
Chang sagt: „Es gab viele Hype um Basis-Modelle, bei denen die Menschen versuchen, domänenspezifische Fundamentmodelle zu erstellen-biologische Fundamentmodelle, physikalische Fundamentmodelle, Robotics Basis-Modelle, Basis-Modelle für andere Domänen, in denen Menschen eine Menge Daten gesammelt haben“ und trainieren diese Modelle, um Vorhersagen zu machen, „und dann zu hoffen, dass es sich um eine Menge Daten handelt, um andere Domänen, die für andere Area-zu-anderen-Area-Domänen zu verwenden sind.
Diese Arbeit zeigt, dass es noch einen langen Weg vor sich gibt, aber es hilft auch, einen Weg nach vorne zu zeigen. „Unser Papier schlägt vor, dass wir unsere Metriken anwenden können, um zu bewerten, wie viel die Repräsentation lernt, damit wir bessere Möglichkeiten für die Schulung von Fundamentmodellen finden oder die Modelle, die wir derzeit ausbilden, bewerten können“, sagt Chang. „Als Ingenieurfeld können die Menschen, sobald wir eine Metrik für etwas haben, wirklich, wirklich intestine darin, diese Metrik zu optimieren.“