Die Grundlage der kognitiven Komplexität: CNNs unterrichten, um Verbindungen zu sehen

Erhitzte Diskussionen über künstliche Intelligenz lautet: Welche Aspekte des menschlichen Lernens können sie erfassen?

Viele Autoren schlagen vor, dass künstliche Intelligenzmodelle nicht die gleichen Fähigkeiten wie Menschen besitzen, insbesondere wenn es um Plastizität, Flexibilität und Anpassung geht.

Einer der Aspekte, die Modelle nicht erfassen, sind mehrere kausale Beziehungen über die äußere Welt.

In diesem Artikel werden diese Themen erörtert:

• Die Parallelität zwischen Faltungsnetzwerken (CNNs) und dem menschlichen visuellen Kortex
• Einschränkungen von CNNs beim Verständnis von kausalen Beziehungen und zum Lernen abstrakter Konzepte
• Wie man CNNs lernt, lernt einfache kausale Beziehungen

Ist es dasselbe? Ist es anders?

Faltungsnetzwerke (CNNs) (2) sind mehrschichtige neuronale Netzwerke, die Bilder als Eingabe aufnehmen und für mehrere Aufgaben verwendet werden können. Einer der faszinierendsten Aspekte von CNNs ist ihre Inspiration von der menschlicher visueller Kortex (1):

• Hierarchische Verarbeitung. Das visuelle Kortex verarbeitet Bilder hierarchisch, in denen frühe visuelle Bereiche einfache Merkmale (wie Kanten, Linien und Farben) und tiefere Bereiche erfassen, erfassen komplexere Merkmale wie Formen, Objekte und Szenen. CNN erfasst aufgrund seiner geschichteten Struktur Kanten und Texturen in den frühen Schichten, während Schichten weiter unten Teile oder ganze Objekte erfassen.
• Empfängliche Felder. Neuronen im visuellen Kortex reagieren auf Stimuli in einer spezifischen lokalen Area des Gesichtsfeldes (üblicherweise als Empfangsfelder bezeichnet). Wenn wir tiefer gehen, weiteten sich die Empfangsfelder der Neuronen, sodass räumliche Informationen integriert werden können. Dank der Pooling -Schritte geschieht das gleiche in CNNs.
• Characteristic -Sharing. Obwohl biologische Neuronen nicht identisch sind, werden ähnliche Merkmale in verschiedenen Teilen des Gesichtsfeldes erkannt. In CNNs die verschiedenen Filter Scannen Sie das gesamte Bild, sodass Muster unabhängig vom Ort erkannt werden können.
• Räumliche Invarianz. Menschen können Objekte auch dann erkennen, wenn sie bewegt, skaliert oder gedreht werden. CNNs besitzen auch dieses Eigentum.

Diese Funktionen haben CNNs in visuellen Aufgaben bis zur übermenschlichen Leistung intestine abschneiden:

Russakovsky et al. (22) berichteten kürzlich, dass die menschliche Leistung einen High-5-Fehler von 5,1% im ImageNet-Datensatz ergibt. Diese Zahl wird von einem menschlichen Annotator erreicht, der in den Validierungsbildern intestine ausgebildet ist, um sich der Existenz relevanter Klassen besser zu bewusst. (…) Unser Ergebnis (4,94%) übertrifft die gemeldete Leistung auf menschlicher Ebene. – 3) (3)

Obwohl CNNs bei mehreren Aufgaben besser abschneiden als Menschen, gibt es immer noch Fälle, in denen sie spektakulär scheitern. In einer Studie von 2024 (4) konnten AI -Modelle beispielsweise die Bildklassifizierung nicht verallgemeinern. Hochmoderne Modelle funktionieren besser als Menschen für Objekte auf aufrechten Posen, fehlen jedoch, wenn Objekte auf ungewöhnlichen Posen liegen.

Zusammenfassend zeigen unsere Ergebnisse, dass (1) Menschen immer noch viel robuster sind als die meisten Netzwerke, um Objekte in ungewöhnlichen Posen zu erkennen, (2) Zeit von entscheidender Bedeutung, damit eine solche Fähigkeit zu entstehen, und (3) sogar zeitlich begrenzte Menschen sind tiefe neuronale Netzwerke unähnlich. – SOURCE (4)

In der Studie (4) stellen sie fest, dass Menschen Zeit brauchen, um in einer Aufgabe erfolgreich zu sein. Einige Aufgaben erfordern nicht nur visuelle Erkennung, sondern auch Abtraktive Wahrnehmungwas Zeit erfordert.

Die Verallgemeinerungsfähigkeiten, die Menschen in der Lage machen, sind aus dem Verständnis der Gesetze zu verstehen, die die Beziehungen zwischen Objekten regeln. Der Mensch erkennen Objekte an, indem sie Regeln extrapolieren und diese Regeln verkettet werden, um sich an neue Situationen anzupassen. Eine der einfachsten Regeln ist die „gleiche differenzente Beziehung“: die Fähigkeit zu definieren, ob zwei Objekte gleich oder unterschiedlich sind. Diese Fähigkeit entwickelt sich im Säuglingsalter schnell und ist auch wichtig mit der Sprachentwicklung verbunden (5-7). Darüber hinaus haben einige Tiere wie Enten und Schimpansen es ebenfalls (8). Im Gegensatz dazu ist es sehr schwierig, gleiche unterschiedliche Beziehungen zu lernen neuronale Netze (9-10).

Faltungsnetzwerke zeigen Schwierigkeiten beim Erlernen dieser Beziehung. Ebenso lernen sie keine anderen Arten von kausalen Beziehungen, die für den Menschen einfach sind. Daher haben viele Forscher das zu dem Schluss gekommen CNNs Fehlen der induktiven Verzerrung, die notwendig ist, um diese Beziehungen lernen zu können.

Diese negativen Ergebnisse bedeuten nicht, dass neuronale Netze völlig nicht in der Lage sind, gleiche unterschiedliche Beziehungen zu lernen. Viel größere und länger ausgebildete Modelle können diese Beziehung lernen. Zum Beispiel, Imaginative and prescient-Transformator Modelle vorgebreitet Bildnische mit kontrastives Lernen kann diese Fähigkeit zeigen (12).

Können CNNs gleich unterschiedliche Beziehungen lernen?

Die Tatsache, dass breite Modelle diese Artwork von Beziehungen lernen können, hat das Interesse an CNNs wieder aufgenommen. Die gleiche differente Beziehung wird unter den grundlegenden logischen Operationen betrachtet, aus denen die Grundlagen ausmachen Kognition höherer Ordnung Und Argumentation. Das zeigen, dass flache CNNs dieses Konzept lernen können, würde es uns ermöglichen, mit anderen Beziehungen zu experimentieren. Darüber hinaus ermöglicht es Modelle, immer komplexer zu lernen kausale Beziehungen. Dies ist ein wichtiger Schritt, um die Verallgemeinerungsfähigkeiten von KI voranzutreiben.

Frühere Arbeiten deuten darauf hin, dass CNNs nicht über das Architektur verfügen induktive Vorurteile abstrakte visuelle Beziehungen lernen zu können. Andere Autoren gehen davon aus, dass das Downside im Trainingsparadigma liegt. Im Allgemeinen die Klassiker Gradientenabstieg wird verwendet, um eine einzelne Aufgabe oder eine Reihe von Aufgaben zu lernen. Bei einer Aufgabe t oder einer Reihe von Aufgaben t wird eine Verlustfunktion L verwendet, um die Gewichte φ zu optimieren, die die Funktion L minimieren sollten:

Dies kann einfach als die Summe der Verluste über verschiedene Aufgaben hinweg angesehen werden (wenn wir mehr als eine Aufgabe haben). Stattdessen die Modell-agnostisches Meta-Studying (MAML) Der Algorithmus (13) ist so konzipiert, dass er nach einem optimalen Punkt im Gewichtsraum nach einer Reihe verwandter Aufgaben sucht. MAML versucht, einen anfänglichen Satz von Gewichten θ zu finden, das die minimiert Verlustfunktion Auf Aufgaben über die schnelle Anpassung ermöglichen:

Der Unterschied magazine klein erscheinen, aber konzeptionell ist dieser Ansatz auf Abstraktion gerichtet und Verallgemeinerung. Wenn es mehrere Aufgaben gibt, versucht herkömmliche Schulungen, Gewichte für verschiedene Aufgaben zu optimieren. MAML versucht, eine Reihe von Gewichten zu identifizieren, die für verschiedene Aufgaben optimum sind, gleichzeitig jedoch gleichzeitig im Gewichtsraum. Dieser Startpunkt θ ermöglicht es dem Modell, über verschiedene Aufgaben hinweg effektiver zu verallgemeinern.

Da wir jetzt eine Methode haben, die auf Verallgemeinerungen und Abstraktion verzerrt ist, können wir testen, ob wir CNNs dazu bringen können, die gleiche differente Beziehung zu lernen.

In dieser Studie (11) verglichen sie flache CNNs, die mit klassischem Gradientenabstieg ausgebildet waren und Meta-Studying auf einem Datensatz für diesen Bericht. Der Datensatz besteht aus 10 verschiedenen Aufgaben, die auf die gleiche unterschiedliche Beziehung testen.

Die Autoren (11) vergleichen CNNs von 2, 4 oder 6 Schichten, die auf traditionelle Weise oder mit Meta-Studying ausgebildet sind, und zeigen einige interessante Ergebnisse:

1. Die Leistung traditioneller CNNs zeigt ein ähnliches Verhalten wie zufällig.
2. Das Meta-Studying verbessert die Leistung erheblich, was darauf hindeutet, dass das Modell die gleichdifferenzierende Beziehung lernen kann. Ein 2-layerer CNN erzielt wenig besser als Zufall, aber durch die Erhöhung der Tiefe des Netzwerks verbessert sich die Leistung auf nahezu perfekte Genauigkeit.

Eines der faszinierendsten Ergebnisse von (11) ist, dass das Modell auf Go away-One-Out-Weise trainiert werden kann (9 Aufgaben verwenden und eine auslassen) und die Verallgemeinerungsfunktionen außerhalb der Verteilung anzeigen. Daher hat das Modell das Abstraktenverhalten gelernt, das in einem so kleinen Modell kaum zu sehen ist (6 Schichten).

Schlussfolgerungen

Obwohl Faltungsnetze inspiriert waren, wie das menschliche Gehirn visuelle Reize verarbeitet, erfassen sie einige seiner grundlegenden Fähigkeiten nicht. Dies gilt insbesondere für kausale Beziehungen oder abstrakte Konzepte. Einige dieser Beziehungen können aus großen Modellen nur mit umfangreichem Coaching gelernt werden. Dies hat zu der Annahme geführt, dass kleine CNNs diese Beziehungen aufgrund mangelnder Architektur induktiver Tendenz nicht lernen können. In den letzten Jahren wurden Anstrengungen unternommen, um neue Architekturen zu schaffen, die einen Vorteil beim Lernen von relationalem Denken haben könnten. Die meisten dieser Architekturen lernen jedoch solche Beziehungen nicht. Interessanterweise kann dies durch die Verwendung von Meta-Studying überwunden werden.

Der Vorteil des Meta-Studying besteht darin, das abstraktere Lernen zu treiben. Meta-Studying-Druck auf die Verallgemeinerung und versucht, gleichzeitig für alle Aufgaben zu optimieren. Zu diesem Zweck wird das Erlernen von abstrakteren Merkmalen bevorzugt (Merkmale auf niedriger Ebene wie die Winkel einer bestimmten Type sind nicht nützlich für die Verallgemeinerung und sind ungünstig). Das Meta-Studying ermöglicht es einem flachen CNN, abstraktes Verhalten zu lernen, das sonst noch viel mehr Parameter und Schulungen erfordern würde.

Die flachen CNNs und die gleiche differente Beziehung sind ein Modell für höhere kognitive Funktionen. Meta-Studying und verschiedene Formen des Trainings könnten nützlich sein, um die Argumentationsmöglichkeiten der Modelle zu verbessern.

Eine andere Sache!

Sie können nach meinen anderen Artikeln suchen Mediumund Sie können mich auch anschließen oder mich erreichen LinkedIn oder in Bluesky. Überprüfen Dieses Repositorywas enthält wöchentlich aktualisierte ML & AI Information, oder Hier für andere Tutorials und Hier Für AI -Bewertungen. Ich bin offen für Zusammenarbeit und Projekte, Und Sie können mich auf LinkedIn erreichen.

Referenz

Hier ist die Liste der Hauptreferenzen, die ich beraten habe, um diesen Artikel zu schreiben. Nur der Vorname für einen Artikel wird zitiert.

1. Lindsay, 2020, Faltungsnetzwerke als Modell des visuellen Methods: Vergangenheit, Gegenwart und Zukunft, Hyperlink
2. Li, 2020, Eine Übersicht über die neuronalen Netzwerke von Faltungen: Analyse, Anwendungen und Aussichten, Hyperlink
3. Er, 2015, tief in Gleichrichter eintaucht: Übertretung von Leistung auf menschlicher Ebene bei der ImageNet-Klassifizierung, Hyperlink
4. Ollikka, 2024, ein Vergleich zwischen Menschen und KI, um Objekte in ungewöhnlichen Posen zu erkennen, Hyperlink
5. Premark, 1981, Die Codes of Man and Beasts, Hyperlink
6. Blote, 1999, Organisationsstrategien für kleine Kinder zu der gleichen unterschiedlichen Aufgabe: eine mikrogenetische Studie und eine Trainingsstudie, Hyperlink
7. Lupker, 2015, gibt es phonologisch basiertes Priming in der gleichen differenzierenden Aufgabe? Beweise von japanisch-englischen Zweisprachigen, Hyperlink
8. Gentner, 2021, Lernen Dasselbe Und anders Beziehungen: Vergleiche mit Kreuzspezies, Hyperlink
9. Kim, 2018, nicht so-clevr: Lernen gleicherdifferentes Beziehungsstämme Feedforward Neural Networks, Hyperlink
10. Puebla, 2021, können tiefe Faltungsnetzwerke in der gleichen Differenz von relationaler Begründung in der gleichen Aufgabe unterstützen? Hyperlink
11. Gupta, 2025, Faltungsnetzwerke können (meta-) die gleiche differenzierte Beziehung lernen, Hyperlink
12. Tartaglini, 2023, Deep Neural Networks können verallgemeinerbare gleichen visuellen Beziehungen lernen, Hyperlink
13. Finn, 2017, Modell-agnostisches Meta-Studying für die schnelle Anpassung von tiefen Netzwerken, Hyperlink