Als Form verbrachte die MIT-Absolventin Olivia Honeycutt die Sommer auf der Farm ihrer Großeltern im ländlichen Alabama außerhalb von Birmingham. Die praktischen und kulturellen Unterschiede zwischen Land- und Stadtleben wurden im Vergleich deutlicher. „Das Leben und die Artwork, wie wir es lebten, verlangsamten sich auf dem Bauernhof“, sagt sie. „Es warfare eine schöne Abwechslung.“

Heutzutage Honeycutt, ein Doppelstudium in Berechnung und Erkenntnis Und LinguistikSie bewegt sich immer noch zwischen mehreren Welten, die gleichzeitig miteinander verbunden und deutlich unterschiedlich sind. Ihre Forschungsinteressen liegen an der Schnittstelle zwischen menschlichem Denken und Bewusstsein, Sprachenlernen und -erwerb, Technologie sowie Interaktion und Wirkung sozialer Gruppen.

Honeycutts Interesse an Sprache und der Artwork und Weise, wie sie unser Denken und Leben beeinflussen kann, wuchs parallel zu lebenslangen Investitionen in Mathematik und Naturwissenschaften. Sie lernte Französisch durch ihre Beziehungen zu haitianischen Freunden der Familie und amerikanische Gebärdensprache durch das gehörlose Geschwister einer anderen Freundin. Sie warfare fasziniert davon, wie Sprecher dieser Gruppen kommunizierten und wie sich das Gehirn neu organisieren kann, wenn es mit einem Mangel an auditivem Enter konfrontiert wird.

„Es gibt so viele Unterschiede zwischen Gebärdensprache und gesprochener Sprache“, sagt sie. „Das Sprechen in mehreren Sprachen und Dialekten und gleichzeitiger Umgang mit den emotionalen und kulturellen Nuancen, die Mehrsprachigkeit mit sich bringt, kann Ihre Wahrnehmung der Welt und Ihrer selbst verändern.“ Die Tätigkeit in diesen Bereichen schafft Forschungsmöglichkeiten in so unterschiedlichen Disziplinen wie Neurologie, Massive Language Fashions (LLMs), Psychologie und öffentliche Ordnung.

„In der Neurolinguistik werden faszinierende Arbeiten durchgeführt“, bemerkt Honeycutt, „und es wird versucht, die Unterschiede zwischen neuronalen Netzen, KI und der Artwork und Weise, wie sie Informationen verarbeiten, besser zu verstehen.“ Diese wollte sie schon lange studieren, sagt sie. „Wenn Menschen mit Sprachdefiziten wie Aphasie zurechtkommen müssen und man sich in verschiedene Forschungsbereiche vertieft, um Antworten zu finden, lernt man coole Dinge, wie zum Beispiel, wie das Gehirn Sprache „funktioniert“.

Ein MIT-Ansatz zum Lernen

Honeycutt entschied sich zum Teil für das MIT, weil der Studiengang Informatik und Kognition „nichts warfare, was ich woanders finden konnte“. Ihre Affinität zu Mathematik und Englisch sowie der Wunsch, einer Informatikarbeit nachzugehen, die „den Menschen in den Mittelpunkt stellt“, erhöhten die Wahrscheinlichkeit, dass sie mit der Unterstützung der Fakultät des Instituts und anderer Studenten in ihren bevorzugten Forschungsbereichen fortfahren konnte.

Sie fand die Klasse 9.59J (Labor für Psycholinguistik), unterrichtet von einem Professor für Gehirn- und Kognitionswissenschaften Ted Gibsonum besonders aufschlussreich zu sein. „Es legte den Grundstein für meine Arbeit“, sagt sie.

Ihre Entscheidung, Linguistik neben Informatik und Kognition als Hauptfach zu studieren, bedeutete, dass sie ihr Interesse an Gehirnfunktionen und -technologie mit einem datengesteuerten Ansatz zum Erlernen und Verarbeiten von Sprachen verbinden konnte. „Das Hauptfach Linguistik hat die Macht der wissenschaftlichen Genauigkeit hervorgehoben, eine große Menge chaotischer, menschenzentrierter Daten zu organisieren und zu analysieren“, sagt sie. Ihre Studienleistungen untermauerten den Wert ihrer Entscheidung.

Honeycutt lobt die Freiheit, die der Fokus des MIT auf interdisziplinäre Studien bietet. „Forscher erforschen Unterschiede zwischen menschlichen und LLM-Sprachmodellen und -verarbeitung, und ein Großteil dieser Arbeit findet am MIT statt“, sagt sie. „MIT bietet eine umfassende Flexibilität, die es mir ermöglicht, mehreren akademischen Interessen nachzugehen.“

Es ist diese Flexibilität, die Honeycutt am meisten schätzt. „Das ist der einzige Grund, warum ich auf dem Weg bin, den ich gewählt habe“, fährt sie fort, der sich auf den Spracherwerb, die Bildungspolitik, die rechnerischen Möglichkeiten und Grenzen von LLMs und die Bildungsreform konzentriert.

Honeycutts Forschung wurde an einer Reihe von fortgesetzt MISTI Reisen im Jahr 2025. Im Sommer reiste sie nach Südafrika, wo sie an der arbeitete Südafrikanische Menschenrechtskommission‚S Kampagne „Recht auf Lesen“.. Sie erforschte Zusammenhänge zwischen Sprachverarbeitung und Gehirnfunktion und unterstützte Forschungsarbeiten zur Entwicklung von Gesetzen zur Verbesserung der Alphabetisierung unter Südafrikanern.

„Die sprachliche Vielfalt stellt in Südafrika große Herausforderungen dar“, betont sie. „Eine der Auswirkungen der Kolonialisierung auf indigene Afrikaner besteht beispielsweise darin, dass Kinder häufig von der Schule verdrängt werden, weil sie die Sprachen, die sie lernen – wie Afrikaans – nicht mit ihren Familien zu Hause anwenden können.“

Im Herbst 2025 unternahm sie eine MISTI-Reise nach Edinburgh, Schottland, wo sie Soziolinguistik studierte. Sie lernte, wie wichtig es ist, different Ansätze zur Linguistik des MIT in Betracht zu ziehen. „Der linguistische Ansatz des MIT stellt Wörter in den Mittelpunkt und nähert sich seiner Untersuchung wie einer mathematischen Aufgabe, während die Soziolinguistik wichtige kulturelle Kontexte einbezieht“, sagt sie. Die Verbindung beider führte zu einem umfassenderen, ganzheitlicheren Ansatz für die Arbeit.

Honeycutt legt Wert auf eine ausgewogene Herangehensweise an ihr Studium und schafft Zeit für außerschulische Aktivitäten, die es ihr ermöglichen, sowohl ihre Forschungsziele zu untersuchen als auch eine Gemeinschaft zu schaffen. „Ich habe 2024 ein politisches Praktikum in Washington, D.C. absolviert“, erinnert sie sich.

Sie ist Mitglied von Theta-Delta-Chieine Studentenverbindung, die sich aus einer vielfältigen Gruppe von Studenten mit unterschiedlichem akademischen Hintergrund zusammensetzt. Sie spielt Vereinsfußball der Frauen und ist Offizier bei der MIT Undergraduate Affiliation. Als Co-Vorsitzender der Ausschuss für ZivildienstSie leitet die Bemühungen, Kontakte zu Studenten zu knüpfen, die außerhalb des Campus wohnen.

Honeycutt engagiert sich außerdem ehrenamtlich bei der Group Constitution College of Cambridge und arbeitet daran, die Ergebnisse für leistungsschwache Schüler zu verbessern. Als Freiwillige ist sie in der Lage, einige der Bildungsideen, die in ihren Kursen entwickelt werden, zu erproben. „Ich möchte leistungsschwachen Studierenden auf die gleiche Weise helfen, wie einige Institutionen leistungsstarken Studierenden helfen“, sagt sie.

Das menschliche Ingredient

Laut Honeycutt prägt die Sprache die Artwork und Weise, wie ihre Benutzer die Welt sehen. „Mich interessiert, wie Sprache das Denken einschränken kann“, sagt sie. Die Beherrschung der Sprache ist auch ein wertvolles Instrument zur Messung der emotionalen Intelligenz. „Es ist wichtig, dass Menschen in der Schule Sprache lernen und verstehen“, argumentiert sie. „Menschen sollten Zugang zu einer Sprache haben, die es ihnen ermöglicht, ihre Gedanken effektiv zu kommunizieren.“

Honeycutt glaubt, dass Worte für Emotionen den Menschen helfen können, sie zu verarbeiten. Dies ist in Bereichen wie Übersetzung und Psychologie wichtig, wo Nuancen wichtig sein können. Sie glaubt auch, dass Lesen und Spracherwerb wesentliche Instrumente zur Entwicklung einer effektiven Selbstwahrnehmung sind. Sprache ist ein Denkmedium und bietet Leitplanken zur Verbesserung des Verständnisses.

„Der Zugriff auf einen großen Wortschatz, einschließlich Wörtern für Emotionen, kann Ihre emotionale Intelligenz steigern“, sagt sie.

Honeycutt verfügt über eine solide akademische Grundlage mit den Schwerpunkten Kognition, Sprache und KI und plant, nach seinem Abschluss ein Studium der Rechtswissenschaften und Politik fortzusetzen. Das bedeutet Jurastudium und Programme für öffentliche Ordnung, vielleicht an einer Establishment, die einen dualen Studiengang anbietet.

„Ich möchte benachteiligten Studierenden Möglichkeiten bieten“, sagt sie. „Probleme in politischen Bereichen sind teilweise schwierig, weil sie sich einer einfachen Kategorisierung entziehen und mehrere Interessengruppen betreffen.“ Bildung, sagt Honeycutt, „ist ein lustiges Drawback, das man zu lösen versucht.“ Sie möchte Bemühungen unterstützen, dauerhafte Veränderungen herbeizuführen, indem sie die Alphabetisierung verbessert, die sprachliche Vielfalt sicherstellt und Wissenschaft und Forschung bei der Ausarbeitung und Umsetzung wirksamer Gesetze in den Mittelpunkt stellt, die Lernenden, Institutionen, Familien und Gemeinschaften zugute kommen.

Es gibt keine einzelne Studie in einem Fachgebiet, die alle Fragen beantworten kann, argumentiert Honeycutt. Durch die Kombination der Wissenschaft der Gehirnfunktion mit den sozialen und mathematischen Aspekten der Linguistik kann sie weiterhin Sprache, ihren Gebrauch und ihre Auswirkungen auf Menschen und ihr Leben untersuchen. Ohne institutionelle und gemeinschaftliche Unterstützung können wir Bildungsherausforderungen nicht lösen, die KI und den Zugang zu KI-gestützten Werkzeugen verbessern und das Studium der Linguistik nicht fördern.

„Unterstützen Sie die Forschung“, sagt Honeycutt. „Geben Sie den Versuch, diese Probleme zu lösen, nicht auf.“

Das MIT Siegel Household Quest for Intelligence (SQI), eine Forschungseinheit am MIT Schwarzman School of Computing, bringt Forscher aus dem gesamten MIT zusammen, die ihr vielfältiges Fachwissen bündeln, um Intelligenz durch eng gekoppelte wissenschaftliche Forschung und strenge Technik zu verstehen. Diese Forscher engagieren sich in gemeinsamen Anstrengungen, die Wissenschaft, Technik, Geisteswissenschaften und mehr umfassen.

SQI möchte verstehen, wie Gehirne Intelligenz produzieren und wie diese in künstlichen Systemen repliziert werden kann, um reale Probleme anzugehen, die die Fähigkeiten aktueller Technologien der künstlichen Intelligenz übersteigen.

„Bei SQI untersuchen wir Intelligenz wissenschaftlich und allgemein, in der Hoffnung, dass wir durch die Untersuchung der Neurowissenschaften und des Verhaltens bei Menschen und Tieren sowie durch die Untersuchung dessen, was wir als intelligente technische Artefakte bauen können, in der Lage sein werden, die grundlegenden Prinzipien der Intelligenz zu verstehen“, sagt er Leslie Pack KaelblingSQI-Forschungsdirektor und Panasonic-Professor an der MIT-Abteilung für Elektrotechnik und Informatik.

„Wir bei SQI glauben, dass das Verständnis der menschlichen Intelligenz eine der größten offenen Fragen in der Wissenschaft ist – gleichauf mit dem Ursprung des Universums und unserem Platz darin sowie dem Ursprung des Lebens. Die Frage der menschlichen Intelligenz besteht aus zwei Teilen: Wie sie funktioniert und woher sie kommt. Wenn wir diese verstehen, werden wir Ergebnisse sehen, die weit über unsere derzeitigen Vorstellungen hinausgehen“, sagt er Jim DiCarloSQI-Direktor und Peter de Florez-Professor für Neurowissenschaften an der MIT-Abteilung für Gehirn- und Kognitionswissenschaften.

Erforschung der großen Geheimnisse des Geistes

Das MIT Siegel Household Quest for Intelligence wurde kürzlich in Anerkennung einer großen Schenkung des MIT Siegel Household umbenannt Stiftung der Familie Siegel Das ermöglicht weiteres Wachstum in SQIs Forschung und Aktivitäten.

Die Bemühungen von SQI sind um Missionen herum organisiert – langfristige, gemeinschaftliche Projekte, die auf grundlegenden Fragen der Intelligenz basieren und von Plattformen – Systemen und Software program – unterstützt werden, die neue Forschung ermöglichen und Benchmarking- und Testschnittstellen schaffen.

„Unsere Einheit am MIT ist die einzige, die sich dem Aufbau eines wissenschaftlichen Verständnisses von Intelligenz widmet und dabei mit Forschern im gesamten Institut zusammenarbeitet“, sagt DiCarlo. „In den letzten zehn Jahren gab es bemerkenswerte Fortschritte in der KI, aber ich glaube, dass das nächste Jahrzehnt noch größere Fortschritte in unserem Verständnis der menschlichen Intelligenz bringen wird – Fortschritte, die das, was wir KI nennen, neu gestalten werden. Indem David Siegel, die Siegel Household Endowment und unsere anderen Spender uns unterstützen, zeigen sie ihr Vertrauen in unseren Ansatz.“

Ein Erbe interdisziplinärer Unterstützung

Im Jahr 2011 gründete David Siegel SM ’86, PhD ’91 das Siegel Household Endowment (SFE), um Organisationen zu unterstützen, die an der Schnittstelle von Lernen, Arbeitskräften und Infrastruktur arbeiten. SFE finanziert Organisationen, die sich den kritischsten Herausforderungen der Gesellschaft stellen, und unterstützt gleichzeitig progressive Bürger- und Gemeindeführer, Sozialunternehmer, Forscher und andere, die diese Arbeit vorantreiben. Siegel ist Informatiker, Unternehmer und Philanthrop. Während seines Graduiertenstudiums am Synthetic Intelligence Lab des MIT arbeitete er in der Gruppe von Tomás Lozano-Pérez – derzeit Professor für Lehrexzellenz an der Faculty of Engineering – an Robotik und konzentrierte sich dabei auf das Erfassen und Erfassen. Später conflict er Mitbegründer von Two Sigma mit der Überzeugung, dass progressive Technologie, KI und Datenwissenschaft dazu beitragen könnten, den Wert der Daten der Welt zu entdecken. Heute treibt Two Sigma den Wandel in der gesamten Finanzdienstleistungsbranche in den Bereichen Investmentmanagement, Risikokapital, Personal Fairness und Immobilien voran.

Siegel erklärt: „Das menschliche Gehirn ist möglicherweise das komplexeste physikalische System im Universum, doch die meisten Menschen haben kein großes Interesse daran gezeigt, wie es funktioniert. Die Menschen halten den Geist für selbstverständlich, wundern sich aber so sehr über andere wissenschaftliche Geheimnisse, wie zum Beispiel den Ursprung des Universums. Meine Faszination für das Gehirn und seine Schnittstelle mit künstlicher Intelligenz rührt daher. Es ist mir egal, ob es kommerzielle Anwendungen für diese Suche gibt; stattdessen sollten wir Forschungen wie die am MIT Siegel Household Quest for Intelligence durchgeführte durchführen, um unsere Forschung voranzutreiben.“ Wenn wir mehr über die menschliche Intelligenz erfahren, hoffe ich, dass wir nicht nur den Grundstein für die Weiterentwicklung der künstlichen Intelligenz legen, sondern auch für die Erweiterung unseres eigenen Denkens.“

Als langjähriger Verfechter des Middle for Brains, Minds, and Machines (CBMM), einer von der Nationwide Science Basis finanzierten kooperativen interdisziplinären Forschungsinitiative, und einer der ersten Spender des MIT Quest for Intelligence half David Siegel dabei, den Grundstein für die heute laufende Forschung zu legen. Anfang 2024 gründete er Open Athena, eine gemeinnützige Organisation, die die Lücke zwischen akademischer Forschung und modernster KI schließt. Open Athena stattet Universitäten mit erstklassigen KI- und Datentechniktalenten aus, um bahnbrechende Entdeckungen in großem Maßstab zu beschleunigen. Siegel ist Mitglied des Govt Committee der MIT Company, stellvertretender Vorsitzender der Scratch Basis und Mitglied des Cornell Tech Council. Er sitzt außerdem im Vorstand von Re:Construct Manufacturing, Khan Academy, NYC FIRST und Carnegie Corridor.

Ein Katalysator für globale Zusammenarbeit

MIT-Präsidentin Sally Kornbluth sagt: „Von all den Spendern und Unterstützern, deren Großzügigkeit das Quest for Intelligence vorangetrieben hat, conflict niemand von Anfang an wichtiger als David Siegel. Ohne sein langjähriges Engagement für CBMM und seine Unterstützung für das Quest hätte sich diese Gemeinschaft vielleicht nie gebildet. Es gibt allen Grund zu der Annahme, dass Davids jüngste Schenkung, die das Quest for Intelligence umbenannt und auch das Schwarzman School of Computing unterstützt, die Zukunft dieser Initiative und des Fachgebiets selbst noch stärker prägen wird.“ Sie fährt fort: „Angetrieben durch großzügige Spender – insbesondere David Siegels transformative Gabe – ist SQI bereit, eine noch wichtigere Rolle zu übernehmen.“

Wissenschaftler und Ingenieure des SQI präsentieren ihre Arbeit umfassend, veröffentlichen Artikel und entwickeln neue Werkzeuge und Technologien, die in Forschungseinrichtungen auf der ganzen Welt eingesetzt werden, während sie mit Kollegen aus Disziplinen im gesamten Institut sowie an Universitäten und Institutionen auf der ganzen Welt zusammenarbeiten. DiCarlo erklärt: „Wir sind Teil des Schwarzman School of Computing, an der Schnittstelle zwischen den Menschen, die sich für Biologie und verschiedene Formen der Intelligenz interessieren, und den Menschen, die sich für KI interessieren. Wir arbeiten mit Partnern an anderen Universitäten, in gemeinnützigen Organisationen und in der Industrie zusammen – wir können es nicht alleine schaffen.“

„Grundsätzlich handelt es sich bei uns nicht um eine KI-Anstrengung. Wir sind eine menschliche Intelligenzanstrengung, die die Werkzeuge der Technik nutzt“, sagt DiCarlo. „Das gibt uns unter anderem sehr nützliche Erkenntnisse für das menschliche Lernen und die Gesundheit, aber auch sehr nützliche Werkzeuge für die KI – einschließlich KI, die in einer menschlichen Welt einfach viel besser funktionieren wird.“

Die gesamte SQI-Gemeinschaft aus Lehrkräften, Studierenden und Mitarbeitern freut sich darauf, sich den neuen Herausforderungen im Bemühen, die Grundlagen der Intelligenz zu verstehen, zu stellen.

Neue Missionen und nächste Horizonte

Die SQI-Forschung wird ausgeweitet: Die Hauptforscher der Mission bündeln ihre Bemühungen in verschiedenen Interessengebieten und erhöhen so ihre Wirkung auf dem Gebiet. In den kommenden Monaten plant die Organisation den Begin einer neuen Social-Intelligence-Mission.

„Wir müssen uns auf Probleme konzentrieren, die natürliche und künstliche Intelligenz widerspiegeln – und sicherstellen, dass wir neue Modelle für Aufgaben evaluieren, die widerspiegeln, was Menschen und andere natürliche Intelligenz tun können“, sagt er Nick RoySQI-Direktor für Systemtechnik und Professor für Luft- und Raumfahrt am MIT. Er prognostiziert, dass die zukünftige Forschung von SQI darauf angewiesen sein wird, die richtigen Fragen zu stellen: „Wir sind zwar intestine darin, Aufgaben auszuwählen, die unsere Rechenmodelle testen, und wir sind extrem intestine darin, Aufgaben auszuwählen, die irgendwie mit dem übereinstimmen, was unsere Modelle bereits leisten können, aber wir müssen besser darin werden, Aufgaben und Benchmarks auszuwählen, die auch etwas über die natürliche Intelligenz aussagen“, sagt er.

Am 24. November 2025 versammelten sich Lehrkräfte, Mitarbeiter, Studierende und Unterstützer zu einer Veranstaltung mit dem Titel „Der nächste Horizont: Die Zukunft von Quest„, um das nächste Kapitel von SQI zu feiern. Die Veranstaltung bestand aus einem Nachmittag mit Forschungsaktualisierungen, einer Podiumsdiskussion und einer Postersitzung zu neuer und sich entwickelnder Forschung und wurde von David Siegel, Vertretern des Siegel Household Endowment und verschiedenen Mitgliedern der MIT Company besucht. Aufzeichnungen der Präsentationen der Veranstaltung sind auf SQI verfügbar YouTube-Kanal.

Die Entfaltung Wandteppiche: Verständnis der Komplexität der Globalisierung

Bei Analytixon-Com erkennen wir an, wie wichtig es ist, die Globalisierung zu verstehen, ein Begriff, der im 21. Jahrhundert allgegenwärtig geworden ist, doch seine facettenreiche Natur bleibt oft verdeckt. Die Globalisierung bedeutet im Kern die zunehmende Vernetzung und Interdependenz von Nationen durch ein komplexes Netz des wirtschaftlichen, sozialen, kulturellen, politischen und technologischen Austauschs. Es ist eine tiefgreifende Verschiebung von einer Welt relativ isolierter Einheiten zu einer, in der Ereignisse in einer Ecke des Globus auf Kontinenten Welleneffekte haben können. Dieser Artikel soll sich mit den Nuancen der Globalisierung befassen und seine Treiber, Auswirkungen, Herausforderungen und potenziellen zukünftigen Trajektorien untersuchen.

Definieren der Landschaft: Dimensionen der Globalisierung

Die Globalisierung ist kein monolithisches Phänomen; Vielmehr manifestiert es sich in verschiedenen miteinander verbundenen Dimensionen:

• Wirtschaftliche Globalisierung: Dies ist vielleicht die prominenteste Dimension, die durch die Integration der Volkswirtschaften in die internationale Wirtschaft durch Handel, ausländische Direktinvestitionen, Kapitalflüsse, Migration und die Verbreitung von Technologie gekennzeichnet ist. Der Aufstieg multinationaler Unternehmen (MNCs), globale Lieferketten und internationale Finanzinstitute (IFIs) wie die Weltbank und der Internationale Währungsfonds (IWF) sind für diesen Prozess von zentraler Bedeutung.

• Soziale Globalisierung: Bezieht sich auf den Austausch von Ideen, Informationen, Werten und Lebensstilen über nationale Grenzen hinweg. Es wird durch Web, soziale Medien, internationale Reisen und Migration erleichtert. Diese Dimension fördert ein Gefühl der globalen Gemeinschaft, kann aber auch zur kulturellen Homogenisierung und zur Erosion lokaler Traditionen führen.

• Kulturelle Globalisierung: Eng mit der sozialen Globalisierung verbunden, beinhaltet dies die Verbreitung kultureller Elemente wie Musik, Filme, Mode und Essen. Während es den kulturellen Austausch und das kulturelle Verständnis fördern kann, wirft es auch Bedenken hinsichtlich des kulturellen Imperialismus auf, in dem dominante Kulturen Minderheitenkulturen überschatten und marginalisieren.

• Politische Globalisierung: Dies umfasst die wachsende Bedeutung internationaler Organisationen, Verträge und Vereinbarungen bei der Regierung globale Angelegenheiten. Es umfasst den Aufstieg des Völkerrechts, den zunehmenden Einfluss von NGOs und die Entstehung globaler Governance -Strukturen, um Probleme wie Klimawandel, Menschenrechte und Sicherheit anzugehen.

• Technologische Globalisierung: Dient als Motor, der viele andere Abmessungen fährt. Fortschritte in Kommunikationstechnologien, Transport- und Informationsverarbeitung haben die Kosten und die Zeit, die mit grenzüberschreitenden Interaktionen verbunden sind, dramatisch gesenkt. Insbesondere das Web hat die Artwork und Weise revolutioniert, wie Menschen kommunizieren, auf Informationen zugreifen und Geschäfte führen.

Die Katalysatoren des Wandels: Treiber der Globalisierung

In den letzten Jahrzehnten haben verschiedene Faktoren die Beschleunigung der Globalisierung angeheizt:

• Technologische Fortschritte: Wie bereits erwähnt, waren Innovationen in Kommunikation, Transport und Informationstechnologie zentral. Web, Mobiltelefone, Containerisierung und Flugreisen haben alle dazu beigetragen, die Welt zu verkleinern und globale Interaktionen zu ermöglichen.

• Liberalisierung von Handel und Investitionen: Die Reduzierung von Handelsbarrieren wie Zöllen und Quoten sowie die Liberalisierung der Investitionspolitik haben grenzüberschreitende Handels- und Investitionsflüsse gefördert. Die Gründung der World Commerce Group (WTO) hat eine Schlüsselrolle bei der Regulierung des internationalen Handels und der Lösung von Handelsstreitigkeiten gespielt.

• Politische und wirtschaftliche Reformen: Der Zusammenbruch des Kommunismus in Osteuropa und die Einführung marktorientierter Reformen in vielen Entwicklungsländern haben neue Märkte und Möglichkeiten für den globalen Handel und die globalen Investitionen eröffnet.

• Entstehung multinationaler Unternehmen: MNCs waren maßgeblich zur Förderung der wirtschaftlichen Globalisierung durch die Einrichtung globaler Versorgungsketten, in Investitionen in das Ausland und die Übertragung von Technologie und Know-how übergeordnet.

• Erhöhte Mobilität der Menschen: Migration, Tourismus und internationale Bildung haben den Austausch von Ideen, Kulturen und Fähigkeiten erleichtert und zur sozialen und kulturellen Globalisierung beitragen.

Ein zweischneidiges Schwert: Auswirkungen der Globalisierung

Die Globalisierung hatte tiefgreifende und facettenreiche Auswirkungen auf die Welt, sowohl positiv als auch negativ:

Optimistic Auswirkungen:

• Wirtschaftswachstum: Die Globalisierung hat zu einem Anstieg der Handels-, Investitions- und Technologietransferen ermöglicht, was in vielen Ländern zu Wirtschaftswachstum und -entwicklung führt. Für einige hat es neue Arbeitsplätze, gesteigerte Produktivität und einen verbesserten Lebensstandard geschaffen.

• Armutsbekämpfung: Obwohl die Vorteile der Globalisierung nicht gleichmäßig verteilt wurden, hat sie jedoch zur Reduzierung der Armut in mehreren Ländern, insbesondere in Asien, beigetragen. Erhöhter Handel und Investitionen haben Möglichkeiten für Beschäftigung und Einkommensgenerierung geschaffen und Millionen aus Armut herausgehoben.

• Erhöhter Zugang zu Waren und Dienstleistungen: Die Globalisierung hat die Verfügbarkeit von Waren und Dienstleistungen für Verbraucher auf der ganzen Welt erweitert. Die Verbraucher haben Zugang zu einer breiteren Vielfalt von Produkten zu niedrigeren Preisen und verbessern ihre Einkaufskraft und ihren Lebensstandard.

• Kultureller Austausch und Verständnis: Die Globalisierung hat den kulturellen Austausch und das kulturelle Verständnis gefördert, indem sie Menschen unterschiedlichen Kulturen, Ideen und Perspektiven ausgesetzt haben. Dies kann zu größerer Toleranz, Empathie und Wertschätzung für Vielfalt führen.

• Technologische Innovation: Die Globalisierung hat technologische Innovationen angeregt, indem er den Austausch von Wissen und Technologie über Grenzen hinweg erleichtert wird. Der Wettbewerb zwischen Unternehmen hat Innovationen und die Entwicklung neuer Produkte und Dienstleistungen vorangetrieben.

Detrimental Auswirkungen:

• Einkommensungleichheit: Eine der bedeutendsten Kritikpunkte an der Globalisierung ist, dass es sowohl innerhalb als auch zwischen den Ländern die Einkommensungleichheit verschärft hat. Während einige stark von der Globalisierung profitiert haben, wurden andere zurückgelassen, was zu sozialen Unruhen und politischen Instabilität führte.

• Jobverschiebung: Die Globalisierung hat in einigen Branchen zu einer Verschiebung von Arbeitsplätzen geführt, da Unternehmen die Produktion in Länder mit niedrigeren Arbeitskosten verlagern. Dies kann zu Arbeitslosigkeit, Lohnstagnation und wirtschaftlichen Schwierigkeiten für Arbeitnehmer in Industrieländern führen.

• Umweltverschlechterung: Die Globalisierung hat durch erhöhten Verbrauch, Verschmutzung und Entwaldung zu Umweltverschlechterungen beigetragen. Die Ausweitung des globalen Handels und der Investition hat zur Ausbeutung natürlicher Ressourcen und zur Verschlechterung von Ökosystemen geführt.

• Kulturelle Homogenisierung: Die Globalisierung kann zu kultureller Homogenisierung führen, bei der dominante Kulturen Minderheitenkulturen überschatten und marginalisieren. Dies kann zum Verlust der kulturellen Vielfalt und zur Erosion lokaler Traditionen führen.

• Verlust der nationalen Souveränität: Die Globalisierung kann die nationale Souveränität untergraben, wenn die Länder miteinander verbunden und voneinander abhängig werden. Internationale Organisationen und Vereinbarungen können die Fähigkeit der Regierungen einschränken, unabhängige Entscheidungen zu treffen.

Navigieren in der Zukunft: Herausforderungen und Chancen

Die Globalisierung ist ein fortlaufender Prozess, der sowohl Herausforderungen als auch Chancen darstellt. Um seine Vorteile zu nutzen und gleichzeitig die Risiken zu mildern, müssen politische Entscheidungsträger, Unternehmen und Einzelpersonen mehrere wichtige Probleme angehen:

• Förderung integrativer Wachstum: Es sind Richtlinien erforderlich, um sicherzustellen, dass die Vorteile der Globalisierung gerechter geteilt werden. Dies beinhaltet die Investition in Bildung, Fähigkeiten und soziale Sicherheitsnetze, um Arbeitnehmern zu helfen, sich an die sich verändernden Arbeitsmärkte anzupassen.

• Klimawandel adressieren: Die internationale Zusammenarbeit ist wichtig, um den Klimawandel anzugehen. Dies ist ein globales Downside, das kollektive Maßnahmen erfordert. Dies beinhaltet die Reduzierung der Treibhausgasemissionen, die Investition in erneuerbare Energien und die Förderung einer nachhaltigen Entwicklung.

• Stärkung der globalen Governance: Globale Governance -Strukturen müssen gestärkt werden, um Probleme wie Handelsungleichgewichte, finanzielle Instabilität und Sicherheitsbedrohungen anzugehen. Dies beinhaltet die Reform internationaler Organisationen wie der WTO, dem IWF und der UN.

• Schutz der kulturellen Vielfalt: Richtlinien sind erforderlich, um die kulturelle Vielfalt zu schützen und den kulturellen Austausch und das kulturelle Verständnis zu fördern. Dies schließt die Unterstützung lokaler Kulturen, die Förderung der Mehrsprachigkeit und die Förderung des interkulturellen Dialogs ein.

• Verbesserung der Cybersicherheit: Mit der zunehmenden Abhängigkeit von digitalen Technologien ist die Cybersicherheit ein entscheidendes Downside. Die internationale Zusammenarbeit ist erforderlich, um die Cyberkriminalität zu bekämpfen, die kritische Infrastruktur zu schützen und die Sicherheit von Daten und Informationen zu gewährleisten.

Schlussfolgerung: Eine Welt im Fluss

Die Globalisierung ist ein komplexer und dynamischer Prozess, der die Welt auf tiefgreifende Weise verändert hat. Obwohl es viele Vorteile gebracht hat, hat es auch neue Herausforderungen geschaffen. Durch das Verständnis der Treiber, Auswirkungen und potenziellen zukünftigen Globalisierungsverläufe können wir zusammenarbeiten, um eine integrativere, nachhaltigere und erfolgreichere Welt für alle zu schaffen. Der Schlüssel liegt darin, die Chancen zu nutzen und gleichzeitig die Risiken zu mildern und sicherzustellen, dass die Vorteile der Globalisierung gerechter geteilt werden und dass die Ressourcen des Planeten für zukünftige Generationen nachhaltig verwaltet werden.

Bild von Autor | Ideogramm

Generative KI -Modelle haben sich in den letzten Jahren als steigender Star herausgestellt, insbesondere mit der Einführung von Produkten des großartigen Modellmodells (LLM) wie Chatgpt. Mit der natürlichen Sprache, die Menschen verstehen können, können diese Modelle Eingaben verarbeiten und eine geeignete Ausgabe liefern. Aufgrund von Produkten wie Chatgpt sind auch andere Formen der generativen KI beliebt und Mainstream geworden.

Produkte wie Dall-e Und Midjourney sind inmitten des generativen KI -Booms aufgrund ihrer Fähigkeit, Bilder ausschließlich aus natürlichen Spracheingaben zu erzeugen, populär geworden. Diese beliebten Produkte erstellen keine Bilder aus dem Nichts. Stattdessen verlassen sie sich auf ein Modell, das als Diffusionsmodell bekannt ist.

In diesem Artikel werden wir das Diffusionsmodell entmystifizieren, um ein tieferes Verständnis der Technologie dahinter zu erlangen. Wir werden das grundlegende Konzept diskutieren, wie das Modell funktioniert und wie es geschult wird.

Neugierig? Lassen Sie uns darauf eingehen.

# Diffusionsmodell -Grundlagen

Diffusionsmodelle sind eine Klasse von AI -Algorithmen, die unter die Kategorie generativer Modelle fallen, um neue Daten basierend auf Trainingsdaten zu generieren. Im Fall von Diffusionsmodellen bedeutet dies, dass sie neue Bilder aus angegebenen Eingaben erstellen können.

Diffusionsmodelle erzeugen jedoch Bilder durch einen anderen Prozess als gewöhnlich, wobei das Modell Rauschen aus Daten hinzufügt und dann entfernt. Einfacher verändert das Diffusionsmodell ein Bild und verfeinert es dann, um das Endprodukt zu erstellen. Sie können sich das Modell als ein demoisinges Modell vorstellen, da es lernt, Rauschen aus den Bildern zu entfernen.

Formal tauchte das Diffusionsmodell erstmals im Papier auf Tiefes unbeaufsichtigtes Lernen mit Nichtgleichgewichtsthermodynamik von Sohl-Dickstein et al. (2015). Das Papier führt das Konzept des Konvertierens von Daten in Rauschen mit einem Prozess ein, der als kontrollierter Vorwärtsdiffusionsprozess bezeichnet wird, und schult dann ein Modell, um den Prozess umzukehren und die Daten zu rekonstruieren, was der demoising -Prozess ist.

Aufbau auf dieser Stiftung das Papier Denoising diffusion probabilistische Modelle von Ho et al. (2020) stellt das moderne Diffusionsgerüst ein, das hochwertige Bilder erzeugen und frühere beliebte Modelle wie generative kontroverse Netzwerke (GANS) übertreffen kann. Im Allgemeinen besteht ein Diffusionsmodell aus zwei kritischen Phasen:

1. Vorwärts (Diffusion) Prozess: Die Daten werden beschädigt, indem Rauschen inkrementell hinzugefügt wird, bis es nicht von zufälliger statischer statisch zu unterscheiden ist
2. Reverse (Denoising) -Prozess: Ein neuronales Netzwerk wird trainiert, um das Rauschen iterativ zu entfernen und zu lernen, wie Bilddaten aus vollständiger Zufälligkeit rekonstruieren

Versuchen wir, die Diffusionsmodellkomponenten besser zu verstehen, um ein klareres Bild zu haben.

// Vorwärtsprozess

Der Vorwärtsverfahren ist die erste Part, in der ein Bild systematisch abgebaut wird, indem Rauschen bis zum Zufallsprinzip statisch wird.

Der Vorwärtsverfahren wird kontrolliert und iterativ, was wir in den folgenden Schritten zusammenfassen können:

1. Beginnen Sie mit einem Bild aus dem Datensatz
2. Fügen Sie dem Bild eine kleine Menge Rauschen hinzu
3. Wiederholen Sie diesen Vorgang mehrmal

Nach genügend Schritten erscheint das Originalbild als reines Rauschen.

Der obige Prozess wird häufig als Markov -Kette mathematisch modelliert, da jede laute Model nur von der unmittelbar vor ihr abhängt, nicht von der gesamten Abfolge von Schritten.

Aber warum sollten wir das Bild nach und nach in Rauschen verwandeln, anstatt es in einem Schritt direkt in Rauschen umzuwandeln? Ziel ist es, das Modell nach und nach zu ermöglichen, die Korruption umzukehren. Kleine, inkrementelle Schritte ermöglichen es dem Modell, den Übergang von lauten zu weniger unzähligen Daten zu erlernen, wodurch das Bild Schritt für Schritt von reinem Rauschen rekonstruiert wird.

Um zu bestimmen, wie viel Rauschen bei jedem Schritt hinzugefügt wird, wird das Konzept eines Geräuschplans verwendet. Beispielsweise führen lineare Zeitpläne im Laufe der Zeit Geräusche vor, während Cosinus -Zeitpläne für einen längeren Zeitraum nützliche Bildfunktionen aufbewahren und nützliche Bildfunktionen erhalten.

Das ist eine kurze Zusammenfassung des Vorwärtsprozesses. Lassen Sie uns den umgekehrten Prozess kennenlernen.

// Umkehrprozess

In der nächsten Stufe nach dem Vorwärtsverfahren wird das Modell in einen Generator umgewandelt, der lernt, das Rauschen wieder in Bilddaten zu verwandeln. Durch iterative kleine Schritte kann das Modell Bilddaten generieren, die zuvor nicht vorhanden waren.

Im Allgemeinen ist der umgekehrte Prozess die Umkehrung des Vorwärtsprozesses:

1. Beginnen Sie mit reinem Rauschen – ein völlig zufälliges Bild, das aus Gaußschen Rauschen besteht
2. Entfernen Sie iterativ das Rauschen mit einem geschulten Modell, das versucht, eine umgekehrte Model jedes Vorwärtsschritts zu approximieren. In jeder Schritt
3. Schritt für Schritt wird das Bild zunehmend klarer, was zu den endgültigen Bilddaten führt

Dieser umgekehrte Prozess erfordert ein Modell, das geschult wurde, um laute Bilder zu denoise. Diffusionsmodelle verwenden häufig eine neuronale Netzwerkarchitektur wie ein U-NET, bei dem es sich um einen Autocodierer handelt, der Faltungsschichten in einer Encoder-Decoder-Struktur kombiniert. Während des Trainings lernt das Modell, die während des Vorwärtsprozesses hinzugefügten Rauschkomponenten vorherzusagen. In jedem Schritt berücksichtigt das Modell auch den Zeitschritt, sodass es seine Vorhersagen entsprechend dem Rauschenspiegel einstellen kann.

Das Modell wird typischerweise unter Verwendung einer Verlustfunktion wie dem mittleren Quadratfehler (MSE) trainiert, der den Unterschied zwischen dem vorhergesagten und dem tatsächlichen Rauschen misst. Durch die Minimierung dieses Verlusts über viele Beispiele hinweg kann das Modell allmählich den Diffusionsprozess umkehren.

Im Vergleich zu Alternativen wie Gans bieten Diffusionsmodelle mehr Stabilität und einen einfacheren generativen Weg. Der Schritt-für-Schritt-Denoising-Ansatz führt zu ausdrucksstärkerem Lernen, was das Coaching zuverlässiger und interpretierbarer macht.

Sobald das Modell vollständig trainiert ist, folgt die Erzeugung eines neuen Bildes dem umgekehrten Prozess, den wir oben zusammengefasst haben.

// Textkonditionierung

In vielen Textual content-zu-Picture-Produkten wie Dall-E und Midjourney können diese Systeme den umgekehrten Prozess mithilfe von Textanforderungen leiten, die wir als Textkonditionierung bezeichnen. Durch die Integration der natürlichen Sprache können wir eher eine passende Szene als zufällige Bilder erwerben.

Der Prozess funktioniert, indem ein vorgebildeter Textcodierer verwendet wird, z. B. Clip (kontrastive Sprache-Picture vor der Ausbildung)der die Textaufforderung in einen Vektor einbettet. Diese Einbettung wird dann durch einen Mechanismus wie Kreuzbewegung in die Diffusionsmodellarchitektur eingespeist, eine Artwork Aufmerksamkeitsmechanismus, mit dem sich das Modell auf bestimmte Teile des Textes konzentrieren und den Bildgenerierungsprozess mit dem Textual content ausrichten kann. Bei jedem Schritt des Umkehrungsprozesses untersucht das Modell den aktuellen Bildzustand und die Textaufforderung, wobei das Bild mit der Semantik aus der Eingabeaufforderung an die Semantik ausgerichtet ist.

Dies ist der Kernmechanismus, mit dem Dall-E und MidJourney Bilder von Eingabeaufforderungen generieren können.

# Wie unterscheiden sich Dall-e und MidJourney?

Beide Produkte verwenden Diffusionsmodelle als Fundament, unterscheiden sich jedoch in ihren technischen Anwendungen geringfügig.

Beispielsweise verwendet Dall-E ein Diffusionsmodell, das von Clip-basiertem Einbettung für die Textkonditionierung geleitet wird. Im Gegensatz dazu zeigt MidJourney seine proprietäre Diffusionsmodellarchitektur, die Berichten zufolge einen für hohen Realismus optimierten fein abgestimmten Picture-Decoder enthält.

Beide Modelle stützen sich auch auf Kreuzbewegungen, aber ihre Leitstile unterscheiden sich. Dall-E betont das Einhaltung der Eingabeaufforderung durch klassifikatorfreie Führung, die zwischen bedingungslosen und textbezogenen Ausgaben ausbaut. Im Gegensatz dazu neigt MidJourney dazu, die stilistische Interpretation zu priorisieren und möglicherweise eine höhere Normal-Leitlinienskala für klassifikatorfreie Anleitung zu verwenden.

Dall-E und Midjourney unterscheiden sich in der Umstellung von sofortiger Länge und Komplexität, da das Dall-E-Modell längere Eingabeaufforderungen verwalten kann, indem sie sie verarbeiten, bevor sie die Diffusionspipeline eingeben, während Midjourney dazu neigt, mit prägnanten Eingaben besser abzubauen.

Es gibt mehr Unterschiede, aber dies sind diejenigen, die Sie wissen sollten, die sich auf die Diffusionsmodelle beziehen.

# Abschluss

Diffusionsmodelle sind zu einer Grundlage moderner Textual content-zu-Picture-Systeme wie Dall-E und Midjourney geworden. Durch die Verwendung der grundlegenden Prozesse von Vorwärts- und Rückwärtsdiffusion können diese Modelle völlig neue Bilder aus Zufälligkeit erzeugen. Darüber hinaus können diese Modelle die natürliche Sprache verwenden, um die Ergebnisse durch Mechanismen wie Textkonditionierung und Kreuzung zu führen.

Ich hoffe das hat geholfen!

Cornellius Yudha Wijaya ist ein Information Science Assistant Supervisor und Datenautor. Während er in Vollzeit bei Allianz Indonesien arbeitet, liebt er es, Python- und Datentipps über soziale Medien und das Schreiben von Medien zu teilen. Cornellius schreibt über eine Vielzahl von KI- und maschinellen Lernthemen.

Bei der Berechnung der Leistung einer Anwendung kann sich die reale Leistung und die theoretische Leistung unterscheiden. Mit einem Ökosystem von Produkten, das mit hohen Leistungsbedürfnissen wie Excessive Efficiency Computing (HPC), Gaming oder in der aktuellen Landschaft – Großsprachenmodelle (LLMs) wächst, ist es wichtig, die Leistung einer Anwendung genau zu berechnen.

Das einfache Messen theoretischer Gflops (Gleitkommaoperationen professional Sekunde) reicht nicht aus, da Anwendungen diese Maximal in der realen Welt selten erreichen. Hier kommt das Dachlinienmodell ins Spiel und bietet eine klare visuelle Methode, um die Leistung einer Anwendung abzuschätzen und die kritische Rolle von hardwarespezifischen Optimierungen hervorzuheben.

Warum einfache Metriken nicht genug sind

Wenn wir über die Messung der Leistung nachdenken, gibt es einige Metriken, die in den Sinn kommen:

• Ausführungszeit: Das sagt es dir Wie lange Eine Aufgabe hat es erfüllt, aber keinen Einblick in Warum.
• Zyklen professional Anweisungen (CPI): Das only misst die Rechenleistung des Prozessors.
• Serielle gegen parallele Ausführung: Misst die Berechnung der Leistung übersehen Alle {Hardware} -Optimierungen.
• Schwimmpunktoperationen professional Sekunde (Flop/s): Das only stellt ein theoretisches Most dar, das in einem realen Szenario oft nicht erreichbar ist.

Obwohl dies gute Metriken sind, liefern sie im Allgemeinen nicht genügend Informationen. Beispielsweise ist die Verwendung der schwimmenden Punktvorgänge professional Sekunden eine theoretische Grenze, die nicht oft erreicht wird. Additionally benutze das als das nur Metrik reicht nicht aus, da es einen gemeinsamen Leistungsbegrenzer ignoriert – Datenbewegung.

Dachlinienmodellierung

Das Dachlinienmodell ist ein leistungsstarkes Software, das die Leistung einer Anwendung visuell gegen die Funktionen einer bestimmten Hardwarearchitektur wie einer CPU oder einer GPU ordnet. Das Modell hat seinen Namen aus der Type des von ihm erzeugten Grafik, das ein „Dach“ aus einer schrägen Linie und einer flachen, horizontalen Linie enthält. Diese Type stellt die ultimativen Leistungsgrenzen dar, die von der {Hardware} auferlegt wird.

Aus dieser Modellierungstechnik gibt es zwei Parameter, die die erreichbaren Grenzen mit {Hardware} definieren:

• Datenbewegung: Die Zeit, die zum Verschieben von Daten benötigt wird, berechnet als Gesamtdatengröße geteilt durch die Spitzenspeicherbandbreite des Methods.
• Berechnung: Die für Berechnungen erforderliche Zeit, die durch Teilen der Gesamtzahl der Gleitkommaoperationen durch die Spitzenberechnung des Methods (häufig in GFLOP/s) geteilt wird.

Die Gesamtausführungszeit einer Anwendung wird durch den größeren dieser beiden Werte bestimmt: max {data_movement, computation}.

Obwohl die {Hardware} eine bessere Berechnung der Leistung hat, kann Datenbewegungen häufig zum Engpass werden. Die Dachlinienmodellierung führt das Konzept von vor Arithmetische Intensität (KI). AI ist das Verhältnis der Floating-Punkt-Operationen, die für jedes vom Speicher verschobene Datenbyte ausgeführt werden.

• Ein Algorithmus mit hoher arithmetischer Intensität gilt als rechnenhungry. Die Leistung wird durch schnell berechnete Berechnungen eingeschränkt.
• Ein Algorithmus mit niedriger arithmetischer Intensität wird als datenhungry angesehen. Die Leistung ist begrenzt, wie schnell Daten verschoben werden können.

Die Grafik verstehen

Eine Dachlinie gilt für die erreichbaren Flop/S (y-Achse) gegen die arithmetische Intensität (x-Achse). Das „Dach“ selbst zeigt die Grenzen der {Hardware}. Der schräge Teil des Daches repräsentiert die Spitzendatenbandbreite (in GB/s), während der flache Teil die Peak -Rechenleistung (in GFLOPS) darstellt. Beachten Sie, dass sich alles im Bild in einer logarithmischen Skala befindet.

• Punkte unter dem Dach: Geben Sie die suboptimale Leistung an, die den Umfang der Verbesserung anzeigen.
• Punkte, die auf die schräge Linie treffen: Daten hungrige Anwendung. Die Leistung wird durch die Datenbandbreite begrenzt.
• Punkte, die die flache Linie treffen: Hungrige Anwendung berechnen. Es wird die vollständige Rechenleistung des Prozessors verwendet.

Warum ist Dachlinienmodellierung wichtig?

Die Dachlinienmodellierung bietet eine visuelle, intuitive Möglichkeit, die Anwendungsleistung zu verstehen und wichtige Merkmale wie Betriebsintensität, GPU -Funktionen und erreichbare Flop/s anzuzeigen. Diese Artwork von Modellierung hilft dem Programmierer, zielgerichtete Optimierungen für seine Anwendung für {Hardware} zu ermöglichen, mit denen bessere Ergebnisse erzielt werden können.

• Engpassanalyse: Eine visuelle Hilfe macht es dem Entwickler leicht, herauszufinden, wo der Engpass ist – Speicher oder Leistung. Wenn die Anwendung speicherintensiv ist, kann sich ein Entwickler auf die Verbesserung der Datenlokalität mit Techniken wie Caching oder Schleifenklappen konzentrieren. Wenn es intensiv berechnet wird, kann sich der Fokus auf parallele Berechnung oder Nutzung von Compiler -Optimierungen verlagern.
• {Hardware}- und Softwaredesign: Software program -Ingenieure sollten die zugrunde liegende {Hardware} nicht fürchten. Stattdessen sollte das {Hardware} -Design angenommen und optimiert werden. Software program -Ingenieure können Erkenntnisse aus der Dachlinienmodellierung verwenden, um die spezifische Architektur, die sie verwenden, zu nutzen und zu optimieren.

Dachlinienmodellierung in Aktion

Um die Modellierung von Dachlinien durchzuführen, müssen wir die Anwendung profilieren, um die Leistung zu verstehen. Aus Profilerstellung können wir Metriken wie Flops Operations (Flops Operations) und Reminiscence Bandbreite erhalten, die beide für die Modellierung von Dachlinien erforderlich sind. Dieser Artikel untersucht zwei dieser Instruments – Nvidia’s ncu Dies ist die NSight Compute CLI für die GPU -Analyse und den Pytorch -Profiler, insbesondere für Anwendungen mit Pytorch.

Für detaillierte Cuda -Kernel -Optimierung und präzise Flop/Byte -Berechnungen,, ncu Bietet direkte GPU -{Hardware} -Zählerinformationen. Im Gegensatz, torch.profiler.profile Bietet eine höhere Perspektive innerhalb von Pytorch und hilft beim Verständnis der Leistung auf Bedienungsebene, dem Tensor-Speicherverbrauch und dem gesamten Anwendungsverhalten, das sowohl die CPU- als auch die GPU-Aktivitäten umfasst.

Profilerstellung mit NCU

ncu ist die Befehlszeilenschnittstelle, die zum Profilieren von Cuda -Kerneln verwendet wird (2). Es kann die Ergebnisse direkt im Terminal angezeigt oder für eine spätere Analyse in einer Protokolldatei speichern. Um ein Dachlinienmodell zu erstellen, müssen wir die spezifischen Metriken erfassen, mit denen wir die arithmetische Intensität berechnen können.

Wir werden das Pytorch ImageNet -Repository (3) als Beispiel verwenden. Es ist eine gute Wahl, weil es leicht zu verstehen ist, von Pytorch intestine dokumentiert und mit ihrem Profiler zusammenarbeitet, damit wir uns wirklich mit der Leistung befassen können.

Schritt 1: Führen Sie den Befehl ncu aus, um Metriken zu sammeln

Der erste Schritt besteht darin, die Anwendung über NCU auszuführen, um die erforderlichen Daten auf {Hardware}-Ebene zu sammeln. Der Befehl sieht so aus:

ncu --log-file <log_file_name> 
    --metrics <list_of_metrics_separated_by_comma> 
    --target-processes all 
    python3 <your_application.py application_arguments>

• Protokollfile: Die Protokolldatei, in der wir die Ergebnisse speichern möchten.
• Metriken: Dies ist der wichtigste Parameter und zeigt die Metriken, die wir erfassen möchten. Zur Berechnung der arithmetischen Intensität betrachten wir:
  • dram__sectors_write.sum : Summe der Dram -Sektoren geschrieben
  • dram__sectors_read.sum : Summe der DRAM -Sektoren lesen
  • smsp__sass_thread_inst_executed_op_fadd_pred_on.sum : Summe der schwimmenden Punktzüge
  • smsp__sass_thread_inst_executed_op_fmul_pred_on.sum : Summe von Gleitkomma-Multiplikationen
  • smsp__sass_thread_inst_executed_op_ffma_pred_on.sum : Summe des fusionierten Fusions-Multiplikations-Operationen
• Zielprozess: all Flag stellt sicher, dass wir die gesamte Anwendung profilieren.

Unser Befehl ncu ändert sich zu:

ncu --log-file logs_example --metrics dram__sectors_write.sum, 
dram__sectors_read.sum, 
smsp__sass_thread_inst_executed_op_fadd_pred_on.sum,  
smsp__sass_thread_inst_executed_op_fmul_pred_on.sum, 
smsp__sass_thread_inst_executed_op_ffma_pred_on.sum 
--target-processes all python3 
essential.py /imagenet --arch resnet50 --epochs 1 --batch-size 10 
--print-freq 10 --seed 42

Schritt 2: Berechnung von Flops aus den Metriken

Sobald der Profiler ausgeführt wurde, können wir die gesammelten Metriken zusammenfassen, um die gesamten Schwimmpunktoperationen zu berechnen. Die Formel lautet:

(Flops = 2 * fma _count + fadd _count + fmul _count )

• Flops: Zählung von schwimmenden Punktoperationen.
• Fma_count: Fusions-Multiply-ADD-Operationen (FMA) gilt typischerweise als 2 Flops (eine Multiplikation und eine Addition). Dies wird durch die dargestellt smsp__sass_thread_inst_executed_op_ffma_pred_on.sum metrisch.
• FADD_COUNT: Dies wird durch die dargestellt smsp__sass_thread_inst_executed_op_fadd_pred_on.sum metrisch.
• Fmul_count: Dies wird durch die dargestellt smsp__sass_thread_inst_executed_op_fmul_pred_on.sum metrisch.

Schritt 3: Berechnen Sie die übertragenen Bytes

Als nächstes berechnen wir die Gesamtdaten, die zu und von DRAM übertragen werden. Die NCU -Metriken liefern die Anzahl der gelesenen und geschriebenen DRAM -Sektoren. Angenommen, eine gemeinsame Sektorgröße von 32 Bytes für modernen GPUs:

.

Schritt 4: Berechnen Sie die arithmetische Intensität

Mit Flops und Gesamtbytes können wir jetzt die arithmetische Intensität berechnen:

(Ai = flops / Complete _dram _bytes )

Schritt 5: Berechnen Sie die Ausführungszeit

Um die Leistung der Anwendung in Flop/S zu finden, benötigen wir auch die Ausführungszeit. Hierzu können wir Nvidia NSIGHT Methods (NSYS) verwenden, einen systemweiten Profiler, der die Laufzeit der Anwendungssegmente genau messen kann. Wir führen unsere Anwendung erneut mit NSYS aus, um einen zeitbasierten Bericht zu erstellen. Aus diesem Bericht können wir die gesamte GPU -Laufzeit extrahieren.

nsys profile -f true -o <your_nsys_output_file.qdrep> python3 
<your_application.py application_arguments>

Unser NSYS -Befehl ändert sich zu:

nsys profile -f true -o time.qdrep python3 essential.py /imagenet 
--arch resnet50 --epochs 1 --batch-size 10 --print-freq 10 
--seed 42

Nachdem wir diesen Befehl ausgeführt haben, können wir das bekommen GPU_RUNNING_TIME.

Schritt 6: Berechnen Sie die Anwendungsleistung

Schließlich berechnen wir die erreichte Leistung in Flop/s, indem wir die Gesamtflops durch die Ausführungszeit teilen:

(Flop / s = flops / gpu _running _time )

Dieser Wert gibt uns den „erreichbaren Flop/S“, den wir in unserem Dachliniengraphen zeichnen können.

Profilerstellung mit Taschenlampe

Für Anwendungen, die in Pytorch geschrieben wurden, das integrierte integrierte Anwendungen torch.profiler.profile Bietet eine benutzerfreundliche Möglichkeit, Leistungsdaten zu sammeln. Es gibt 2 Optionen, die den Entwicklern zur Verfügung gestellt werden:

• Verwenden Sie den Profiler -Kontextmanager
• Concentrating on Profiling für bestimmte neuronale Netzwerkschichten

Profiler -Kontextmanager

Der Teil des Code, den wir profilieren möchten torch.profiler.profile() Kontextmanager. Im with Aussage können Sie die definieren actions zu verfolgen (CPU, CUDA oder beides), setzen a schedule Um bestimmte Trainingsschritte zu profilieren, und wählen Sie, ob Tensorformen, Speicherverbrauch oder Flops aufgezeichnet werden. Sobald Sie im Kontext sind, müssen Sie anrufen prof.step() Am Ende jeder Iteration, um dem Profiler voranzukommen, insbesondere wenn ein Zeitplan verwendet wird.

with profile(
    actions=<arguments>,
    schedule=torch.profiler.schedule(<arguments>),
    record_shapes=<True|False>,
    profile_memory=<True|False>,
    with_flops=<True|False>
) as prof:

    ....
    prof.step()

• Aktivitäten: Geben Sie an, ob die CPU, CUDA oder beides profiliert werden soll.
• Zeitplan: Nützlich zum Profilieren mehrerer Schritte in der Trainingsschleife. Wenn der Zeitplanparameter verwendet wird, muss der Profiler Prof.Step () aufrufen, um zum nächsten Schritt zu wechseln.
• record_shapes: Ob Sie die Formen der Tensoren aufzeichnen.
• Profil_Memory: Um die Speicherverwendung zu erfassen
• With_Flops: Dies ist experimentell, wird aber verwendet, um mit Operatoren zu flopieren.

Unser Profiler -Befehl ändert sich zu:

with profile(
    actions=(ProfilerActivity.CPU, ProfilerActivity.CUDA),
    schedule=torch.profiler.schedule(wait=1, warmup=1, energetic=3, repeat=2),
    record_shapes=True,
    profile_memory=True,
    with_flops=True
) as prof:

Concentrating on Profiling für bestimmte neuronale Netzwerkschichten

Der Profiler kann auch zielgerichtet verwendet werden, um bestimmte Schichten eines neuronalen Netzwerks zu analysieren. Dies ist nützlich zu überprüfen, ob eine bestimmte Ebene mehr zur Leistung beiträgt als die anderen Ebenen, die dem Entwickler die Möglichkeit geben, bestimmte Ebenen zu ändern. Während dies sehr einfach zu bedienen ist, funktioniert die erste Choice besser. Die Ergebnisse der Pytorch -Profiler können auch in einem Tensorboard exportiert und sichtbar gemacht werden.

profiler.begin()
self.conv2(x)
profiler.cease()

LLMs und Dachlinienmodellierung

Wenn Sie zu dem Thema kommen, haben alle gewartet – hilft die Modellierung von Dachlinien bei der LLM -Leistungsberechnung? Die kurze Antwort lautet ja.

LLMs sind komplexe neuronale Netzwerkarchitekturen mit Milliarden von Parametern und den massiven Datensätzen, die sie verarbeiten. Während das Coaching eine sehr ressourcenintensive Aufgabe ist, müssen auch Inferenz und Feinabstimmung des Modells effizient sein.

• Engpässe: LLMs während der Inferenz können unter Engpässen leiden, da sie mit der Menge an Parametern arbeiten. Diese Parameter sind die Gewichte der Modelle und verursachen Probleme mit der Speicherbandbreite. Mithilfe der Dachlinienmodellierung können die genauen Schichten für die Engpässe vorgestellt werden.
• Hardwareauswahl: Da die meisten Organisationen vorhandene Modelle fein abschneiden, anstatt sie von Grund auf neu zu trainieren, ist die Auswahl der richtigen Infrastruktur von entscheidender Bedeutung für die Verwaltung der Kosten. Dies unterstreicht, wie wichtig es ist, eine optimale Infrastruktur für das Coaching zu wählen. Wenn Sie beispielsweise die {Hardware} entsprechend Ihrer LLM -Architektur auswählen oder Ihr Modell für eine bestimmte Architektur optimieren, kann das Coaching und die Inferenzkosten gesenkt werden.

Abschluss

Das Dachlinienmodell bietet eine leistungsstarke visuelle Analyse der Anwendungsleistungoptimierung. Durch die Visualisierung der Anwendungsleistung für Speicher und Berechnung wird eine klare Anleitung zur Auswahl des besten Weges zur Annäherung an Optimierungen vorgesehen. Während dieser Artikel nur naive Dachlinienmodelle betrachtete, gibt es fortschrittlichere Techniken wie hierarchische Dachlinienmodelle oder Hinzufügen von Decken für bestimmte Berechnungsoptimierungen.

Referenzen

(1) https://docsnersc.gov/instruments/efficiency/roofline/

(2) https://docs.nvidia.com/nsight-compute/nsightcomputecli/index.html

(3) https://github.com/pytorch/examples/tree/essential/imagenet

(4) https://developer.nvidia.com/nsight-systems

Bäume sind ein beliebter beaufsichtigter Lernalgorithmus mit Vorteilen, darunter auch für Regression und Klassifizierung verwendet werden und leicht zu interpretieren sind. Entscheidungsbäume sind jedoch nicht der leistungsstärkste Algorithmus und sind aufgrund kleiner Unterschiede in den Trainingsdaten zu Überanpassung anfällig. Dies kann zu einem völlig anderen Baum führen. Aus diesem Grund wenden sich Menschen oft an Ensemble -Modelle wie gepackte Bäume und zufällige Wälder. Diese bestehen aus mehreren Entscheidungsbäumen, die auf Bootstrap -Daten geschult und aggregiert sind, um eine bessere prädiktive Leistung zu erzielen, als jeder einzelne Baum bieten könnte. Dieses Tutorial enthält Folgendes:

• Was ist einsackt
• Was macht zufällige Wälder unterschiedlich
• Coaching und Stimmen eines zufälligen Waldes mit Scikit-Study
• Berechnung und Interpretation der Merkmals Bedeutung
• Visualisieren individueller Entscheidungsbäume in einem zufälligen Wald

Wie immer ist der in diesem Tutorial verwendete Code in meinem verfügbar Github. A Videoversion Von diesem Tutorial ist auch auf meinem YouTube -Kanal für diejenigen verfügbar, die es vorziehen, visuell mitzugehen. Bemerken wir damit!

Was ist ein Sacking (Bootstrap -Aggregation)

Zufällige Wälder können als Bagging -Algorithmen eingestuft werden (BOotstrap AggRegating). Das Sacken besteht aus zwei Schritten:

1.) Bootstrap -Sampling: Erstellen Sie mehrere Trainingssätze, indem Sie Stichproben mit Ersatz aus dem ursprünglichen Datensatz zufällig zeichnen. Diese neuen Trainingseinsätze, die als Bootstrapt -Datensätze bezeichnet werden, enthalten normalerweise die gleiche Anzahl von Zeilen wie der ursprüngliche Datensatz, aber einzelne Zeilen können mehrmals oder gar nicht angezeigt werden. Im Durchschnitt enthält jeder Bootstrap -Datensatz etwa 63,2% der eindeutigen Zeilen aus den Originaldaten. Die verbleibenden ~ 36,8% der Zeilen werden ausgelassen und können für die Auswertung außerhalb des Baggage (OOB) verwendet werden. Weitere Informationen zu diesem Konzept finden Sie in meinem Probenahme mit und ohne Ersatz -Weblog -Beitrag.

2.) Aggregation Vorhersagen: Jeder Bootstrap -Datensatz wird verwendet, um ein anderes Entscheidungsbaummodell zu trainieren. Die endgültige Vorhersage erfolgt durch die Kombination der Ausgaben aller einzelnen Bäume. Für die Klassifizierung erfolgt dies normalerweise durch Mehrheitsabstimmung. Für die Regression werden Vorhersagen gemittelt.

Das Coaching jedes Baumes auf einer anderen Stiefelprobe führt zu Variationen über Bäume. Während dies die Korrelation nicht vollständig beseitigt – insbesondere wenn bestimmte Merkmale dominieren, hilft es, die Überanpassung in Kombination mit der Aggregation zu verringern. Durchschnitt der Vorhersagen vieler solcher Bäume reduziert den Gesamt Varianz des Ensembles, Verbesserung der Verallgemeinerung.

Was macht zufällige Wälder unterschiedlich

Angenommen, es gibt eine einzige starke Funktion in Ihrem Datensatz. In SackbäumeJeder Baum kann dieses Merkmal wiederholt teilen, was zu korrelierten Bäumen führt und weniger von der Aggregation profitiert. Zufällige Wälder reduzieren dieses Downside, indem sie weitere Zufälligkeit einführen. Insbesondere verändern sie, wie Spaltungen während des Trainings ausgewählt werden:

1). Erstellen Sie N -Bootstrap -Datensätze. Beachten Sie, dass das Bootstrapping in zufälligen Wäldern üblicherweise verwendet wird, es ist jedoch nicht streng erforderlich, da Schritt 2 (Auswahl der zufälligen Merkmale) eine ausreichende Vielfalt der Bäume einführt.

2). Für jeden Baum wird bei jedem Knoten eine zufällige Untergruppe von Merkmalen als Kandidaten ausgewählt, und die beste Spaltung wird aus dieser Teilmenge ausgewählt. In Scikit-Study wird dies von der gesteuert max_features Parameter, der standardmäßig angeht 'sqrt' für Klassifikatoren und 1 für Regressoren (gleichwertig mit abgesackten Bäumen).

3). Aggregation Vorhersagen: Stimmen Sie für Klassifizierung und Durchschnitt für die Regression.

Hinweis: Zufällige Wälder verwenden Probenahme mit Ersatz für Bootstrap -Datensätze und Abtastung ohne Ersatz Zur Auswahl einer Untergruppe von Funktionen.

OB-of-Bag (OOB) Rating

Da ~ 36,8% der Schulungsdaten von einem bestimmten Baum ausgeschlossen sind, können Sie diesen Holdout -Teil verwenden, um die Vorhersagen dieses Baumes zu bewerten. Scikit-Study ermöglicht dies über den Parameter OOB_SCORE = True, und bietet einen effizienten Weg, um die Verallgemeinerungsfehler abzuschätzen. Sie werden diesen Parameter im Trainingsbeispiel später im Tutorial sehen.

Coaching und Stimmen eines zufälligen Waldes in Scikit-Study

Zufällige Wälder bleiben dank ihrer Einfachheit, Interpretierbarkeit und Fähigkeit zu einer starken Grundlinie für tabellarische Daten parallelisieren Da wird jeder Baum unabhängig trainiert. Dieser Abschnitt zeigt, wie Daten geladen werden. Führen Sie einen Zugtest geteilt durchtrainieren Sie ein Basismodell, stimmen Sie Hyperparameter mit der Gittersuche ab und bewerten Sie das endgültige Modell im Testsatz.

Schritt 1: Trainieren Sie ein Basismodell

Vor dem Einstellen ist es eine gute Praxis, ein Basismodell mit angemessenen Standardeinstellungen zu trainieren. Dies gibt Ihnen ein anfängliches Leistungsgefühl und ermöglicht es Ihnen, die Generalisierung mithilfe des OB-Bag-Scores (OB-BAG) zu validieren, der in magebasierte Modelle wie zufällige Wälder integriert ist. In diesem Beispiel werden die Hausverkäufe in King County Dataset (CCO 1.0 Common Lizenz) verwendet, die zwischen Mai 2014 und Mai 2015 den Verkauf von Immobilien aus dem Gebiet von Seattle enthält. Mit diesem Ansatz können wir den Testsatz für die endgültige Bewertung nach dem Tuning reservieren.

Python"># Import libraries

# Some imports are solely used later within the tutorial
import matplotlib.pyplot as plt

import numpy as np

import pandas as pd

# Dataset: Breast Most cancers Wisconsin (Diagnostic)
# Supply: UCI Machine Studying Repository
# License: CC BY 4.0
from sklearn.datasets import load_breast_cancer

from sklearn.ensemble import RandomForestClassifier

from sklearn.ensemble import RandomForestRegressor

from sklearn.inspection import permutation_importance

from sklearn.model_selection import GridSearchCV, train_test_split

from sklearn import tree

# Load dataset
# Dataset: Home Gross sales in King County (Might 2014–Might 2015)
# License CC0 1.0 Common
url = 'https://uncooked.githubusercontent.com/mGalarnyk/Tutorial_Data/grasp/King_County/kingCountyHouseData.csv'

df = pd.read_csv(url)

columns = ('bedrooms',

            'loos',

            'sqft_living',

            'sqft_lot',

             'flooring',

             'waterfront',

             'view',

             'situation',

             'grade',

             'sqft_above',

             'sqft_basement',

             'yr_built',

             'yr_renovated',

             'lat',

             'lengthy',

             'sqft_living15',

             'sqft_lot15',

             'value')

df = df(columns)

# Outline options and goal

X = df.drop(columns='value')

y = df('value')

# Prepare/take a look at break up

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# Prepare baseline Random Forest

reg = RandomForestRegressor(

    n_estimators=100,        # variety of timber

    max_features=1/3,        # fraction of options thought of at every break up

    oob_score=True,          # permits out-of-bag analysis

    random_state=0

)

reg.match(X_train, y_train)

# Consider baseline efficiency utilizing OOB rating

print(f"Baseline OOB rating: {reg.oob_score_:.3f}")

Schritt 2: Schalten Sie Hyperparameter mit der Gittersuche ab

Während das Basismodell einen starken Ausgangspunkt liefert, kann die Leistung häufig durch Tuning von Schlüsselhyperparametern verbessert werden. Grid-Suche Kreuzvalidierung, wie durch implementiert von GridSearchCVsystematisch untersucht Kombinationen von Hyperparametern und verwendet eine Kreuzvalidierung, um die einzelnen zu bewerten, wobei die Konfiguration mit der höchsten Validierungsleistung ausgewählt wird. Zu den am häufigsten abgestimmten Hyperparametern gehören:

• n_estimators: Die Anzahl der Entscheidungsbäume im Wald. Mehr Bäume können die Genauigkeit verbessern, aber die Trainingszeit erhöhen.
• max_features: Die Anzahl der Funktionen zu berücksichtigen, wenn Sie nach dem besten Cut up suchen. Niedrigere Werte verringern die Korrelation zwischen Bäumen.
• max_depth: Die maximale Tiefe jedes Baumes. Flachere Bäume sind schneller, können aber unterbinden.
• min_samples_split: Die minimale Anzahl von Proben, die zum Aufteilen eines internen Knotens erforderlich sind. Höhere Werte können die Überanpassung verringern.
• min_samples_leaf: Die minimale Anzahl von Proben, die erforderlich sind, um sich an einem Blattknoten zu befinden. Hilft bei der Kontrolle der Baumgröße.
• bootstrap: Ob Bootstrap -Proben beim Bau von Bäumen verwendet werden. Wenn falsch, wird der gesamte Datensatz verwendet.

param_grid = {

    'n_estimators': (100),

    'max_features': ('sqrt', 'log2', None),

    'max_depth': (None, 5, 10, 20),

    'min_samples_split': (2, 5),

    'min_samples_leaf': (1, 2)

}

# Initialize mannequin

rf = RandomForestRegressor(random_state=0, oob_score=True)

grid_search = GridSearchCV(

    estimator=rf,

    param_grid=param_grid,

    cv=5,             # 5-fold cross-validation

    scoring='r2',     # analysis metric

    n_jobs=-1         # use all obtainable CPU cores

)

grid_search.match(X_train, y_train)

print(f"Finest parameters: {grid_search.best_params_}")

print(f"Finest R^2 rating: {grid_search.best_score_:.3f}")

Schritt 3: Bewerten Sie das endgültige Modell im Testsatz

Nachdem wir nun das auf Foundation von Quervalidierung basierende Modell ausgewählt haben, können wir es am Maintain-Out-Take a look at-Set bewerten, um seine Generalisierungsleistung abzuschätzen.

# Consider ultimate mannequin on take a look at set

best_model = grid_search.best_estimator_

print(f"Take a look at R^2 rating (ultimate mannequin): {best_model.rating(X_test, y_test):.3f}")

Berechnung der Wichtigkeit des zufälligen Waldmerkmals

Einer der Hauptvorteile zufälliger Wälder ist ihre Interpretierbarkeit – etwas, das große Sprachmodelle (LLMs) häufig fehlen. Während LLMs leistungsfähig sind, fungieren sie normalerweise als schwarze Kisten und können Zeigen Sie Verzerrungen auf, die schwer zu identifizieren sind. Im Gegensatz dazu unterstützt Scikit-Study zwei Hauptmethoden zur Messung der Merkmals Bedeutung in zufälligen Wäldern: mittlere Abnahme von Verunreinigungen und Permutation.

1). Durch die mittlere Verringerung der Verunreinigung (MDI): Diese Methode auch als Gini -Bedeutung bezeichnet. Diese Methode berechnet die Gesamtreduktion der Verunreinigung, die jedes Merkmal über alle Bäume übertragen wird. Dies ist schnell und in das Modell integriert über through reg.feature_importances_. Unreinheitsbasierte Merkmalsimporte können jedoch irreführend sein, insbesondere für Funktionen mit hoher Kardinalität (viele einzigartige Werte), da diese Funktionen eher ausgewählt werden, nur weil sie mehr potenzielle Cut up-Punkte liefern.

importances = reg.feature_importances_

feature_names = X.columns

sorted_idx = np.argsort(importances)(::-1)

for i in sorted_idx:

    print(f"{feature_names(i)}: {importances(i):.3f}")

2). Permutation Bedeutung: Diese Methode bewertet die Abnahme der Modellleistung, wenn die Werte eines einzelnen Merkmals zufällig gemischt werden. Im Gegensatz zu MDI berücksichtigt es Function -Interaktionen und Korrelation. Es ist zuverlässiger, aber auch rechenintensiver.

# Carry out permutation significance on the take a look at set

perm_importance = permutation_importance(reg, X_test, y_test, n_repeats=10, random_state=0)

sorted_idx = perm_importance.importances_mean.argsort()(::-1)

for i in sorted_idx:

    print(f"{X.columns(i)}: {perm_importance.importances_mean(i):.3f}")

Es ist wichtig zu beachten, dass unsere geografischen Merkmale Lat und Lengthy auch für die Visualisierung nützlich sind, wie das folgende Diagramm zeigt. Es ist wahrscheinlich, dass Unternehmen wie Zillow die Standortinformationen in ihren Bewertungsmodellen ausgiebig einsetzen.

Visualisieren individueller Entscheidungsbäume in einem zufälligen Wald

Ein zufälliger Wald besteht aus mehreren Entscheidungsbäumen – einer für jeden über die angegebenen Schätzer n_estimators Parameter. Nach dem Coaching des Modells können Sie diese einzelnen Bäume über das Attribut .Sestimators_ zugreifen. Das Visualisieren einiger dieser Bäume kann helfen, zu veranschaulichen, wie unterschiedlich jeder die Daten aufgrund von Bootstrap -Trainingsproben und zufälligen Merkmalsauswahl bei jedem Cut up spaltet. Während das frühere Beispiel einen zufälligen ForestRegressor verwendete, zeigen wir hier diese Visualisierung anhand eines auf dem Breast Most cancers Wisconsin -Datensatzes (CC nach 4.0 -Lizenz) ausgebildeten RandomforestClassifiers, um die Vielseitigkeit von zufälligen Wäldern für Regressions- und Klassifizierungsaufgaben hervorzuheben. Dieses kurze Video zeigt, wie 100 geschulte Schätzer aus diesem Datensatz aussehen.

Passen Sie ein zufälliges Waldmodell mit Scikit-Study an

# Load the Breast Most cancers (Diagnostic) Dataset

knowledge = load_breast_cancer()

df = pd.DataFrame(knowledge.knowledge, columns=knowledge.feature_names)

df('goal') = knowledge.goal

# Organize Knowledge into Options Matrix and Goal Vector

X = df.loc(:, df.columns != 'goal')

y = df.loc(:, 'goal').values

# Cut up the information into coaching and testing units

X_train, X_test, Y_train, Y_test = train_test_split(X, y, random_state=0)

# Random Forests in `scikit-learn` (with N = 100)

rf = RandomForestClassifier(n_estimators=100,

                            random_state=0)

rf.match(X_train, Y_train)

Zeichnen einzelner Schätzer (Entscheidungsbäume) aus einem zufälligen Wald unter Verwendung von Matplotlib

Sie können jetzt alle einzelnen Bäume aus dem montierten Modell anzeigen.

rf.estimators_

Sie können jetzt einzelne Bäume visualisieren. Der folgende Code visualisiert den ersten Entscheidungsbaum.

fn=knowledge.feature_names

cn=knowledge.target_names

fig, axes = plt.subplots(nrows = 1,ncols = 1,figsize = (4,4), dpi=800)

tree.plot_tree(rf.estimators_(0),

               feature_names = fn, 

               class_names=cn,

               stuffed = True);

fig.savefig('rf_individualtree.png')

Obwohl es schwierig zu interpretieren ist, viele Bäume zu planen, möchten Sie möglicherweise die Vielfalt zwischen den Schätzern untersuchen. Das folgende Beispiel zeigt, wie die ersten fünf Entscheidungsbäume im Wald visualisieren:

# This will likely not one of the best ways to view every estimator as it's small

fig, axes = plt.subplots(nrows=1, ncols=5, figsize=(10, 2), dpi=3000)

for index in vary(5):

    tree.plot_tree(rf.estimators_(index),

                   feature_names=fn,

                   class_names=cn,

                   stuffed=True,

                   ax=axes(index))

    axes(index).set_title(f'Estimator: {index}', fontsize=11)

fig.savefig('rf_5trees.png')

Abschluss

Zufällige Wälder bestehen aus mehreren Entscheidungsbäumen, die auf Bootstrap -Daten ausgebildet sind, um eine bessere prädiktive Leistung zu erzielen, als aus einer der einzelnen Entscheidungsbäume erhalten werden könnten. Wenn Sie Fragen oder Gedanken zum Tutorial haben, können Sie sich gerne durchgehen YouTube oder X.

Einführung

startupProbe:
  httpGet:
    path: /well being
    port: 80
  failureThreshold: 30
  periodSeconds: 10

livenessProbe:
  httpGet:
    path: /well being
    port: 80
  periodSeconds: 10
  failureThreshold: 3

readinessProbe:
  httpGet:
    path: /well being
    port: 80
  periodSeconds: 3
  failureThreshold: 1
  timeoutSeconds: 1

• Da dies Ihre erste Wache ist, um den Verkehr auf ungesunde Ziele zu stoppen, machen Sie die Sonde aggressiv und reduzieren Sie die periodSeconds .
• Halten failureThreshold Zumindest möchten Sie schnell scheitern.
• Die Zeitüberschreitungszeit sollte ebenfalls auf einem Minimal gehalten werden, um langsamer zu handhaben Behälter.
• Gib das readinessProbe ausreichende Zeit, um sich zu erholen, indem man länger lauft livenessProbe .

Bereitschaftssonden stellen sicher, dass der Verkehr nicht einen Container erreicht, der nicht bereit ist, und als solches ist er eines der wichtigsten im Stapel.

Alles zusammenstellen

Wie Sie sehen können, ist der beste Weg, um die Resilienzstrategie Ihrer Anwendung zu verbessern, auch wenn alle Sonden ihre eigenen einzigartigen Verwendungszwecke haben, nebeneinander zu verwenden.

Ihre Begin -Sonde unterstützt Sie in Skala -Up -Szenarien und neuen Bereitstellungen, sodass Ihre Container schnell zur Sprache gebracht werden können. Sie werden nur einmal gefeuert und stoppen auch die Ausführung des Restes der Sonden, bis sie erfolgreich abgeschlossen sind.

Die Lebendigkeitssonde hilft beim Umgang mit toten Containern, die an nicht wiederholbaren Fehlern leiden, und fordert dem Cluster auf, eine neue, frische Schote nur für Sie zu erzählen.

Die Bereitschaftssonde ist diejenige, die K8s sagt, wann ein Pod Verkehr erhalten sollte oder nicht. Es kann äußerst nützlich sein, um mit zeitweiligen Fehlern oder hohem Ressourcenverbrauch umzugehen, was zu langsameren Reaktionszeiten führt.

Zusätzliche Konfigurationen

Sonden können weiter konfiguriert werden, um einen Befehl in den Schecks anstelle einer HTTP -Anforderung zu verwenden und den Container ausreichend Zeit zu geben, um sicher zu enden. Während diese in spezifischeren Szenarien nützlich sind, kann es vorteilhaft sein, zu verstehen, wie Sie Ihre Bereitstellungskonfiguration erweitern können. Ich würde daher empfehlen, zusätzliche Lektüre durchzuführen, wenn Ihre Container eindeutige Anwendungsfälle verarbeiten.

Weitere Lektüre:
Lebendigkeit, Bereitschaft und Startup -Sonden
Konfigurieren Sie Lebendigkeit, Bereitschafts- und Startsonden

Ein grundlegendes Verständnis der Funktionsweise von NeRF durch visuelle Darstellungen

Wer sollte diesen Artikel lesen?

Ziel dieses Artikels ist es, durch visuelle Darstellungen ein grundlegendes Verständnis der Funktionsweise von NeRF für Anfänger zu vermitteln. Während verschiedene Blogs ausführliche Erklärungen zu NeRF bieten, richten sich diese oft an Leser mit einem ausgeprägten technischen Hintergrund in den Bereichen Volumenrendering und 3D-Grafik. Im Gegensatz dazu versucht dieser Artikel, NeRF mit minimalen Vorkenntnissen zu erklären, mit einem optionalen technischen Auszug am Ende für neugierige Leser. Für diejenigen, die sich für die mathematischen Particulars hinter NeRF interessieren, finden Sie am Ende eine Liste mit weiteren Lektüren.

Was ist NeRF und wie funktioniert es?

NeRF, Kurzform für Neuronale Strahlungsfelderist ein Artikel aus dem Jahr 2020, der eine neuartige Methode zum Rendern von 2D-Bildern aus 3D-Szenen vorstellt. Traditionelle Ansätze basieren auf physikbasierten, rechenintensiven Techniken wie Ray Casting und Ray Tracing. Dabei wird ein Lichtstrahl von jedem Pixel des 2D-Bilds zurück zu den Szenenpartikeln verfolgt, um die Pixelfarbe abzuschätzen. Während diese Methoden eine hohe Genauigkeit bieten (z. B. von Telefonkameras aufgenommene Bilder kommen dem, was das menschliche Auge aus demselben Winkel wahrnimmt, sehr nahe), sind sie oft langsam und erfordern erhebliche Rechenressourcen, wie z. B. GPUs, für die Parallelverarbeitung. Daher ist die Implementierung dieser Methoden auf Edge-Geräten mit begrenzten Rechenkapazitäten nahezu unmöglich.

NeRF geht dieses Downside an, indem es als Szenenkomprimierungsmethode fungiert. Es verwendet ein überangepasstes mehrschichtiges Perzeptron (MLP), um Szeneninformationen zu kodieren, die dann aus jeder Blickrichtung abgefragt werden können, um ein 2D-gerendertes Bild zu erzeugen. Bei richtiger Schulung reduziert NeRF den Speicherbedarf erheblich; Beispielsweise kann eine einfache 3D-Szene typischerweise in etwa 5 MB Daten komprimiert werden.

Im Kern beantwortet NeRF die folgende Frage mithilfe eines MLP:

Was sehe ich, wenn ich die Szene aus dieser Richtung betrachte?

Diese Frage wird beantwortet, indem dem MLP die Betrachtungsrichtung (in Kind von zwei Winkeln (θ, φ) oder einem Einheitsvektor) als Eingabe bereitgestellt wird und MLP RGB (gerichtet emittierte Farbe) und Volumendichte bereitstellt, die dann verarbeitet werden volumetrisches Rendering, um den endgültigen RGB-Wert zu erzeugen, den das Pixel sieht. Um ein Bild mit einer bestimmten Auflösung (z. B. HxB) zu erstellen, wird der MLP HxB-mal für die Blickrichtung jedes Pixels abgefragt und das Bild erstellt. Seit der Veröffentlichung des ersten NeRF-Papiers wurden zahlreiche Aktualisierungen vorgenommen, um die Rendering-Qualität und -Geschwindigkeit zu verbessern. Dieser Weblog konzentriert sich jedoch auf das Originalpapier von NeRF.

Schritt 1: Eingabebilder mehrfach anzeigen

NeRF benötigt verschiedene Bilder aus unterschiedlichen Blickwinkeln, um eine Szene zu komprimieren. MLP lernt, diese Bilder für unsichtbare Blickrichtungen (neuartige Ansichten) zu interpolieren. Die Informationen zur Blickrichtung eines Bildes werden mithilfe der intrinsischen und extrinsischen Matrizen der Kamera bereitgestellt. Je mehr Bilder ein breites Spektrum an Blickrichtungen abdecken, desto besser ist die NeRF-Rekonstruktion der Szene. Kurz gesagt, das grundlegende NeRF nimmt Eingabekamerabilder und die zugehörigen kamerainternen und extrinsischen Matrizen auf. (Mehr über die Kameramatrizen erfahren Sie im Weblog unten)

Schritt 2 bis 4: Sampling, Pixeliteration und Ray Casting

Jedes Bild in den Eingabebildern wird (der Einfachheit halber) unabhängig verarbeitet. Von der Eingabe werden ein Bild und die zugehörigen Kameramatrizen abgetastet. Für jedes Kamerabildpixel wird ein Strahl von der Kameramitte zum Pixel verfolgt und nach außen verlängert. Wenn die Kameramitte als o definiert ist und die Blickrichtung als Richtungsvektor d, dann kann der Strahl r

[ad_2]