Das Google DeepMind-Forschungsteam stellte Gemini Robotics-ER 1.6 vor, eine bedeutende Verbesserung seines verkörperten Argumentationsmodells, das als „kognitives Gehirn“ von Robotern dienen soll, die in realen Umgebungen operieren. Das Modell ist auf für die Robotik entscheidende Denkfähigkeiten spezialisiert, darunter visuelles und räumliches Verständnis, Aufgabenplanung und Erfolgserkennung. Es fungiert als übergeordnetes Denkmodell für einen Roboter und ist in der Lage, Aufgaben durch den nativen Aufruf von Instruments wie der Google-Suche, Imaginative and prescient-Language-Motion-Modellen (VLAs) oder anderen benutzerdefinierten Funktionen von Drittanbietern auszuführen.

Hier ist die wichtigste architektonische Idee, die es zu verstehen gilt: Google DeepMind verfolgt einen Twin-Modell-Ansatz für Robotik-KI. Gemini Robotics 1.5 ist das Imaginative and prescient-Language-Motion (VLA)-Modell – es verarbeitet visuelle Eingaben und Benutzeraufforderungen und übersetzt sie direkt in physikalische Motorbefehle. Gemini Robotics-ER hingegen ist das Modell des verkörperten Denkens: Es ist darauf spezialisiert, physische Räume zu verstehen, zu planen und logische Entscheidungen zu treffen, steuert aber Roboterglieder nicht direkt. Stattdessen liefert es umfassende Erkenntnisse, die dem VLA-Modell bei der Entscheidung helfen, was als nächstes zu tun ist. Betrachten Sie es als den Unterschied zwischen einem Strategen und einem Testamentsvollstrecker – Gemini Robotics-ER 1.6 ist der Stratege.

Was ist neu in Gemini Robotics-ER 1.6?

Gemini Robotics-ER 1.6 zeigt deutliche Verbesserungen gegenüber Gemini Robotics-ER 1.5 und Gemini 3.0 Flash und verbessert insbesondere die räumlichen und physischen Denkfähigkeiten wie Zeigen, Zählen und Erfolgserkennung. Die wichtigste Neuerung ist jedoch eine Funktion, die in früheren Versionen überhaupt nicht vorhanden warfare: das Lesen von Instrumenten.

Zeigen als Grundlage für räumliches Denken

Das Zeigen – die Fähigkeit des Modells, präzise Positionen auf Pixelebene in einem Bild zu identifizieren – ist weitaus leistungsfähiger, als es sich anhört. Punkte können verwendet werden, um räumliches Denken (präzises Erkennen und Zählen von Objekten), relationale Logik (Vergleiche durchführen, z. B. das Identifizieren des kleinsten Parts in einer Menge oder Definieren von Von-Bis-Beziehungen wie „Bewege

In internen Benchmarks zeigt Gemini Robotics-ER 1.6 einen klaren Vorteil gegenüber seinem Vorgänger. Gemini Robotics-ER 1.6 identifiziert korrekt die Anzahl der Hämmer, Scheren, Pinsel, Zangen und Gartengeräte in einer Szene und verweist nicht auf angeforderte Gegenstände, die nicht im Bild vorhanden sind – wie etwa eine Schubkarre und einen Ryobi-Bohrer. Im Vergleich dazu erkennt Gemini Robotics-ER 1.5 nicht die richtige Anzahl an Hämmern oder Pinseln, übersieht überhaupt eine Schere und halluziniert eine Schubkarre. Für KI-Robotik-Experten ist dies wichtig, da die Erkennung halluzinierter Objekte in Roboterpipelines zu kaskadenartigen Ausfällen nachgelagerter Systeme führen kann – ein Roboter, der ein Objekt „sieht“, das nicht vorhanden ist, wird versuchen, mit leerem Raum zu interagieren.

Erfolgserkennung und Multi-View Reasoning

In der Robotik ist es genauso wichtig zu wissen, wann eine Aufgabe beendet ist, wie zu wissen, wie man sie startet. Die Erfolgserkennung dient als wichtige Entscheidungsmaschine, die es einem Agenten ermöglicht, clever zu entscheiden, ob er einen fehlgeschlagenen Versuch wiederholen oder mit der nächsten Section eines Plans fortfahren möchte.

Das ist ein schwierigeres Drawback, als es aussieht. Die meisten modernen Robotik-Setups umfassen mehrere Kameraansichten, beispielsweise einen Overhead- und einen am Handgelenk montierten Feed. Das bedeutet, dass ein System verstehen muss, wie unterschiedliche Standpunkte zu jedem Zeitpunkt und über die Zeit hinweg zusammenwirken, um ein kohärentes Bild zu ergeben. Gemini Robotics-ER 1.6 verbessert das Multi-View-Argumentation und ermöglicht eine bessere Zusammenführung von Informationen aus mehreren Kameraströmen, selbst in verdeckten oder sich dynamisch ändernden Umgebungen.

Instrumentenlesung: Ein Durchbruch in der realen Welt

Die wirklich neue Funktion in Gemini Robotics-ER 1.6 ist die Instrumentenablesung – die Fähigkeit, analoge Messgeräte, Druckmesser, Schaugläser und digitale Anzeigen in industriellen Umgebungen zu interpretieren. Diese Aufgabe ergibt sich aus den Anforderungen der Anlageninspektion, einem wichtigen Schwerpunktbereich für Boston Dynamics. Spot, ein Boston Dynamics-Roboter, ist in der Lage, Instrumente in einer Anlage zu besuchen und Bilder von ihnen aufzunehmen, die von Gemini Robotics-ER 1.6 interpretiert werden können.

Das Lesen von Instrumenten erfordert ein komplexes visuelles Denken: Man muss eine Vielzahl von Eingaben präzise wahrnehmen – einschließlich der Nadeln, des Flüssigkeitsstands, der Behältergrenzen, der Markierungen und mehr – und verstehen, wie sie alle miteinander in Beziehung stehen. Bei Schaugläsern geht es darum, abzuschätzen, wie viel Flüssigkeit das Schauglas füllt, und dabei die Verzerrung aus der Kameraperspektive zu berücksichtigen. Messgeräte enthalten in der Regel Textual content, der die Einheit beschreibt, der gelesen und interpretiert werden muss, und einige verfügen über mehrere Nadeln, die sich auf verschiedene Dezimalstellen beziehen, die kombiniert werden müssen.

Gemini Robotics-ER 1.6 erreicht seine Instrumentenwerte mithilfe von Agentic Imaginative and prescient (einer Fähigkeit, die visuelles Denken mit Codeausführung kombiniert, eingeführt mit Gemini 3.0 Flash und erweitert in Gemini Robotics-ER 1.6). Das Modell führt Zwischenschritte durch: Zuerst zoomt man in ein Bild hinein, um kleine Particulars in einem Messgerät besser ablesen zu können, dann verwendet man Zeige- und Codeausführung, um Proportionen und Intervalle abzuschätzen, und schließlich wendet man Weltwissen an, um die Bedeutung zu interpretieren.

Gemini Robotics-ER 1.5 erreicht eine Erfolgsquote von 23 % beim Instrumentenlesen, Gemini 3.0 Flash erreicht 67 %, Gemini Robotics-ER 1.6 erreicht 86 % und Gemini Robotics-ER 1.6 mit Agentic Imaginative and prescient erreicht 93 %. Ein wichtiger Vorbehalt: Gemini Robotics-ER 1.5 wurde ohne Agentic Imaginative and prescient evaluiert, da es diese Funktion nicht unterstützt. Die anderen drei Modelle wurden mit aktiviertem Agentic Imaginative and prescient für die Instrumentenleseaufgabe evaluiert, sodass der Basiswert von 23 % weniger eine Leistungslücke als vielmehr ein grundlegender architektonischer Unterschied darstellt. Für KI-Entwickler, die Modellgenerationen bewerten, ist diese Unterscheidung wichtig – Sie vergleichen nicht Äpfel mit Äpfeln in der gesamten Benchmark-Spalte.

Wichtige Erkenntnisse

• Gemini Robotics-ER 1.6 ist ein Argumentationsmodell, kein Aktionsmodell: Es fungiert als übergeordnetes „Gehirn“ eines Roboters – es kümmert sich um räumliches Verständnis, Aufgabenplanung und Erfolgserkennung –, während das separate VLA-Modell (Gemini Robotics 1.5) die eigentlichen physikalischen Motorbefehle verarbeitet.
• Zeigen ist mächtiger, als es aussieht: Die Zeigefähigkeit von Gemini Robotics-ER 1.6 geht weit über die einfache Objekterkennung hinaus – sie ermöglicht relationale Logik, Bewegungstrajektorienkartierung, Greifpunktidentifizierung und auf Einschränkungen basierendes Denken, die alle für eine zuverlässige Robotermanipulation von grundlegender Bedeutung sind.
• Die Instrumentenablesung ist die größte neue Funktion: Gemini Robotics-ER 1.6 wurde in Zusammenarbeit mit dem Spot-Roboter von Boston Dynamics für die Inspektion von Industrieanlagen entwickelt und kann jetzt analoge Messgeräte, Druckmessgeräte und Schaugläser mithilfe von Agentic Imaginative and prescient mit einer Genauigkeit von 93 % ablesen – im Vergleich zu nur 23 % bei Gemini Robotics-ER 1.5, dem diese Fähigkeit völlig fehlte.
• Die Erfolgserkennung ermöglicht echte Autonomie: Wenn ein Roboter weiß, wann eine Aufgabe tatsächlich abgeschlossen ist – über mehrere Kameraansichten, in verdeckten oder dynamischen Umgebungen –, kann er ohne menschliches Eingreifen entscheiden, ob er es erneut versucht oder mit dem nächsten Schritt fortfährt.

Schauen Sie sich das an Technische Particulars Und Modellinformationen. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 130.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Die KI-Branche ist derzeit besessen von „Agenten“ – autonomen Programmen, die mehr können als nur chatten. Die meisten aktuellen Multiagentensysteme basieren jedoch auf spröden, hartcodierten Heuristiken, die versagen, wenn sich die Umgebung ändert.

Google DeepMind Forscher haben eine neue Lösung vorgeschlagen. Das Forschungsteam argumentierte, dass Agenten für die Skalierung des „Agentennetzes“ über die einfache Aufgabenteilung hinausgehen und menschenähnliche Organisationsprinzipien wie Autorität, Verantwortung und Rechenschaftspflicht übernehmen müssen.

Definition einer „intelligenten“ Delegation

In Standardsoftware wird ein Unterprogramm einfach „ausgelagert“. Intelligente Delegation ist anders. Es handelt sich um eine Abfolge von Entscheidungen, bei denen ein Delegierter Autorität und Verantwortung auf einen Delegierten überträgt. Dieser Prozess umfasst die Risikobewertung, den Fähigkeitsabgleich und den Aufbau von Vertrauen.

Die 5 Säulen des Rahmenwerks

Um dies aufzubauen, identifizierte das Forschungsteam fünf Kernanforderungen, die spezifischen technischen Protokollen zugeordnet sind:

Engineering-Strategie: „Contract-First“-Zerlegung

Die bedeutendste Veränderung ist Contract-First-Zerlegung. Nach diesem Grundsatz erteilt ein Delegierender eine Aufgabe nur dann, wenn das Ergebnis genau nachweisbar ist.

Wenn eine Aufgabe zu subjektiv oder komplex ist, um überprüft zu werden – etwa „eine überzeugende Forschungsarbeit schreiben“ –, muss das System sie rekursiv zerlegen. Dies wird so lange fortgesetzt, bis die Teilaufgaben mit den verfügbaren Verifizierungstools übereinstimmen, beispielsweise Unit-Assessments oder formalen mathematischen Beweisen.

Rekursive Verifizierung: Die Chain of Custody

In einer Delegationskette, wie z 𝐴 → 𝐵 → 𝐶Verantwortlichkeit ist transitiv.

• Agent B ist verantwortlich für die Überprüfung der Arbeit von C.
• Als Agent B gibt das Ergebnis an zurück Amuss es eine vollständige Kette kryptografisch signierter Bescheinigungen bereitstellen.
• Agent A Anschließend führt es eine zweistufige Prüfung durch: Verifizierung Bist direkte Arbeit und die Überprüfung B richtig verifiziert C.

Sicherheit: Token und Tunnel

Die Skalierung dieser Ketten birgt large Sicherheitsrisiken, darunter Datenexfiltration, HintertürimplantationUnd Modellextraktion.

Um das Netzwerk zu schützen, schlägt das DeepMind-Workforce vor Delegation Functionality Tokens (DCTs). Basierend auf Technologien wie Makronen oder GebäckDiese Token nutzen „kryptografische Vorbehalte“, um das Prinzip der geringsten Privilegien durchzusetzen. Beispielsweise könnte ein Agent ein Token erhalten, das ihm das LESEN eines bestimmten Google Drive-Ordners erlaubt, aber alle Schreibvorgänge verbietet.

Bewertung aktueller Protokolle

Das Forschungsteam analysierte, ob aktuelle Industriestandards für dieses Framework bereit sind. Diese Protokolle stellen zwar eine Grundlage dar, weisen jedoch alle „fehlende Teile“ für eine Delegation mit hohem Einsatz auf.

• MCP (Mannequin Context Protocol): Standardisiert die Artwork und Weise, wie Modelle mit Instruments verbunden werden. Die Lücke: Es fehlt eine Richtlinienebene zur Steuerung von Berechtigungen über tiefe Delegationsketten hinweg.
• A2A (Agent-zu-Agent): Verwaltet Erkennungs- und Aufgabenlebenszyklen. Die Lücke: Es fehlen standardisierte Header für Zero-Information Proofs (ZKPs) oder digitale Signaturketten.
• AP2 (Agent Funds Protocol): Ermächtigt Agenten, Gelder auszugeben. Die Lücke: Es ist nicht möglich, die Qualität der Arbeit vor der Zahlungsfreigabe nativ zu überprüfen.
• UCP (Common Commerce Protocol): Standardisiert Handelstransaktionen. Die Lücke: Es ist für den Einkauf/die Erfüllung optimiert, nicht für abstrakte Rechenaufgaben.

Wichtige Erkenntnisse

• Gehen Sie über Heuristiken hinaus: Aktuelle KI-Delegationen basieren auf einfachen, hartcodierten Heuristiken, die spröde sind und sich nicht dynamisch an Umgebungsveränderungen oder unerwartete Ausfälle anpassen können. Intelligente Delegation erfordert einen adaptiven Rahmen, der die Übertragung von Autorität, Verantwortung und Rechenschaftspflicht beinhaltet.
• Zerlegung der Aufgabe „Vertrag zuerst“: Bei komplexen Zielen sollten Delegierende einen „Contract-First“-Ansatz verwenden, bei dem Aufgaben zerlegt werden, bis die Untereinheiten spezifischen, automatisierten Verifizierungsfunktionen entsprechen, wie etwa Unit-Assessments oder formale Beweise.
• Transitive Verantwortlichkeit in Ketten: In langen Delegationsketten (z. B. 𝐴 → 𝐵 → 𝐶) ist Verantwortung transitiv. Agent B ist für die Arbeit von C verantwortlich, und Agent A muss sowohl die direkte Arbeit von B als auch die korrekte Überprüfung der Bescheinigungen von C durch B überprüfen.
• Abgeschwächte Sicherheit durch Token: Um systemische Verstöße und das Drawback der „verwirrten Stellvertreter“ zu verhindern, sollten Agenten Delegation Functionality Tokens (DCTs) verwenden, die eine abgeschwächte Autorisierung ermöglichen. Dadurch wird sichergestellt, dass Agenten nach dem Prinzip der geringsten Rechte arbeiten und der Zugriff auf bestimmte Teilmengen von Ressourcen und zulässigen Vorgängen beschränkt ist.

Schauen Sie sich das an Papier hier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Michal Sutter ist ein Knowledge-Science-Experte mit einem Grasp of Science in Knowledge Science von der Universität Padua. Mit einer soliden Grundlage in statistischer Analyse, maschinellem Lernen und Datentechnik ist Michal hervorragend darin, komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

Google DeepMind erweitert sein biologisches Toolkit über die Welt der Proteinfaltung hinaus. Nach dem Erfolg von AlphaFold hat das Forschungsteam von Google AlphaGenome eingeführt. Hierbei handelt es sich um ein einheitliches Deep-Studying-Modell, das für die Sequenz-zu-Funktions-Genomik entwickelt wurde. Dies stellt einen großen Wandel in der Artwork und Weise dar, wie wir das menschliche Genom modellieren. AlphaGenome behandelt DNA nicht als einfachen Textual content. Stattdessen verarbeitet es 1.000.000 Basenpaarfenster roher DNA, um den Funktionszustand einer Zelle vorherzusagen.

Überbrückung der Skalenlücke mit Hybridarchitekturen

Die Komplexität des menschlichen Genoms ergibt sich aus seiner Größe. Den meisten bestehenden Modellen fällt es schwer, das Gesamtbild zu erkennen und gleichzeitig die feinen Particulars im Auge zu behalten. AlphaGenome löst dieses Drawback durch den Einsatz einer Hybridarchitektur. Es kombiniert ein U-Internet-Spine mit Transformer-Blöcken. Dadurch kann das Modell weitreichende Wechselwirkungen über eine Sequenz von 1 Megabase erfassen und gleichzeitig die Basenpaarauflösung beibehalten. Das ist, als würde man ein System aufbauen, das ein tausendseitiges Buch lesen kann und sich trotzdem die genaue Place eines einzelnen Kommas merkt.

Zuordnung von Sequenzen zu funktionellen biologischen Modalitäten

AlphaGenome ist ein Sequenz-zu-Funktions-Modell. Das bedeutet, dass sein Hauptziel darin besteht, DNA-Sequenzen direkt biologischen Aktivitäten zuzuordnen. Diese Aktivitäten werden in genomischen Spuren gemessen. Das Forschungsteam trainierte AlphaGenome, 11 verschiedene genomische Modalitäten vorherzusagen. Zu diesen Modalitäten gehören RNA-seq, CAGE und ATAC-seq. Dazu gehören auch ChIP-seq für verschiedene Transkriptionsfaktoren und Chromatin-Kontaktkarten. Durch die gleichzeitige Vorhersage all dieser Spuren erhält das Modell ein ganzheitliches Verständnis darüber, wie DNA die Zelle reguliert.

Die Kraft des Multitasking-Lernens in der Genomik

Der technische Fortschritt von AlphaGenome liegt in seiner Fähigkeit, 11 verschiedene Datentypen gleichzeitig zu verarbeiten. In der Vergangenheit haben Forscher oft für jede Aufgabe separate Modelle erstellt. AlphaGenome verwendet einen Multitasking-Lernansatz. Dies hilft dem Modell, gemeinsame Merkmale verschiedener biologischer Prozesse zu lernen. Wenn das Modell versteht, wie ein Protein an DNA bindet, kann es besser vorhersagen, wie diese DNA als RNA ausgedrückt wird. Dieser einheitliche Ansatz reduziert den Bedarf an mehreren Spezialmodellen.

Verbesserung der Vorhersage von Varianteneffekten durch Destillation

Eine der wichtigsten Anwendungen für AlphaGenome ist die Variant Impact Prediction (VEP). Dieser Prozess bestimmt, wie sich eine einzelne Mutation in der DNA auf den Körper auswirkt. Mutationen können zu Krankheiten wie Krebs oder Herzerkrankungen führen. AlphaGenome zeichnet sich dabei durch die Verwendung einer speziellen Trainingsmethode aus, die „Lehrer-Schüler-Destillation“ genannt wird. Das Forschungsteam erstellte zunächst ein Ensemble von „All-Folds“-Lehrermodellen. Diese Lehrer wurden anhand riesiger Mengen genomischer Daten geschult. Anschließend destillierten sie dieses Wissen in einem einzigen Studentenmodell.

Komprimiertes Wissen für die Präzisionsmedizin

Dieser Destillationsprozess macht das Modell sowohl schneller als auch robuster. Dies ist eine Standardmethode zur Komprimierung von Wissen. Die Anwendung auf die Genomik in diesem Maßstab ist jedoch ein neuer Meilenstein. Das Schülermodell lernt, die qualitativ hochwertigen Vorhersagen des Lehrerensembles zu reproduzieren. Dadurch können schädliche Mutationen mit hoher Genauigkeit identifiziert werden. Das Modell kann sogar vorhersagen, wie sich eine Mutation in einem entfernten regulatorischen Component auf ein weit entferntes Gen auf dem DNA-Strang auswirken könnte.

Hochleistungsrechnen mit JAX und TPUs

Die Architektur wird mit JAX implementiert. JAX ist eine leistungsstarke numerische Computerbibliothek. Es wird bei Google häufig für groß angelegtes maschinelles Lernen verwendet. Durch die Verwendung von JAX kann AlphaGenome effizient auf Tensor Processing Models oder TPUs ausgeführt werden. Das Forschungsteam nutzte Sequenzparallelität, um die riesigen Eingabefenster von 1 Megabase zu bewältigen. Dadurch wird sichergestellt, dass der Speicherbedarf mit zunehmender Sequenzlänge nicht explodiert. Dies zeigt, wie wichtig es ist, den richtigen Rahmen für groß angelegte biologische Daten auszuwählen.

Transferlernen für datenarme Zelltypen

AlphaGenome befasst sich auch mit der Herausforderung der Datenknappheit bei bestimmten Zelltypen. Da es sich um ein Basismodell handelt, kann es für bestimmte Aufgaben fein abgestimmt werden. Das Modell lernt allgemeine biologische Regeln aus großen öffentlichen Datensätzen. Diese Regeln können dann auf seltene Krankheiten oder bestimmte Gewebe angewendet werden, für die Daten schwer zu finden sind. Diese Fähigkeit zum Transferlernen ist einer der Gründe, warum AlphaGenome so vielseitig ist. Es kann vorhersagen, wie sich ein Gen in einer Gehirnzelle verhält, selbst wenn es hauptsächlich anhand von Leberzelldaten trainiert wurde.

Auf dem Weg zu einer neuen Ära der personalisierten Pflege

In Zukunft könnte AlphaGenome eine neue Ära der personalisierten Medizin einläuten. Ärzte könnten das Modell verwenden, um das gesamte Genom eines Patienten in 1.000.000 Basenpaar-Blöcken zu scannen. Sie könnten genau identifizieren, welche Varianten wahrscheinlich gesundheitliche Probleme verursachen. Dies würde Behandlungen ermöglichen, die auf den spezifischen genetischen Code einer Individual zugeschnitten sind. AlphaGenome bringt uns dieser Realität näher, indem es eine klare und genaue Karte des funktionellen Genoms liefert.

Den Customary für biologische KI setzen

AlphaGenome markiert auch einen Wendepunkt für KI in der Genomik. Es beweist, dass wir die komplexesten biologischen Systeme mithilfe derselben Prinzipien modellieren können, die auch in der modernen KI verwendet werden. Durch die Kombination von U-Internet-Strukturen mit Transformers und der Verwendung der Lehrer-Schüler-Destillation hat das Google DeepMind-Staff einen neuen Customary gesetzt.

Wichtige Erkenntnisse

• Hybride Sequenzarchitektur: AlphaGenome verwendet ein spezielles Hybriddesign, das Folgendes kombiniert: U-Internet Rückgrat mit Transformator Blöcke. Dadurch kann das Modell große Fenster verarbeiten 1.000.000 Basenpaare unter Beibehaltung der hohen Auflösung, die zur Identifizierung einzelner Mutationen erforderlich ist.
• Multimodale funktionale Vorhersage: Das Modell ist darauf trainiert, Vorhersagen zu treffen 11 verschiedene genomische Modalitäten gleichzeitig, einschließlich RNA-seq, CAGE und ATAC-seq. Durch das gemeinsame Erlernen dieser verschiedenen biologischen Spuren erhält das System ein ganzheitliches Verständnis darüber, wie DNA die Zellaktivität in verschiedenen Geweben reguliert.
• Lehrer-Schüler-Destillation: Um branchenführende Genauigkeit zu erreichen Varianteneffektvorhersage (VEP)Forscher verwendeten eine Destillationsmethode. Sie übertrugen das Wissen aus einem Ensemble leistungsstarker „Lehrer“-Modelle in ein einziges, effizientes „Schüler“-Modell, das schneller und robuster bei der Identifizierung krankheitsverursachender Mutationen ist.
• Gebaut für Hochleistungsrechnen: Das Framework ist implementiert in JAX und optimiert für TPUs. Durch die Verwendung von Sequenzparallelität kann AlphaGenome die Rechenlast der Analyse von DNA-Sequenzen im Megabasen-Maßstab bewältigen, ohne die Speichergrenzen zu überschreiten, was es zu einem leistungsstarken Werkzeug für groß angelegte Forschung macht.

Schauen Sie sich das an Papier Und Repo. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Nano Banana Professional, Auch Gemini 3 Professional Picture genannt, ist das neue Bildgenerierungs- und Bearbeitungsmodell von Google DeepMind, das auf Gemini 3 Professional basiert. Es ist als hochmodernes System zum Erstellen und Bearbeiten von Bildern positioniert, bei dem Struktur, Weltwissen und Textlayout berücksichtigt werden müssen, nicht nur der Stil. Nano Banana Professional folgt auf Nano Banana, das auf Gemini 2.5 Flash Picture basierte und sich auf schnelle, einfache Bildbearbeitung wie das Wiederherstellen von Fotos und das Erstellen von Figuren konzentrierte.

Vom Gemini 2.5 Flash Picture zum Gemini 3 Professional Picture

Das frühere Nano Banana-Modell zielte auf schnelle kreative Bearbeitungen für Gelegenheitskünstler ab. Es half dabei, alte Fotos wiederherzustellen und mit einer einfachen Eingabeaufforderung stilisierte 3D-Minifiguren zu bauen. Nano Banana Professional behält diesen Bearbeitungsfluss bei, läuft aber auf Gemini 3 Professional, was stärkere Argumentation und reales Wissen in den Bildstapel bringt.

Das Modell kann Prototypen, Datentabellen und handschriftliche Notizen in Diagramme und Infografiken umwandeln, die die zugrunde liegenden Informationen widerspiegeln, anstatt nur dekorative Kunst zu produzieren.

Angeleitete Argumentation, Suche nach fundierten Bildern

Ein zentraler Designpunkt für Nano Banana Professional ist die folgerungsgesteuerte Generierung. Mit Gemini 3 Professional kann das Modell Textual content, strukturierte Inhalte und Referenzen konsumieren und dann das Bild als Erklärung für diesen Inhalt planen. Nano Banana Professional kann auch eine Verbindung zur Google-Suche herstellen und den Suchindex als Echtzeit-Wissensquelle nutzen.

Klarer Textual content und mehrsprachige Layouts

Textual content in Bildern ist für viele diffusionsbasierte Generatoren ein seit langem bestehender Fehlermodus. Nano Banana Professional geht hierauf ausdrücklich ein. Google gibt an, dass es das beste Modell in der Gemini-Familie ist, um Bilder mit korrekt wiedergegebenem und lesbarem Textual content zu erstellen, sowohl für kurze Slogans als auch für ganze Absätze.

Die mehrsprachige Argumentation von Gemini 3 Professional fließt in das Bildmodell ein. Nano Banana Professional kann Textual content in mehreren Sprachen rendern und auch Texte übersetzen, die bereits in Produkten oder Postern erscheinen. Die Dokumentation zeigt Getränkedosen, bei denen der englische Textual content ins Koreanische übersetzt wird, während die visuelle Gestaltung und das Structure unverändert bleiben.

Kontrolle, Konsistenz und Hochskalierung auf Studioebene

Nano Banana Professional bietet eine Reihe von Steuerelementen, die auf Design- und Produktionsabläufe abzielen und nicht auf Eingabeaufforderungen für Einzelaufnahmen. Auf der Kompositionsseite kann das Modell bis zu 14 Eingabebilder verwenden und die Konsistenz und Ähnlichkeit von bis zu 5 Personen in einem Arbeitsablauf beibehalten. Dies unterstützt Aufgaben wie das Kombinieren von Referenzfotos zu einem einzigen Mode-Editorial, das Umwandeln von Skizzen in Produktaufnahmen oder das Beibehalten derselben Besetzung über mehrere Szenen hinweg.

Im Abschnitt „Studio-Steuerung“ der Modellseite sind mehrere Steuerelementfamilien aufgeführt. Benutzer können den Kamerawinkel und die Aufnahmeart variieren, einschließlich Weitwinkelaufnahme, Panorama und Nahaufnahme, und gleichzeitig die Schärfentiefe und den Fokus auf bestimmte Motive im Bild steuern. Farbe und Beleuchtung können angepasst werden, indem beispielsweise Tag und Nacht geändert, volumetrische Beleuchtung durch Bokeh ersetzt oder ein starker Hell-Dunkel-Effekt angewendet werden, ohne dass die Identität des Motivs verloren geht.

Nano Banana Professional unterstützt explizites Upscaling. Im offiziellen Google-Weblog heißt es, dass es gestochen scharfe Bilder mit einer Auflösung von 1K, 2K oder 4K erzeugen kann, und bietet Beispiele für progressive Zoomvorgänge, bei denen Particulars und Komposition erhalten bleiben. Das Seitenverhältnis ist ebenfalls programmierbar. Eingabeaufforderungen können zwischen Verhältnissen wie 1:1, 4:3, 16:9 und Kinoformaten konvertieren, wobei die Hauptfigur an ihrem Platz bleibt und nur der Hintergrund angepasst wird.

Wichtige Erkenntnisse

• Nano Banana Professional ist Gemini 3 Professional Picture, ein verbessertes Modell zur Bilderzeugung und -bearbeitung, das den Nachfolger von Nano Banana ablöst, das auf Gemini 2.5 Flash Picture basierte und für höhere Qualität und Kontrolle optimiert ist.
• Das Modell integriert die Argumentation von Gemini 3 Professional und die Google-Suche, sodass es sachliche Inhalte, Dokumente und Echtzeitdaten in Infografiken, Rezepte, Prozessdiagramme und andere informationsreiche visuelle Darstellungen umwandeln kann.
• Es bietet eine starke Textwiedergabe und mehrsprachige Unterstützung, erzeugt lesbare Typografie in Bildern und ermöglicht die Übersetzung oder Lokalisierung von im Bild vorhandenen Texten unter Beibehaltung von Structure und Design.
• Nano Banana Professional unterstützt bis zu 14 Eingabebilder und behält die Ähnlichkeit für bis zu 5 Personen bei, mit Steuerungen im Studiostil für Kamerawinkel, Schärfentiefe, Beleuchtung, Seitenverhältnisse und Hochskalierung auf 1k-, 2k- und 4k-Auflösungen.
• Das Modell wird in der Gemini-App, im AI-Modus in der Suche, in NotebookLM, Google Advertisements, Workspace-Apps, Gemini API, Google AI Studio, Vertex AI, Antigravity und Move eingesetzt, wobei alle Ausgaben mit SynthID und stufenspezifischen sichtbaren Wasserzeichen mit Wasserzeichen versehen werden.

Nano Banana Professional positioniert Gemini 3 Professional Picture als produktionsorientiertes Bildsystem, das die Argumentation von Gemini 3 Professional, die Google-Suche und strukturierte Steuerelemente für Structure, Textual content und Hochskalierung verbindet. Es geht direkt auf langjährige Probleme bei der Textwiedergabe, der mehrsprachigen Lokalisierung und der Themenkonsistenz ein und behält gleichzeitig SynthID und sichtbare Wasserzeichen als Standardherkunftssignale über Ebenen und Oberflächen hinweg bei. Mit dieser Einführung rückt Googles Bilderstapel näher an eine integrierte, API-basierte visuelle Plattform für Entwickler und Unternehmen heran.

Schauen Sie sich das an Technische Particulars. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Michal Sutter ist ein Information-Science-Experte mit einem Grasp of Science in Information Science von der Universität Padua. Mit einer soliden Grundlage in statistischer Analyse, maschinellem Lernen und Datentechnik ist Michal hervorragend darin, komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

Folgen Sie MARKTECHPOST: Fügen Sie uns als bevorzugte Quelle bei Google hinzu.

Was wäre, wenn ich Ihnen sagen würde, dass KI Menschen in einigen der komplexesten Videospiele jetzt übertreffen kann? Ai hat jetzt auch Minecraft gemeistert. Es ist ein Spiel, in dem die Spieler mit dem Ziel erforschen, meine, bauen und basteln, um seltene Diamanten zu finden. Bis vor kurzem benötigte Coaching AI für Minecraft viele menschliche Daten und benutzerdefinierte Setups. DeepMind hat das verändert. Ihr neuer Algorithmus Dreamerv3 lernte das Spiel von Grund auf neu. Keine Tutorials. Keine menschliche Eingabe. Nur das Spiel. So funktioniert es.

Erreichen der Minecraft Diamond Problem

Die „Diamond Problem“ in Minecraft – die Diamanten vollständig autonom erstellt – wurde aufgrund ihrer Komplexität und der minimalen Anleitung innerhalb des Spiels historisch als äußerst schwierig angesehen. Diamonds, die tief unterirdisch gelegen sind, verlangen die Spieler, eine Reihe von Schritten durchzuführen, die Ressourcensammeln, Werkzeugverfahren und Überlebensstrategien umfassen.

Dreamerv3 erreichte diesen herausfordernden Meilenstein ohne direkte menschliche Trainingsdaten oder vordefinierte Wege. Die KI lernte autonom, den gesamten Technologiebaum in Minecraft durchzugehen. Es begann mit dem Sammeln grundlegender Ressourcen wie Protokolle, fortgeschrittene, wesentliche Instruments wie Spitzhahn, dann wertvolle Ressourcen wie Eisen und schließlich erfolgreich gelegene und abgebrannte Diamanten.

Was ist DeepMinds Dreamerv3 -Algorithmus?

Dreamerv3 ist ein vielseitiger Verstärkungs -Lernalgorithmus, der von Googles DeepMind entwickelt wurde. Es zeichnet sich durch seine Fähigkeit aus, eine Vielzahl komplexer Aufgaben zu erledigen, ohne dass für jedes bestimmte Szenario oder umfangreiche von Menschen erzeugte Trainingsdatensätze kundenspezifische Anpassungen erforderlich sind. Seine Effizienz und Anpassungsfähigkeit ermöglichen es ihm, Herausforderungen zu bewältigen, die von Spielen und Simulationen bis hin zur Robotik der realen Welt reichen.

Detaillierte Aufschlüsselung: Wie funktioniert Dreamerv3?

Dreamerv3 verwendet einen einheitlichen Ansatz, um verschiedene Aufgaben zu lernen und zu beherrschen:

Weltmodellkonstruktion

Dreamerv3 konstruiert ein internes „Weltmodell“, sodass es verstehen und vorhersagen kann, wie die Umgebung funktioniert. Dieses Modell basiert auf Direktbeobachtungen auf Pixelebene aus dem Spiel. Es erfasst die zugrunde liegende Dynamik der Spielwelt und ermöglicht es, wichtige Muster, Objekte und Interaktionen zu erkennen.

Vorhersagesimulation und Vorstellungskraft

Mit seinem Weltmodell kann Dreamerv3 zukünftige Ereignisse und Handlungen simulieren, ohne direkt mit der Umgebung zu interagieren. Es „stellt“ potenzielle Ergebnisse „vor, die auf unterschiedlichen Entscheidungen basieren und die Folgen seiner Handlungen im Voraus effektiv voraussagen. Diese Fähigkeit ermöglicht es ihm, verschiedene Strategien intern zu erforschen und ihre Effizienz erheblich zu verbessern.

Entscheidungsfindung durch neuronale Netze

Dreamerv3 umfasst drei integrierte neuronale Netze, die die Entscheidungsfindung unterstützen:

• Encoder und Decoder Netzwerke: Umwandeln komplexe Beobachtungen wie Bilder aus dem Spiel in kompakte und nützliche interne Darstellungen.
• Sequenzmodusl: Prognostiziert die Ergebnisse von Aktionensequenzen, wodurch die Konsistenz über die Vorhersagen hinweg aufrechterhalten wird, um eine kohärente Planung zu ermöglichen.
• Schauspieler-kritische Netzwerke: Das Akteurnetzwerk wählt die Aktionen aus, die wahrscheinlich die höchsten Belohnungen liefern, die vom Kritiker-Netzwerk geleitet werden, wodurch der Wert verschiedener Aktionsergebnisse bewertet wird, um eine bessere Entscheidungsfindung zu erzielen.

Minecrafts einzigartige Herausforderungen angehen

Minecraft präsentiert einzigartige und herausfordernde Funktionen für KI:

• Spärliche Belohnungen: Das Spiel bietet selten explizites Suggestions, was es für die KI schwierig macht, ihren Fortschritt zu messen.
• Komplexe Zielstrukturen: Diamonds beinhaltet eine Reihe von Zwischenschritten und sorgfältige Planung, wodurch das strategische Denken wesentlich ist.
• Unendliche Variation: Jede Minecraft -Welt ist prozedural erzeugt und unendlich vielfältig, was erhebliche Komplexität und Unvorhersehbarkeit verleiht.

Dreamerv3 befasst sich effektiv mit diesen Herausforderungen:

• Robustheitstechniken: Der Algorithmus verwendet Normalisierungs- und Ausgleichsmethoden, um eine stabile Leistung in verschiedenen Szenarien zu ermöglichen und die manuellen Abstimmungsanforderungen zu minimieren.
• Verallgemeinerte Lernfunktionen: Dreamerv3s erlernte Wissen überträgt effektiv in verschiedenen Umgebungen, sodass es in verschiedenen Aufgaben, die von Videospielen bis hin zu Roboterkontrollsystemen reichen, intestine abschneiden.

Breitere Implikationen und reale Anwendungen

Der Erfolg von Dreamerv3 hat breitere Auswirkungen über Minecraft hinaus:

• Adaptive Problemlösung: Sein generalisierter Lernansatz macht es in realen Anwendungen wie Robotik, bei denen die Aufgaben stark variieren, und die manuelle Programmierung ist unpraktisch.
• Ressourceneffizienz: Dreamerv3 reduziert die erforderlichen Rechenressourcen und manuellen Anstrengungen und macht leistungsstarke KI -Instruments Forschern, Entwicklern und Unternehmen zugänglicher.

Abschluss

Googles Dreamerv3 markiert einen bedeutenden Fortschritt in der Forschung für künstliche Intelligenz, indem Minecraft autonom beherrscht. Es veranschaulicht die Fähigkeiten von allgemeinen AI-Algorithmen, komplexe Aufgaben ohne menschliche Intervention zu erlernen und ihr Potenzial zu unterstreichen, verschiedene und herausfordernde reale Probleme effektiv und effizient anzugehen.

Hallo, ich bin Nitika, ein technisch versierter Content material-Ersteller und Vermarkter. Kreativität und neue Dinge lernen natürlich für mich. Ich habe Fachkenntnisse bei der Erstellung von ergebnisgesteuerten Inhaltsstrategien. Ich bin mit website positioning -Administration, Key phrase -Operationen, Webinhalten, Kommunikation, Inhaltsstrategie, Bearbeitung und Schreiben intestine vertraut.

Erinnerst du dich an diese gefürchteten mathematischen Olympiade -Tage? Die meisten von uns haben lebhafte Erinnerungen daran, komplexe Geometrieprobleme zu starren, uns am Kopf zu kratzen und sich zu fragen, ob jemand diese Rätsel tatsächlich lösen könnte. Während einige von uns es kaum geschafft haben, einen richtigen Kreis zu ziehen, gab es immer die wenigen brillanten Medaillen nach Hause. Nun, hier ist etwas, das Sie sich besser fühlen (oder schlimmer?) – selbst mathematische Olympiad -Champions werden jetzt von einem KI -System übertroffen! DeepMinds Alphageometry2 (AG2) löst diese Hirn-Twistern besser als menschliche Experten.

Treffen Sie das Math -Genie: Was ist Alphageometrie2?

Alphageometry2 ist wie der Straight-A-Schüler, der alle anderen durchschnittlich aussehen lässt. Es ist die verbesserte Model von Alphageometry1, die von der Gemini-Architektur angetrieben wird-betrachten Sie es als ein mathematisches Gehirn, das auf unzähligen Geometrieproblemen trainiert wird. Während sein Vorgänger mit einer Erfolgsquote von 54% bei IMO-Geometrieproblemen (Abdeckung der Jahre 2000-2024) ziemlich intestine struggle, bringt AG2 es auf ein anderes Niveau. Es löst 42 von 50 IMO -Geometrieproblemen – das ist eine beeindruckende Erfolgsquote von 84% und schlägt sogar den typischen Goldmedaillengewinner, der rund 41 Probleme löst.

Aber warte, es gibt noch mehr! Um zu beweisen, dass es nicht nur Glück struggle, warf das Crew 30 extrem herausfordernde Geometrieprobleme bei AG2 – Probleme, die so schwierig waren, dass Experten Mathematiker sie nominierten, sie aber für den tatsächlichen IMO -Gebrauch als zu schwer eingestuft hatten. Erraten Sie, was? Ag2 löste 20 von ihnen! Das ist wie ein Check, den selbst die Lehrer für zu schwer hielten.

Kennen Sie den CEO von Nvidia kürzlich, dass jeder und AI -Tutor nach Upskill bringen sollten? Kasse die ganze Geschichte hier – – 8 zukünftige Vorhersagen von Jensen Huang, die wie Sci-Fi klingen.

Was macht AG2 so schlau in Mathematik?

Die Brillanz von AG2 ergibt sich aus mehreren bahnbrechenden Verbesserungen:

Verbesserte Sprache und Verständnis

• Es spricht fließend „Geometrie“ durch eine erweiterte Domänensprache, die alles von beweglichen Punkten bis zu komplexen Gleichungen abdeckt
• Kann Locus -Probleme, Gleichungen von Linien, Winkel, Entfernungen und Verhältnissen bewältigen
• Options spezielle „Prädikate“ – denken Sie an sie als geometrische Superkräfte, die dazu beitragen, bestimmte Merkmale oder Aktionen zu beschreiben
• Verwendet ein Gemini-basiertes Modell, das die Mathematiksprache besser versteht als je zuvor

Aufgeladener Problemlösungsmotor

• Der symbolische Motor funktioniert dank der C ++ – Optimierung schneller und schlauer
• Kann Theoreme beweisen und geometrische Fakten effizienter überprüfen
• Lernt aus einer massiven Sammlung synthetischer Trainingsdaten – stellen Sie sich vor, Zugang zu jedem jemals erstellten Geometrieproblem zu haben
• Verwendet mehrere Problemlösungsstrategien gleichzeitig, z. B. mehrere mathematische Genies zusammenarbeiten

Good Automation

• Übersetzt automatisch einfache Sprachprobleme in seine spezielle Geometriesprache
• Erstellt hilfreiche Diagramme, die Punkte, Linien und Kreise zeigen
• Teilt Entdeckungen zwischen verschiedenen Lösungspfaden und macht den gesamten Prozess effizienter
• Züge mit viel vielfältigeren Daten als zuvor und machen sie flexibler und anpassungsfähiger

Lesen Sie auch: OpenAIs O1-Präview ‚Hacks‘, um zu gewinnen-sind fortgeschrittene LLMs wirklich zuverlässig?

Was bedeutet das für die Zukunft?

AG2 stellt einen massiven Sprung nach vorne in der Artwork und Weise dar, wie KI mit komplexem mathematischen Denken umgehen kann. Es versteht nicht nur Probleme, sondern löst sie besser als menschliche Experten. Die Auswirkungen sind enorm – von der Revolutionierung der mathematischen Ausbildung bis zur potenziellen Entdeckung neuer mathematischer Theoreme.

Im weiteren Verlauf der Forschung sehen wir möglicherweise AG2 und ähnliche Systeme noch komplexere mathematische Herausforderungen. Während wir nicht ganz an dem Punkt sind, an dem KI unabhängig von Natursprachen vollständige Beweise für natürliche Sprache schreiben kann, kommen wir uns näher. Vielleicht werden Sie in Zukunft einen KI -Tutor konsultieren, der die Geometrie auf eine Weise erklären kann, die tatsächlich Sinn macht, anstatt Ihren Mathematiklehrer um Hilfe zu bitten!

Im Erfolg von Alphageometry2 geht es nicht nur darum, menschliche Champions zu schlagen, sondern darum, die Grenzen dessen zu überschreiten, was im mathematischen Denken möglich ist. Und wer weiß? Vielleicht hilft es zukünftigen Schülern, Geometrie tatsächlich zu genießen, anstatt sie zu fürchten.

Erzählen Sie Ihrem Mathematiklehrer einfach nicht davon – sie könnten Sie bei Ihrem nächsten Check gegen AG2 antreten!

Bleiben Sie auf dem neuesten Stand der KI -Welt mit Analytics Vidhya Information!

Als Unterrichtsdesigner bei Analytics Vidhya verfügt Diksha Erfahrung mit Erfahrung in der Erstellung dynamischer Bildungsinhalte zu den neuesten Technologien und Tendencies in der Datenwissenschaft. Mit einem Händchen für das Erstellen ansprechender Inhalte, die in der neuesten Inhalte in der Lage ist, ermöglicht Diksha die Lernenden, in der sich entwickelnden Tech-Landschaft zu navigieren und zu übertreffen, um die Ausbildung in diesem schnell fortschreitenden Bereich zu gewährleisten.