Nur drei Monate nach der Veröffentlichung seines hochmodernen Modells Gemini 3 Professional ist Google DeepMind mit seiner neuesten Model hier: Gemini 3.1 Professional.

Das Gemini 3.1 Professional-Modell ist ein radikales Improve in Bezug auf Leistungsfähigkeit und Sicherheit und soll für jedermann zugänglich und bedienbar sein. Unabhängig von Ihrer Präferenz, Plattform und Kaufkraft hat das Modell allen Nutzern viel zu bieten.

Ich würde die Fähigkeiten von Gemini 3.1 Professional testen und die wichtigsten Funktionen näher erläutern. Vom Zugriff auf Gemini 3.1 Professional bis hin zu Benchmarks wurde in diesem Artikel alles über dieses neue Modell angesprochen.

Gemini 3.1 Professional: Was ist neu?

Gemini 3.1 Professional ist das neueste Mitglied der Gemini-Modellfamilie. Wie üblich verfügt das Modell über eine erstaunliche Anzahl an Funktionen und Verbesserungen aus der Vergangenheit. Einige der auffälligsten sind:

• 1 Million Kontextfenster: Behält die branchenführende Eingabekapazität von 1 Million Token bei und ermöglicht die Verarbeitung von über 1.500 Textseiten oder ganzen Code-Repositorys in einer einzigen Eingabeaufforderung.
• Erweiterte Argumentationsleistung: Es liefert mehr als das Doppelte der Argumentationsleistung des Gemini 3 Professional und punktet 77,1 % auf dem ARC-AGI-2-Benchmark.
• Verbesserte Agentenzuverlässigkeit: Speziell optimiert für autonome Arbeitsabläufe, einschließlich eines dedizierten API-Endpunkts (gemini-3.1-pro-preview-customtools) für hochpräzise Software-Orchestrierung und Bash-Ausführung.
• Preise: Der Preis/Token des neuesten Modells ist derselbe wie der seines Vorgängers. Für diejenigen, die an die Professional-Variante gewöhnt sind, gibt es ein kostenloses Improve.

• Erweiterte Vibe-Codierung: Das Modell beherrscht die visuelle Codierung außergewöhnlich intestine. Es kann webbasierte, animierte SVGs ausschließlich durch Code generieren, was eine gestochen scharfe Skalierung und winzige Dateigrößen bedeutet.
• Halluzinationen: Gemini 3.1 Professional hat das Halluzinationsproblem direkt angegangen, indem es die Halluzinationsrate von 88 % auf reduziert hat 50 % über AA-Omniscience: Wissens- und Halluzinations-Benchmark

• Granulares Denken: Das Modell erweitert die vom Vorgänger angebotenen Denkmöglichkeiten um mehr Granularität. Jetzt können die Benutzer zwischen hohen, mittleren und niedrigen Denkparametern wählen.

Arms-On: Lasst uns Spaß haben

Alles Gerede der Welt würde nichts nützen, wenn die Leistung in der Praxis versagt. Um Gemini 3.1 Professional richtig zu bewerten, habe ich es in drei Kategorien getestet:

1. Komplexe Argumentation
2. Codegenerierung und Debugging
3. Langkontextsynthese

Aufgabe 1: Mehrstufiges logisches Denken

Was das testet: Gedankenkettendenken, Umgang mit Einschränkungen und Halluzinationsresistenz.

Immediate:

„Sie erhalten das folgende Szenario:

Fünf Analysten – A, B, C, D und E – sind drei Projekten zugeordnet: Alpha, Beta und Gamma.

Regeln:

1. Jedes Projekt muss mindestens einen Analysten haben.
2. A kann nicht mit C zusammenarbeiten.
3. B muss demselben Projekt wie D zugeordnet sein.
4. E kann nicht auf Alpha sein.
5. Kein Projekt kann mehr als drei Analysten haben.

Frage: Alle gültigen Zuweisungskombinationen auflisten. Machen Sie Ihre Argumentation deutlich und stellen Sie sicher, dass keine Regel verletzt wird.

„

Antwort:

Gemini 3.1 Professional bewältigte die Logik mit vielen Einschränkungen, ohne in Widersprüche zu verfallen, wo die meisten Modelle stolpern. Die Konsistenz und Klarheit bei der Aufzählung gültiger Kombinationen zeigte eine ernsthafte Argumentationstiefe.

Aufgabe 2: Codegenerierung und Refactoring

Was das testet: Strukturiertes Denken, Grenzfallbewusstsein, Code-Korrektheit und Produktionsrealismus.

Immediate:

„Sie erhalten die folgende Python-Funktion:

def process_orders(orders):
    complete = 0
    for order in orders:
        if order("standing") == "accomplished":
            complete += order("quantity")
    return complete

Refaktorieren Sie diese Funktion wie folgt:

1. Gehen Sie sicher mit fehlenden Schlüsseln um.
2. Ignorieren Sie adverse Beträge.
3. Protokoll übersprungene ungültige Einträge.
4. Seien Sie mit Typhinweisen und Dokumentzeichenfolgen produktionsbereit.
5. Integrieren Sie Unit-Checks für Randfälle.

Geben Sie nur sauberen, intestine strukturierten Python-Code zurück.

„

Antwort:

import logging
import unittest
from typing import Listing, Dict, Any

logger = logging.getLogger(__name__)

def process_orders(orders: Listing(Dict(str, Any))) -> float:
    """
    Course of an inventory of order dictionaries and calculate
    the full quantity of accomplished orders.
    """
    complete: float = 0.0

    if not isinstance(orders, record):
        logger.error("'orders' should be an inventory.")
        return complete

    for index, order in enumerate(orders):
        if not isinstance(order, dict):
            logger.warning("Skipping index %d: Not a dictionary.", index)
            proceed

        if order.get("standing") != "accomplished":
            proceed

        if "quantity" not so as:
            logger.warning("Skipping index %d: Lacking 'quantity'.", index)
            proceed

        quantity = order("quantity")

        if not isinstance(quantity, (int, float)) or isinstance(quantity, bool):
            logger.warning("Skipping index %d: 'quantity' should be numeric.", index)
            proceed

        if quantity < 0:
            logger.warning("Skipping index %d: Detrimental quantity (%.2f).", index, quantity)
            proceed

        complete += float(quantity)

    return complete


class TestProcessOrders(unittest.TestCase):

    def setUp(self):
        logging.disable(logging.WARNING)

    def tearDown(self):
        logging.disable(logging.NOTSET)

    def test_valid_completed_orders(self):
        orders = (
            {"standing": "accomplished", "quantity": 100},
            {"standing": "accomplished", "quantity": 50.5}
        )
        self.assertEqual(process_orders(orders), 150.5)

    def test_ignore_pending_orders(self):
        orders = (
            {"standing": "pending", "quantity": 100},
            {"standing": "accomplished", "quantity": 50}
        )
        self.assertEqual(process_orders(orders), 50.0)

    def test_missing_keys_skipped(self):
        orders = (
            {"quantity": 100},
            {"standing": "accomplished"},
            {"standing": "accomplished", "quantity": 20}
        )
        self.assertEqual(process_orders(orders), 20.0)

    def test_negative_amounts_ignored(self):
        orders = (
            {"standing": "accomplished", "quantity": -10},
            {"standing": "accomplished", "quantity": 3

Der überarbeitete Code fühlte sich produktionsorientiert an, nicht auf Spielzeugniveau. Es berücksichtigte Randfälle, erzwang Typsicherheit und umfasste aussagekräftige Checks. Dies ist die Artwork von Ausgabe, die tatsächlich reale Entwicklungsstandards respektiert.

Aufgabe 3: Analytische Langkontext-Synthese

Was das testet: Informationskomprimierung, strukturierte Zusammenfassung und kontextübergreifendes Denken.

Immediate:

„Nachfolgend finden Sie einen synthetischen Geschäftsbericht:

Unternehmen: NovaGrid AI

Umsatz 2022: 12 Millionen US-Greenback
2023 Einnahmen : 28 Millionen US-Greenback
2024 Einnahmen: 46 Millionen US-Greenback

Die Kundenabwanderung stieg im Jahr 2024 von 4 % auf 11 %.
Die F&E-Ausgaben stiegen im Jahr 2024 um 70 %.
Die operative Marge sank von 18 % auf 9 %.
Die Zahl der Unternehmenskunden stieg um 40 %.
Die Zahl der KMU-Kunden ging um 22 % zurück.
Die Kosten für die Cloud-Infrastruktur haben sich verdoppelt.

Aufgabe:

1. Diagnostizieren Sie die wahrscheinlichsten Ursachen für den Margenrückgang.
2. Identifizieren Sie strategische Risiken.
3. Empfehlen Sie 3 datengestützte Maßnahmen.
4. Präsentieren Sie Ihre Antwort in einem strukturierten Government-Memo-Format.

„

Antwort:

Es verknüpfte Finanzsignale, operative Veränderungen und strategische Risiken zu einer kohärenten Führungserzählung. Die Fähigkeit, Margendruck zu diagnostizieren und gleichzeitig Wachstumssignale auszugleichen, zeugt von starken geschäftlichen Überlegungen. Es las sich wie etwas, das ein kluger Strategieberater entwerfen würde, und nicht wie eine allgemeine Zusammenfassung.

Notiz: Ich habe nicht die Standardaufgaben „Dashboard erstellen“ verwendet, wie sie bei den meisten neueren Modellen üblich sind Sonett 4.6, Kimi Okay 2,5sind leicht in der Lage, eine zu erstellen. Für ein so leistungsfähiges Modell würde es additionally keine große Herausforderung darstellen.

Wie greife ich auf Gemini 3.1 Professional zu?

Im Gegensatz zu den vorherigen Professional-Modellen ist Gemini 3.1 Professional für alle Benutzer auf der Plattform ihrer Wahl frei zugänglich.

Nachdem Sie sich nun für die Verwendung von Gemini 3.1 Professional entschieden haben, sehen wir uns an, wie Sie auf das Modell zugreifen können.

1. Gemini-Net-Benutzeroberfläche: Free- und Gemini Superior-Benutzern steht jetzt 3.1 Professional unter der Possibility „Modell“ zur Verfügung.

1. API: Verfügbar über Google AI Studio für Entwickler (Modelle/Gemini-3.1-pro).

3. Cloud-Plattformen: Wird für NotebookLM, Vertex AI von Google Cloud und Microsoft Foundry eingeführt.

Benchmarks

Um zu quantifizieren, wie intestine dieses Modell ist, würden die Benchmarks hilfreich sein.

Hier gibt es viel zu entschlüsseln. Aber die erstaunlichste Verbesserung von allen gibt es sicherlich bei den abstrakten Denkrätseln.

Lassen Sie mich die Dinge ins rechte Licht rücken: Gemini 3 Professional wurde mit einem ARC-AGI-2-Rating von 31,1 % veröffentlicht. Dies battle der höchste Wert seiner Zeit und galt als Durchbruch für die LLM-Requirements. Nur drei Monate später wurde dieser Wert von seinem eigenen Nachfolger in den Schatten gestellt die Marge verdoppeln!

Dies ist das rasante Tempo, mit dem sich KI-Modelle verbessern.

Wenn Sie mit den Checks dieser Benchmarks nicht vertraut sind, lesen Sie diesen Artikel: KI-Benchmarks.

Fazit: Leistungsstark und zugänglich

Gemini 3.1 Professional beweist, dass es mehr als ein auffälliges multimodales Modell ist. In Bezug auf Argumentation, Code und analytische Synthese demonstriert es echte Leistungsfähigkeit mit Produktionsrelevanz. Es ist nicht fehlerfrei und erfordert dennoch strukturierte Anweisungen und menschliche Aufsicht. Aber als Grenzmodell, eingebettet in das Google-Ökosystem, ist es leistungsstark, wettbewerbsfähig und absolut eine ernsthafte Bewertung wert.

Häufig gestellte Fragen

WhatsApp entwickelt eine Funktion, mit der Benutzer das Image und die Branding-Farbe der App anpassen können. Die Funktion erschien in der Android-Betaversion 2.26.6.1, die am 10. Februar 2026 veröffentlicht wurde. Dies folgt einer ähnlichen iOS-Anpassungsoption, die zuvor angekündigt, aber auf unbestimmte Zeit zurückgestellt wurde, bis sie den Benutzeranforderungen entspricht.

Das Replace führt zwei primäre Anpassungsoptionen ein. Die Entwicklung spiegelt die Reaktion von WhatsApp auf früheres Suggestions wider, insbesondere aus der iOS-Beta, wo die Funktion vor dem Fortfahren verfeinert werden musste, um den Benutzerpräferenzen gerecht zu werden.

Die erste Possibility bietet 14 neue App-Symbole. Dazu gehören unverwechselbare Designs mit den Namen Aurora, Fluffy, Galaxy, Clay, Sparkle und Neon. Weitere sieben monochromatische Symbole bieten Variationen in Braun, Grün, Lila, Orange, Blau, Rosa und Monochrom.

• Aurora: Ein einzigartiges Icon-Design in der neuen Auswahl.
• Flaumig: Ein weiterer unverwechselbarer Stil, der vom Benutzer ausgewählt werden kann.
• Galaxis: Teil der 14 in der Beta entdeckten Symbole.
• Ton: Im Anpassungsset enthalten.
• Funkeln: Eine der genannten kreativen Ikonen.
• Neon: Wird zusammen mit anderen im Replace vorgestellt.
• Monochromatische Symbole: Sieben Optionen in Braun, Grün, Lila, Orange, Blau, Pink und Monochrom.

Benutzer haben weiterhin die Möglichkeit, das klassische Image auszuwählen, das vor einigen Jahren aktualisiert wurde, um Kontinuität für diejenigen zu gewährleisten, die vertraute Erscheinungsbilder bevorzugen.

Die zweite Anpassungsoption ermöglicht Änderungen an der Branding-Farbe der App. Ursprünglich in einer iOS-Beta beobachtet, erstreckt sich dies nun auf Android. Es bietet 19 Farboptionen zur Personalisierung.

• Standardgrün: Die in der Liste beibehaltene Standardoption.
• Königsblau: Eine lebendige Different zum Branding.
• Violett: Unter den vielfältigen angebotenen Farbtönen.
• Marineblau: Eine tiefere blaue Variante.
• Hellviolett: Ein sanfterer Lilaton.
• Dunkelgrau: Neutrale Possibility für Themen.
• Koralle: Hotter Farbton in der Auswahl.
• Dunkles Olivgrün: Erdiger Grünton.
• Blaugrün: Blau-grüne Kombination.
• Burgund: Satte Farbe auf Rotbasis.
• Braun: Commonplace-Erdton.
• Beige: Heller neutraler Farbton.
• Seeschaumgrün: Hellgrüne Possibility.
• Gelb: Helle Primärfarbe.
• Olivgrün: Gedeckte grüne Variante.
• Rosa: Zartrosa Einschluss.
• Rot: Kräftiger Primärton.
• Orange: Lebendige warme Farbe.
• Goldgelb: Metallic-Gelb-End.

Diese Funktionen sind in den kommenden Premium-Plan von WhatsApp integriert und über ein monatliches Abonnement zugänglich. Preisdetails werden nicht bekannt gegeben und können von Land zu Land unterschiedlich sein. Der Premium-Plan fungiert als optionale Erweiterung, sodass personal Nachrichten und alle Kernfunktionen für jeden Benutzer kostenlos bleiben.

---

Hervorgehobener Bildnachweis

Ein Unternehmen, das ein großes Sprachmodell (LLM) zum Zusammenfassen von Verkaufsberichten oder zur Triage von Kundenanfragen verwenden möchte, kann zwischen Hunderten einzigartiger LLMs mit Dutzenden Modellvarianten wählen, die jeweils eine leicht unterschiedliche Leistung aufweisen.

Um die Auswahl einzugrenzen, verlassen sich Unternehmen häufig auf LLM-Rating-Plattformen, die Benutzerfeedback zu Modellinteraktionen sammeln, um die neuesten LLMs basierend auf ihrer Leistung bei bestimmten Aufgaben zu bewerten.

Aber MIT-Forscher haben herausgefunden, dass eine Handvoll Benutzerinteraktionen die Ergebnisse verzerren können, was dazu führen kann, dass jemand fälschlicherweise glaubt, ein LLM sei die ideale Wahl für einen bestimmten Anwendungsfall. Ihre Studie zeigt, dass das Entfernen eines winzigen Bruchteils der Crowdsourcing-Daten dazu führen kann, dass die Modelle an erster Stelle stehen.

Sie haben eine schnelle Methode entwickelt, um Rating-Plattformen zu testen und festzustellen, ob sie für dieses Downside anfällig sind. Die Bewertungstechnik identifiziert die einzelnen Stimmen, die am stärksten für die Verzerrung der Ergebnisse verantwortlich sind, sodass Benutzer diese einflussreichen Stimmen überprüfen können.

Die Forscher sagen, dass diese Arbeit die Notwendigkeit strengerer Strategien zur Bewertung von Modellrankings unterstreicht. Obwohl sie sich in dieser Studie nicht auf die Schadensbegrenzung konzentrierten, lieferten sie Vorschläge, die die Robustheit dieser Plattformen verbessern könnten, wie etwa das Einholen detaillierterer Rückmeldungen zur Erstellung der Rankings.

Die Studie warnt auch Nutzer, die sich bei Entscheidungen über LLMs, die weitreichende und kostspielige Auswirkungen auf ein Unternehmen oder eine Organisation haben könnten, möglicherweise auf Rankings verlassen.

„Wir waren überrascht, dass diese Rating-Plattformen so empfindlich auf dieses Downside reagierten. Wenn sich herausstellt, dass der am höchsten bewertete LLM nur von zwei oder drei Teilen des Benutzerfeedbacks von Zehntausenden abhängt, kann man nicht davon ausgehen, dass der am besten bewertete LLM bei seiner Einführung alle anderen LLMs durchweg übertreffen wird“, sagt Tamara Broderick, außerordentliche Professorin am Division of Electrical Engineering and Pc Science (EECS) des MIT; ein Mitglied des Laboratory for Data and Resolution Techniques (LIDS) und des Institute for Knowledge, Techniques, and Society; eine Tochtergesellschaft des Pc Science and Synthetic Intelligence Laboratory (CSAIL); und leitender Autor dieser Studie.

Sie ist dabei Papier von den Hauptautoren und EECS-Absolventen Jenny Huang und Yunyi Shen sowie Dennis Wei, einem leitenden Wissenschaftler bei IBM Analysis. Die Studie wird auf der Worldwide Convention on Studying Representations vorgestellt.

Daten werden gelöscht

Obwohl es viele Arten von LLM-Rating-Plattformen gibt, werden die Benutzer bei den beliebtesten Varianten aufgefordert, eine Anfrage an zwei Modelle zu stellen und auszuwählen, welches LLM die bessere Antwort bietet.

Die Plattformen aggregieren die Ergebnisse dieser Matchups, um Rankings zu erstellen, die zeigen, welcher LLM bei bestimmten Aufgaben wie Codierung oder visuellem Verständnis am besten abgeschnitten hat.

Durch die Auswahl eines LLM mit der höchsten Leistung erwartet ein Benutzer wahrscheinlich, dass sich die Spitzenplatzierung dieses Modells verallgemeinert, was bedeutet, dass es andere Modelle bei ihrer ähnlichen, aber nicht identischen Anwendung mit einem Satz neuer Daten übertreffen sollte.

Die MIT-Forscher untersuchten zuvor die Generalisierung in Bereichen wie Statistik und Wirtschaft. Diese Arbeit deckte bestimmte Fälle auf, in denen das Weglassen eines kleinen Prozentsatzes der Daten die Ergebnisse eines Modells verändern kann, was darauf hindeutet, dass die Schlussfolgerungen dieser Studien möglicherweise nicht über ihren engen Rahmen hinaus gültig sind.

Die Forscher wollten herausfinden, ob die gleiche Analyse auf LLM-Rating-Plattformen angewendet werden kann.

„Letztendlich möchte ein Benutzer wissen, ob er sich für den besten LLM entscheidet. Wenn nur wenige Eingabeaufforderungen dieses Rating bestimmen, deutet das darauf hin, dass das Rating möglicherweise nicht das Allerbeste ist“, sagt Broderick.

Es wäre jedoch unmöglich, das Phänomen des Datenverlusts manuell zu testen. So hatte ein von ihnen ausgewertetes Rating mehr als 57.000 Stimmen. Das Testen eines Datenrückgangs von 0,1 Prozent bedeutet, dass jede Teilmenge von 57 Stimmen aus den 57.000 entfernt wird (es sind mehr als 10).¹⁹⁴ Teilmengen) und anschließende Neuberechnung der Rangfolge.

Stattdessen entwickelten die Forscher auf der Grundlage ihrer früheren Arbeiten eine effiziente Näherungsmethode und passten sie an LLM-Rankingsysteme an.

„Obwohl wir eine Theorie haben, die beweist, dass die Näherung unter bestimmten Annahmen funktioniert, muss der Benutzer darauf nicht vertrauen. Unsere Methode teilt dem Benutzer am Ende die problematischen Datenpunkte mit, sodass er diese Datenpunkte einfach löschen, die Analyse erneut ausführen und prüfen kann, ob sich die Rangfolge ändert“, sagt sie.

Überraschend empfindlich

Als die Forscher ihre Technik auf beliebte Rating-Plattformen anwendeten, waren sie überrascht, wie wenige Datenpunkte sie löschen mussten, um signifikante Veränderungen in den High-LLMs zu bewirken. In einem Fall führte die Entfernung von nur zwei von mehr als 57.000 Stimmen, was 0,0035 Prozent entspricht, dazu, welches Modell an erster Stelle steht.

Eine andere Rating-Plattform, die Experten-Annotatoren und qualitativ hochwertigere Eingabeaufforderungen verwendet, struggle robuster. Hier wurden durch die Streichung von 83 von 2.575 Bewertungen (rund 3 Prozent) die Spitzenmodelle umgedreht.

Ihre Untersuchung ergab, dass viele einflussreiche Stimmen möglicherweise auf Benutzerfehler zurückzuführen waren. In einigen Fällen schien es eine klare Antwort darauf zu geben, welches LLM besser abschnitt, aber der Benutzer entschied sich stattdessen für das andere Modell, sagt Broderick.

„Wir können nie wissen, was der Benutzer zu diesem Zeitpunkt im Kopf hatte, aber vielleicht hat er falsch geklickt oder nicht aufgepasst, oder er wusste ehrlich gesagt nicht, welches besser ist. Der große Vorteil dabei ist, dass Sie nicht möchten, dass Lärm, Benutzerfehler oder Ausreißer bestimmen, welches LLM am besten bewertet ist“, fügt sie hinzu.

Die Forscher gehen davon aus, dass das Sammeln zusätzlicher Rückmeldungen von Benutzern, wie z. B. das Vertrauensniveau bei jeder Abstimmung, umfassendere Informationen liefern würde, die zur Entschärfung dieses Issues beitragen könnten. Rating-Plattformen könnten auch menschliche Mediatoren einsetzen, um Crowdsourcing-Antworten zu bewerten.

Die Forscher wollen die Verallgemeinerung in anderen Kontexten weiter erforschen und gleichzeitig bessere Approximationsmethoden entwickeln, die mehr Beispiele für Nichtrobustheit erfassen können.

„Die Arbeit von Broderick und ihren Studenten zeigt, wie man valide Schätzungen des Einflusses spezifischer Daten auf nachgelagerte Prozesse erhalten kann, obwohl erschöpfende Berechnungen angesichts der Größe moderner Modelle und Datensätze für maschinelles Lernen unlösbar sind“, sagt Jessica Hullman, Ginni Rometty-Professorin für Informatik an der Northwestern College, die nicht an dieser Arbeit beteiligt struggle. „Die jüngste Arbeit bietet einen Einblick in die starken Datenabhängigkeiten bei routinemäßig angewendeten – aber auch sehr fragilen – Methoden zur Aggregation menschlicher Präferenzen und deren Verwendung zur Aktualisierung eines Modells. Zu sehen, wie wenige Präferenzen das Verhalten eines fein abgestimmten Modells wirklich verändern könnten, könnte zu durchdachteren Methoden zur Erfassung dieser Daten führen.“

Diese Forschung wird zum Teil vom Workplace of Naval Analysis, dem MIT-IBM Watson AI Lab, der Nationwide Science Basis, Amazon und einem CSAIL Seed Award finanziert.

Google hat mit seinen Gemini 2.0 -Modellen Wellen im KI -Raum geschafft und wesentliche Upgrades auf ihre Chatbot- und Entwickler -Instruments gebracht. Mit der Einführung von Gemini 2.0 Flash, Gemini 2.0 Professional (experimentell) und dem neuen kosteneffizienten Gemini 2.0 Flash-Lite battle ich bestrebt, mit jedem dieser Modelle praktische Erfahrungen zu sammeln-und ja, ich habe sie alle für versucht frei!

Wie bekomme ich Gemini 2.0 API?

Schritt 1: Geh dazu Hyperlink.

Schritt 2: Klicken Sie auf „Holen Sie sich eine Gemini -API -Style“

Schritt 3: Klicken Sie nun auf „API -Schlüssel erstellen“

Schritt 4: Wählen Sie ein Projekt aus Ihren vorhandenen Google Cloud -Projekten aus.

Schritt 5: Suche Google Cloud -Projekte. Dies generiert den API -Schlüssel für Ihr Projekt!

Praktisch mit Gemini 2.0 Flash

Gemini 2.0 Flash, zunächst eine experimentelle Veröffentlichung, ist jetzt weithin zugänglich und in verschiedene Google AI -Produkte integriert. Nachdem ich es durch die Gemini -API in Google AI Studio und Vertex AI getestet hatte, fand ich es eine schnellere und optimiertere Model seines Vorgängers. Während es die tiefen Argumentationsfähigkeiten des Professional -Modells fehlt, behandelt es schnelle Reaktionen und allgemeine Aufgaben bemerkenswert intestine.

Um mehr über diesen Weblog zu erfahren.

Schlüsselmerkmale, die mir aufgefallen sind

• Verbesserte Geschwindigkeit: Das Modell ist sehr reaktionsschnell und macht es ideally suited für Echtzeitanwendungen.
• Bevorstehende Funktionen: Google hat für dieses Modell Textual content-to-Speech- und Bildgenerierungsfunktionen angekündigt, was es noch vielseitiger machen könnte.
• Nahtlose Integration: Zugriff über die Gemini -App, Google AI Studio und die Vertex AI, die es in verschiedenen Anwendungen leicht implementieren kann.

Code:

!pip set up -q -U google-generativeai

import google.generativeai as genai

from IPython.show import Markdown

from google.colab import userdata

GOOGLE_API_KEY=userdata.get('GOOGLE_API_KEY')

genai.configure(api_key=GOOGLE_API_KEY)

import httpx

import base64

# Retrieve a picture

image_path = "https://cdn.pixabay.com/picture/2022/04/10/09/02/cats-7122943_1280.png"

picture = httpx.get(image_path)

# Select a Gemini mannequin

mannequin = genai.GenerativeModel(model_name="fashions/gemini-2.0-flash")

# Create a immediate

immediate = "Caption this picture."

response = mannequin.generate_content(

   (

       {

           "mime_type": "picture/jpeg",

           "information": base64.b64encode(picture.content material).decode("utf-8"),

       },

       immediate,

   )

)

Markdown(">" + response.textual content)

Ausgabe:

Zwei Cartoon -Katzen interagieren mit einer großen Blume. Die Katze hyperlinks ist braun mit braunen Streifen und greift nach einem großen grünen Blatt. Die Katze rechts ist grau mit dunkleren grauen Streifen und schaut mit Interesse zur Blume auf. Die Blume hat orange Blütenblätter und ein blasses Zentrum. Es gibt auch einige glatte Steine ​​an der Foundation der Blume. Der Hintergrund ist eine hellblaue Farbe.

Lesen Sie auch: Gemini 2.0 Flash gegen GPT 4O: Was ist besser?

Testing Gemini 2.0 Professional (experimentell)

Dieses Flaggschiff -Modell befindet sich noch in einer experimentellen Part, aber ich habe einen frühen Zugriff über Google AI Studio. Gemini 2.0 Professional ist für komplexe Argumentations- und Codierungsaufgaben konzipiert und hat den Erwartungen sicherlich erfüllt.

Meine Imbissbuden

• Massives 2m Token -Kontextfenster: Die Fähigkeit, große Datensätze effizient zu verarbeiten, ist ein Sport-Changer.
• Fortgeschrittene Argumentation: Verarbeitet mehrstufige Problemlösungen besser als jedes frühere Gemini-Modell.
• Beste Codierungsleistung: Ich habe es mit Programmierherausforderungen getestet und es übertraf andere Gemini -Modelle bei der Generierung strukturierter und optimierter Code.
• Werkzeugintegration: Das Modell kann die Google -Such- und Codeausführung nutzen, um die Antworten zu verbessern.

Gemini 2.0 Professional ist ab sofort als experimentelles Modell für Entwickler in Google AI Studio und Vertex AI sowie für Gemini Superior-Benutzer in der Dropdown-Dropd-Down-Marke auf Desktop und Cellular verfügbar.

Um mehr über diesen Weblog zu erfahren.

Code:

pip set up -q -U google-genai

from google import genai


# Exchange "YOUR_API_KEY" along with your precise API key
shopper = genai.Consumer(api_key="Your_API_Key")


response = shopper.fashions.generate_content(
   mannequin="gemini-2.0-pro-exp-02-05", contents="Give me code for nth fabonacci collection"
)
print(response.textual content)

Ausgabe:

def fibonacci_nth(n):
"""
Calculates the nth Fibonacci quantity.
Args:
n: The index of the specified Fibonacci quantity (non-negative integer).
Returns:
The nth Fibonacci quantity. Returns 0 if n is 0. Returns 1 if n is 1.
Handles invalid enter (damaging numbers) by elevating a ValueError.
Raises:
ValueError: if n is damaging.
"""
if n < 0:
increase ValueError("Enter have to be a non-negative integer.")
elif n <= 1:
return n  # Base circumstances: F(0) = 0, F(1) = 1
else:
a, b = 0, 1
for _ in vary(2, n + 1):
a, b = b, a + b  # Effectively replace a and b
return b
def fibonacci_series(n):
"""
Generates the primary n Fibonacci numbers.
Args:
n: The variety of Fibonacci numbers to generate (non-negative integer).
Returns:
An inventory containing the primary n Fibonacci numbers. Returns an empty checklist if n is 0.
Handles invalid enter (damaging n) by elevating a ValueError.
Raises:
ValueError: if n is damaging.
"""
if n < 0:
increase ValueError("Enter have to be a non-negative integer.")
elif n == 0:
return ()
elif n == 1:
return (0)
else:
collection = (0, 1)
whereas len(collection) < n:
next_fib = collection(-1) + collection(-2)
collection.append(next_fib)
return collection
def fibonacci_recursive(n):
"""
Calculates the nth Fibonacci quantity utilizing recursion.
Args:
n: The index of the specified Fibonacci quantity (non-negative integer).
Returns:
The nth Fibonacci quantity.
Raises:
ValueError: if n is damaging.
"""
if n < 0:
increase ValueError("Enter have to be a non-negative integer.")
elif n <= 1:
return n
else:
return fibonacci_recursive(n - 1) + fibonacci_recursive(n - 2)
def fibonacci_memoization(n, memo={}):
"""
Calculates the nth Fibonacci quantity utilizing recursion with memoization.
Args:
n: The index of the specified Fibonacci quantity (non-negative integer)
memo: A dictionary to retailer beforehand computed Fibonacci numbers.
Returns:
The nth Fibonacci quantity.
Raises:
ValueError: if n is damaging.
"""
if n < 0:
increase ValueError("Enter have to be a non-negative integer.")
if n in memo:
return memo(n)
if n <= 1:
return n
memo(n) = fibonacci_memoization(n - 1, memo) + fibonacci_memoization(n - 2, memo)
return memo(n)
def fibonacci_golden_ratio(n):
"""
Calculates the nth Fibonacci quantity utilizing the Golden Ratio system (Binet's system).
Args:
n: The index of the specified Fibonacci quantity (non-negative integer).
Returns:
The nth Fibonacci quantity, rounded to the closest integer. As a result of floating-point
precision, this technique is perhaps inaccurate for very massive values of n.
Raises:
ValueError: if n is damaging.
"""
if n < 0:
increase ValueError("Enter have to be a non-negative integer.")
phi = (1 + 5**0.5) / 2  # Golden Ratio
return spherical((phi**n - (1 - phi)**n) / (5**0.5))
# --- Examples and Testing ---
if __name__ == "__main__":
# Check circumstances
test_cases = (0, 1, 2, 3, 4, 5, 6, 7, 10, 20, 30)
print("Iterative Technique:")
for n in test_cases:
print(f"F({n}) = {fibonacci_nth(n)}")
print("nSeries Technique:")
for n in test_cases:
print(f"First {n} Fibonacci numbers: {fibonacci_series(n)}")
print("nRecursive Technique (Warning: Gradual for bigger n):")
for n in test_cases(:10):  # Restrict recursive exams for efficiency
print(f"F({n}) = {fibonacci_recursive(n)}")
print("nMemoization Technique:")
for n in test_cases:
print(f"F({n}) = {fibonacci_memoization(n)}")
print("nGolden Ratio Technique:")
for n in test_cases:
print(f"F({n}) = {fibonacci_golden_ratio(n)}")
# Instance of dealing with invalid enter
strive:
print(fibonacci_nth(-1))
besides ValueError as e:
print(f"Error: {e}")
strive:
print(fibonacci_series(-5))
besides ValueError as e:
print(f"Error: {e}")
strive:
fibonacci_recursive(-2)
besides ValueError as e:
print(f"Error: {e}")
strive:
fibonacci_memoization(-3)
besides ValueError as e:
print(f"Error: {e}")
strive:
fibonacci_golden_ratio(-4)
besides ValueError as e:
print(f"Error: {e}")
# Bigger worth testing (iterative and memoization are a lot quicker)
large_n = 40
print(f"nF({large_n}) (Iterative) = {fibonacci_nth(large_n)}")
print(f"F({large_n}) (Memoization) = {fibonacci_memoization(large_n)}")
# print(f"F({large_n}) (Recursive) = {fibonacci_recursive(large_n)}") # Very gradual!  Keep away from for giant n.
print(f"F({large_n}) (Golden Ratio) = {fibonacci_golden_ratio(large_n)}")

Erkundung von Gemini 2.0 Flash-Lite: Das kostengünstigste Modell

Gemini 2.0 Flash-Lite ist das budgetfreundliche KI-Modell von Google und bietet ein Gleichgewicht zwischen Leistung und Erschwinglichkeit. Im Gegensatz zu seinen Vorgängern bietet es a 1m Token Kontextfenster Und Multimodaleingangsunterstützung Beibehaltung der Geschwindigkeit des vorherigen 1,5 -Flash -Modells.

Was ist für mich aufgefallen?

• Ideally suited für kosten smart Anwendungen: Dieses Modell ist eine gute Wahl für Unternehmen oder Entwickler, die die KI -Ausgaben senken möchten.
• Glätte Leistung: Obwohl es nicht so mächtig wie Profi ist, ist es für allgemeine Aufgaben intestine.
• Öffentliche Vorschau verfügbar: Keine Einschränkungen – Jedes kann es über Google AI Studio und Vertex AI versuchen.

Um mehr über diesen Weblog zu erfahren.

Code:

pip set up -q -U google-genai


from google import genai


# Exchange "YOUR_API_KEY" along with your precise API key
shopper = genai.Consumer(api_key="Your_API_Key")


# Generate content material with streaming
response_stream = shopper.fashions.generate_content_stream(
   mannequin="gemini-2.0-flash-lite-preview-02-05",
   contents="Give me a bedtime story for my child"
)


# Course of and print the streamed response
for chunk in response_stream:
   print(chunk.textual content, finish="", flush=True)  # Print every chunk because it arrives

Ausgabe:

Okay, snuggle in tight and shut your eyes. Let's start...
As soon as upon a time, in a land full of marshmallow clouds and lollipop bushes, lived just a little firefly named Flicker. Flicker wasn't simply any firefly, oh no! He had the brightest, sparkliest gentle in the entire valley. However generally, Flicker was just a little bit shy, particularly when it got here to shining his gentle at nighttime.
Because the solar started to dip behind the giggle-berry bushes, portray the sky in shades of orange and purple, Flicker would begin to fear. "Oh pricey," he'd whisper to himself, "It is getting darkish! I hope I haven't got to shine tonight."
All the opposite fireflies beloved to twinkle and dance within the night time sky, their lights making a magical, shimmering ballet. They’d zoom and swirl, leaving trails of glowing mud, whereas Flicker hid behind a giant, cozy dandelion.
One night time, as Flicker was hiding, he noticed just a little misplaced bunny, no larger than his thumb, hopping round in circles. The bunny was sniffing the air and whimpering softly. “Oh pricey, I am misplaced!” the bunny squeaked. “And it is so darkish!”
Flicker’s tiny coronary heart thumped in his chest. He actually wished to remain hidden, however he could not bear to see the little bunny scared and alone. Taking a deep breath, Flicker took a leap of religion.
He flew out from behind the dandelion, and with just a little *flick!*, his gentle shone brightly! It wasn't a giant, booming gentle, not at first. However it was sufficient!
The little bunny perked up his ears and noticed the glowing firefly. “Ooooh! You are shining!” the bunny cried. “Are you able to assist me?”
Flicker, stunned by his personal braveness, fluttered nearer and, with a mild *flicker* and *flicker*, started to steer the bunny alongside a path fabricated from glowing mushrooms. His gentle guided the bunny previous sleepy snails and babbling brooks till, lastly, they reached the bunny's cozy burrow, nestled below the roots of an enormous, whispering willow tree.
The bunny turned and checked out Flicker, his eyes shining with gratitude. "Thanks!" he squeaked. "You saved me! You had been so courageous and your gentle is so stunning."
As Flicker flew again in direction of the giggle-berry bushes, he felt a heat feeling unfold by means of his little firefly physique. It wasn't simply the heat of the night time; it was the heat of serving to another person.
That night time, and each night time after, Flicker flew with the opposite fireflies. He nonetheless felt just a little shy generally, however he all the time remembered the little misplaced bunny. And due to the bunny, Flicker's gentle grew brighter and stronger with each *flick!*. He discovered that one of the simplest ways to shine is to share your gentle, and that even the littlest gentle could make a giant distinction at nighttime.
Now shut your eyes tight, toddler. Dream of marshmallow clouds and glowing fireflies. Candy goals. Goodnight.

Gemini 2.0 Flash -Denkmodus: Ein Schritt in Richtung besserer KI -Argumentation

Dieser neue Modus verbessert, wie Gemini die Problemlösung umgeht, indem der Denkprozess explizit angezeigt wird. In der Gemini -App erhältlich, unterteilt es Probleme in kleinere Komponenten und präsentiert einen strukturierten Argumentationsansatz.

Meine Erfahrung mit dem Denkmodus

• Klare Erklärungen: Die KI bietet Schritt-für-Schritt-Aufschlüsse und erleichtert das Verständnis komplexer Antworten.
• Eher menschlicher Problemlösung: Im Gegensatz zu herkömmlichen Modellen, die sofort Antworten liefern, zeigt dieser Modus den Argumentationsprozess hinter Schlussfolgerungen.
• Zuvor beschränkt auf Entwickler: Jetzt in der Gemini -App erhältlich, wodurch sie für allgemeine Benutzer zugänglicher wird.

Um mehr über diesen Weblog zu erfahren.

Code:

%pip set up -U -q "google-genai"

from google.colab import userdata


GOOGLE_API_KEY=userdata.get('GOOGLE_API_KEY')

from google import genai
from google.genai import varieties


shopper = genai.Consumer(
   api_key=GOOGLE_API_KEY,


   # Use `v1alpha` so you possibly can see the `thought` flag.
   http_options={'api_version':'v1alpha'},
)

from pprint import pprint
pprint(
   shopper.fashions.get(mannequin="gemini-2.0-flash-thinking-exp-01-21")
   .model_dump(exclude_defaults=True)
)

Ausgabe:

response = shopper.fashions.generate_content(
   mannequin="gemini-2.0-flash-thinking-exp-01-21",
   contents="What's SFT? Clarify your reasoning step-by-step."
print(response.textual content) # Output of the LLM
print("-----")
for line in response.textual content.break up('n'):
   if line.startswith("Reasoning:"):  # Instance, adapt as wanted
       print(line)

Ausgabe:

for half in response.candidates(0).content material.components:
   show(Markdown(half.textual content))

Ausgabe:

Let's break down what SFT, or Supervised Positive-Tuning, is step-by-step.
1. Understanding the Phrases:
To grasp SFT, let's dissect the identify:
Supervised: Refers to studying from labeled information, much like having a trainer present the right solutions. In supervised studying, enter information is paired with desired output information (labels).
Positive-Tuning: Implies enhancements to an current mannequin (pre-trained) by adjusting its parameters (weights) to enhance efficiency on a particular process.
2. Context: Pre-trained Fashions (Basis Fashions)
SFT is usually utilized to massive pre-trained fashions in fields like Pure Language Processing (NLP) and Pc Imaginative and prescient. These fashions, skilled on huge datasets, be taught normal information patterns.
Pre-training Part: Think about a language mannequin skilled on the web's textual content, studying language nuances, vocabulary, grammar, and relationships between phrases. This part is essential for offering a stable foundational information.
3. Introducing Supervised Positive-Tuning (SFT) - The Core Idea:
Submit pre-training, a mannequin typically understands textual content or pictures however might not excel in particular duties. SFT addresses this by adapting the mannequin to carry out specific duties successfully.
Aim of SFT: Adapt a pre-trained mannequin to a particular process utilizing a related, task-specific, labeled dataset.
Examples of SFT:
Sentiment Evaluation:
Pre-trained mannequin: Educated on web textual content.
Activity: Decide sentiment (constructive or damaging) in film critiques.
SFT Dataset: Film critiques labeled as "constructive" or "damaging".
SFT Course of: Additional practice the mannequin on the film assessment dataset.
Query Answering:
Pre-trained mannequin: Basic massive language mannequin.
Activity: Reply questions primarily based on textual content passages.
SFT Dataset: Dataset of (context passage, query, reply) triples.
SFT Course of: Practice the mannequin on this dataset.
Instruction Following (for chatbots):
Pre-trained mannequin: Basic massive language mannequin.
Activity: Generate responses primarily based on consumer directions.
SFT Dataset: Directions paired with desired responses.
SFT Course of: Practice the mannequin to comply with directions and generate acceptable responses.
4. How SFT Works Technically:
Initialization: Begin with the weights from the pre-trained mannequin.
Activity-Particular Coaching: Feed the mannequin with SFT dataset.
Loss Perform: Outline a operate to measure prediction accuracy in opposition to precise labels.
Optimization: Modify weights utilizing algorithms like gradient descent to attenuate loss.
Smaller Studying Fee: Use a decreased studying price to fine-tune the mannequin subtly.
5. Advantages of SFT:
Improved Particular Activity Efficiency: Enhances mannequin accuracy on fine-tuned duties.
Quicker Coaching: Leverages current information, requiring much less information and time than coaching from scratch.
Activity Specialization: Tailors general-purpose fashions to excel in particular areas.
Alignment with Desired Conduct: Ensures fashions act in accordance with consumer expectations.
6. SFT vs. Different Positive-Tuning Strategies:
In comparison with different strategies like Reinforcement Studying from Human Suggestions (RLHF), SFT is commonly easier and fewer computationally intensive, making it an preliminary step earlier than making use of extra advanced strategies like RLHF.
7. Abstract - Step-by-Step Reasoning:
Begin with a broadly educated pre-trained mannequin.
Establish the necessity for specialization in particular duties.
Make the most of task-specific labeled information to information the mannequin's studying.
Positive-tune the mannequin's current weights to adapt it to new duties.
Optimize efficiency by means of focused changes and loss minimization.
Obtain enhanced task-specific efficiency, leveraging foundational information.
In essence, SFT transforms a broadly succesful "scholar" right into a specialised professional in a focused discipline by means of targeted and supervised studying.

Welches Modell ist richtig für Sie?

Jedes dieser Gemini 2.0 -Modelle richtet sich an verschiedene Anwendungsfälle. Hier ist ein kurzer Vergleich, der auf meinen praktischen Exams basiert:

Modell	Am besten für	Kontextfenster	Verfügbarkeit
Gemini 2.0 Blitz	Hochvolumme und Hochfrequenzaufgaben im Maßstab	1m Token	Öffentlich
Gemini 2.0 Professional (Exp.)	Komplexe Aufgaben, Codierung und tiefe Argumentation	2m Token	Google AI Studio, Vertex AI
Gemini 2.0 Flash-Lite	Kostensensitive Anwendungen, Effizienz	1m Token	Öffentliche Vorschau

Nachdem Sie die neuesten getestet haben Gemini 2.0 Modelle ist klar, dass Google erhebliche Fortschritte bei der KI -Entwicklung macht. Jedes Modell dient einem einzigartigen Zweck, einem Ausgleich Geschwindigkeits-, Kosten- und Argumentationsfähigkeiten Um sich auf verschiedene Benutzerbedürfnisse zu kümmern.

• Für Echtzeit hohe FrequenzaufgabenAnwesend Gemini 2.0 Blitz ist eine solide Wahl, die beeindruckende Geschwindigkeit und nahtlose Integration bietet.
• Für komplexe Problemlösungen, Kodierung und tiefe ArgumentationAnwesend Gemini 2.0 Professional (experimentell) fällt mit seinem auf 2m Token Kontextfenster und erweiterte Werkzeugintegration.
• Für kostenbewusste BenutzerAnwesend Gemini 2.0 Flash-Lite Bietet an Erschwinglich und doch mächtig Different, ohne die Leistung zu stark zu beeinträchtigen.
• Für eine bessere Erklärung in der KIDie Denkmodus führt einen strukturierten Argumentationsansatz ein und macht KI -Ausgänge transparenter und verständlicher.

Lesen Sie auch: Google Gemini 2.0 Professional Experimental besser als OpenAI O3-Mini?

Abschluss

Das Engagement von Google für Innovationen in der KI zeigt sich mit diesen Modellen und bietet Entwicklern und Unternehmen mehr Optionen, um modernste Technologie zu nutzen. Egal, ob Sie ein Forscher, ein KI-Fanatic oder ein Entwickler sind, der freie Zugang zu diesen Modellen bietet eine fantastische Gelegenheit, hochmoderne KI-Lösungen in Ihren Workflow zu erkunden und zu integrieren.

Mit fortgesetzten Verbesserungen und bevorstehenden Merkmalen wie Textual content-to-Speech- und Bildgenerierung entwickelt sich Gemini 2.0 als Hauptakteur in der sich entwickelnden KI-Landschaft. Wenn Sie überlegen, welches Modell dies verwendet werden soll, kommt es auf Ihre spezifischen Anforderungen an: Geschwindigkeit, Intelligenz oder Kosteneffizienz-und Google hat für jeden eine überzeugende Choice bereitgestellt.

In den letzten Jahren hat es in der KI viele erstaunliche Entwicklungen gegeben. ChatGPT kam erstmals im November 2022 auf den Markt. Es warfare ein bemerkenswerter Durchbruch, der weltweit für Schlagzeilen sorgte. ChatGPT und andere KI-Startups steigern die Nachfrage nach Softwareentwicklern.

In jüngerer Zeit haben wir auch von einigen neueren Entwicklungen in der KI gehört. Erst heute gab Microsoft bekannt, dass dies der Fall ist Einführung neuer KI-Mitarbeiter das Anfragen bearbeiten kann.

Eine der größten Entwicklungen ist jedoch die Gründung von RAG. Lesen Sie weiter, um zu erfahren, welche Auswirkungen es auf unsere Zukunft hat.

RAG ist das neueste glänzende Spielzeug mit KI

Wenn wir über KI, Retrieval Augmented Technology (RAG) und dergleichen sprechen, ist es hilfreich, sich einen LLM als Particular person vorzustellen.

Wir haben alle den Satz „Allesbewerber, kein Meister“ gehört, und das trifft auf große Sprachmodelle (LLMs) zu. In ihrer Standardform sind LLMs generalistisch. IBM hat einen tollen Überblick darüber.

Wenn Sie möchten, dass ein LLM an einem Unternehmen beteiligt ist und entweder produktive Ergebnisse erzielt oder Entscheidungen trifft – um über die allgemeine Ausrichtung hinauszugehen –, müssen Sie ihm etwas über Ihr Unternehmen beibringen, und Sie müssen ihm viel beibringen! Die Liste ist lang, aber als Grundlage müssen Sie ihr die grundlegenden Fähigkeiten für die Ausführung einer Aufgabe, die Organisation und die Prozesse der Organisation, das gewünschte Ergebnis und potenzielle Probleme beibringen und sie mit dem Kontext versorgen, der zur Lösung des Issues erforderlich ist aktuelles Downside. Sie müssen ihm auch alle notwendigen Werkzeuge zur Verfügung stellen, um entweder eine Änderung herbeizuführen oder mehr zu erfahren. Dies ist eines der neuesten Beispiele dafür Möglichkeiten, wie KI Unternehmen helfen kann.

Auf diese Weise ist der LLM einer Particular person sehr ähnlich. Wenn Sie jemanden einstellen, beginnen Sie damit, die Fähigkeiten zu finden, die Sie benötigen. Sie helfen ihm, Ihr Unternehmen zu verstehen, informieren ihn über den Geschäftsprozess, in dem er arbeitet, geben ihm Zielvorgaben und Zielvorgaben, schulen ihn in seiner Arbeit und geben ihm Werkzeuge an die Hand ihre Aufgabe.

Für die Menschen wird dies alles durch formelle und informelle Schulungen sowie die Bereitstellung guter Werkzeuge erreicht. Für ein großes Sprachmodell wird dies mit RAG erreicht. Wenn wir additionally die Vorteile der KI in einem Unternehmen nutzen wollen, müssen wir bei RAG sehr intestine werden.

Was ist additionally die Herausforderung?

Eine der Einschränkungen moderner Massive Language Fashions ist die Menge an Kontextinformationen, die für jede einzelne Aufgabe bereitgestellt werden können, die das LLM ausführen soll.

RAG bietet diesen Kontext. Daher ist die Vorbereitung eines prägnanten und genauen Kontexts von entscheidender Bedeutung. Es ist dieser Kontext, der dem Modell die Besonderheiten Ihres Unternehmens und die Aufgabe vermittelt, die Sie ihm stellen. Geben Sie einem LLM die richtige Frage und den richtigen Kontext und er wird eine Antwort geben oder eine Entscheidung treffen, genauso wie ein Mensch (wenn nicht sogar besser).

Es ist wichtig, den Unterschied zu machen, dass Menschen durch Handeln lernen; LLMs lernen nicht auf natürliche Weise, sie sind statisch. Um das LLM zu lehren, müssen Sie diesen Kontext sowie eine Feedbackschleife erstellen, die diesen RAG-Kontext aktualisiert, damit er beim nächsten Mal besser abschneidet.

Die Effizienz der Artwork und Weise, wie dieser Kontext kuratiert wird, ist sowohl für die Leistung des Modells von entscheidender Bedeutung, steht aber auch in direktem Zusammenhang mit den Kosten. Je größer der Aufwand zur Schaffung dieses Kontexts ist, desto teurer wird das Projekt, sowohl zeitlich als auch in Bezug auf die tatsächlichen Kosten.

Wenn dieser Kontext nicht korrekt ist, werden Sie außerdem unendlich mehr Zeit damit verbringen, das Modell zu korrigieren, zu optimieren und zu verbessern, anstatt sofort Ergebnisse zu erzielen.

Das macht KI zu einem Datenproblem.

Es ist schwierig, den für LLMs erforderlichen Kontext zu schaffen, da dafür viele Daten benötigt werden – idealerweise alles, was Ihr Unternehmen weiß und das related sein könnte. Und dann müssen diese Daten auf die relevantesten Informationen reduziert werden. Selbst in der datengesteuertesten Organisation ist das keine leichte Aufgabe.

In Wirklichkeit haben die meisten Unternehmen große Teile ihres Datenbestands lange Zeit vernachlässigt, insbesondere die weniger strukturierten Daten, die dazu gedacht sind, Menschen (und damit LLMs) beizubringen, wie sie ihre Arbeit erledigen sollen.

LLMs und RAG bringen ein uraltes Downside noch mehr ans Licht: Daten liegen in Silos vor, die schwer zu erreichen sind.

Wenn man bedenkt, dass wir es jetzt sowohl mit unstrukturierten als auch mit strukturierten Daten zu tun haben, haben wir es mit noch mehr Silos zu tun. Der Kontext, der erforderlich ist, um einen Mehrwert aus der KI zu ziehen, bedeutet, dass es beim Umfang der Daten nicht mehr nur darum geht, Zahlen aus Salesforce abzurufen. Wenn Unternehmen den wahren Wert der KI erkennen wollen, benötigen sie auch Schulungsmaterialien für das Onboarding von Menschen, PDFs, Anrufprotokolle usw. die Liste geht weiter.

Für Unternehmen ist die Übergabe von Geschäftsprozessen an KI eine große Herausforderung, aber die Organisationen mit der besten Fähigkeit, kontextbezogene Daten zu kuratieren, sind dafür am besten geeignet.

Im Kern sind „LLM + Kontext + Instruments + menschliche Aufsicht + Feedbackschleife“ der Schlüssel dazu, dass KI nahezu jeden Geschäftsprozess beschleunigt.

Matillion kann auf eine lange und erfolgreiche Geschichte zurückblicken, wenn es darum geht, Kunden bei der produktiven Nutzung von Daten zu unterstützen. Seit mehr als einem Jahrzehnt entwickeln wir unsere Plattform weiter – von BI zu ETL, jetzt zur Information Productiveness Cloud – und fügen Bausteine ​​hinzu, die es unseren Kunden ermöglichen, die neuesten technologischen Fortschritte optimum zu nutzen und so ihre Datenproduktivität zu verbessern. KI und RAG sind keine Ausnahmen. Wir haben unserem Software die Bausteine ​​hinzugefügt, die es Kunden ermöglichen, RAG-Pipelines zusammenzustellen und zu testen, um Daten für die Vektorspeicher vorzubereiten, die RAG antreiben; Bereitstellung der Instruments, um diesen überaus wichtigen Kontext mit dem LLM zusammenzustellen, und Bereitstellung der Instruments, die für Suggestions und Zugriff auf die Qualität der LLM-Antworten erforderlich sind.

Wir eröffnen den Zugang zu RAG-Pipelines, ohne dass schwer zu findende Datenwissenschaftler oder große Investitionen erforderlich sind, sodass Sie LLMs nutzen können, die nicht mehr nur ein „Alleskönner“, sondern ein wertvolles und wertvolles Werkzeug sind bahnbrechender Teil Ihrer Organisation.

Spezialisierung notwendig

Ein Krankenhaus ist überfüllt mit Experten und Ärzten, von denen jeder seine eigenen Spezialgebiete hat und einzigartige Probleme löst. Chirurgen, Kardiologen, Kinderärzte – Experten aller Artwork arbeiten zusammen, um Patienten zu versorgen, und arbeiten oft zusammen, um ihnen die Versorgung zukommen zu lassen, die sie brauchen. Mit KI können wir dasselbe erreichen.

Die Combination of Specialists (MoE)-Architektur in der künstlichen Intelligenz wird als eine Mischung oder Mischung verschiedener „Experten“-Modelle definiert, die zusammenarbeiten, um komplexe Dateneingaben zu verarbeiten oder darauf zu reagieren. Wenn es um KI geht, ist jeder Experte in einem MoE-Modell auf ein viel größeres Downside spezialisiert – genau wie jeder Arzt auf sein medizinisches Fachgebiet spezialisiert ist. Dies verbessert die Effizienz und erhöht die Wirksamkeit und Genauigkeit des Methods.

Mistral AI liefert Open-Supply-LLMs, die mit denen von OpenAI konkurrieren. Sie haben offiziell die Verwendung einer MoE-Architektur in ihrem Mixtral 8x7B-Modell diskutiert, ein revolutionärer Durchbruch in Type eines hochmodernen Massive Language Mannequin (LLM). Wir werden uns eingehend damit befassen, warum Mixtral von Mistral AI sich von anderen LLMs abhebt und warum aktuelle LLMs jetzt die MoE-Architektur verwenden, wobei ihre Geschwindigkeit, Größe und Genauigkeit im Vordergrund stehen.

Gängige Methoden zum Improve großer Sprachmodelle (LLMs)

Um besser zu verstehen, wie die MoE-Architektur unsere LLMs verbessert, besprechen wir gängige Methoden zur Verbesserung der LLM-Effizienz. KI-Praktiker und -Entwickler verbessern Modelle, indem sie Parameter erhöhen, die Architektur anpassen oder Feinabstimmungen vornehmen.

• Zunehmende Parameter: Durch die Eingabe weiterer Informationen und deren Interpretation erhöht sich die Fähigkeit des Modells, komplexe Muster zu lernen und darzustellen. Dies kann jedoch zu Überanpassung und Halluzinationen führen, sodass ein umfangreiches Reinforcement Studying from Human Suggestions (RLHF) erforderlich ist.
• Architektur optimieren: Durch die Einführung neuer Schichten oder Module wird die steigende Anzahl an Parametern berücksichtigt und die Leistung bei bestimmten Aufgaben verbessert. Änderungen an der zugrunde liegenden Architektur sind jedoch schwierig umzusetzen.
• Feinabstimmung: Vorab trainierte Modelle können anhand spezifischer Daten oder durch Transferlernen optimiert werden, sodass vorhandene LLMs neue Aufgaben oder Domänen bewältigen können, ohne von vorne beginnen zu müssen. Dies ist die einfachste Methode und erfordert keine wesentlichen Änderungen am Modell.

Was ist die MoE-Architektur?

Die Combination of Specialists (MoE)-Architektur ist ein neuronales Netzwerkdesign, das die Effizienz und Leistung verbessert, indem es für jeden Enter dynamisch eine Teilmenge spezialisierter Netzwerke, sogenannte Experten, aktiviert. Ein Gating-Netzwerk bestimmt, welche Experten aktiviert werden sollen, was zu einer spärlichen Aktivierung und einem geringeren Rechenaufwand führt. Die MoE-Architektur besteht aus zwei kritischen Komponenten: dem Gating-Netzwerk und den Experten. Lassen Sie uns das im Element aufschlüsseln:

Im Kern funktioniert die MoE-Architektur wie ein effizientes Verkehrssystem, das jedes Fahrzeug – oder in diesem Fall die Daten – auf die beste Route leitet, basierend auf Echtzeitbedingungen und dem gewünschten Ziel. Jede Aufgabe wird an den am besten geeigneten Experten oder das am besten geeignete Untermodell weitergeleitet, das auf die Bearbeitung dieser bestimmten Aufgabe spezialisiert ist. Diese dynamische Weiterleitung stellt sicher, dass für jede Aufgabe die fähigsten Ressourcen eingesetzt werden, was die Gesamteffizienz und Effektivität des Modells verbessert. Die MoE-Architektur nutzt alle drei Möglichkeiten zur Verbesserung der Modelltreue.

• Durch die Implementierung mehrerer Experten erhöht das MoE von Natur aus die
• Parametergröße durch Hinzufügen weiterer Parameter professional Experte.
• MoE verändert die klassische neuronale Netzwerkarchitektur, die ein Gated Community einbezieht, um zu bestimmen, welche Experten für eine bestimmte Aufgabe eingesetzt werden sollen.
• Jedes KI-Modell verfügt über ein gewisses Maß an Feinabstimmung. Daher wird jeder Experte in einem MoE so feinabgestimmt, dass er die beabsichtigte Leistung erbringt und so eine zusätzliche Abstimmungsebene schafft, die herkömmliche Modelle nicht nutzen können.

MoE-Gating-Netzwerk

Das Gating-Netzwerk fungiert als Entscheidungsträger oder Controller innerhalb des MoE-Modells. Es bewertet eingehende Aufgaben und bestimmt, welcher Experte für deren Bearbeitung geeignet ist. Diese Entscheidung basiert in der Regel auf erlernten Gewichtungen, die im Laufe der Zeit durch Coaching angepasst werden, wodurch die Fähigkeit, Aufgaben Experten zuzuordnen, weiter verbessert wird. Das Gating-Netzwerk kann verschiedene Strategien anwenden, von probabilistischen Methoden, bei denen mehrere Experten mit Tender-Aufgaben betraut werden, bis hin zu deterministischen Methoden, bei denen jede Aufgabe an einen einzelnen Experten weitergeleitet wird.

MoE-Experten

Jeder Experte im MoE-Modell stellt ein kleineres neuronales Netzwerk, ein maschinelles Lernmodell oder ein LLM dar, das für eine bestimmte Teilmenge des Problembereichs optimiert ist. In Mistral beispielsweise können sich verschiedene Experten auf das Verstehen bestimmter Sprachen, Dialekte oder sogar Abfragetypen spezialisieren. Die Spezialisierung stellt sicher, dass jeder Experte in seiner Nische kompetent ist, was in Kombination mit den Beiträgen anderer Experten zu einer überlegenen Leistung bei einer Vielzahl von Aufgaben führt.

MoE-Verlustfunktion

Obwohl sie nicht als Hauptkomponente der MoE-Architektur gilt, spielt die Verlustfunktion eine entscheidende Rolle für die zukünftige Leistung des Modells, da sie darauf ausgelegt ist, sowohl die einzelnen Experten als auch das Gating-Netzwerk zu optimieren.

Dabei werden in der Regel die für jeden Experten berechneten Verluste kombiniert, die nach der ihnen vom Gating-Netzwerk zugewiesenen Wahrscheinlichkeit oder Bedeutung gewichtet werden. Dies hilft dabei, die Experten für ihre spezifischen Aufgaben zu optimieren und gleichzeitig das Gating-Netzwerk anzupassen, um die Routing-Genauigkeit zu verbessern.

Der MoE-Prozess von Anfang bis Ende

Lassen Sie uns nun den gesamten Prozess zusammenfassen und weitere Particulars hinzufügen.

Hier finden Sie eine zusammengefasste Erklärung, wie der Routing-Prozess von Anfang bis Ende funktioniert:

• Eingabeverarbeitung: Erste Verarbeitung der eingehenden Daten. Bei LLMs vor allem unser Immediate.
• Merkmalsextraktion: Umwandlung von Roheingaben für die Analyse.
• Gating Community Analysis: Beurteilung der Experteneignung anhand von Wahrscheinlichkeiten oder Gewichten.
• Gewichtetes Routing: Zuweisung der Eingaben auf Grundlage berechneter Gewichte. Hier wird der Prozess der Auswahl des am besten geeigneten LLM abgeschlossen. In einigen Fällen werden mehrere LLMs ausgewählt, um eine einzelne Eingabe zu beantworten.
• Aufgabenausführung: Verarbeitung der zugewiesenen Eingaben durch jeden Experten.
• Integration von Expertenergebnissen: Kombinieren einzelner Expertenergebnisse für die endgültige Ausgabe.
• Suggestions und Anpassung: Leistungsfeedback zur Verbesserung von Modellen nutzen.
• Iterative Optimierung: Kontinuierliche Verfeinerung der Routenführung und der Modellparameter.

Beliebte Modelle, die eine MoE-Architektur verwenden

• GPT-4 und GPT-4o von OpenAI: GPT-4 und GPT4o bilden die Grundlage für die Premium-Model von ChatGPT. Diese multimodalen Modelle nutzen MoE, um verschiedene Quellmedien wie Bilder, Textual content und Sprache verarbeiten zu können. Gerüchten zufolge und auch leicht bestätigt, verfügt GPT-4 über 8 Experten mit jeweils 220 Milliarden Parametern, was das gesamte Modell auf über 1,7 Billionen Parameter bringt.
• Mixtral 8x7b von Mistral AI: Mistral AI liefert sehr leistungsstarke KI-Modelle als Open Supply und hat erklärt, dass ihr Mixtral-Modell ein sMoE-Modell oder ein spärliches Combination of Specialists-Modell ist, das in einem kleinen Paket geliefert wird. Mixtral 8x7b hat insgesamt 46,7 Milliarden Parameter, verwendet aber nur 12,9 Milliarden Parameter professional Token und verarbeitet daher Ein- und Ausgaben zu diesen Kosten. Ihr MoE-Modell übertrifft Llama2 (70 Milliarden) und GPT-3.5 (175 Milliarden) durchweg und ist dabei kostengünstiger.

Die Vorteile von MoE und warum es die bevorzugte Architektur ist

Das Hauptziel der MoE-Architektur besteht letztlich darin, einen Paradigmenwechsel in der Herangehensweise an komplexe Aufgaben des maschinellen Lernens herbeizuführen. Sie bietet einzigartige Vorteile und zeigt ihre Überlegenheit gegenüber herkömmlichen Modellen in mehrfacher Hinsicht.

• Verbesserte Modellskalierbarkeit
  • Jeder Experte ist für einen Teil einer Aufgabe verantwortlich. Eine Skalierung durch Hinzufügen weiterer Experten führt daher nicht zu einer proportionalen Erhöhung des Rechenleistungsbedarfs.
  • Dieser modulare Ansatz kann größere und vielfältigere Datensätze verarbeiten und erleichtert die parallele Verarbeitung, wodurch die Abläufe beschleunigt werden. Wenn Sie beispielsweise einem textbasierten Modell ein Bilderkennungsmodell hinzufügen, können Sie einen zusätzlichen LLM-Experten für die Interpretation von Bildern integrieren und gleichzeitig weiterhin Textual content ausgeben. Oder
  • Durch die Vielseitigkeit kann das Modell seine Fähigkeiten auf verschiedene Arten von Dateneingaben erweitern.
• Verbesserte Effizienz und Flexibilität
  • MoE-Modelle sind äußerst effizient und binden im Gegensatz zu herkömmlichen Architekturen, die alle Parameter unabhängig davon verwenden, selektiv nur die erforderlichen Experten für bestimmte Eingaben ein.
  • Die Architektur reduziert den Rechenaufwand professional Inferenz und ermöglicht es dem Modell, sich an unterschiedliche Datentypen und spezielle Aufgaben anzupassen.
• Spezialisierung und Genauigkeit:
  • Jeder Experte in einem MoE-System kann auf bestimmte Aspekte des Gesamtproblems abgestimmt werden, was zu größerer Experience und Genauigkeit in diesen Bereichen führt
  • Eine solche Spezialisierung ist in Bereichen wie der medizinischen Bildgebung oder der Finanzprognose hilfreich, wo Präzision der Schlüssel ist.
  • MoE kann aufgrund seines differenzierten Verständnisses, seines detaillierten Wissens und der Fähigkeit, generalistische Modelle bei speziellen Aufgaben zu übertreffen, in engen Domänen bessere Ergebnisse erzielen.

Die Nachteile der MoE-Architektur

Zwar bietet die MoE-Architektur erhebliche Vorteile, doch bringt sie auch Herausforderungen mit sich, die ihre Akzeptanz und Wirksamkeit beeinträchtigen können.

• Modellkomplexität: Die Verwaltung mehrerer Experten für neuronale Netzwerke und eines Gating-Netzwerks zur Verkehrslenkung erschwert die Entwicklung und die Betriebskosten des MoE
• Trainingsstabilität: Durch die Interaktion zwischen dem Gating-Netzwerk und den Experten kommt es zu unvorhersehbaren Dynamiken, die das Erreichen gleichmäßiger Lernraten behindern und eine umfassende Feinabstimmung der Hyperparameter erfordern.
• Ungleichgewicht: Experten ungenutzt zu lassen, ist eine schlechte Optimierung für das MoE-Modell. Es werden Ressourcen für Experten verschwendet, die nicht gebraucht werden, oder man verlässt sich zu sehr auf bestimmte Experten. Für eine leistungsstarke MoE-KI ist es entscheidend, die Arbeitslast auszugleichen und ein effektives Gate zu optimieren.

Es ist zu beachten, dass die oben genannten Nachteile im Allgemeinen mit der Zeit abnehmen, wenn die MoE-Architektur verbessert wird.

Spezialisierung prägt die Zukunft

Wenn wir über den MoE-Ansatz und seine menschliche Parallele nachdenken, sehen wir, dass spezialisierte Groups mehr erreichen als eine allgemeine Belegschaft. Und spezialisierte Modelle übertreffen ihre monolithischen Gegenstücke in KI-Modellen. Durch die Priorisierung von Vielfalt und Fachwissen wird die Komplexität großer Probleme in überschaubare Segmente aufgeteilt, die Experten effektiv bewältigen können.

Wenn wir in die Zukunft blicken, sollten wir die umfassenderen Auswirkungen spezialisierter Systeme auf die Weiterentwicklung anderer Technologien berücksichtigen. Die Grundsätze des MoE könnten Entwicklungen in Sektoren wie Gesundheitswesen, Finanzen und autonome Systeme beeinflussen und effizientere und präzisere Lösungen fördern.

Die Reise des MoE hat gerade erst begonnen, und seine weitere Entwicklung verspricht weitere Innovationen im Bereich der KI und darüber hinaus. Da sich Hochleistungshardware immer weiter entwickelt, kann diese Mischung aus Experten-KIs in unseren Smartphones untergebracht werden und noch intelligentere Erfahrungen liefern. Aber zuerst muss jemand eine dieser KIs ausbilden.

Kevin Vu verwaltet Weblog von Exxact Corp und arbeitet mit vielen seiner talentierten Autoren zusammen, die über verschiedene Aspekte des Deep Studying schreiben.

Bild vom Autor

Künstliche Intelligenz ist in den letzten Jahren zu einem der am schnellsten wachsenden Bereiche geworden. Diese neuen Technologien werden die Welt für immer verändern und uns vor eine bedeutende Wahl stellen:

Nutzen Sie KI, um Ihren Arbeitsablauf zu optimieren, oder ignorieren Sie sie vollständig.

Wenn Sie dies hier lesen, gehören Sie mit ziemlicher Sicherheit zum ersten Lager: Sie möchten die Vorteile der KI nutzen, um Ihre täglichen Aufgaben zu erleichtern.

Allerdings gibt es dabei ein erhebliches Drawback. Große Unternehmen versuchen, sich abzuheben, indem sie den Markt mit einer Vielzahl unterschiedlicher Anwendungen überschwemmen. Dadurch ist es schwierig, alle verfügbaren Optionen zu kennen.

In diesem Artikel möchten wir Ihnen die wichtigsten KI-Anwendungen von Google vorstellen und Ihnen zeigen, wie Sie sie noch heute nutzen können.

Google Gemini

Gemini ist ein fortschrittliches Massive Language Mannequin (LLM), ein direkter Konkurrent der GPT-Modelle von OpenAI, das jedem kostenlos zur Verfügung steht!

Screenshot der Gemini-Hauptschnittstelle

Es integriert Googles umfangreiche Forschung im Bereich KI, um genauere, kontextbezogene Antworten zu liefern, was es für Anwendungen wie Chatbots, virtuelle Assistenten und andere sprachbasierte KI-Lösungen äußerst effektiv macht. Einige der wichtigsten Merkmale, die Gemini zu einem der besten LLMs auf dem Markt machen, sind:

• Kostenlose Nutzung: Es ist keine Zahlung erforderlich.
• Multimodale Funktionen: Es kann mit Bildern und Dokumenten umgehen.
• Benutzerfreundliche Oberfläche: Einfach zu bedienen.

Erste Schritte

Um Google Gemini nutzen zu können, benötigen Sie lediglich ein Google-Konto. Sie können zur Hauptoberfläche von Gemini gehen und noch heute mit dem Chatten beginnen.

Google Cloud

Eine Reihe von Cloud-Computing-Diensten, die auf der Infrastruktur von Google ausgeführt werden. Es bietet mehrere Dienste, darunter Computing, Speicherung, Analyse und maschinelles Lernen. Es kann zum Erstellen, Trainieren und Bereitstellen von KI-Modellen und -Lösungen verwendet werden.

Zu den wichtigsten KI-Diensten gehören:

• AutoML: Entwickelt mit gebrauchsfertigen APIs für Benutzer mit grundlegenden ML-Kenntnissen. Zu den wichtigsten Instruments gehören unter anderem AutoML Imaginative and prescient oder AutoML Pure Language.
• Vertex AI: Eine verwaltete Plattform, die den ML-Lebenszyklus von der Datenaufbereitung bis zur Modellbereitstellung und -überwachung vereinfacht.
• Pure Language API: Ein intuitives Software zum Umgang mit natürlicher Sprache, das Stimmungsanalyse, Entitätserkennung und Syntaxanalyse unterstützt.

Erste Schritte

Um es noch heute nutzen zu können, benötigen Sie lediglich ein Google Cloud-Konto. Als neuer Benutzer erhalten Sie in den ersten 90 Tagen ein Guthaben von 300 $ als kostenlose Testversion.
Sobald Ihr Konto erstellt ist, können Sie über die Google Cloud Console auf diese Instruments zugreifen.

TensorFlow

TensorFlow ist ein Open-Supply-Framework zum Erstellen und Trainieren von ML-Modellen von Grund auf. Es ist mit mehreren Programmiersprachen wie Python und Java kompatibel.

Zu den Hauptfunktionen von TensorFlow gehören:

• Umfassendes Ökosystem: TensorFlow bietet Instruments zur Unterstützung des gesamten ML-Projektlebenszyklus: Modellerstellung, Coaching und Bereitstellung.
• Group: Es ist ein weit verbreitetes Software mit umfangreicher Dokumentation und einer aktiven Group.
• Plattformübergreifend: Mit TensorFlow Lite können Modelle auf einer Vielzahl von Geräten bereitgestellt werden, von Smartphones bis hin zu IoT-Geräten.

Erste Schritte

Installieren Sie TensorFlow mit pip:

Anschließend können Sie die zahlreichen Tutorials auf der TensorFlow-Web site erkunden.

Experimente mit Google

Es handelt sich um eine Sammlung von KI-Projekten und -Experimenten. Es bietet eine interaktive Möglichkeit, die Möglichkeiten der KI zu erkunden, wobei viele Projekte zur direkten Interaktion verfügbar sind. Es verwendet Hardwarekomponenten und Softwaretools von Google.

Zu den Hauptfunktionen gehören:

• Lehrmittel: Die meisten Projekte sind darauf ausgelegt, grundlegende KI- und ML-Konzepte interaktiv und unterhaltsam zu vermitteln.
• Interaktive Demos: Sie können mit KI-Modellen interagieren und sehen, wie sie auf unterschiedliche Eingaben reagieren.

Erste Schritte

Besuchen Sie Experiments with Google, um die verfügbaren Projekte zu erkunden. Viele dieser Experimente enthalten Code und Anweisungen für diejenigen, die sich für die technischen Particulars interessieren.

KI-Hub

Google AI Hub ist eine Plattform, auf der Sie ML-Modelle und -Pipelines teilen und bereitstellen können. Das Hauptziel besteht darin, eine kollaborative Synergie zwischen Benutzern und Unternehmen zu fördern, um vorgefertigte Modelle und Lösungen zu nutzen.

Seine Hauptmerkmale sind:

• Vortrainierte Modelle: Greifen Sie auf eine Bibliothek mit von Google und anderen Benutzern vortrainierten Modellen zu.
• Zusammenarbeit: Teilen Sie Ihre Modelle und Lösungen mit der Group und entdecken Sie die Modelle anderer Benutzer.
• Integration mit Google Cloud: Nahtlose Integration mit anderen Google Cloud-Diensten für Bereitstellung und Überwachung.

Erste Schritte

AI Hub ist Teil von Google Cloud, daher benötigen Sie ein Google Cloud-Konto, um darauf zuzugreifen.

Durchsuchen Sie den AI Hub nach Modellen und Lösungen, die Ihren Anforderungen entsprechen.

Einpacken

Google bietet eine Vielzahl von Instruments, mit denen Sie Ihre Reise in die Welt der KI und des maschinellen Lernens beginnen können. Indem Sie diese Instruments erkunden und nutzen, können Sie Ihren Arbeitsablauf optimieren, Ihre täglichen Aufgaben verbessern und in diesem schnelllebigen Bereich die Nase vorn behalten!

Josep Ferrer ist ein Analytikingenieur aus Barcelona. Er hat einen Abschluss in Physikingenieurwesen und arbeitet derzeit im Bereich der Datenwissenschaft, angewandt auf menschliche Mobilität. Er ist ein Teilzeit-Content material-Ersteller mit Schwerpunkt auf Datenwissenschaft und Technologie. Josep schreibt über alles, was mit KI zu tun hat, und befasst sich mit der Anwendung der anhaltenden Explosion in diesem Bereich.

Microsoft hat kürzlich Phi-3 veröffentlicht, ein leistungsstarkes Sprachmodell, mit einer neuen Imaginative and prescient-Language-Variante namens Phi-3-vision-128k-instruct. Dieses 4B-Parametermodell erzielte beeindruckende Ergebnisse bei öffentlichen Benchmarks, übertraf in einigen Fällen sogar GPT-4V und übertraf Gemini 1.0 Professional V in allen Punkten außer MMMU.

In diesem Blogbeitrag erfahren Sie, wie Sie Phi-3-vision-128k-instruct als robustes Imaginative and prescient- und Textmodell in Ihrem Knowledge Science-Toolkit nutzen können. Wir demonstrieren seine Fähigkeiten anhand verschiedener Anwendungsfälle, darunter:

• Optische Zeichenerkennung (OCR)
• Bildbeschriftung
• Tabellenanalyse
• Figurenverständnis
• Leseverständnis gescannter Dokumente
• Markierungssatz-Aufforderung

Wir beginnen mit einem einfachen Codeausschnitt, um dieses Modell lokal mithilfe von Transformatoren und Bitsandbytes auszuführen. Anschließend zeigen wir für jeden der oben aufgeführten Anwendungsfälle ein Beispiel.

Lokales Ausführen des Modells:

Erstellen Sie eine Conda Python-Umgebung und installieren Sie Torch und andere Python-Abhängigkeiten:

conda set up pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
pip set up git+https://github.com/huggingface/transformers.git@60bb571e993b7d73257fb64044726b569fef9403 pillow==10.3.0 chardet==5.2.0 flash_attn==2.5.8 speed up==0.30.1 bitsandbytes==0.43.1

Dann können wir dieses Skript ausführen:

# Instance impressed from https://huggingface.co/microsoft/Phi-3-vision-128k-instruct
# Import obligatory libraries
from PIL import Picture
import requests
from transformers import AutoModelForCausalLM
from transformers import AutoProcessor
from transformers import BitsAndBytesConfig
import torch
# Outline mannequin ID
model_id = "microsoft/Phi-3-vision-128k-instruct"
# Load processor
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
# Outline BitsAndBytes configuration for 4-bit quantization
nf4_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
bnb_4bit_compute_dtype=torch.bfloat16,
)
# Load mannequin with 4-bit quantization and map to CUDA
mannequin = AutoModelForCausalLM.from_pretrained(
model_id,
device_map="cuda",
trust_remote_code=True,
torch_dtype="auto",
quantization_config=nf4_config,
)
# Outline preliminary chat message with picture placeholder
messages = (image_1)
# Obtain picture from URL
url = "https://photographs.unsplash.com/photo-1528834342297-fdefb9a5a92b?ixlib=rb-4.0.3&q=85&fm=jpg&crop=entropy&cs=srgb&dl=roonz-nl-vjDbHCjHlEY-unsplash.jpg&w=640"
picture = Picture.open(requests.get(url, stream=True).uncooked)
# Put together immediate with picture token
immediate = processor.tokenizer.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True
)
# Course of immediate and picture for mannequin enter
inputs = processor(immediate, (picture), return_tensors="pt").to("cuda:0")
# Generate textual content response utilizing mannequin
generate_ids = mannequin.generate(
**inputs,
eos_token_id=processor.tokenizer.eos_token_id,
max_new_tokens=500,
do_sample=False,
)
# Take away enter tokens from generated response
generate_ids = generate_ids(:, inputs("input_ids").form(1) :)
# Decode generated IDs to textual content
response = processor.batch_decode(
generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)(0)
# Print the generated response
print(response)

Dieser Code lädt das Phi-3-Modell wie jedes andere transfomersModell. Wir fügen hinzu bitsandbytes damit es in einen GPU-Speicher der Verbraucherklasse passt.
Wir verwenden eine einfache Eingabeaufforderung `<|image_1|>nWas ist auf diesem Bild zu sehen?`, in der wir auf das Bild verweisen und nach einer Beschreibung des Inhalts fragen. Diese Eingabeaufforderung wird mit dem Bild verarbeitet (dasselbe Bild wie das Miniaturbild dieses Blogs) und durch das Modell geleitet. Dies führt zu folgender Ausgabe:

Das Bild zeigt eine einzelne gelbe Blume mit einem grünen Stiel vor einem blauen Hintergrund.

Sobald das Modell geladen ist, dauerte die Verarbeitung und Vorhersage auf einem RTX3080 2 Sekunden.

Nachdem wir nun alles eingerichtet haben, können wir einige Anwendungsfälle untersuchen:

Optische Zeichenerkennung (OCR)

Wir möchten den Textual content aus einem Bild transkribieren. Ändern Sie dazu die Nachrichtenzeile und die Bild-URL-Zeilen im obigen Codeausschnitt mit:

messages = (>nOCR the textual content of the picture as is. OCR:")
url = "https://i.postimg.cc/fRFvFVyv/Screenshot-from-2024-05-22-20-55-43.png"

Eingang:

Ausgabe:

3 EXPERIMENTE
Wir zeigen, dass Place Interpolation das Kontextfenster effektiv auf das 32-fache der ursprünglichen Größe erweitern kann und dass eine solche Erweiterung mit nur einigen hundert Trainingsschritten möglich ist. Wir zeigen, dass die resultierenden Modelle starke LLMs mit voll wirksamen langen Kontextfenstern sind. Wir demonstrieren ihre Leistung in einer Reihe von Aufgaben, darunter Sprachmodellierung, Passkey-Abruf und lange Dokument-
Zusammenfassung des Projekts. Wir präsentieren auch Benchmark-Ergebnisse der erweiterten Modelle anhand der ursprünglichen LLaMA-Evaluierungsbenchmarks.

Das Ergebnis ist wie erwartet! Die Volltexttranskription dauerte 6 Sekunden, was im Vergleich zur normalen OCR etwas langsam ist.

Bildbeschriftung

Das Ziel besteht hier darin, ein natürliches Bild zu beschriften:

messages = (>nWhat is that this picture of?")
url = "https://i.postimg.cc/q7Wjtj3n/Screenshot-from-2024-05-22-20-56-56.png"

Eingang:

Ausgabe:

Dieses Bild zeigt ein Plüschtier, das einer Figur aus einer beliebten Zeichentrickserie ähnelt. Das Spielzeug hat einen runden Körper mit einer Kapuze und trägt eine Brille. Das Gesicht der Figur ist auf dem Bild nicht sichtbar.

Größtenteils richtig (keine Brille ). Trotzdem ist es beeindruckend, dass es Kenny aus einer Zeichentrickserie erkannt hat.

Tabellenanalyse

Wir möchten sehen, ob das Modell die Tabelle in ein maschinenlesbares Format analysieren kann:

messages = (image_1)
url = "https://i.postimg.cc/W1YwqXk8/Screenshot-from-2024-05-22-21-41-03.png"

Eingang:

Ausgabe:

```json
(
{
"Benchmark": "Phi-3 Imaginative and prescient-128K-In1",
"MMMU": 40.2,
"MMBench": 80.5,
"ScienceQA": 90.8
},
{
"Benchmark": "LlaVA-1.6 Vicuna-7B",
"MMMU": 34.2,
"MMBench": 76.3,
"ScienceQA": 70.6
},
{
"Benchmark": "QWEN-VI Chat",
"MMMU": 39.0,
"MMBench": 75.8,
"ScienceQA": 67.2
}
)
```

Es ist tatsächlich möglich, den Inhalt der Tabelle in strukturiertem Format direkt aus dem Screenshot zu extrahieren.

Figurenverständnis

Wir fordern das Modell auf, eine Figur zu beschreiben:

messages = (image_1)
url = "https://i.postimg.cc/Y0sRQR4Q/Screenshot-from-2024-05-22-21-47-39.png"

Eingang:

Ausgabe:

Die Abbildung ist ein Balkendiagramm, das die Leistung verschiedener Modelle des maschinellen Lernens vergleicht. Jedes Modell wird durch ein Paar gestapelter Balken dargestellt, die die Leistung des Basismodells und des fein abgestimmten Modells angeben.

Kurz aber richtig!

Leseverständnis bei gescannten Dokumenten

Ziel ist es, Fragen zu gescanntem oder fotografiertem Textual content zu stellen. Der Unterschied zur optischen Zeichenerkennung (OCR) besteht darin, dass wir nicht daran interessiert sind, den Textual content einfach zu transkribieren. Stattdessen möchten wir beurteilen, ob das Modell den geschriebenen Inhalt verstehen und Fragen dazu direkt beantworten kann.

messages = (image_1)
url = "https://i.postimg.cc/rmHxPbQY/Screenshot-from-2024-05-22-20-56-21.png"

Eingang:

Ausgabe:

Das Bild zeigt das Cowl eines Buches mit dem Titel „SAM TALLENT RUNNING THE LIGHT“ mit einer Inhaltsangabe, die die Geschichte eines Komikers namens Billy Ray Schafer beschreibt, der mit persönlichen und beruflichen Herausforderungen konfrontiert ist. Das Buch scheint ein fiktives Werk zu sein, möglicherweise ein Roman, da es ein Zitat von DOUG STANHOPE, ICONOCLAST, enthält, der das Buch als brillant und als beste fiktionale Darstellung von Comedy lobt.

Der Buchtitel ist falsch, aber das MLLM konnte den Inhalt des Bildtextes verstehen und in einer Aufnahme zusammenfassen.

Markierungssatz-Aufforderung

Bei der Set-of-Mark (SoM)-Eingabeaufforderung werden interaktive Segmentierungsmodelle verwendet, um ein Bild in Regionen zu unterteilen und diese mit Symbolen zu markieren. Dadurch können große multimodale Modelle visuell fundierte Fragen besser verstehen und beantworten.

Um die Dinge in diesem Beispiel zu vereinfachen, habe ich die Objekte manuell markiert, anstatt ein Modell zu verwenden, und dann die Markierung referenziert (4) in meiner Eingabeaufforderung:

messages = (>nWhat is object quantity 4? ")
url = "https://i.postimg.cc/fy0Lz798/scott-webb-p-0l-WFknspg-unsplash-2.jpg"

Eingang:

Objekt Nummer 4 ist ein Kaktus mit orangen Blüten in einem Topf.

Das MLLM konnte meinen Hinweis verstehen und meine Frage entsprechend beantworten.

Additionally, da haben Sie es! Phi-3-Imaginative and prescient ist ein leistungsstarkes Modell für die Arbeit mit Bildern und Textual content, das Bildinhalte verstehen, Textual content aus Bildern extrahieren und sogar Fragen zu dem, was es sieht, beantworten kann. Während seine geringe Größe mit nur 4 Milliarden Parametern seine Eignung für Aufgaben, die starke Sprachkenntnisse erfordern, einschränken kann, sind die meisten Modelle seiner Klasse mit 8 Milliarden Parametern oder mehr mindestens doppelt so groß, was es zu einem herausragenden Modell seiner Effizienz macht. Es glänzt in Anwendungen wie Dokumentanalyse, Tabellenstrukturverständnis und OCR in der Praxis. Seine Kompaktheit macht es ideally suited für den Einsatz auf Edge-Geräten oder lokalen GPUs für Verbraucher, insbesondere nach der Quantisierung. Es wird mein bevorzugtes Modell für alle Dokumentanalyse- und -verständnis-Pipelines sein, da seine Zero-Shot-Fähigkeiten es zu einem leistungsfähigen Werkzeug machen, insbesondere für seine bescheidene Größe. Als Nächstes werde ich auch an einigen LoRA-Feinabstimmungsskripten für dieses Modell arbeiten, um zu sehen, wie weit ich es bei spezialisierteren Aufgaben bringen kann.

Verweise: