Alibabas Tongyi-Labor hat veröffentlicht Qwen-Audio-3.0-TTSein produktionsorientiertes Textual content-to-Speech-System (TTS). Das Modell wird in zwei Varianten aus derselben Linie geliefert. Blitz zielt auf Echtzeitinteraktion ab. Plus zielt auf eine qualitativ hochwertige Erzeugung ab. Beide werden als gehostete Modelle bereitgestellt Alibaba Cloud Mannequin Studionicht als herunterladbare Gewichte.

Die Veröffentlichung konzentriert sich auf vier Dinge, auf die Entwickler in der Produktion stoßen: breitere Sprachabdeckung, Kontrolle des Stils natürlicher Sprache, feinkörnige Tag-Kontrolle und Robustheit, wenn das Referenzaudio nicht sauber ist. Qwen-Audio-3.0-TTS-Plus belegt auch bei den unabhängigen Anbietern den ersten Platz Künstliche Analyse Textual content-to-Speech-Bestenliste.

Zwei Varianten, eine Abstammung

Die beiden Ebenen sind unterschiedlichen Jobs zugeordnet. Blitz ist auf Echtzeitinteraktion abgestimmt, wobei die Latenz des ersten Pakets bei 300 ms liegt. Plus ist auf eine hochwertige Erzeugung abgestimmt, bei der Natürlichkeit und Klangtreue wichtiger sind als Geschwindigkeit.

Die Modell-IDs sind qwen-audio-3.0-tts-flash Und qwen-audio-3.0-tts-plus. Beide werden über ein bidirektionales WebSocket-Streaming-Protokoll aufgerufen. Die API unterstützt PCM, WAV, MP3 und Opus mit einer Abtastrate von bis zu 48 kHz. Es stellt Streaming-Ein- und -Ausgabe, Sprachklonen und Sprachdesignund Befehlskontrolle. Alibaba stellt das DashScope SDK sowie rohe WebSocket-Beispiele in Python, Java, Go, C#, PHP und Node.js in seinen Regionen Singapur und Peking bereit.

Wie das Modell aufgebaut ist

Zwei Designoptionen verankern das System.

1. A 12,5-Hz-Sprach-Tokenizer mit niedriger Bildrate Reduziert die Kosten für die autoregressive Dekodierung und behält gleichzeitig Inhalts- und Sprecherinformationen bei. Eine niedrigere Bildrate bedeutet weniger Audio-Tokens professional Sekunde, was die Inferenzlatenz verringert.
2. A fünfstufiges progressives Trainingsparadigma koordiniert die Komponenten Sprachmodell (LM) und Stream-Matching (FM). Die Phasen sind unabhängiges LM- und FM-Vortraining, gemeinsames Coaching mit hochwertigem Datenglühen, LM-Verstärkungslernen, FM-Robustheitstraining und FM-Verstärkungslernen. Das Forschungsteam berichtet, dass diese Pipeline die Inhaltskonsistenz, prosodische Natürlichkeit, Stimmtreue, Wahrnehmungsqualität und Robustheit verbessert.

Das Modell beherrscht auch Langformsynthesen in einem Durchgang von bis zu 3 Minuten, harte Textnormalisierungsfälle und Vocoder-Superauflösung für die 48-kHz-Ausgabe.

Die Ausgabe ist eine große Verschmelzung von Textual content und Bildern. Die Geschichte ist intestine geschrieben und die Grafiken sind sehr detailliert. Es fühlt sich an, als würden Sie ein Comedian -Buch lesen. Mit dieser Funktion können Inhaltsersteller und Vermarkter ihre Ideen kreativ zum Leben erwecken.

Aufgabe 2: Interaktive Bildbearbeitung

Immediate: „Fügen Sie ein Bett in der Mitte des Raumes gegenüber dem Fenster hinzu und fügen Sie ein Gemälde an der Mitte -Wand hinzu.“

Ausgabe:

Die Bildbearbeitung mit Gemini 2.0 Flash (experimentell) ist recht einfach. Das Modell folgt genau den Eingabeaufforderungen und gibt das Ergebnis an. Obwohl es in einigen Fällen möglicherweise nicht genau den Anweisungen folgt, geschieht dies normalerweise, wenn mehr Aufgaben in einer einzigen Eingabeaufforderung vorhanden sind. Insgesamt kann das Modell jedoch ein großartiges Werkzeug zur Visualisierung von Ideen sein.

Aufgabe 3: Bild Generierung der realen Welt

Immediate: „Gib mir das Rezept, um einen Erdbeerkäsekuchen zu backen. Bitte geben Sie für jeden Schritt ein Bild. “

Ausgabe:

Die Ausgabe ist eine detaillierte Anleitung zum Backen eines Käsekuchens mit genauem Textual content und entsprechenden Bildern für jeden Schritt. Das Modell generierte erfolgreich sowohl die Anweisungen als auch die Grafiken und brachte während des gesamten Prozesses Klarheit. Diese Fähigkeit macht es besonders wertvoll, umfassende Handbücher für Maschinen und aufkommende Technologien zu erstellen, bei denen schrittweise Anleitungen mit Visuals unerlässlich sind.

Aufgabe 4: Genauer Textual content im Bild

Immediate: „Erstellen Sie einen Billiboard mit einem leichten Hintergrund und Wörtern in orangefarbenem Textual content“ Wir sind zurück, bestellen Sie jetzt „mit einer kleinen Pizza neben dem Textual content“

Ausgabe:

Die Antwort ist wirklich beeindruckend! Die Ausgabe lieferte den Textual content nicht nur genau so wie ich angegeben habe, sondern enthielt wie angefordert auch ein kleines Bild einer Pizza. Nur wenige Modelle haben erfolgreich Textual content in Bildern integriert, aber Gemini 2.0 Flash (experimentell) zeichnet sich durch die nahtlose Kombination beider Elemente aus. Diese Präzision und Einhaltung von Particulars unterscheidet es von vielen vorhandenen Modellen!

Lesen Sie auch:

Überprüfung der Bildgenerierung mit Gemini 2.0 Flash

Die Bildgenerierung mit Gemini 2.0 Flash (experimentell) ist eindrucksvoll effizient und bietet einen nahtlosen und gesprächigen Ansatz zum Erstellen und Raffinieren von Bildern. Es fühlt sich an, als würden Sie sich durch den kreativen Prozess unterhalten und in Echtzeit Anpassungen vornehmen. Das Modell hat jedoch einige Einschränkungen.

• Derzeit unterstützt es keine benutzerdefinierten Seitenverhältnisse, und obwohl es hochwertige Bilder erzeugt, folgt es möglicherweise nicht immer jedem Element, das in der Eingabeaufforderung angegeben ist.
• Obwohl im Allgemeinen schnell, können die Reaktionszeiten manchmal variieren, was zu gelegentlichen Verzögerungen führt. Auch wenn es Textual content in Bilder einbeziehen kann, ermöglicht es außerdem keine präzise Textformatierung.

Trotz dieser Nachteile zeigt Gemini 2.0 Flash ein immenses Potenzial und ebnet den Weg für eine erweiterte KI-gesteuerte Bildgenerierung in der Zukunft.

Lesen Sie auch: Ist O3-Mini für die Bildanalyse besser als O1?

Anwendungen der Bilderzeugung mit Gemini 2.0 Blitz

Gemini 2.0 Flash Experimental hat verschiedene Anwendungen in der gesamten Branche und ermöglicht eine nahtlose Integration von Textual content und Bildgenerierung.

• Im Geschichtenerzählen mit Bildern kann es illustrierte Kinderbücher, Comics und ansprechende Advertising and marketing -Grafiken erstellen und gleichzeitig den Charakter und die Konsistenz aufrechterhalten.
• Die interaktiven Funktionen zur Bearbeitung von Bild machen es supreme für Grafikdesign, Prototyping, Werbung und soziale Medien und ermöglichen es Benutzern, Visuals durch einfache Textaufforderungen zu verfeinern.
• Für die praktische Bildgenerierung zeichnet sich das Modell aus, um genaue Lebensmittelillustrationen für Rezepte, medizinische und wissenschaftliche Visualisierungen und realistische Produkte oder architektonische Renderings zu erstellen. Darüber hinaus gewährleistet der genaue Textrendern ein klarer, intestine formatierter Textual content für Plakate, Einladungen, Social-Media-Anzeigen und Bildungspräsentationen.

Diese Funktionen machen Gemini 2.0 Flash-Experimental zu einem leistungsstarken Instrument für Design, Advertising and marketing, Bildung und Geschäftsanwendungen, wodurch kreative Workflows mit KI-gesteuerter Effizienz optimiert werden.

Lesen Sie auch: Googles Gemma 3: Funktionen, Benchmarks, Leistung und Implementierung

Abschluss

Gemini 2.0 Flash (experimentell) bringt eine wesentliche Wendung in der KI-gesteuerten Bildgenerierung mit sich und bringt Großsprachmodellen ein neues Maß an Interaktivität und multimodale Funktionen. Seine Fähigkeit, Textual content und Visuals problemlos zu integrieren, macht es zu einem leistungsstarken Werkzeug für eine Vielzahl von Anwendungen-von Geschichtenerzählen und Advertising and marketing bis hin zu realen Simulationen und Unterrichtsinhalten. Während das Modell einige Einschränkungen aufweist, wie z. B. die mangelnde Seitenverhältniskontrolle und gelegentliche Inkonsistenzen bei den folgenden Eingabeaufforderungen, unterscheiden seine Stärken in der Konversationsbearbeitung, des Weltwissens und des genauen Textes von Textual content.

Während sich AI weiterentwickelt, ebnet Gemini 2.0 Flash den Weg für eine Zukunft, in der Chatbots nicht nur textbasierte Assistenten, sondern auch kreative visuelle Mitarbeiter sind.

Ich konnte nur einige Beispiele für die Bildgenerierung mit dem neuen Gemini 2.0 Flash zeigen, aber es kann viel mehr tun. Genai ist so groß und wirkt sich in vielerlei Hinsicht auf unsere Arbeit aus. Um zu erfahren, wie Sie es verwenden, um Ihre Workflows zu verbessern – Checkout unser Kostenloser Kurs auf generatives KI ein Weg zum Leben!

Häufig gestellte Fragen:

In diesem Vergleich befassen wir uns mit den Fähigkeiten zweier führender KI-Modelle: Googles Gemini 2.0 Flash und OpenAIs GPT-4o. Gemini 2.0 Flash verfügt über ein riesiges 1-Millionen-Token-Kontextfenster, das deutlich größer ist als die 128 KB von GPT-4o und eine verbesserte Kapazität für die Verarbeitung komplexer Daten bietet. Gemini 2.0 Flash wurde kürzlich veröffentlicht und unterstützt auch eine breitere Palette von Modalitäten, einschließlich Video, das mit GPT-4o nicht verfügbar ist. Lassen Sie uns den Unterschied zwischen Gemini 2.0 Flash und GPT 4o anhand von 5 Aufgaben untersuchen.

Gemini 2.0 Flash vs. GPT 4o: Übersicht

Besonderheit	GPT-4o	Zwillinge 2.0
Eingabekontextfenster	128.000 Token	1 Mio. Token
Maximale Ausgabetoken	16,4K Token	8.192 Token
Veröffentlichungsdatum	6. August 2024 (vor 5 Monaten)	11. Dezember 2024 (vor 1 Monat)
Stichtag für Wissen	Oktober 2023	August 2024
API-Anbieter	OpenAI, Azure OpenAI-Dienst	Google AI Studio, Vertex AI
Unterstützte Modalitäten	Textual content, Bild, Audio	Textual content, Bild, Audio, Video

Aufgabe 1: HTML-Code für Web site

Immediate: Grundlegender HTML-Code für eine Wortzähl-Web site.

Antwort von Gemini 2.0:

<!DOCTYPE html>
<html>
<head>
<title>Phrase Counter</title>
</head>
<physique>
<h1>Phrase Counter</h1>
<textarea id="text-input" rows="10" cols="50" placeholder="Enter your textual content right here"></textarea><br><br>
<button onclick="countWords()">Rely Phrases</button>
<p id="word-count"></p>
<script>
operate countWords() {
const textual content = doc.getElementById("text-input").worth;
const phrases = textual content.trim().cut up(/s+/); 
const wordCount = phrases.filter(phrase => phrase !== '').size; 
doc.getElementById("word-count").innerHTML = "Phrase Rely: " + wordCount;
}
</script>
</physique>
</html>

Frontend-Design:

GPT 4o-Antwort:

<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta title="viewport" content material="width=device-width, initial-scale=1.0">
<title>Phrase Rely Software</title>
<type>
physique {
font-family: Arial, sans-serif;
margin: 0;
padding: 0;
show: flex;
justify-content: middle;
align-items: middle;
top: 100vh;
background-color: #f4f4f9;
}
.container {
text-align: middle;
padding: 20px;
background-color: white;
border-radius: 8px;
box-shadow: 0 4px 8px rgba(0, 0, 0, 0.1);
}
textarea {
width: 100%;
top: 150px;
margin-bottom: 20px;
padding: 10px;
font-size: 16px;
border: 1px strong #ccc;
border-radius: 4px;
resize: none;
}
button {
padding: 10px 20px;
font-size: 16px;
background-color: #4CAF50;
colour: white;
border: none;
border-radius: 4px;
cursor: pointer;
}
button:hover {
background-color: #45a049;
}
.outcome {
margin-top: 20px;
font-size: 18px;
font-weight: daring;
}
</type>
</head>
<physique>
<div class="container">
<h1>Phrase Rely Software</h1>
<textarea id="textInput" placeholder="Sort or paste your textual content right here..."></textarea><br>
<button onclick="countWords()">Rely Phrases</button>
<div class="outcome" id="wordCountResult"></div>
</div>
<script>
operate countWords() {
let textual content = doc.getElementById('textInput').worth;
let wordCount = textual content.trim().cut up(/s+/).size;
// If there is no textual content, set phrase rely to 0
if (textual content.trim() === '') {
wordCount = 0;
}
doc.getElementById('wordCountResult').innerText = `Phrase Rely: ${wordCount}`;
}
</script>
</physique>
</html>

Frontend-Design:

Beobachtung:

Für eine Produktionsumgebung würde die GPT-4o-Model ein viel besseres Benutzererlebnis bieten und weniger zusätzlichen Aufwand erfordern, um sie produktionsbereit zu machen. Es folgt außerdem modernen Greatest Practices für die Webentwicklung.

Urteil:

Zwillinge 2.0 | GPT 4o

Lesen Sie auch: Gemini vs ChatGPT: Was ist besser zum Codieren?

Aufgabe 2: Inhalte zusammenfassen

Immediate: Lesen Sie den Artikel unter https://www.analyticsvidhya.com/weblog/2024/07/building-agentic-rag-systems-with-langgraph/ den Prozess der Erstellung einer Vektordatenbank für Wikipedia-Daten verstehen. Geben Sie dann eine kurze Zusammenfassung der wichtigsten Schritte.

Antwort von Gemini 2.0:

Hier sind die wichtigsten Schritte zum Erstellen einer Vektordatenbank für Wikipedia-Daten gemäß dem Artikel:

1. Laden Sie die Dokumente und teilen Sie sie auf
2. Erstellen Sie eine Vektor-DB und speichern Sie sie auf der Festplatte
3. Richten Sie einen Vektordatenbank-Retriever ein
4. Erstellen Sie einen Grader für den Abfrageabruf
5. Bauen Sie eine QA-RAG-Kette auf
6. Erstellen Sie einen Abfrage-Umformulierer
7. Laden Sie das Websuchtool
8. Erstellen Sie Agentic RAG-Komponenten
9. Funktion zum Abrufen des Diagrammzustands zum Abrufen aus der Vektordatenbank
10. Notenunterlagen
11. Abfrage neu schreiben
12. Websuche
13. Antwort generieren
14. Entscheiden Sie sich für Generieren
15. Erstellen Sie das Agent-Diagramm mit LangGraph
16. Testen Sie unser Agentic RAG System

GPT 4o-Antwort:

Beobachtung:

Die Antwort von GPT 4o ist praktischer und umsetzbarer für jemanden, der speziell eine Wikipedia-Vektordatenbank erstellen möchte, während die Antwort von Gemini eine umfassendere RAG-Systemimplementierung anzusprechen scheint, die über die Kernaufgabe der Datenbankerstellung hinausgeht.

Urteil:

Zwillinge 2.0 | GPT 4o

Aufgabe 3: Lösen Sie ein Rätsel

Immediate: Sie haben es eilig zur Arbeit. Sie gießen sich eine Tasse schwarzen Kaffee ein, aber er ist zu heiß. Sie beabsichtigen, eine festgelegte Menge kalter Milch hinzuzufügen, wissen aber, dass der Kaffee auch danach noch einige Minuten abkühlen muss, bevor Sie ihn trinken können.
In diesem Fall kühlt der Kaffee stärker ab:
1) Fügen Sie sofort Milch hinzu und warten Sie dann einige Minuten, bevor Sie trinken.
2) Warten Sie einige Minuten und fügen Sie dann erst kurz vor dem Trinken Milch hinzu.

Antwort von Gemini 2.0:

GPT 4o-Antwort:

Beobachtung:

Für jemanden, der nicht nur die Antwort, sondern auch die dahinter stehende Physik verstehen möchte, bietet die Gemini-Antwort eine lehrreichere und umfassendere Erklärung. Es hilft den Lesern zu verstehen, was passiert und warum es passiert.

Urteil:

Zwillinge 2.0 | GPT 4o

Aufgabe 4: Durchsuchen Sie das Net

Immediate: Was hat Sam Altman im Jahr 2025 zu AGI gesagt?

Antwort von Gemini 2.0:

Im Jahr 2025 machte Sam Altman, CEO von OpenAI, mehrere wichtige Aussagen zur künstlichen allgemeinen Intelligenz (AGI):

• Vertrauen in das Erreichen von AGI: Altman zeigte sich zuversichtlich, dass OpenAI den Weg zum Aufbau von AGI im traditionell verstandenen Sinne aufgezeigt hat.
• KI-Agenten, die in die Arbeitswelt eintreten: Er prognostizierte, dass KI-Agenten, die in der Lage sind, Aufgaben autonom zu erledigen, ab 2025 in die Arbeitswelt eintreten und sich erheblich auf die Leistung von Unternehmen auswirken würden.
• „AGI“ als schlampiger Begriff: Altman räumte ein, dass der Begriff „AGI“ etwas mehrdeutig geworden ist und unterschiedliche Interpretationen und Definitionen aufweist.
• Fokus auf iterative Entwicklung und Sicherheit: Er betonte die Bedeutung einer iterativen Entwicklung und einer gründlichen Sicherheitsforschung als entscheidende Aspekte einer verantwortungsvollen AGI-Entwicklung.

Diese Aussagen unterstreichen die ehrgeizigen Ziele von OpenAI und die sich entwickelnde Natur des AGI-Bereichs.

GPT 4o-Antwort:

Seit meinem letzten Replace hat Sam Altman, der CEO von OpenAI, häufig Einblicke in die künstliche allgemeine Intelligenz (AGI), ihre Entwicklung und mögliche Auswirkungen gegeben. Allerdings habe ich keinen Zugriff auf konkrete Ereignisse oder Aussagen über das Jahr 2023 hinaus.

Sam Altman hat zuvor erklärt, dass AGI die Gesellschaft dramatisch verändern und alles von der Gesundheitsversorgung bis zur Bildung effizienter machen könnte. Er hat auch betont, wie wichtig es ist, AGI mit menschlichen Werten in Einklang zu bringen und sicherzustellen, dass Sicherheitsprotokolle vorhanden sind. Im Jahr 2023 sprach er über das Engagement von OpenAI, sicherzustellen, dass AGI verantwortungsvoll entwickelt wird, und konzentrierte sich dabei auf seine langfristigen Auswirkungen.

Für die genauesten und aktuellsten Informationen empfehle ich, seine neuesten Aussagen auf Plattformen wie Twitter oder in Interviews zu überprüfen.

Möchten Sie mehr über seine früheren Ansichten zu AGI erfahren?

Beobachtung:

Die Antwort von Gemini ist besser, da sie die Aussagen von Sam Altman aus dem Jahr 2025 genau erfasst, spezifische Einblicke in AGI liefert und die Informationen logisch organisiert. Es ging direkt auf die Frage ein, enthielt wichtige Punkte der AGI-Entwicklung und beleuchtete Nuancen wie seine Ansicht, dass „AGI“ ein „schlampiger Begriff“ sei.

Urteil:

Zwillinge 2.0 | GPT 4o

Aufgabe 5: Bildgenerierung

Immediate: Erstellen Sie ein Bild einer Katze.

Antwort von Gemini 2.0:

GPT 4o-Antwort:

Beobachtung:

Das von Gemini 2.0 erstellte Bild ist deutlich klarer und besser als GPT-4o und zeigt überlegene Qualität, Detailgenauigkeit und allgemeine visuelle Attraktivität.

Urteil:

Zwillinge 2.0 | GPT 4o

Ergebnis: Gemini 2.0 vs. GPT 4o

Aufgabe	Gewinner
HTML-Code für Web site	GPT-4o
Inhalt zusammenfassen	GPT-4o
Löse ein Rätsel	Zwillinge 2.0
Durchsuchen Sie das Net	Zwillinge 2.0
Bilderzeugung	Zwillinge 2.0

Lesen Sie auch:

Abschluss

Dieser Vergleich zwischen Gemini 2.0 Flash und GPT-4o zeigt deren fortschrittliche Fähigkeiten und wirft wichtige Fragen zum Einfluss von KI auf Kreativität, Entscheidungsfindung und Ethik auf. Da Maschinen immer intelligenter werden, müssen wir sicherstellen, dass sie den Menschen verantwortungsbewusst, mit klaren ethischen Richtlinien und Transparenz befähigen. Die Zukunft der KI hängt davon ab, Innovation mit menschlichen Werten in Einklang zu bringen und sicherzustellen, dass sich die Technologie im Einklang mit der Gesellschaft weiterentwickelt.

Einführung

Große Sprachmodelle, Die Nachfolger der Transformers arbeiteten größtenteils im Bereich von Verarbeitung natürlicher Sprache und Pure Language Understanding. Seit ihrer Einführung ersetzen sie die traditionellen regelbasierten Chatbots. LLMs können Texte besser verstehen und natürliche Gespräche führen, sodass sie die herkömmlichen Chatbots ersetzen. Aber seit ihrer Einführung können die LLMs mehr, als sie können. Sie können zum Beispiel Pure Language in SQL-Abfragen umwandeln oder im Web nach den neuesten Informationen suchen. Und jetzt können sie sogar Code ausführen. In diesem Artikel werden wir uns die neu veröffentlichte Funktion von Gemini ansehen, nämlich die Codeausführung.

Lernziele

• Erfahren Sie mehr über die Codeausführung mit LLMs.
• Lernen Sie Gemini Flash 1.5 kennen.
• Erfahren Sie, wie Sie den API-Schlüssel für Gemini erhalten.
• Verstehen, warum LL.M.-Studenten an mathematischen Aufgaben scheitern.
• Nutzung von LLMs mit Codeausführung für präzise und genaue Antworten.

Dieser Artikel erschien im Rahmen der Knowledge Science-Blogathon.

Gemini – Googles großer Sprachmodus

Gemini-Modelle sind eine Familie großer Sprachmodelle, die von Google eingeführt wurden. Sie werden von Google veröffentlicht, um mit den beliebten Closed-Supply- große Sprachmodelle wie GPT4 von OpenAI und Claude von Anthropic. Gemini ist ein multimodales Großsprachenmodell, das Textual content, Bilder, Audio und sogar Movies verstehen kann.

GPT4 konnte dasselbe wie Gemini, unterscheidet sich jedoch von Gemini durch die Ausführung des von ihm generierten Codes. Und jetzt hat Google das Gemini-Modell aktualisiert, sodass es Code ausführen kann. Die Codeausführung ist aufgrund der Funktionsaufruffunktionen von Gemini möglich. Die Codeausführung ist dieser sehr ähnlich und der von ihm generierte Code wird ausgeführt und erhält die Ergebnisse, um die endgültige Ausgabe für den Benutzer zu generieren.

Der von Gemini generierte Code wird in einer isolierten Sandbox-Umgebung ausgeführt. Derzeit sind in der Sandbox-Umgebung nur die Numpy- und Sympy-Bibliotheken vorhanden und der generierte Code kann keinesfalls neue Python-Bibliotheken herunterladen und installieren.

Erste Schritte mit der Codeausführung

Bevor wir mit dem Programmieren beginnen, müssen wir den kostenlosen API-Schlüssel erhalten, den Google zum Testen des Gemini-Modells bereitstellt. Die kostenlose API unterstützt sogar die Codeausführung. Um die kostenlose API zu erhalten, können Sie auf das Verknüpfung hier. Jetzt beginnen wir mit der Set up der Bibliothek.

!pip set up -q -U google-generativeai

Es ist wichtig, das Flag -U beizubehalten, während die Google-GenerativeAI-Bibliothek installiert wird. Dies liegt daran, dass die Codeausführung eine neue Funktion ist und die neueste Model der Google-GenerativeAI-Bibliothek erfordert, um zu funktionieren. Jetzt werden wir uns authentifizieren.

import google.generativeai as genai

GOOGLE_API_KEY = "YOUR API KEY"

genai.configure(api_key=GOOGLE_API_KEY)

Hier importieren wir die Bibliothek google.generativeai und rufen die Methode .configure() auf. Dazu geben wir den API-Schlüssel an, den wir durch die Anmeldung bei der Google AI Cloud erhalten haben. Nun können wir mit der Arbeit an den Gemini-Modellen beginnen.

mannequin = genai.GenerativeModel(model_name="gemini-1.5-flash")

response = mannequin.generate_content("How are you?")

print(response.textual content)

Erläuterung

• Hier beginnen wir mit der Erstellung einer Instanz der Klasse GenerativeModel.
• Beim Instanziieren dieses Objekts geben wir den Namen des Modells an, mit dem wir arbeiten. In diesem Fall ist dies Gemini-1.5-Flash, das neueste Modell von Google.
• Um das Modell zu testen, rufen wir die Methode .generate_content() auf, geben ihr dann die Abfrage und speichern den generierten Textual content in der Antwortvariable.
• Zum Schluss drucken wir die Antwort aus. Wir können die Antwort im Bild oben sehen.

Mit dem Massive Language Mannequin kann nicht alles richtig beantwortet werden. Um dies zu testen, stellen wir dem Gemini Flash-Modell eine einfache Frage, um die ersten 5 Buchstaben des Wortes Mississippi anzuzeigen.

response = mannequin.generate_content("Trim this phrase to first 5 letters, Mississippi")

print(response.textual content)

Wenn wir hier den Code ausführen und die Ausgabe oben sehen, sehen wir, dass Googles Gemini-Modell, die neueste LLM-Entwicklung des Google-Groups, eine so einfache Frage nicht beantworten konnte. Dies gilt nicht nur für die Google Gemini-Modelle, sondern auch für GPT4 von OpenAI und sogar Claude von Anthropic.

Dies liegt daran, dass sie nicht rückwärts zählen können. Das heißt, dass das Modell nach der Generierung des Buchstabens „i“ keine Ahnung hat, dass es den zweiten Buchstaben ausgegeben hat. Es gibt einfach einen Buchstaben aus, der den vorherigen Buchstaben enthält, hat aber keine Ahnung von der Länge der vorherigen Buchstaben.

Ein anderes Beispiel

Schauen wir uns eine weitere Frage an, die das große Sprachmodell nicht beantworten kann.

response = mannequin.generate_content("What's the sum of first 100 fibonaocci numbers?")

print(response.textual content)

Hier bitten wir das Gemini Flash-Modell, uns die Summe der ersten 100 Fibonacci-Reihen zu nennen. Wenn wir den Code ausführen und das Ausgabebild sehen, können wir sagen, dass das Modell unsere Frage nicht beantworten konnte. Anstatt die Summe zurückzugeben, hat es uns die Schritte angegeben, um die Summe der ersten 100 Fibonacci-Reihen zu erhalten. Das Modell ist fehlgeschlagen, weil große Sprachmodelle sind Textgenerierungsmodelle. Sie haben keine Fähigkeit, mathematische Operationen durchzuführen

In beiden Fällen ist das Modell additionally fehlgeschlagen. Was nun, wenn das Gemini-Modell Python-Code ausführen kann? Das Modell könnte versuchen, einen Code zu schreiben, der uns zu der erwarteten Antwort führen könnte. Vielleicht könnte das Modell für die erste Frage eine Zeichenfolgenoperation durchführen und den Code ausführen und für die zweite Frage könnte es eine Funktion zum Berechnen der Summe schreiben.

Gemini – Codeausführung

Versuchen wir nun, dem Modell dieselben beiden Fragen zu stellen, gewähren ihm dieses Mal jedoch Zugriff auf das Codeausführungstool.

model2 = genai.GenerativeModel(model_name="gemini-1.5-flash", 
instruments="code_execution")

response = model2.generate_content("Trim this phrase to first 5 letters, 
Mississippi. Use code execution software")

print(response.textual content)

Auch hier erstellen wir eine Instanz der Klasse GenerativeModel und geben ihr den Modellnamen Gemini-1.5-Flash, aber gleichzeitig geben wir ihr auch die Instruments, mit denen das Modell arbeiten kann. Und hier stellen wir ihm das Software code_execution zur Verfügung. Jetzt stellen wir dem Modell dieselbe Frage. Dieses Mal sagen wir ihm sogar, dass es mit dem Software code_execution arbeiten soll.

Wenn wir den Code ausführen und das obige Ausgabebild betrachten, können wir feststellen, dass das Gemini Flash-Modell einen Python-Code geschrieben hat, um eine Zeichenfolgenoperation auszuführen, d. h. hier das Slicen. Es hat die ersten 5 Buchstaben des Wortes Mississippi geslict und uns schließlich die gewünschte Antwort gegeben. Versuchen wir nun dasselbe mit der zweiten Frage, bei der wir das LLM bitten, uns die Summe der ersten 100 Fibonacci-Zahlen zu nennen.

response = model2.generate_content("What's the sum of first 100 fibanocci numbers?")

print(response.textual content)

Wenn wir hier die Codierung ausführen und die Ausgabe sehen, sehen wir, dass Gemini Flash eine Funktion zur Berechnung der Fibonacci-Zahl generiert hat. Dann rief er die Funktion auf, indem er ihr 100 als n-Wert gab, und druckte schließlich die Ausgabe aus. Mit dem Code-Ausführungstool konnte uns Gemini LLM die richtige Antwort auf die Frage geben. Auf diese Weise kann es mathematische Probleme lösen, indem es einen Code daraus erstellt und den Code ausführt, um die Antwort zu erhalten.

Abschluss

Die Einführung der Codeausführung in Googles Gemini-Modell stellt eine bedeutende Weiterentwicklung der Fähigkeiten großer Sprachmodelle dar. Durch die Integration dieser Funktion kann Gemini nun nicht nur Textual content verstehen und generieren, sondern auch Code ausführen, um komplexe Probleme zu lösen. Diese Entwicklung verbessert seinen Nutzen in einer Vielzahl von Anwendungen, von der Verarbeitung natürlicher Sprache bis zur Durchführung spezifischer Rechenaufgaben. Durch die Fähigkeit, Code auszuführen, kann Gemini einige der inhärenten Einschränkungen von Sprachmodellen überwinden, insbesondere bei der Handhabung präziser Berechnungen und prozeduraler Aufgaben.

Die zentralen Thesen

• Gemini kann Textual content, Bilder, Audio und Video verstehen und verarbeiten und ist damit ein echtes Multimodalgerät.
• Große Sprachmodelle können mathematische Fragen oft nicht präzise beantworten, da sie keine Berechnungen durchführen können.
• Mit der Codeausführung kann ein LLM Code in einer Sandbox-Umgebung ausführen.
• Große Sprachmodelle können Python-Code ausführen, indem sie einen Software-Aufruf durchführen und dem Software den relevanten Python-Code zur Ausführung übergeben.
• Die kostenlose API von Google ermöglicht Benutzern den Zugriff auf die Gemini Flash API, die Code ausführen kann.

Häufig gestellte Fragen

Die in diesem Artikel gezeigten Medien sind nicht Eigentum von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Flash Consideration ist ein Transformator-Aufmerksamkeitsmechanismus zur Leistungsoptimierung, der im Hinblick auf die Echtzeitgeschwindigkeit eine Effizienz von 15 % bietet, und zwar ohne Annäherung.

Da Transformer-Modelle bei langen Sequenzen langsam und speicherhungrig sind (Zeit- und Speicherkomplexität sind quadratischer Natur), ist Flash Consideration (Papier) bietet eine Finish-to-Finish-Beschleunigung im Echtzeittakt von 15 % auf BERT-large und die dreifache Geschwindigkeit auf GPT-2.

Wenn man bedenkt, dass das Trainieren dieser großen Modelle enorme Mengen an Energie verbraucht, kann Flash Consideration mit Software program- und Hardwareoptimierung eine Effizienz von 15 % erzielen, was hinsichtlich der Verbesserung einen enormen Gewinn darstellt.

Nachfolgend werden einige der grundlegenden Konzepte von Flash Consideration und deren Implementierung erläutert.

Grundlegende Konzepte rund um Rechenleistung und Speicher

Bevor wir tiefer in die Thematik Rechenleistung und Speicher eintauchen, wollen wir sie noch einmal betrachten:

Was ist Compute?

• Zeit, die Ihr GPU für die Berechnung tatsächlicher Gleitkommaoperationen (FLOPS) aufwendet

Was ist Speicher?

• Zeitaufwand für die Übertragung von Tensoren innerhalb einer GPU

Im Idealfall soll unsere gCPU ständig Matrixmultiplikationen durchführen und nicht durch den Speicher eingeschränkt werden. In Wirklichkeit hat die Rechenleistung jedoch im Vergleich zum Speicher größere Fortschritte gemacht, und wir befinden uns in einer Welt, in der die gCPU im Leerlauf wartet, bis Daten geladen sind. Dies wird normalerweise als Speicher gebunden Operation. Siehe unten das erläuternde Diagramm, das dies darstellt. Matrixmultiplikation wird als Berechnung betrachtet und der Speicher speichert die Daten (betrachten Sie ihn als Lager). Die Berechnung benötigt Daten zur Verarbeitung und die Speicherbandbreite muss diese Operation unterstützen.

Was ist Speicherhierarchie?

Die A100 GPU hat 40–80 GB von Excessive Bandwidth Reminiscence mit einer Bandbreite von 1,5–2,0 TB/s Und 192 KB On-Chip-SRAM mit jeweils 108 Streaming-Multiprozessoren mit einer Bandbreite von ca. 19 TB/s.

Vor dem Hintergrund des oben genannten Kontexts ist Self-Consideration-Architektur erinnerungsgebunden.

Betrachtet man die Aufmerksamkeitsmathematik, ist es eine Softmax-Operation, die die Speicherbindung verursacht.

• Quantitativer Beweis: Wie Sie unten sehen können, nehmen Operationen wie Softmax, Dropout und Maskierung im Vergleich zur Matrixmultiplikation (Matmul) den Großteil der Zeit in Anspruch.

Warum wird Softmax zu einer speichergebundenen Operation?

Der Maßstab, in dem es betrieben wird, ist unser größter Engpass. Im folgenden Diagramm

• N -> Anzahl der Token
• d -> Anzahl der Einbettungsdimensionen
• Wenn Abfrage und Schlüssel multipliziert werden, explodiert die Aufmerksamkeitsmatrix auf N * N, was viel Speicher beansprucht. Als Referenz (d ~128; N ~128.000 Token; Google Gemini: ~1 Million Token)

Unten sehen Sie den Algorithmus zur Implementierung eines Selbstaufmerksamkeitsmechanismus

Wie im obigen Abschnitt erwähnt, ist das Übertragen von Informationen an HBM (Schreiben von S an HBM) und das anschließende Zurückladen von HBM an gCPU, um Softmax zu berechnen, und das anschließende Zurückschreiben an HBM eine Menge an Informationen, die es speichergebundener Vorgang.

Zusammen mit dem Diagramm erklären die folgenden Schritte, wie die Selbstaufmerksamkeit durch Matrixmultiplikation berechnet wird.

Schritt 1:

• Ich habe das vereinfacht. In der Praxis wird jedes Token mit Positionscodierung hinzugefügt, um Einbettungen zu generieren, die in eine lineare Schicht eingespeist werden, um zu generieren. Zur Veranschaulichung habe ich eine Dimension von 3 verwendet (normalerweise liegt sie zwischen 64 und 128). Dies ist eine Standardeingabe für die Transformer-Architektur.

Schritt 2

• Schlüssel -> Schlüssel‘ (Transponierung) wird berechnet und mit Abfrage multipliziert, um QK‘ zu erhalten, was N*N ist. Dies enthält die Aufmerksamkeit jedes Tokens mit den übrigen Token. Das folgende Diagramm zeigt auch die Beziehung. Da es sich um Token handelt und wir die Wichtigkeit jedes Tokens im Verhältnis zueinander berechnen müssen, wird die Softmax-Operation zeilenweise angewendet, um sie von 0 -1 zu normalisieren.
• Dieser Schritt erfordert eine Bewegung zu HBM und ist der teuerste Vorgang wie wir besprochen haben. Das gesamte Flash-Aufmerksamkeitspapier befasst sich mit der Optimierung dieses Prozesses.

Schritt 3

• Softmax(QK‘) * V wird als endgültige Ausgabematrix berechnet. Die Dimension ist hier dieselbe wie die Eingabeeinbettungen von Schlüssel, Abfrage und Wert.
• Letzte Zeile in der Ausgabematrix
• 1*5 bedeutet, dass die Einbettung von „diesem“ geändert werden sollte, um Beziehungen mit anderen Token einzubinden.
• 2*5 bedeutet, dass die Einbettung von „ist“ geändert werden sollte, um Beziehungen mit anderen Token einzubinden.
• Dasselbe wie oben für die restlichen Zeilen

Die Grundidee wird durch das folgende Diagramm erklärt, in dem Schlüssel-, Abfrage- und Wertblöcke vom HBM zum SRAM übertragen werden. Durch einige mathematische Methods (siehe unten) ist die hier durchgeführte Berechnung keine ungefähre Antwort, sondern eine tatsächlich richtige.

Mit dieser Implementierung kann Papier die Wall-Pace-Zeit reduzieren, indem es auf Informationen in Blöcken zugreift, ohne die Korrektheit zu beeinträchtigen.

Algorithmus hinter dem Papier: Wie wird Flash Consideration implementiert?

Dies ist der komplexeste Teil des Dokuments. Lassen Sie uns dieses Downside in Unteraspekte aufteilen und tiefer eintauchen.

Das folgende Diagramm unterteilt die Matrix in Blöcke und zeigt, wie jeder Block zur Berechnung des partiellen Softmax und anschließend des korrekten Softmax verwendet wird.

• Ersteingabe: Token: Dies ist ein Flash-Consideration-Papier
• Schlüssel: 4 (Token) x 3 (Dimensionen), Abfrage: 4 (Token) x 3 (Dimensionen) und Wert: 4 (Token) x 3 (Dimensionen)

Schritt 0

• Angenommen, der Speicher ist 24 Byte groß
• SRAM wird in 4 Blöcke unterteilt (Abfrage, Schlüssel, Wert und Ausgabematrix)
• Abfrage, Schlüssel, Wert und Ausgabe erhalten jeweils = 6 Bytes zum Speichern ihrer Informationen (12 Bytes/4)
• Jede Dimension ist 3, da jede Einbettung nicht gebrochen werden kann, additionally
• Abfrage: 6 Bytes/ 3 (Dimension) = 2. Gleiches gilt für Wert, Schlüssel und Ausgabe
• Daher gibt (M/4d) die Größe jedes Blocks an. In diesem Fall beträgt die Blockgröße 2. Das bedeutet, dass 2 Zeilen in den SRAM geladen werden können.
• Im Allgemeinen beträgt die Blockgröße (M/4d) und die Anzahl der Blöcke (N*4D/M).

Schritt 1 und 2: Unten wird eine Tabelle hinzugefügt, die die Schritte 1 und 2 zur Funktionsweise von Flash Consideration veranschaulicht und die Speicher- und Rechenaspekte davon vergleicht.

Das folgende Diagramm hilft dabei, die in Flash Consideration verwendete Matrixmultiplikation (Block für Block) zu visualisieren.

Was ist der mathematische Aspekt von Softmax?

Einer der kritischsten Aspekte des Dokuments ist, wie das Zerlegen von Matrizen dennoch zur Berechnung der Softmax-Genauigkeit führt. Lassen wir das mathematische Beispiel unten aus, das zeigt, wie zwei verschiedene Matrizen zusammengefasst werden können, um erneut Softmax zu berechnen.

Instinct

• Dies ist die schöne Eigenschaft von Exponenten, die hier ausgenutzt wird.
• Jeder Softmax wird einzeln berechnet, aber gleichzeitig wird der Maximalwert der Zeile zusammen mit dem summierten Exponentenwert gespeichert.
• Beim Zusammenführen mit einer anderen Matrix müssen wir prüfen, wie stark sich das Most vom globalen Most der beiden Matrizen unterscheidet. Und aufgrund des Exponenten werden sowohl Zähler als auch Nenner mit e^(aktuelles_Maximum – globales_Maximum) angepasst, um dies zu berücksichtigen.

Logik ist ziemlich komplex, deshalb wird unten ein Beispiel durchgegangen. Wenn Sie sich mit einem Beispiel vertraut gemacht haben, wird die obige Instinct sehr viel Sinn ergeben.

Schauen wir uns die Komplexitätsanalyse an, um ein Gefühl dafür zu bekommen, wie sich die Dinge verändert haben

Selbstaufmerksamkeit

• Während der Berechnung von S = QK‘ wird eine N*N-Matrix erstellt, die zurück zum HRAM übertragen und anschließend aus dem HRAM abgerufen werden muss.
• Daher ist O(N*N + N*N) = O(N*N) HBM-Zugriff

Blitzlicht

• Äußere Schleife: Auf Schlüssel und Abfrage wird O(Nd) mal zugegriffen
• Innere Schleife: Zum Laden von HBM sind nur O(Nd/M) erforderlich, da auf Blöcken gearbeitet wird
• Insgesamt: O(N*N*d*d/M)
• In der Praxis ist d viel kleiner als M. d liegt im Bereich von (64–128), während M im Bereich von 100 KB liegt. Daher ist der HBM-Zugriff optimiert

• Wir begannen mit dem Ziel, den HBM-Zugriff zu optimieren, und mit dieser Komplexitätsanalyse sehen wir, dass das Papier die HBM-Zugriff über den Faktor (d*d/M) ohne Näherung.

So ein komplexes Papier mit enormer Effizienzsteigerung. Ich hoffe, die obige Erklärung vermittelt einen Eindruck davon, wie Flash Consideration die Leistung optimiert und verbessert. Ich habe Block Sparse Flash Consideration noch nicht behandelt. Wie sieht es im Vergleich zu anderen Optimierungstechniken, Forwards Cross Optimization usw. aus? Ich hoffe, das in einem zukünftigen Beitrag behandeln zu können.

Verweise