Claude 3.5 Sonett – Analytics Vidhya

Einführung

Der Artikel stellt Anthropics neuestes Generative-AI-Großsprachenmodell, Claude 3.5 Sonnet, vor, das sich durch hervorragende Rechen-, Argumentations-, Codierungs- und Mehrsprachenfähigkeiten auszeichnet. Er behandelt auch seine Visionsfähigkeiten, reale Anwendungen, Sicherheitsvorkehrungen und Zukunftsaussichten mit Modellen wie Haiku und Opus. Der Artikel betont den wichtigen Beitrag von Claude 3.5 Sonnet zur Entwicklung der KI.

Überblick

• Verstehen Sie, wie das Claude 3.5-Sonett von Anthropic die Leistung beim logischen Denken, in der Mathematik, beim Kodieren und bei mehrsprachigen Aufgaben verbessert.
• Entdecken Sie die Fähigkeiten von Claude 3.5 Sonnet im Bereich visuelles Denken und Texttranskription aus Bildern.
• Erlernen Sie die praktische Anwendung des Claude 3.5-Sonetts in Instruments wie APIs für die Verarbeitung natürlicher Sprache und Datenextraktion.
• Entdecken Sie die Sicherheitsmaßnahmen in Claude 3.5 Sonnet, die Datenschutz und ASL-2-Konformität gewährleisten.
• Erwarten Sie zukünftige Claude-Modelle wie Haiku und Opus sowie Verbesserungen im Speicher und neue Modalitäten.

Was ist Claude 3.5 Sonett?

Im März 2024 stellte Anthropic seine Modellfamilie Claude 3 vor und setzte damit einen neuen Normal in puncto Leistung und Kosteneffizienz. GPT-4o Und Gemini 1.5 Professional übertraf Claude 3 innerhalb weniger Monate in beiden Bereichen. Jetzt ist es Zeit für Anthropic, mit seinem Claude 3.5 Sonnet, dem besten Modell in puncto Leistung und Kosteneffizienz, ein Comeback zu feiern.

Wie wir dem obigen Bild entnehmen können, verfügt das Claude 3.5 Sonnet über die beste Qualität und ist weniger teuer als das bisher leistungsstärkste Modell GPT-4o.

Argumentation und Beantwortung von Fragen

Es setzt neue Maßstäbe für die meisten branchenübliche Messgrößen in den Bereichen logisches Denken, Leseverständnis, Mathematik, Naturwissenschaften und Codierung.

• GPQA (Fragen und Antworten auf Graduiertenniveau): Claude 3.5 Sonnet führt mit 59,4 % (0 Schuss) und 67,2 % (5 Schuss) und übertrifft damit die anderen.
• MMLU (Allgemeines Denken): Es erreicht mit 90,4 % (5-Schüsse) das höchste Ergebnis und weist damit auf überlegene Denkfähigkeiten hin.
• MATH (Mathematisches Problemlösen): Claude 3.5 Sonnet erreicht 71,1 % (0 Schuss), mehr als vorherige Modelle.
• HumanEval (Python-Codierung): Es schneidet mit einer Punktzahl von 92,0 % hervorragend ab und weist auf starke Programmierkenntnisse hin.
• MGSM (Mehrsprachige Mathematik): Das Modell erreicht 91,6 % (0-Schuss) und ist führend in mehrsprachiger Mathematik.
• DROP (Leseverständnis): Es erreicht 87,1 % (F1-Ergebnis, 3-Schuss) und weist damit ein ausgeprägtes Auffassungsvermögen auf.
• BIG-Bench Exhausting (gemischte Bewertungen): Das Ergebnis beträgt 93,1 % (3 Schüsse), was auf eine robuste Leistung bei gemischten Aufgaben hinweist.
• GSM8K (Mathematik in der Grundschule): Claude 3.5 Sonnet führt mit 96,4 % (0-Schuss) und zeigt hervorragende Fähigkeiten zur Lösung mathematischer Probleme.

Bildverarbeitungsfunktionen

Claude 3.5 Sonnet ist das leistungsstärkste Sehmodell bei Normal-Sehbenchmarks. Es eignet sich hervorragend für Aufgaben zum visuellen Denken, wie das Interpretieren von Diagrammen und Grafiken, und transkribiert Textual content aus unvollständigen Bildern präzise.

Es kann je nach vorliegender Aufgabe externe Instruments verwenden und verschiedene Aufgaben ausführen, wie etwa das Zurückgeben von API-Aufrufen mit Anfragen in natürlicher Sprache, das Extrahieren strukturierter Daten, das Beantworten von Fragen durch die Suche in Datenbanken usw. Wir können sogar in den Anthropologie-Kursen auf GitHub selbst lernen, wie man Instruments integriert.

Artefakte

Anthropic hat eine neue Funktion eingeführt, die die Benutzerinteraktion mit Claude revolutioniert. Wenn Benutzer Inhalte wie Codeausschnitte, Textdokumente oder Web site-Designs anfordern, werden diese Artefakte jetzt in einem eigenen Fenster neben ihrer Konversation angezeigt. Diese Verbesserung verbessert nicht nur die Benutzerfreundlichkeit, sondern setzt auch einen neuen Normal für interaktive KI-Funktionen.

Lassen Sie uns nun die Sehfähigkeiten des Modells mit Artefakten testen.

Hier haben wir dem Modell das oben entnommene Diagramm „Qualität vs. Preis“ gegeben und es gefragt: „Welches Modell ist basierend auf diesem Diagramm am kostengünstigsten?“

Wie wir dem Bild entnehmen können, wird die Frage richtig beantwortet.

Dann fragten wir: „Wie kann ich ein solches Diagramm in Python erstellen?“ Das Modell generierte den Code und zeigte ihn an der Seite an.

Wir können die Artefaktfunktion in der „Funktionsvorschau“ aktivieren, falls sie nicht bereits aktiviert ist.

Und auch Claude 3.5 Sonnet kann laut Diagramm erkennen, dass es sich dabei um das Modell mit der besten Leistung handelt.

Wie benutzt man?

Claude 3.5 Sonnet ist das Standardmodell im Claude.ai-Chat. In der kostenlosen Model gibt es Beschränkungen für die Anzahl der Nachrichten professional Tag, die je nach Datenverkehr variieren können. Wenn wir auf Professional upgraden können, erhalten wir auch Zugriff auf die Modelle Claude 3 Haiku und Opus.

Wir können auch über die Anthropic API auf das Modell zugreifen. Es kostet 3 $ / 1 Million Token und 15 $ / 1 Million Token für Eingabe bzw. Ausgabe.

Sicherheit und Datenschutz

Alle Modelle werden umfangreichen Exams unterzogen, um Missbrauch zu minimieren. Trotz seines Intelligenzsprungs behält Claude 3.5 Sonnet ein ASL-2-Sicherheitsniveau bei, was durch strenge Pink-Teaming-Bewertungen bestätigt wurde. Alle aktuellen LLMs scheinen ASL-2 zu sein.

Claude 3.5 Sonnet wurde vor der Bereitstellung vom britischen Synthetic Intelligence Security Institute evaluiert und die Ergebnisse an das US-amerikanische AI ​​Security Institute weitergegeben.

Suggestions von Politikexperten und Organisationen wie Thorn wurde integriert, um aufkommende Missbrauchstrends zu berücksichtigen. Diese Erkenntnisse haben dazu beigetragen, Klassifikatoren zu verfeinern und die Widerstandsfähigkeit der Modelle gegen verschiedene Arten von Missbrauch zu verbessern.

Dieses Modell verwendet keine vom Benutzer übermittelten Daten zum Trainieren generativer Modelle, es sei denn, der Benutzer gestattet dies ausdrücklich. Dadurch wird ein robuster Schutz der Privatsphäre des Benutzers gewährleistet.

Abschluss

Wie die Claude 3-Familie werden auch die Modelle Haiku und Opus bald veröffentlicht. Darüber hinaus werden wahrscheinlich Funktionen wie Speicher und neue Modalitäten hinzugefügt. Und natürlich können wir mit neuen Modellen von OpenAI und Google rechnen, da der Wettbewerb immer härter wird.

Häufig gestellte Fragen