Einführung
Diese Woche gab es im KI-Bereich bedeutende Neuerungen, da führende Unternehmen neue Modelle und Instruments vorstellten. AI21 Labs brachte Jamba 1.5 auf den Markt, AnthropicAI verbesserte Claude 3 und Bindu Reddy stellte Dracarys vor, ein auf Codierung ausgerichtetes Modell. Forscher machten auch Fortschritte bei der prompten Optimierung und bei Hybridarchitekturen und unterstrichen damit laufende Fortschritte, die die Fähigkeiten und Anwendungen der KI verändern werden.
Überblick
- Neue Modellveröffentlichungen: AI21 Labs hat Jamba 1.5 auf den Markt gebracht, ein vergrößertes Modell mit schnelleren Inferenzgeschwindigkeiten und überlegener Leistung bei der Verarbeitung langer Kontexte, das Modelle wie Llama 3.1 70B übertrifft.
- Modellverbesserungen: AnthropicAI hat Claude 3 mit LaTeX-Rendering und Immediate-Caching aktualisiert, wodurch die mathematischen Fähigkeiten und die Abfrageeffizienz verbessert wurden. Bindu Reddy stellte Dracarys vor, ein führendes Open-Supply-Modell für Codierungsaufgaben.
- Forschungsfortschritte: Deutliche Fortschritte bei der schnellen Optimierung und bei Hybridarchitekturen, wodurch die Fähigkeit der KI verbessert wird, komplexe Aufgaben und lange Kontexte zu bewältigen.
- KI-Instruments und -Anwendungen: Neue Instruments wie Spellbook Affiliate für juristische Arbeiten und MLX Hub für die Modellverwaltung wurden eingeführt und erweitern die praktischen Anwendungen der KI.
- Herausforderungen der KI-Branche: Hervorgehoben wurden die Schwierigkeiten beim Erreichen einer hohen Genauigkeit in mehrstufigen Arbeitsabläufen und die Debatte zwischen der Leistung von Open-Supply- und Closed-Supply-Modellen.
- Regulierung und Sicherheit: Laufende Diskussionen über KI-Sicherheit und -Regulierung, insbesondere rund um Kaliforniens SB 1047 und Anthropics Haltung zur Regulierung von Open-Supply-Modellen.
Veröffentlichungen und Entwicklungen von KI-Modellen
Jamba 1.5-Begin von AI21 Labs
AI21 Labs hat veröffentlicht Jamba 1.5eine vergrößerte Model ihres ursprünglichen Jamba-Modells. Dieses neue Modell zeichnet sich durch die Verarbeitung langer Kontexte aus und bietet bis zu 2,5-mal schnellere Inferenzgeschwindigkeiten. Es hat in Benchmarks eine beeindruckende Leistung gezeigt und größere Modelle wie Llama 3.1 70B übertroffen.
- Jamba 1.5 ist ein hybrides SSM-Transformer-MoE-Modell, das in den Versionen Mini (52B – 12B aktiv) und Giant (398B – 94B aktiv) erhältlich ist.
- Zu den wichtigsten Funktionen gehören ein 256-Okay-Kontextfenster, mehrsprachige Unterstützung und optimierte Leistung für Aufgaben mit langen Kontextzeiten.
- Das Modell weist eine überlegene Leistung auf und erreicht im Area-Exhausting-Benchmark einen Wert von 65,4, womit es größere Modelle wie das Llama 3.1 70B übertrifft.
Claude 3 Updates von AnthropicAI
Claude 3 hat Updates erhalten, darunter LaTeX-Rendering-Unterstützung, wodurch die Fähigkeit zur Anzeige mathematischer Gleichungen und Ausdrücke verbessert wird. Für Claude 3 Opus ist jetzt Immediate-Caching verfügbar, was die Effizienz bei der Verarbeitung wiederholter Abfragen verbessert.
Dracarys-Veröffentlichung von Bindu Reddy
Bindu Reddy gab bekannt Dracarysund behauptet, es sei das beste Open-Supply-Modell der Klasse 70B zum Codieren. Es übertrifft Llama 3.1 70B und andere Modelle in Benchmarks und ist auf Hugging Face verfügbar. Das Modell zeigt im Vergleich zu anderen Open-Supply-Modellen erhebliche Verbesserungen bei der Codierleistung.
Mistral Nemo Minitron 8B
Dieses Modell weist eine bessere Leistung als Llama 3.1 8B auf und Mistral 7B auf der Hugging Face Open LLM-Bestenliste. Der Erfolg deutet auf die potenziellen Vorteile des Beschneidens und Destillierens größerer Modelle hin.
Phi-3.5 und Flexora
Das Phi-3.5-Modell von Microsoft wurde für seine Sicherheit und Leistung gelobt. Flexora führt einen neuen Ansatz zur Feinabstimmung von LoRA ein, der bessere Ergebnisse liefert und die Trainingsparameter um bis zu 50 % reduziert. Die Technik beinhaltet eine adaptive Schichtauswahl für LoRA.
KI-Forschung und -Techniken
Schnelle Optimierung
Die Herausforderungen der Immediate-Optimierung werden hervorgehoben, wobei die Komplexität der Suche nach optimalen Prompts in riesigen Suchräumen hervorgehoben wird. Einfache Algorithmen wie AutoPrompt/GCG haben in diesem Bereich eine überraschende Wirksamkeit gezeigt.
Hybride Architekturen
Hybrid Mamba/Transformer Architekturen zeichnen sich durch ihre Effektivität aus, insbesondere bei langen Kontext- und schnellen Inferenzaufgaben.
KI-Anwendungen und -Instruments
Zauberbuch-Mitarbeiter
Spellbook Affiliate ist ein KI-Agent für juristische Arbeiten, der Projekte aufteilen, Aufgaben ausführen und Pläne anpassen kann.
LamaIndex 0,11
Die neueste Model von Abonnieren enthält neue Funktionen wie Workflows, die Question Pipelines ersetzen, und ein 42 % kleineres Kernpaket.
MLX-Hub
MLX-Hubein neues Befehlszeilentool zum Suchen, Herunterladen und Verwalten von MLX-Modellen vom Hugging Face Hub, wurde eingeführt.
KI-Entwicklung und Branchentrends
Herausforderungen bei KI-Agenten
Das Erreichen einer hohen Genauigkeit bei mehrstufigen Arbeitsabläufen in KI-Agenten wird als erhebliche Herausforderung hervorgehoben, vergleichbar mit dem Downside der letzten Meile bei selbstfahrenden Autos.
Open-Supply- vs. Closed-Supply-Modelle
Die meisten Open-Supply-Feinabstimmungen neigen dazu, die Gesamtleistung zu verschlechtern, während sie in engen Dimensionen verbessert werden. Dracarys ist für seine Verbesserung der Gesamtleistung bekannt.
KI-Regulierung
In einem Temporary an Gouverneur Newsom werden Kosten und Nutzen des in Kalifornien vorgeschlagenen Gesetzesentwurfs zur KI-Regulierung, SB 1047, erörtert.
KI-{Hardware}
Das Potenzial der Kombination von Ressourcen mehrerer Geräte für KI-Workloads im Homeoffice wird erörtert und die Bedeutung einer effizienten Hardwarenutzung hervorgehoben.
KI-Sicherheit und Gesetzgebung
Kaliforniens SB 1047
Das Rechnung zielt darauf ab, KI-Anwendungen aus Sicherheitsgründen zu regulieren. Unternehmen wie Stanford und Anthropic haben unterschiedliche Ansichten geäußert. Während einige dies als einen notwendigen Schritt zur Minderung der KI-Risiken ansehen, befürchten andere, dass es Innovationen hemmen könnte.
Anthropics Haltung zur KI-Regulierung
Anthropisch scheint eine aggressivere Haltung gegenüber Open-Supply-LLMs einzunehmen und schlägt Senator Wienner möglicherweise eine entsprechende Gesetzgebung vor. Dies hat eine Debatte über das Gleichgewicht zwischen KI-Sicherheit und Innovation ausgelöst.
Unser Kommentar
In der vergangenen Woche hat der KI-Bereich eine Welle spannender Entwicklungen und kritischer Diskussionen erlebt. Von AI21 Labs‘ Jamba 1.5, das neue Maßstäbe bei der Verarbeitung langer Kontexte setzt, über AnthropicAIs Updates zu Claude 3 bis hin zu Bindu Reddys Dracarys, das bei Codierungsaufgaben brilliert, treibt Innovation die Branche weiterhin voran. Gleichzeitig gestaltet die Forschung in den Bereichen Immediate-Optimierung und Hybridarchitekturen die KI-Fähigkeiten neu, und Debatten um KI-Sicherheit und -Regulierung unterstreichen den wachsenden Bedarf an verantwortungsvollen KI-Praktiken. Da sich das Feld rasch weiterentwickelt, wird die Steadiness zwischen technologischem Fortschritt und ethischen Überlegungen der Schlüssel sein, um sicherzustellen, dass die gesamte Gesellschaft von KI profitiert.
Bleiben Sie dran für weitere Einblicke und Updates in der nächsten Ausgabe von The AI Chronicle.