Die KI-Group warfare bereits fassungslos, als DeepSeek V3 eingeführt und bietet Funktionen auf GPT-4o-Niveau zu einem Bruchteil der Kosten. Aber jetzt hat das NovaSky-Workforce an der UC Berkeley die Messlatte noch höher gelegt. Lernen Sie Sky-T1-32B-Preview kennen – ein Modell, das erstklassige Leistung für Schulungskosten von weniger als 450 US-Greenback bietet. Das ist kein Tippfehler. Während andere Millionen ausgeben, beweist NovaSky, dass modernste KI kein horrendes Finances erfordert.
Und das Beste daran: Sie haben es geschafft alles Open-Supply. Daten, Code, Modellgewichte – alles steht jedem zur Nutzung, zum Lernen und zur Verbesserung zur Verfügung. Dabei geht es nicht nur um die Erschwinglichkeit; Es geht darum, die KI zu demokratisieren und alle zu Innovationen zu befähigen. Erfahren Sie mehr über Sky-T1-32B-Preview.
Was macht dieses Projekt besonders?
Während Modelle wie o1 und Gemini 2.0 beeindruckende Denkfähigkeiten unter Beweis gestellt haben, bleiben ihre technischen Particulars und Gewichte hinter verschlossenen Türen. Dies schafft Barrieren für akademische und Open-Supply-Communities. Als Reaktion darauf hat NovaSky ein vollständig Open-Supply-Modell entwickelt, das sich nicht nur in Mathematik, sondern auch in der Programmierung auszeichnet – und das alles für weniger als 450 US-Greenback.
Making of Sky-T1-32B-Vorschau
1. Datenvorbereitung
- Das Workforce sammelte verschiedene Datensätze (Mathematik, Codierung, Naturwissenschaften und Rätsel).
- Sie nutzten intelligente Techniken wie das „Rejection Sampling“, das falsche Antworten herausfiltert, um sicherzustellen, dass nur qualitativ hochwertige Daten verwendet wurden.
- Außerdem haben sie die Daten aus Gründen der Übersichtlichkeit neu formatiert und so die Genauigkeit der Ergebnisse erhöht.
2. Trainingsprozess
- NovaSky hat mithilfe seines kuratierten Datensatzes ein großes Open-Supply-Modell (Qwen-2.5-32B) verfeinert.
- Das Coaching dauerte auf acht fortschrittlichen GPUs nur 19 Stunden und kostete weniger als 450 US-Greenback.
3. Ausgewogener Ansatz
- Sie haben die Trainingsdaten sorgfältig zwischen Mathematik- und Codierungsaufgaben abgewogen, um sicherzustellen, dass das Modell beide Arten des Denkens effektiv verarbeiten kann.
Sky-T1-32B-Vorschau-Benchmarking
Sky-T1-32B-Preview liefert hervorragende Ergebnisse in mehreren Benchmarks:
- Mathe: Erreicht 82,4 % auf Math500 und 43,3 % auf AIME2024 und konkurriert mit Topmodellen wie o1-preview.
- Codierung: Gepunktet 86,3 % auf LiveCodeBench-Simple und demonstriert seine Fähigkeit, komplexe Codierungsherausforderungen zu bewältigen.
- Vielseitigkeit: Übertrifft mehrere Open-Supply-Modelle und konkurriert mit teureren geschlossenen Modellen wie o1-preview.
Wichtige Erkenntnisse
- Der Datenmix ist entscheidend: Es warfare wichtig, Mathematik- und Codierungsdaten in Einklang zu bringen. Anfangs verringerte das Hinzufügen von Codierungsdaten die mathematische Genauigkeit, aber die Anreicherung des Datensatzes mit anspruchsvollen Problemen von NuminaMath und TACO stellte die Leistung in beiden Bereichen wieder her.
- Die Modellgröße ist wichtig: Kleinere Modelle (7B und 14B) zeigten nur bescheidene Verbesserungen und erzeugten häufig sich wiederholende Inhalte. Das 32B-Modell erwies sich als optimale Lösung für fortgeschrittenes Denken.
Die Zukunft von Open-Supply-Argumentationsmodellen
Sky-T1-32B-Preview ist nur der Anfang. NovaSky plant:
- Entwickeln Sie effizientere Modelle mit starken Argumentationsfähigkeiten.
- Entdecken Sie fortschrittliche Techniken, um die Genauigkeit und Effizienz beim Testen zu verbessern.
Indem NovaSky seine Arbeit vollständig auf Open Supply umstellt, ebnet es den Weg für eine integrativere und kollaborativere KI-Zukunft.
Wichtige Hyperlinks
Schlussbemerkung
Die KI-Entwicklung wird oft von Unternehmen mit riesigen Budgets dominiert und lässt kleinere Organisationen und Forscher zurück. Die Arbeit von NovaSky demokratisiert die KI, indem sie zeigt, dass Spitzenmodelle kostengünstig trainiert werden können. Ihr vollständig Open-Supply-Ansatz fördert außerdem Zusammenarbeit und Innovation und ebnet den Weg für leichter zugängliche KI-Fortschritte.
Bleiben Sie dran Analytics Vidhya Information für mehr so tolle Inhalte!
Als Tutorial Designer bei Analytics Vidhya verfügt Diksha über Erfahrung in der Erstellung dynamischer Bildungsinhalte zu den neuesten Technologien und Tendencies in der Datenwissenschaft. Mit einem Händchen für die Erstellung ansprechender, innovativer Inhalte ermöglicht Diksha den Lernenden, sich in der sich entwickelnden Technologielandschaft zurechtzufinden und hervorragende Leistungen zu erbringen, und sorgt so für hervorragende Bildungsqualität in diesem sich schnell entwickelnden Bereich.