Da es sich bei IBM um eine Neuerung handelt, wurde vor allem die neue KI-Technologie verwendet, um Granite 4.0 Nano zu installieren.
Granite 4.0-Modellierung:
Diese Modellierer müssen jetzt direkt in Ihr Webbrowser einsteigen, um die Daten bis zum Ende hochzuladen. Sie können den Redan jetzt auf IBMs Granite Playground testen.
Prestanda som överraskar
Das von Qualcomms angebotene NPU-Modell kostet Granite-4.0-Micro 36,4 Token professional Sekunde auf dem X2 Elite-Prozessor und 28,7 Token professional Sekunde auf Smartphones mit dem Snapdragon 8 Elite Gen 5.
Ein 3-Millionen-Parametermodell mit 128K-Token-Kontextlänge benötigt weniger als 4 GB und muss nur für den Zugriff auf einen Raspberry Pi benötigt werden.
Es kommt Ihnen zugute
Willst du Granite 4.0 Nano testen? Die Finnen flera sätt att komma igång. Sie können einen Standort auf Ihrem Laptop computer, Ihrem Mobilgerät oder Ihrem Gerät finden und direkt mit der WebGPU-Beschleunigung webbasieren.
IBMs Granitspielplatz: https://www.ibm.com/granite/playground
Granite WebGPU HuggingFace: https://huggingface.co/areas/ibm-granite/Granite-4.0-Nano-WebGPU
Um weitere Modelle zu finden, nutzen Sie Hugging Face, Docker und IBMs Plattform watsonx.ai. Alle Modellierer werden mit Apache 2.0-Lizenzen ausgestattet, Sie können jedoch sicher sein, dass Sie sie verwenden und modifizieren können.