Staff AI ist der einfachste Ort zum Erstellen und Skalieren von KI-Anwendungen. kann nun größere Modelle einsetzen und komplexere KI-Aufgaben bewältigen
Cloudflare, Inc. (NYSE: NET), ein führendes Konnektivitäts-Cloud-Unternehmen, kündigte leistungsstarke neue Funktionen für Staff AI, die serverlose KI-Plattform, und ihre Suite von KI-Anwendungsbausteinen an, um Entwicklern beim Erstellen schnellerer, leistungsfähigerer und leistungsfähigerer KI-Anwendungen zu helfen. Anwendungen, die auf Staff AI basieren, können jetzt von schnelleren Inferenzen, größeren Modellen, verbesserten Leistungsanalysen und mehr profitieren. Staff AI ist die einfachste Plattform, um globale KI-Anwendungen zu erstellen und KI-Inferenzen nah am Benutzer auszuführen, egal wo auf der Welt er sich befindet.
Als große Sprachmodelle (LLMs) werden kleiner und leistungsfähiger, Netzwerkgeschwindigkeiten werden zum Engpass für die Kundenakzeptanz und nahtlose KI-Interaktionen. Das weltweit verteilte Netzwerk von Cloudflare trägt dazu bei, die Netzwerklatenz zu minimieren und unterscheidet es von anderen Netzwerken, die typischerweise aus konzentrierten Ressourcen in begrenzten Rechenzentren bestehen. Staff AI, die serverlose Inferenzplattform von Cloudflare, verfügt mittlerweile über GPUs in mehr als 180 Städten auf der ganzen Welt, die für globale Zugänglichkeit ausgelegt sind, um Endbenutzern auf der ganzen Welt niedrige Latenzzeiten zu bieten. Mit diesem Netzwerk von GPUs verfügt Staff AI über eine der größten globalen Präsenzen aller KI-Plattformen und wurde entwickelt, um KI-Inferenz lokal so nah wie möglich am Benutzer auszuführen und dabei zu helfen, Kundendaten näher am Zuhause zu halten.
„Als die KI letztes Jahr auf dem Vormarsch battle, dachte niemand darüber nach, dass die Netzwerkgeschwindigkeit ein Grund für die KI-Latenz sei, da es sich noch um eine neuartige, experimentelle Interaktion handelte. Aber je näher wir der KI kommen, um Teil unseres täglichen Lebens zu werden, desto wichtiger werden das Netzwerk und die Millisekunden“, sagte Matthew Prince, Mitbegründer und CEO von Cloudflare. „Da sich die KI-Arbeitslasten vom Coaching zur Inferenz verlagern, werden Leistung und regionale Verfügbarkeit von entscheidender Bedeutung für die Unterstützung der nächsten Part der KI sein. Cloudflare ist die globalste KI-Plattform auf dem Markt, und GPUs in Städten auf der ganzen Welt werden dazu führen, dass KI von einem neuartigen Spielzeug zu einem Teil unseres Alltags wird, so wie es das schnellere Web bei Smartphones getan hat.“
Cloudflare führt außerdem neue Funktionen ein, die es zur einfachsten Plattform zum Erstellen von KI-Anwendungen machen mit:
- Verbesserte Leistung und Unterstützung für größere Modelle: Jetzt erweitert Cloudflare sein globales Netzwerk mit leistungsstärkeren GPUs für Staff AI, um die KI-Inferenzleistung zu verbessern und Inferenz auf deutlich größeren Modellen wie Llama 3.1 70B sowie der Sammlung von Llama 3.2-Modellen mit 1B, 3B, 11B (und 90B) auszuführen bald). Durch die Unterstützung größerer Modelle, schnellerer Reaktionszeiten und größerer Kontextfenster können KI-Anwendungen, die auf der Staff AI von Cloudflare basieren, komplexere Aufgaben effizienter bewältigen – und so natürliche, nahtlose Endbenutzererlebnisse schaffen.
- Verbesserte Überwachung und Optimierung der KI-Nutzung mit persistenten Protokollen: Neue persistente Protokolle in AI Gateway, die in der offenen Betaversion verfügbar sind, ermöglichen es Entwicklern, Benutzeraufforderungen und Modellantworten über längere Zeiträume zu speichern, um die Leistung ihrer Anwendung besser zu analysieren und zu verstehen. Mit persistenten Protokollen können Entwickler detailliertere Einblicke in die Benutzererfahrungen gewinnen, einschließlich Kosten und Dauer von Anfragen, um ihre Anwendung zu verfeinern. Seit der Einführung im letzten Jahr sind über zwei Milliarden Anfragen über AI Gateway eingegangen.
- Schnellere und kostengünstigere Abfragen: Vektordatenbanken erleichtern es Modellen, sich frühere Eingaben zu merken, sodass maschinelles Lernen für die Suche, Empfehlungen und Anwendungsfälle bei der Textgenerierung eingesetzt werden kann. Die Vektordatenbank von Cloudflare, Vectorize, ist jetzt allgemein verfügbar und unterstützt seit August 2024 nun Indizes mit jeweils bis zu fünf Millionen Vektoren, gegenüber 200.000 zuvor. Die mittlere Abfragelatenz ist jetzt auf 31 Millisekunden (ms) gesunken, verglichen mit 549 ms. Diese Verbesserungen ermöglichen es KI-Anwendungen, relevante Informationen schnell und mit weniger Datenverarbeitung zu finden, was auch zu erschwinglicheren KI-Anwendungen führt.
Melden Sie sich für die kostenlosen insideAI-Information an Publication.
Begleiten Sie uns auf Twitter: https://twitter.com/InsideBigData1
Treten Sie uns auf LinkedIn bei: https://www.linkedin.com/firm/insideainews/
Begleiten Sie uns auf Fb: https://www.fb.com/insideAINEWSNOW