Die tatsächliche Leistung gängiger KI-Pipelines zeigt bis zu 90 % Kosteneinsparungen und eine 15-mal bessere Energieeffizienz im Vergleich zu heutigen KI-Inferenzservern

NeuRealityein führendes Unternehmen im Bereich der KI-Technologie, hat bemerkenswerte Leistungsergebnisse seines im Handel erhältlichen NR1-S™ KI-Inferenzgerätdas die Kosten und den Energieverbrauch in KI-Rechenzentren deutlich senkt und eine dringend benötigte Lösung für die wachsenden Bedenken hinsichtlich der hohen Kosten und des Energieverbrauchs von KI bietet. Während Regierungen, Umweltorganisationen und Unternehmen wegen des nicht nachhaltigen Stromverbrauchs und der exorbitanten Kosten von KI Alarm schlagen, kommt der Durchbruch von NeuReality zu einem kritischen Zeitpunkt angesichts des explosiven Wachstums der generativen KI. Die NR1-S-Lösung bietet eine verantwortungsvolle und erschwingliche Choice für 65 % der globalen und 75 % der US-Unternehmen und Regierungen, die heute Schwierigkeiten haben, KI einzuführen.

Der NR1-S konkurriert nicht mit GPUs oder anderen KI-Beschleunigern, sondern steigert deren Leistung und ergänzt sie. Die veröffentlichten Ergebnisse von NeuReality vergleichen das NR1-S-Inferenzgerät gepaart mit Qualcomm® Cloud AI 100 Extremely- und Professional-Beschleunigern mit herkömmlichen CPU-zentrierten Inferenzservern mit Nvidia® H100- oder L40S-GPUs. Der NR1-S erzielt dramatisch verbesserte Kosteneinsparungen und Energieeffizienz in KI-Rechenzentren bei gängigen KI-Anwendungen im Vergleich zu den CPU-zentrierten Systemen, auf die derzeit große Cloud-Dienstanbieter (Hyperscaler), Server-OEMs und Hersteller wie Nvidia setzen.

Wichtige Vorteile der NR1-S-Leistung

Laut einer Technikblog Die heute Morgen auf Medium geteilten Ergebnisse von NeuReality zur Leistung in der Praxis zeigen die folgenden Verbesserungen:

  • Large Kosteneinsparungen: In Verbindung mit AI 100 Extremely erzielt NR1-S bis zu 90 % Kosteneinsparungen bei verschiedenen KI-Datentypen wie Bild, Audio und Textual content. Dies sind die wichtigsten Bausteine ​​für generative KI, darunter große Sprachmodelle, Mischung von Experten (MoE), Retrieval-Augmented Era (RAG) und Multimodalität.
  • Kritische Energieeffizienz: Neben der Einsparung bei den Investitionsausgaben (CAPEX) für KI-Anwendungsfälle weist der NR1-S im Vergleich zu herkömmlichen CPU-zentrierten Systemen eine bis zu 15-mal bessere Energieeffizienz auf, was die Betriebsausgaben (OPEX) weiter senkt.
  • Optimale Nutzung des KI-Beschleunigers: Anders als herkömmliche CPU-zentrierte Systeme gewährleistet NR1-S eine 100-prozentige Auslastung der integrierten KI-Beschleuniger ohne Leistungseinbußen oder Verzögerungen, die bei den heutigen CPU-abhängigen Systemen zu beobachten sind.

Entscheidende Auswirkungen auf sich ständig weiterentwickelnde KI-Anwendungen in der realen Welt

Die Leistungsdaten umfassten wichtige Kennzahlen wie KI-Abfragen professional Greenback, Abfragen professional Watt und Gesamtkosten von 1 Million Abfragen (sowohl CAPEX als auch OPEX). Die Daten konzentrieren sich auf die Verarbeitung natürlicher Sprache (NLP), automatische Spracherkennung (ASR) und Laptop Imaginative and prescient (CV), die häufig in der medizinischen Bildgebung, Betrugserkennung, Kunden-Callcentern, On-line-Assistenten und vielem mehr verwendet werden:

  • Kosteneffizienz: Einer der ASR-Checks zeigt, dass NR1-S die Kosten für die Verarbeitung von 1 Million Audiosekunden von 43 Cent auf nur 5 Cent senkt, wodurch Voice Bots und andere Audio-basierte NLP-Anwendungen erschwinglicher werden und mehr Intelligenz professional Abfrage verarbeiten können.
  • Energieeinsparungen: Bei den Checks wurde auch der Energieverbrauch gemessen. ASR zeigte mit NR1-S sieben Sekunden Audioverarbeitung professional Watt, verglichen mit 0,7 Sekunden bei herkömmlichen CPU-zentrierten Systemen. Dies entspricht einer zehnfachen Leistungssteigerung bei gleichem Energieverbrauch.
  • Lineare Skalierbarkeit: Der NR1-S liefert unabhängig von der Anzahl der eingesetzten KI-Beschleuniger dieselbe Leistung, sodass Kunden ihre KI-Infrastruktur effizient nach oben oder unten skalieren können, ohne dass es zu Leistungseinbußen kommt. Dies gewährleistet eine maximale Kapitalrendite ohne die abnehmenden Erträge, die normalerweise durch das Hinzufügen weiterer GPUs oder anderer Beschleuniger in CPU-zentrierten Servern verursacht werden.

Der NR1-S bietet eine praktische Lösung für Unternehmen und Regierungen, die KI einführen möchten, ohne sich finanziell zu ruinieren oder die Stromnetze zu überlasten. Er unterstützt eine Vielzahl von KI-Anwendungen, die häufig in den Bereichen Finanzdienstleistungen, Gesundheitswesen, Biotechnologie, Unterhaltung, Content material-Erstellung, Regierung, öffentliche Sicherheit und Transport verwendet werden.

Diese realen Leistungsergebnisse bieten eine willkommene Abhilfe für die Energiekrise, mit der Anbieter von KI-Infrastrukturen und Supercomputer der nächsten Era von Hyperscalern konfrontiert sind. „Während immer schnellere GPUs Innovationen bei neuen KI-Funktionen vorantreiben, entfernen uns die aktuellen Systeme, die sie unterstützen, auch immer weiter von den Finances- und CO2-Reduktionszielen der meisten Unternehmen“, sagte Ilan Avital, Chief R&D Officer von NeuReality. „Unser NR1-S ist darauf ausgelegt, diesen Pattern umzukehren und nachhaltiges KI-Wachstum ohne Leistungseinbußen zu ermöglichen.“

„Während die Branche mit einem engen Fokus auf die reine Leistung der größten KI-Modelle immer weiter voranschreitet, explodieren Energieverbrauch und -kosten immer weiter“, sagte Moshe Tanach, Mitbegründer und CEO von NeuReality. „Die NR1-S-Technologie ermöglicht es unseren Kunden, KI-Anwendungen kostengünstig und nachhaltig zu skalieren und so sicherzustellen, dass sie ihre Geschäftsziele und Umweltziele erreichen können. NeuReality wurde von Anfang an entwickelt, um das Kosten- und Energieproblem bei der KI-Inferenz zu lösen, und unsere neuen Daten zeigen deutlich, dass wir eine praktikable Lösung entwickelt haben. Dies ist ein aufregender Schritt nach vorne für die KI-Branche.“

Melden Sie sich für den kostenlosen insideBIGDATA-Publication an Publication.

Folgen Sie uns auf Twitter: https://twitter.com/InsideBigData1

Folgen Sie uns auf LinkedIn: https://www.linkedin.com/firm/insidebigdata/

Folge uns auf Fb: https://www.fb.com/insideBIGDATANOW



Von admin

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert