Komprimierung – chatgpz.de – KI-Tools & Praxiswissen https://chatgpz.de Unabhängige Tests, Anleitungen und Hintergründe zu KI-Tools. Fri, 15 May 2026 19:16:34 +0000 de-DE hourly 1 https://wordpress.org/?v=6.4.2 234900186 TurboQuant: Ist die Komprimierung und Leistung den Hype wert? https://chatgpz.de/data-analytics/turboquant-ist-die-komprimierung-und-leistung-den-hype-wert/ https://chatgpz.de/data-analytics/turboquant-ist-die-komprimierung-und-leistung-den-hype-wert/#respond Fri, 15 May 2026 19:16:34 +0000 http://chatgpz.de/data-analytics/turboquant-ist-die-komprimierung-und-leistung-den-hype-wert/ [ad_1]

TurboQuant: Ist die Komprimierung und Leistung den Hype wert?

# Einführung

TurboQuant ist eine neuartige algorithmische Suite und Bibliothek, die kürzlich von Google eingeführt wurde. Ziel ist es, fortschrittliche Quantisierung und Komprimierung auf große Sprachmodelle (LLMs) und Vektorsuchmaschinen – unverzichtbare Elemente von Retrieval-Augmented Era (RAG)-Systemen – anzuwenden, um deren Effizienz drastisch zu verbessern. Es hat sich gezeigt, dass TurboQuant den Cache-Speicherverbrauch erfolgreich auf nur 3 Bit reduzieren kann, ohne dass eine Neuschulung des Modells erforderlich ist oder die Genauigkeit beeinträchtigt wird.

Wie gelingt das und ist es den Hype wirklich wert? Ziel dieses Artikels ist es, diese Fragen durch eine Beschreibung und ein praktisches Anwendungsbeispiel zu beantworten.

# TurboQuant auf den Punkt gebracht

Während LLMs und Vektorsuchmaschinen hochdimensionale Vektoren verwenden, um Informationen mit beeindruckenden Ergebnissen zu verarbeiten, erfordert dieser Aufwand große Mengen an Speicher, was möglicherweise zu erheblichen Engpässen im sogenannten Schlüsselwert-Cache (KV) führt – einem „digitalen Spickzettel“ mit schnellem Zugriff, der häufig verwendete Informationen für den Echtzeitabruf enthält. Durch die Verwaltung größerer Kontextlängen wird der KV-Cache-Zugriff linear skaliert, was die Speicherkapazität und Rechengeschwindigkeit erheblich einschränkt.

In den letzten Jahren eingesetzte Vektorquantisierungstechniken (VQ) tragen dazu bei, die Größe von Textvektoren zu verringern, um Engpässe zu beseitigen. Sie führen jedoch häufig zu einem zusätzlichen „Speicheraufwand“ und erfordern die Berechnung von Quantisierungskonstanten mit voller Genauigkeit für kleine Datenblöcke, wodurch der Grund für die Komprimierung teilweise untergraben wird.

TurboQuant ist eine Reihe von Algorithmen der nächsten Era für erweiterte Komprimierung ohne Genauigkeitsverlust. Das Drawback des Speicher-Overheads wird optimum gelöst, indem ein zweistufiger Prozess eingesetzt wird, der durch zwei Techniken unterstützt wird, die sich gegenseitig ergänzen:

  • PolarQuant: Dies ist die Komprimierungstechnik, die in der ersten Stufe angewendet wird. Es komprimiert hochwertige Daten, indem es Vektorkoordinaten einem Polarkoordinatensystem zuordnet. Dies vereinfacht die Datengeometrie und macht die Speicherung zusätzlicher Quantisierungskonstanten überflüssig – die Hauptursache für den Speicheraufwand.
  • QJL (quantisierter Johnson-Lindenstrauss): Die zweite Stufe des Komprimierungsprozesses. Der Schwerpunkt liegt auf der Entfernung möglicher Verzerrungen, die in der vorherigen Section eingeführt wurden, und fungiert als mathematischer Prüfer, der eine kleine Ein-Bit-Komprimierung anwendet, um versteckte Fehler oder verbleibende Verzerrungen zu entfernen, die aus der Anwendung von PolarQuant resultieren.

Ist TurboQuant den Hype wert?

Den experimentellen Ergebnissen und Beweisen zufolge lautet die kurze Antwort Ja. Durch die Vermeidung der teuren Datennormalisierung, die bei herkömmlichen Quantisierungsansätzen erforderlich ist, liefert 3-Bit-TurboQuant eine 8-fache Leistungssteigerung über 32-Bit unquantisierte Schlüssel auf einem H100 GPU-basierten Beschleuniger.

# Bewertung von TurboQuant

Das folgende Python-Codebeispiel veranschaulicht, wie Entwickler dies lokal auswerten können. Das Programm kann in einer lokalen IDE oder einer Google Colab-Pocket book-Umgebung ausgeführt werden und bietet einen konzeptionellen Vergleich zwischen unquantisierten Vektoren und der schnellen Komprimierung von TurboQuant.

Für den Betrieb von TurboQuant-Repositorys sind bestimmte Kernel erforderlich. Damit dieses Beispiel funktioniert, führen Sie zunächst die folgenden Installationen durch – vorzugsweise in einer Pocket book-Umgebung, es sei denn, Sie verfügen über ausreichend Speicherplatz auf Ihrem lokalen Laptop.

Installieren Sie zunächst TurboQuant:

In einer Google Colab-Umgebung installieren Sie einfach die Bibliothek und stellen Sie sicher, dass Ihr Laufzeit-Hardwarebeschleuniger auf eine T4-GPU eingestellt ist – verfügbar im kostenlosen Kontingent von Colab –, damit der folgende Code ordnungsgemäß ausgeführt wird.

Der folgende Code veranschaulicht einen einfachen Vergleich von Leistung und Speichernutzung bei Verwendung eines vorab trainierten Sprachmodells mit und ohne KV-Komprimierung von TurboQuant. Zuallererst die Importe, die wir brauchen werden:

import torch
import time
from transformers import AutoModelForCausalLM, AutoTokenizer
from turboquant import TurboQuantCache

Wir werden ein nicht so großes LLM wie laden TinyLlama/TinyLlama-1.1B-Chat-v1.0trainiert für die Textgenerierung, und sein jeweiliger Tokenizer. Wir geben die Verwendung einer 16-Bit-Dezimal-Float-Genauigkeit an: Diese Possibility ist in der Regel in moderner {Hardware} effizienter.

model_id = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
tokenizer = AutoTokenizer.from_pretrained(model_id)
mannequin = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype=torch.float16)

Als Nächstes definieren wir das Szenario, indem wir eine große Modelleingabezeichenfolge simulieren, da TurboQuant wirklich glänzt, wenn Kontextfenster größer werden. Machen Sie sich keine Sorgen darüber, dass derselbe Inhalt 20 Mal in der Eingabe wiederholt wird: Hier kommt es auf die verwaltete Größe an, nicht auf die Sprache selbst.

immediate = "Clarify the historical past of the universe in nice element. " * 20 
inputs = tokenizer(immediate, return_tensors="pt").to("cuda")

Die folgende Funktion ist der Schlüssel zum Messen und Vergleichen der Ausführungszeit und der Speichernutzung im gesamten Textgenerierungsprozess, wobei die 3-Bit-Quantisierung von TurboQuant verwendet wird: use_tq=True oder deaktiviert, use_tq=False. Um saubere Messungen zu gewährleisten, wird zunächst der Cache geleert.

def run_unified_benchmark(use_tq=False):
    torch.cuda.empty_cache()
    
    # Initializing the precise cache kind
    cache = TurboQuantCache(bits=3) if use_tq else None
    
    start_time = time.time()
    with torch.no_grad():
        # Working the mannequin to generate output tokens
        outputs = mannequin.generate(**inputs, max_new_tokens=100, past_key_values=cache)
    
    length = time.time() - start_time
    
    # Isolating the Cache Reminiscence
    # As an alternative of measuring the entire 2GB mannequin, we measure the generated Cache dimension
    # For a 1.1B mannequin: (Layers: 22, Heads: 32, Head_Dim: 64)
    num_tokens = outputs.form(1)
    parts = 22 * 32 * 64 * num_tokens * 2 # Key + Worth
    
    if use_tq:
        mem_mb = (parts * 3) / (8 * 1024 * 1024) # 3-bit calculation
    else:
        mem_mb = (parts * 16) / (8 * 1024 * 1024) # 16-bit calculation
        
    return length, mem_mb

Abschließend führen wir den Vorgang zweimal durch – jeweils einmal mit den beiden angegebenen Einstellungen – und vergleichen die Ergebnisse:

base_time, base_mem = run_unified_benchmark(use_tq=False)
tq_time, tq_mem = run_unified_benchmark(use_tq=True)

print(f"--- THE VERDICT ---")
print(f"Baseline (FP16) Cache: {base_mem:.2f} MB")
print(f"TurboQuant (3-bit) Cache: {tq_mem:.2f} MB")
print(f"Speedup: {base_time / tq_time:.2f}x")
print(f"Reminiscence Saved: {base_mem - tq_mem:.2f} MB")

Ergebnisse:

--- THE VERDICT ---
Baseline (FP16) Cache: 42.45 MB
TurboQuant (3-bit) Cache: 7.86 MB
Speedup: 0.61x
Reminiscence Saved: 34.59 MB

Das Komprimierungsverhältnis beträgt im Hinblick auf den KV-Cache-Speicherbedarf beeindruckende bis zu 5,4-fache. Aber wie wäre es mit der Beschleunigung? Ist es mit TurboQuant wie erwartet? Nicht ganz, aber das ist regular, da die von uns verwendete Sequenz immer noch als kurz für die groß angelegten Szenarien gilt, für die TurboQuant gedacht ist, und wir dies in einer lokalen, nicht groß angelegten Infrastruktur ausführen. Der wahre Geschwindigkeitsgewinn mit TurboQuant entsteht, wenn die Kontextlänge und die verwendeten Hardwarebeschleuniger zusammen skalieren. Nehmen Sie einen Unternehmenscluster von H100-GPUs und lange RAG-Eingabeaufforderungen mit über 32.000 Token: In solchen Szenarien wird der Speicherverkehr erheblich reduziert, und mit TurboQuant kann eine bis zu 8-fache Durchsatzsteigerung erwartet werden.

Zusammenfassend lässt sich sagen, dass es einen Kompromiss zwischen Speicherbandbreite und Rechenlatenz gibt, und Sie können dies weiter bestätigen, indem Sie andere Einstellungen für die Eingabe- und Ausgabegrößen ausprobieren, z. B. die Eingabezeichenfolge mit 200 multiplizieren und festlegen max_new_tokens=250erhalten Sie möglicherweise etwas wie:

--- THE VERDICT ---
Baseline (FP16) Cache: 421.44 MB
TurboQuant (3-bit) Cache: 79.02 MB
Speedup: 0.57x
Reminiscence Saved: 342.42 MB

Letztendlich wird die transformative Leistung von TurboQuant für KI-Modelle durch seine Fähigkeit bewiesen, eine hohe Präzision beizubehalten und gleichzeitig in großen Umgebungen mit einer Systemeffizienz auf 3-Bit-Ebene zu arbeiten.

# Zusammenfassung

In diesem Artikel wurde TurboQuant vorgestellt und die Frage behandelt, ob es den Hype in Bezug auf Komprimierung und Leistung im Vergleich zu anderen herkömmlichen Quantisierungsmethoden, die in LLMs und anderen groß angelegten Inferenzmodellen verwendet werden, wert ist.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.

[ad_2]

]]>
https://chatgpz.de/data-analytics/turboquant-ist-die-komprimierung-und-leistung-den-hype-wert/feed/ 0 18584
Schnelle Komprimierung zur Optimierung der LLM-Generierung und Kostensenkung https://chatgpz.de/artificial-intelligence/schnelle-komprimierung-zur-optimierung-der-llm-generierung-und-kostensenkung/ https://chatgpz.de/artificial-intelligence/schnelle-komprimierung-zur-optimierung-der-llm-generierung-und-kostensenkung/#respond Sun, 07 Dec 2025 14:52:33 +0000 https://chatgpz.de/artificial-intelligence/schnelle-komprimierung-zur-optimierung-der-llm-generierung-und-kostensenkung/ [ad_1]

In diesem Artikel lernen Sie fünf praktische Immediate-Komprimierungstechniken kennen, die Token reduzieren und die Generierung großer Sprachmodelle (LLM) beschleunigen, ohne die Aufgabenqualität zu beeinträchtigen.

Zu den Themen, die wir behandeln werden, gehören:

  • Was semantische Zusammenfassung ist und wann man sie verwendet
  • Wie strukturierte Eingabeaufforderungen, Relevanzfilterung und Anweisungsreferenzierung die Anzahl der Token verringern
  • Wo die Vorlagenabstraktion passt und wie man sie konsequent anwendet

Lassen Sie uns diese Techniken erkunden.

Schnelle Komprimierung zur Optimierung der LLM-Generierung und Kostensenkung

Schnelle Komprimierung zur Optimierung der LLM-Generierung und Kostensenkung
Bild vom Herausgeber

Einführung

Große Sprachmodelle (LLMs) werden hauptsächlich darauf trainiert, Textantworten auf Benutzeranfragen oder -aufforderungen zu generieren. Unter der Haube steckt eine komplexe Argumentation, die nicht nur die Sprachgenerierung durch Vorhersage jedes nächsten Tokens in der Ausgabesequenz beinhaltet, sondern auch ein tiefes Verständnis der linguistischen Muster rund um den Benutzereingabetext erfordert.

Schnelle Komprimierung Techniken sind ein Forschungsthema, das in letzter Zeit in der gesamten LLM-Landschaft an Aufmerksamkeit gewonnen hat, da langsame, zeitaufwändige Schlussfolgerungen, die durch größere Benutzeraufforderungen und Kontextfenster verursacht werden, entschärft werden müssen. Diese Techniken sollen dazu beitragen, die Token-Nutzung zu verringern, die Token-Generierung zu beschleunigen und die Gesamtrechenkosten zu senken, während gleichzeitig die Qualität des Aufgabenergebnisses so weit wie möglich erhalten bleibt.

In diesem Artikel werden fünf häufig verwendete Immediate-Komprimierungstechniken vorgestellt und beschrieben, um die LLM-Generierung in anspruchsvollen Szenarien zu beschleunigen.

1. Semantische Zusammenfassung

Bei der semantischen Zusammenfassung handelt es sich um eine Technik, die lange oder sich wiederholende Inhalte zu einer prägnanteren Model zusammenfasst und dabei ihre wesentliche Semantik beibehält. Anstatt die gesamten Gesprächs- oder Textdokumente iterativ in das Modell einzuspeisen, wird ein Digest übergeben, der nur das Wesentliche enthält. Das Ergebnis: Die Anzahl der Eingabe-Tokens, die das Modell „lesen“ muss, wird geringer, wodurch der Prozess der nächsten Token-Generierung beschleunigt und die Kosten gesenkt werden, ohne dass wichtige Informationen verloren gehen.

Stellen Sie sich einen langen Eingabeaufforderungskontext vor, der aus Besprechungsprotokollen besteht, etwa „In der gestrigen Sitzung überprüfte Iván die Quartalszahlen…“, wobei bis zu fünf Absätze zusammengefasst werden. Nach der semantischen Zusammenfassung könnte der verkürzte Kontext wie folgt aussehen: „Zusammenfassung: Iván überprüfte die Quartalszahlen, wies auf einen Umsatzrückgang im vierten Quartal hin und schlug Maßnahmen zur Kosteneinsparung vor.”

2. Strukturierte (JSON) Eingabeaufforderung

Bei dieser Technik geht es darum, lange, fließende Textinformationen in kompakten, halbstrukturierten Formaten wie JSON (d. h. Schlüssel-Wert-Paaren) oder einer Liste von Aufzählungspunkten auszudrücken. Die für strukturierte Eingabeaufforderungen verwendeten Zielformate führen typischerweise zu einer Reduzierung der Anzahl der Token. Dadurch kann das Modell Benutzeranweisungen zuverlässiger interpretieren, wodurch die Modellkonsistenz verbessert und Mehrdeutigkeiten reduziert und gleichzeitig Eingabeaufforderungen reduziert werden.

Strukturierte Eingabeaufforderungsalgorithmen können rohe Eingabeaufforderungen mit Anweisungen wie umwandeln Bitte stellen Sie einen detaillierten Vergleich zwischen Produkt X und Produkt Y bereit und konzentrieren Sie sich dabei auf Preis, Produktmerkmale und Kundenbewertungen in eine strukturierte Kind wie: {Aufgabe: „vergleichen“, Artikel: („Produkt X“, „Produkt Y“), Kriterien: („Preis“, „Funktionen“, „Bewertungen“)}

3. Relevanzfilterung

Bei der Relevanzfilterung wird das Prinzip der „Konzentrierung auf das Wesentliche“ angewendet: Sie misst die Relevanz von Teilen des Textes und bezieht in die abschließende Eingabeaufforderung nur die Kontextteile ein, die für die jeweilige Aufgabe wirklich related sind. Anstatt ganze Informationen wie Dokumente, die Teil des Kontexts sind, wegzuwerfen, werden nur kleine Teilmengen der Informationen beibehalten, die am meisten mit der Zielanfrage zu tun haben. Dies ist eine weitere Möglichkeit, die Eingabeaufforderungsgröße drastisch zu reduzieren und dem Modell dabei zu helfen, sich in Bezug auf Fokus und erhöhte Vorhersagegenauigkeit besser zu verhalten (denken Sie daran, dass die Generierung von LLM-Token im Wesentlichen eine viele Male wiederholte Aufgabe zur Vorhersage des nächsten Wortes ist).

Nehmen Sie zum Beispiel ein komplettes 10-seitiges Produkthandbuch für ein Mobiltelefon, das als Anhang hinzugefügt wird (Eingabeaufforderungskontext). Nach Anwendung der Relevanzfilterung bleiben nur einige kurze relevante Abschnitte zu „Akkulaufzeit“ und „Ladevorgang“ erhalten, da der Benutzer beim Laden des Geräts auf Sicherheitsaspekte hingewiesen wurde.

4. Befehlsreferenzierung

Bei vielen Aufforderungen werden dieselben Anweisungen immer wieder wiederholt, z. B. „Nehmen Sie diesen Ton an“, „Antworten Sie in diesem Format“ oder „Verwenden Sie prägnante Sätze“, um nur einige zu nennen. Durch die Befehlsreferenzierung wird für jeden gemeinsamen Befehl (der aus einer Reihe von Tokens besteht) ein Verweis erstellt, jeder Befehl nur einmal registriert und als einzelner Token-Bezeichner wiederverwendet. Immer wenn in zukünftigen Eingabeaufforderungen eine registrierte „gemeinsame Anfrage“ erwähnt wird, wird diese Kennung verwendet. Diese Strategie verkürzt nicht nur die Eingabeaufforderungen, sondern trägt auch dazu bei, über einen längeren Zeitraum hinweg ein konsistentes Aufgabenverhalten aufrechtzuerhalten.

Ein kombinierter Satz von Anweisungen wie „Schreiben Sie in einem freundlichen Ton. Vermeiden Sie Fachjargon. Halten Sie die Sätze prägnant. Geben Sie Beispiele an.“ könnte als „Use Type Information X“ vereinfacht werden. und dann wiederverwendet werden, wenn die entsprechenden Anweisungen erneut angegeben werden.

5. Vorlagenabstraktion

Einige Muster oder Anweisungen tauchen häufig in allen Eingabeaufforderungen auf – beispielsweise Berichtsstrukturen, Bewertungsformate oder schrittweise Vorgehensweisen. Die Vorlagenabstraktion wendet ein ähnliches Prinzip wie die Befehlsreferenzierung an, konzentriert sich jedoch darauf, welche Kind und welches Format die generierten Ausgaben haben sollten, und kapselt diese allgemeinen Muster unter einem Vorlagennamen. Dann wird die Vorlagenreferenzierung verwendet und das LLM übernimmt die Aufgabe, die restlichen Informationen zu füllen. Dies trägt nicht nur dazu bei, die Eingabeaufforderungen klarer zu halten, sondern reduziert auch das Vorhandensein wiederholter Token erheblich.

Nach der Vorlagenabstraktion kann eine Eingabeaufforderung in etwas wie „Erstellen Sie eine Wettbewerbsanalyse mit Vorlage AB-3“ umgewandelt werden. Dabei ist AB-3 eine Liste der für die Analyse angeforderten Inhaltsabschnitte, die jeweils klar definiert sind. Etwas wie:

Erstellen Sie eine Wettbewerbsanalyse mit vier Abschnitten:

  • Marktüberblick (2–3 Absätze mit einer Zusammenfassung der Branchentrends)
  • Aufschlüsselung der Wettbewerber (Tabelle zum Vergleich von mindestens 5 Wettbewerbern)
  • Stärken und Schwächen (Stichpunkte)
  • Strategische Empfehlungen (3 umsetzbare Schritte).

Zusammenfassung

In diesem Artikel werden fünf häufig verwendete Methoden zur Beschleunigung der LLM-Generierung in anspruchsvollen Szenarien durch Komprimierung von Benutzereingabeaufforderungen vorgestellt und beschrieben, wobei der Schwerpunkt häufig auf dem Kontextteil davon liegt, der in den meisten Fällen die Hauptursache für „überlastete Eingabeaufforderungen“ ist, die zu einer Verlangsamung von LLMs führen.

[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/schnelle-komprimierung-zur-optimierung-der-llm-generierung-und-kostensenkung/feed/ 0 14628
Multiverse Computing erhöht 215 Mio. USD für die LLM -Komprimierung https://chatgpz.de/data-science/multiverse-computing-erhoeht-215-mio-usd-fuer-die-llm-komprimierung/ https://chatgpz.de/data-science/multiverse-computing-erhoeht-215-mio-usd-fuer-die-llm-komprimierung/#respond Mon, 16 Jun 2025 23:54:54 +0000 http://chatgpz.de/data-science/multiverse-computing-erhoeht-215-mio-usd-fuer-die-llm-komprimierung/ [ad_1]

San Sebastian, Spanien – 12. Juni 2025: Multiverse Computing hat Compactifai entwickelt, eine Komprimierungstechnologie, die die Größe von LLMs (Großsprachenmodelle) um bis zu 95 Prozent reduzieren kann und gleichzeitig die Modellleistung beibehalten wird, so das Unternehmen.

Das Unternehmen kündigte heute auch eine Investitionsrunde in Höhe von 189 Mio. € (215 Millionen US -Greenback) an.

LLMs werden in der Regel auf spezialisierten, cloud-basierten Infrastrukturen ausgeführt, die die Kosten für die Rechenzentren steigern. Traditionelle Komprimierungstechniken – Quantisierung und Beschneiden – werden diese Herausforderungen angehen, aber ihre daraus resultierenden Modelle unterdurchschnittlich die ursprünglichen LLMs. Mit der Entwicklung von Compactifai entdeckte Multiversum einen neuen Ansatz. Compactifai-Modelle sind hochkomprimierte Versionen von führenden Open-Supply-LLMs, die die ursprüngliche Genauigkeit beibehalten, 4x-12x schneller sind und eine Reduzierung der Inferenzkosten um 50 bis 80 Prozent ergeben. Diese komprimierten, erschwinglichen und energieeffizienten Modelle können in der Cloud, in privaten Rechenzentren oder im Fall von Extremely-komprimierten LLMs-direkt auf Geräten wie PCs, Telefonen, Autos, Drohnen und sogar Himbeer-Pi ausgeführt werden.

Compactifai wurde unter Verwendung von Tensor Networks erstellt, einem quanteninspirierten Ansatz zur Vereinfachung der neuronalen Netze. Tensor Networks ist ein spezialisiertes Studienfeld, das von Román Orús, Mitbegründer und Chief Scientific Officer bei Multiverse, Pionierarbeit ist. „Zum ersten Mal in der Geschichte können wir die inneren Funktionsweise eines neuronalen Netzwerks profilieren, um Milliarden von falschen Korrelationen zu beseitigen, um wirklich alle Arten von KI -Modellen zu optimieren“, sagte Orús. Komprimierte Versionen von Prime -Modellen von Prime Lama, Deekseek und Mistral sind ab sofort erhältlich, wobei bald zusätzliche Modelle kommen.

„Die vorherrschende Weisheit ist, dass das schrumpfende LLMs mit Kosten einhergeht. Das Multiversum ändert das“, sagte Enrique Lizaso Olmos, Gründerin und CEO von von Enrique Multiverse Computing. „Was als Durchbruch bei der Modellkomprimierung begann, erwies sich schnell als transformativ-unverzüglich neue Effizienzen beim KI-Einsatz und die schnelle Akzeptanz für seine Fähigkeit, die Hardwareanforderungen für den Betrieb von KI-Modellen radikal zu reduzieren. Mit einem einzigartigen Syndikat für fachkundige und strategische globale Investoren an Vorstand und Bullhound-Kapital können wir die leitende Leistung mit minimaler Leistung mit der Las-Fokussierung von Kompress-AI-Modellen, die jetzt die Auslagerung von Las-Fokus zu bieten. Infrastruktur. “

Laut Roman, Mitbegründer und geschäftsführender Companion Bullhound Capital, stellt das Compactifai von Multiversum materielle Änderungen in die KI-Verarbeitung ein, die sich mit dem globalen Bedarf an einer größeren Effizienz in der KI befassen, und ihr Einfallsreichtum ist, dass sich die europäische Souveränität beschleunigt. Römisch-Orus hat uns überzeugt, dass er und sein Workforce der Ingenieure. Ich bin auch erfreut zu sehen, dass so viele hochkarätige Investoren wie HP und Forgepoint sich für die Teilnahme beschlossen haben, ihre Teilnahme zu begrüßen.

Die Serie B wird von BullHound Capital mit Unterstützung von Weltklasse-Investoren wie HP Tech Ventures, SETGEPOPPE CAPITAL, CDP Enterprise Capital, Santander Local weather VC, Toshiba und Capital Riesgo de Euskadi-Grupo Spri geleitet. Das Unternehmen hat diesen Vorstoß mit einer Reihe internationaler und strategischer Investoren weit verbreitet. Die Investition wird die weit verbreitete Akzeptanz beschleunigen, um die massiven Kosten zu berücksichtigen, die die Roll -of -Groß -Language -Modelle (LLMs) verbieten, wodurch der KI -Inferenzmarkt von 106,03 Milliarden US -Greenback revolutioniert wird.

Tuan Tran, Präsident für Technologie und Innovation, HP Inc., kommentierte: „Bei HP sind wir bestrebt, die Zukunft der Arbeit zu leiten, indem wir Lösungen anbieten, die das Geschäftswachstum vorantreiben und die berufliche Erfüllung verbessern. Unsere Investition in Multiverse -Laptop unterstützt diesen Ambition. Durch die Erreichung der AI -Anwendungen, die AI -Anwendungen besser zugänglich machen.

Damien Henault, Geschäftsführer von Forgepoint Capital Worldwide, sagte: „Das Multiverse-Workforce hat ein zutiefst komplexes Drawback mit umfassenden Implikationen gelöst. Das Unternehmen ist intestine positioniert, um eine grundlegende Schicht des KI-Infrastruktur-Stacks zu sein. Multiversum stellt einen Quantumsprung für den globalen Einsatz und die Anwendung von AI-Modellen dar.



[ad_2]

]]>
https://chatgpz.de/data-science/multiverse-computing-erhoeht-215-mio-usd-fuer-die-llm-komprimierung/feed/ 0 10020