Wie viel Komprimierungsverhältnis und Durchsatz würden Sie zurückgewinnen, wenn Sie einen formatbewussten Graphkompressor trainieren und nur einen selbstbeschreibenden Graphen an einen Universaldecoder senden würden?? Meta AI veröffentlicht OpenZLein Open-Supply-Framework, das erstellt spezialisierte, formatbewusste Kompressoren aus Excessive-Stage-Datenbeschreibungen und gibt a aus selbstbeschreibendes Drahtformat dass ein Common-Decoder kann lesen – Entkopplung der Entwicklung des Kompressors von der Einführung des Lesegeräts. Der Ansatz basiert auf a Graphenmodell der Komprimierung das Pipelines als gerichtete azyklische Graphen (DAGs) modularer Codecs darstellt.
Additionally, was ist neu?
OpenZL formalisiert die Komprimierung als Rechendiagramm: Knoten sind Codecs/Graphen, Kanten sind typisierte Nachrichtenströme und das fertige Diagramm wird mit der Nutzlast serialisiert. Jeder von einem OpenZL-Kompressor erzeugte Body kann von dekomprimiert werden Common-Decoderweil die Diagrammspezifikation mit den Daten wandert. Dieses Design zielt darauf ab, die Verhältnis-/Durchsatzvorteile domänenspezifischer Codecs mit der betrieblichen Einfachheit einer einzelnen, stabilen Decoder-Binärdatei zu kombinieren.
Wie funktioniert es?
- Beschreiben Sie Daten → Erstellen Sie ein Diagramm. Entwickler liefern eine Datenbeschreibung; OpenZL setzt Parse-/Gruppen-/Transformations-/Entropiestufen in einem DAG zusammen, der auf diese Struktur zugeschnitten ist. Das Ergebnis ist ein selbstbeschreibend Body: komprimierte Bytes plus die Diagrammspezifikation.
- Universeller Dekodierungspfad. Die Dekodierung folgt prozedural dem eingebetteten Diagramm, wodurch die Notwendigkeit entfällt, neue Lesegeräte auszuliefern, wenn sich Kompressoren weiterentwickeln.
Instruments und APIs
- SDDL (Easy Knowledge Description Language): Mit integrierten Komponenten und APIs können Sie Eingaben aus einer vorkompilierten Datenbeschreibung in typisierte Streams zerlegen. verfügbar in C- und Python-Oberflächen unter
openzl.ext.graphs.SDDL. - Sprachbindungen: Die Kernbibliothek und Bindungen sind Open-Supply; Das Repo dokumentiert die Verwendung von C/C++ und Python, und das Ökosystem fügt bereits Neighborhood-Bindungen hinzu (z. B. Rust).
openzl-sys).
Wie funktioniert es?
Das Forschungsteam berichtet, dass OpenZL dies erreicht überlegene Kompressionsverhältnisse und Geschwindigkeiten im Vergleich zu hochmodernen Allzweck-Codecs über eine Vielzahl realer Datensätze hinweg. Es stellt auch fest interne Bereitstellungen bei Meta mit konsistenten Größen- und/oder Geschwindigkeitsverbesserungen und kürzeren Kompressorentwicklungszeiten. Die öffentlichen Materialien tun es nicht Weisen Sie einen einzelnen universellen numerischen Faktor zu. Die Ergebnisse werden als Pareto-Verbesserungen abhängig von den Daten und der Pipeline-Konfiguration dargestellt.
OpenZL macht formatbewusste Komprimierung betriebspraktisch: Kompressoren werden als DAGs ausgedrückt, als selbstbeschreibendes Diagramm in jeden Body eingebettet und von einem universellen Decoder dekodiert, wodurch Leser-Rollouts entfallen. Insgesamt kodiert OpenZL in jedem Body einen Codec-DAG und dekodiert ihn über einen universellen Leser; Metaberichte Pareto-Gewinne gegenüber zstd/xz bei realen Datensätzen.
Schauen Sie sich das an Papier, GitHub-Seite Und Technische Particulars. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter.
Asif Razzaq ist CEO von Marktechpost Media Inc.. Als visionärer Unternehmer und Ingenieur setzt sich Asif dafür ein, das Potenzial der künstlichen Intelligenz für das soziale Wohl zu nutzen. Sein jüngstes Unterfangen ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch eine ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die sowohl technisch fundiert als auch für ein breites Publikum leicht verständlich ist. Die Plattform verfügt über mehr als 2 Millionen monatliche Aufrufe, was ihre Beliebtheit beim Publikum verdeutlicht.