Normale Ansicht

Es gibt neue verfügbare Artikel. Klicken Sie, um die Seite zu aktualisieren.
Ältere BeiträgeHaupt-Feeds

AWS spart 30 Prozent Speicherplatz dank Zstd

23. August 2022 um 08:48

Durch den Wechsel auf eine neue Komprimierung konnte AWS den Speicherplatzbedarf im Exabyte-Bereich reduzieren.

Mit dem Wechsel des Kompressionsalgorithmus von Deflate in Gzip auf Zstd habe der Cloud Hoster AWS eine Reduktion des Speicherplatzbedarfs für komprimierte S3-Speicher um 30 Prozent senken können. Das berichtet der ehemalige Vice President für Nachhaltigkeit bei dem Unternehmen, Adrian Cockcroft, auf Twitter. Diese Einsparung bewege sich im Exabyte-Bereich, heißt es weiter.

Das Kompressionsverfahren Zstd, kurz für Zstandard, stammt ursprünglich von Yann Collet, der dieses bei Facebook erstellt hat. Zstd verspricht eine ähnlich hohe Kompressionsrate wie das bislang gängige Zlib, soll aber eine deutlich schnellere Kompression und Dekompression ermöglichen. Im Vergleich zu Lzo soll hingegen die Kompressionsrate von Zstd höher sein. Die Technik nutzt teilweise eine Variante des Kodierungsverfahrens Asymmetric Numeral Systems (ANS), dessen Verwendung in der Vergangenheit zu Patentstreits führte, da der Erfinder das System eigentlich freihalten möchte.

Facebook nutzte Zstd zuerst für das Dateisystem Btrfs und die Technik wanderte bald nach der Erstellung standardmäßig in den Linux-Kernel. Inzwischen nutzen weitere Teile des Kernels ebenfalls Zstd, einige Linux-Distributionen nutzen die Technik für ihre Pakete und das in vielen Linux-Distributionen standardmäßig als Pack- und Archivierungsprogramm verwendete Tar des GNU-Projekts unterstützt ebenfalls Zstd.

Über die Einsparungen bei AWS dank Zstd schrieb Cockcroft als Antwort auf die Frage des Elektroingenieurs Dan Luu, wie viel Müll wohl durch Collet und dessen Erstellung von Zstd habe vermieden werden können. Für Twitter spare die Nutzung von Zstd im Jahr demnach einen mittleren achtstelligen Betrag an Kosten ein, schreibt Luu. Im dem geschilderten Fall von AWS dürfte der Betrag noch deutlich größer sein.

Der Beitrag AWS spart 30 Prozent Speicherplatz dank Zstd erschien zuerst auf Linux-Magazin.

❌
❌