Normale Ansicht
Raytracing: Dreamworks macht Moonray-Renderer Open Source
(g+) Laptops: Vom Bastel-Linux zum heimlichen Liebling der Entwickler
Turris Omnia: Start-up für den Verkauf des Bastelrouters wird gestoppt
Linux-Distro: CutefishOS ist doch nicht tot
Fluxjet: Transpod beginnt mit den Arbeiten am kanadischen Hyperloop
Open Source: Die Free Software Foundation feiert 19 Releases im Juli
Linux: DECnet könnte aus dem Kernel fliegen
Open Source: Microsoft stellt seine 1.500 Emojis quelloffen
Grafiktreiber: Nvidia veröffentlicht Header Files
Linux: Der erste Release Candidate von Linux 6.0 ist da
Komprimierung: AWS spart 30 Prozent Speicherplatz dank Zstd
AWS spart 30 Prozent Speicherplatz dank Zstd
Durch den Wechsel auf eine neue Komprimierung konnte AWS den Speicherplatzbedarf im Exabyte-Bereich reduzieren.
Mit dem Wechsel des Kompressionsalgorithmus von Deflate in Gzip auf Zstd habe der Cloud Hoster AWS eine Reduktion des Speicherplatzbedarfs für komprimierte S3-Speicher um 30 Prozent senken können. Das berichtet der ehemalige Vice President für Nachhaltigkeit bei dem Unternehmen, Adrian Cockcroft, auf Twitter. Diese Einsparung bewege sich im Exabyte-Bereich, heißt es weiter.
Das Kompressionsverfahren Zstd, kurz für Zstandard, stammt ursprünglich von Yann Collet, der dieses bei Facebook erstellt hat. Zstd verspricht eine ähnlich hohe Kompressionsrate wie das bislang gängige Zlib, soll aber eine deutlich schnellere Kompression und Dekompression ermöglichen. Im Vergleich zu Lzo soll hingegen die Kompressionsrate von Zstd höher sein. Die Technik nutzt teilweise eine Variante des Kodierungsverfahrens Asymmetric Numeral Systems (ANS), dessen Verwendung in der Vergangenheit zu Patentstreits führte, da der Erfinder das System eigentlich freihalten möchte.
Facebook nutzte Zstd zuerst für das Dateisystem Btrfs und die Technik wanderte bald nach der Erstellung standardmäßig in den Linux-Kernel. Inzwischen nutzen weitere Teile des Kernels ebenfalls Zstd, einige Linux-Distributionen nutzen die Technik für ihre Pakete und das in vielen Linux-Distributionen standardmäßig als Pack- und Archivierungsprogramm verwendete Tar des GNU-Projekts unterstützt ebenfalls Zstd.
Über die Einsparungen bei AWS dank Zstd schrieb Cockcroft als Antwort auf die Frage des Elektroingenieurs Dan Luu, wie viel Müll wohl durch Collet und dessen Erstellung von Zstd habe vermieden werden können. Für Twitter spare die Nutzung von Zstd im Jahr demnach einen mittleren achtstelligen Betrag an Kosten ein, schreibt Luu. Im dem geschilderten Fall von AWS dürfte der Betrag noch deutlich größer sein.
Der Beitrag AWS spart 30 Prozent Speicherplatz dank Zstd erschien zuerst auf Linux-Magazin.