AWS 压缩算法从 gzip 切换到 zstd,节约 30% 存储空间

出品|开源中国

亚马逊前副总裁 Adrian cockcroft 在推特上爆料,称 AWS 的压缩算法从 gzip 切换到 zstd 后,节省了海量内存,压缩后的 S3 存储减少了大约 30% ,节省的空间可达 EB 规模(1 EB = 1024 PB = 1024 * 1024 TB)。

有亚马逊员工对该发言进行了补充,称亚马逊改变的不是客户存储的数据的压缩方式,而是 S3 自身存储服务数据(主要是日志)的方式 —— S3 自身从 gzip 日志切换到 ztsd 日志,使得存储成本降低 30% 。

但亚马逊并没有发布变更压缩技术相关的公告,有细心的福尔摩斯网友发现了亚马逊 S3 在 2021 年 11 月末曾有过一次降价 31% 的操作,与降低的 30% 存储成本刚好可以对应上。

关于 Zstd

Zstd (Zstandard) 是由 Facebook 开源的快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。

Zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩率的比重可通过增量进行配置。

Zstd 是一项性能优秀的压缩技术,与 zlib、lz4、xz 等压缩算法不同,Zstd 寻求的是压缩性能与压缩率通吃的方案。Zstd 还为小数据提供了一种特殊的压缩模式 “字典压缩”,支持以训练方式生成字典文件,以提高对小数据包的压缩率。

以下是常见的压缩算法性能对比:

相关文章

微信团队一直致力于创造一个健康、积极的网络空间,特别是对...
腾讯与华为合作,《地下城与勇士:起源》卡面皮肤上线华为钱包...
优酷推出专为老年用户设计的“银发剧场”,作为“长辈模式”...
微信读书是一款集丰富内容与全面功能于一体的阅读神器。微信...
京东快递由北京京邦达贸易有限公司精心打造,是一款功能强大...
高德地图宣布了一项独家功能升级,车道级安全预警功能扩展到...