What#39;s the most space-efficient way to compress serialized Python data?(压缩序列化的Python数据最节省空间的方法是什么?)
问题描述
发件人the Python documentation:
默认情况下,Pickle数据格式使用相对紧凑的二进制表示。如果您需要最佳大小特性,您可以高效地压缩酸洗数据。
我将在一个运行了几个小时的过程结束时序列化几GB的数据,我希望结果在磁盘上尽可能小。但是,Python offers several different ways to compress data。
有没有一种方法对腌制的文件特别有效?我正在筛选的数据主要由嵌套的字典和字符串组成,所以如果有更有效的方法来压缩,例如JSON,那也可以。
压缩和解压缩的时间并不重要,但此过程用于生成数据的时间会使反复试验变得不便。
推荐答案
我使用一个已腌渍的对象进行了一些测试,lzma
提供了最好的压缩。
但您的结果可能会根据您的数据而有所不同,我建议您使用您自己的一些样本数据来测试它们。
使用的测试文件(您需要pip install brotli
或删除该算法):
这篇关于压缩序列化的Python数据最节省空间的方法是什么?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!