我有一个numpy
数组保存为未压缩的'* npz'文件约为26 GiB,因为它是numpy.float32
和numpy.savez()
结束于:
OSError: Failed to write to /tmp/tmpl9v3xsmf-numpy.npy: 6998400000 requested and 3456146404 written
我认为保存它压缩可能会节省一天,但使用numpy.savez_compressed()
我也有:
OSError: Failed to write to /tmp/tmp591cum2r-numpy.npy: 6998400000 requested and 3456157668 written
因为numpy.savez_compressed()
首先保存未压缩的阵列。
明显的“使用额外的存储”我不认为答案。 ;)
[编辑]
标签low-memory
指的是磁盘存储器,而不是RAM。
通过在Python 3.6中添加ZipFile.open(..., mode='w')
,您可以做得更好:
import numpy as np
import zipfile
import io
def saveCompressed(fh, **namedict):
with zipfile.ZipFile(fh, mode="w", compression=zipfile.ZIP_DEFLATED,
allowZip64=True) as zf:
for k, v in namedict.items():
with zf.open(k + '.npy', 'w', force_zip64=True) as buf:
np.lib.npyio.format.write_array(buf,
np.asanyarray(v),
allow_pickle=False)
注意:我非常乐意接受更高效的RAM解决方案。
我浏览了numpy.savez_compressed()
代码并决定重新实现其部分功能:
import numpy as np
import zipfile
import io
def saveCompressed(fh, **namedict):
with zipfile.ZipFile(fh,
mode="w",
compression=zipfile.ZIP_DEFLATED,
allowZip64=True) as zf:
for k, v in namedict.items():
buf = io.BytesIO()
np.lib.npyio.format.write_array(buf,
np.asanyarray(v),
allow_pickle=False)
zf.writestr(k + '.npy',
buf.getvalue())
它导致我的系统交换,但至少我能够存储我的数据(示例中使用的假数据):
>>> A = np.ones(12 * 6 * 6 * 1 * 6 * 6 * 10000* 5* 9, dtype=np.float32)
>>> saveCompressed(open('test.npz', 'wb'), A=A)
>>> A = np.load('test.npz')['A']
>>> A.shape
(6998400000,)
>>> (A == 1).all()
True