对不起,我觉得这可能是一个基本问题,但我没有找到任何“解决方案”。
我填写了一个包含大量数据的python
列表,最后想将其转换为numpy.array
进行进一步处理。
但是,当我调用numpy.asarray(my_list)
时,出现内存不足错误。为什么会这样?是因为numpy.array
对象存储在连续的内存块中,并且没有足够的内存空间吗?
那么如何最好地处理如此优秀的数据量?我想numpy
肯定是要走的路,所以我有点好奇,我可以用简单的list
对象处理这样的音量,但不能用我当前的numpy
方法处理。
再一次,重复我最重要的问题:我怎样才能最好地处理数据,这适合python
lists
(所以我猜它总体上它仍然适合我的记忆),但不能转换为numpy.array
?
谢谢!
为numpy数组分配内存,并且从不首先创建列表。
memmap不应该是必要的,因为原始列表适合内存。