为什么python列表比numpy数组包含更多数据?

问题描述 投票:1回答:1

对不起,我觉得这可能是一个基本问题,但我没有找到任何“解决方案”。

我填写了一个包含大量数据的python列表,最后想将其转换为numpy.array进行进一步处理。

但是,当我调用numpy.asarray(my_list)时,出现内存不足错误。为什么会这样?是因为numpy.array对象存储在连续的内存块中,并且没有足够的内存空间吗?

那么如何最好地处理如此优秀的数据量?我想numpy肯定是要走的路,所以我有点好奇,我可以用简单的list对象处理这样的音量,但不能用我当前的numpy方法处理。

再一次,重复我最重要的问题:我怎样才能最好地处理数据,这适合python lists(所以我猜它总体上它仍然适合我的记忆),但不能转换为numpy.array

谢谢!

python arrays numpy memory out-of-memory
1个回答
0
投票

为numpy数组分配内存,并且从不首先创建列表。

memmap不应该是必要的,因为原始列表适合内存。

© www.soinside.com 2019 - 2024. All rights reserved.