熊猫800MB csv导致内存错误（32GB RAM）

Question

我有一台32GB的计算机，csv文件为100万行乘4列（800MB）。当我运行代码时，Python仅使用大约1GB的内存，但出现内存错误：

MemoryError: Unable to allocate array with shape (23459822,) and data type int64

相关代码：

elif light in entry:

    df = pandas.read_csv('maps_android_light_raw_20190909.csv')

    for i,g in df.groupby('device_id'):
        output_file2 = path+f'{i}/LIGHT/'

        if not os.path.exists(output_file2):
            os.makedirs(output_file2)

        g.to_csv(output_file2 + f'{i}.csv', index = False)
        del df

Answer 1

这是六年前已经提出的重复问题。请先在此处检查答案/建议：Memory error when using pandas read_csv