我想使用python从csv文件中读取。我正在研究内存管理,所以我想问一下:当我在python中调用pandas模块的read_csv时,文件中的数据被加载到RAM内存然后读取,或者是否直接从磁盘中读取?如果我想以块的形式读取csv文件,那么数据是否会被RAM中的块加载?
见documentation:
还支持可选地将文件迭代或分解为块。
和
chunksize:int,可选 返回TextFileReader对象以进行迭代。有关迭代器和chunksize的更多信息,请参阅IO Tools docs。
chunksize:int,可选
返回TextFileReader对象以进行迭代。有关迭代器和chunksize的更多信息,请参阅IO Tools docs。