将 pandas 数据框写入 Excel 消耗太多内存

Question

我正在使用此代码将数据框写入 Excel 文件：

with pd.ExcelWriter(file_data, engine='xlsxwriter',engine_kwargs={"options": {"strings_to_formulas": False}}) as writer:
     df.to_excel(excel_writer=writer,sheet_name="data",index=False,)

哪里

file_data = io.BytesIO()

。完成这一行需要大量内存。大约有 13k 行，结果文件只有大约 43 MB，但内存占用高达 1.1 GB。我还尝试将数据帧分成小块，但它作为一个整体消耗相同的内存。是设计来使用这么多内存还是我用错了？

Answer 1

基本上，您想要做的是从 Pandas DataFrame 中，将其导出为 .csv 或 excel 格式。

只需简单地执行 DataFrame.to_excel()

参数在这里：

DataFrame.to_excel(excel_writer, *, sheet_name='Sheet1', na_rep='', float_format=None, columns=None, header=True, index=True, index_label=None, startrow=0, startcol=0, engine=None, merge_cells=True, inf_rep='inf', freeze_panes=None, storage_options=None, engine_kwargs=None)

查看文档以获取更多信息：Pandas 数据框到 excel 文件

PD：当您想要执行“with open(etc,etc,etc) as file:”时，您的代码的用途是什么？ 确保在阅读一些短 txt 文件时使用此功能