如何在 python 中的多重处理期间存储数据

问题描述 投票:0回答:0

我有一个过程,其中优化器使用不同的输入运行数千次迭代。 目前 multiprocessing 与此过程集成以减少运行时间并增加迭代次数。

我这里的问题是,在每个过程中,我需要以统一的形式记录数据帧,以便我可以实时监控优化器的性能。

如果我使用任何 I/O 文件,我总是会遇到进程失败

创建了一个 sqllite3 数据库并将值附加到其中的表作为临时解决方案。虽然我知道这不是一个完整的证明答案,但这是我能想到的唯一解决方案。

由于兼容性问题和遇到GIL而无法合并多线程

寻找在多重处理期间存储这些多个数据帧的任何建议或方法

python pandas database multiprocessing data-storage
© www.soinside.com 2019 - 2024. All rights reserved.