我有一个过程,其中优化器使用不同的输入运行数千次迭代。 目前 multiprocessing 与此过程集成以减少运行时间并增加迭代次数。
我这里的问题是,在每个过程中,我需要以统一的形式记录数据帧,以便我可以实时监控优化器的性能。
如果我使用任何 I/O 文件,我总是会遇到进程失败
创建了一个 sqllite3 数据库并将值附加到其中的表作为临时解决方案。虽然我知道这不是一个完整的证明答案,但这是我能想到的唯一解决方案。
由于兼容性问题和遇到GIL而无法合并多线程
寻找在多重处理期间存储这些多个数据帧的任何建议或方法