使用 joblib 将文件写入一个文件夹

问题描述 投票:0回答:1

我有一个执行长时间运行然后将结果文件写入输出文件夹的函数。我决定使用 Joblib 中的并行和延迟来并行化该函数。也就是说,每个线程都将使用唯一的名称写入其结果,但将其写入所有线程的公共文件夹中。这样的话会有问题吗?

启动过程中没有出现错误或警告。

python multithreading multiprocessing joblib
1个回答
0
投票

我很难从您在问题中向我们提供的内容中看出。
代码示例会很有帮助。
需要考虑的一些事项:

  • 在代表整个工作流程的小样本上进行尝试
  • 在您的实现中考虑溢出的内存
© www.soinside.com 2019 - 2024. All rights reserved.