有没有办法同时将每个joblib.parallel运行的结果写入自己的文件？

Question

单个并行运行的每个“并行”结果需要写入其自己的文件中。如果我能够为每个结果命名，也可以解决这个问题。

我有一个生成一些数据的函数。每次运行时，数据都会略有不同，因此我需要运行几次。我目前有使用joblib.Parallel的工作代码来加速这个过程。问题是结果是所有并行运行的一个长列表，并将其写入单独的文件是复杂且容易出错的。

def fn(x):
    for i in np.linspace(0, x, 1000):
        a = x
        b = 2*x
        return a, b

ans = Parallel(n_jobs=-1)(delayed(fn)(x) for x in np.linspace(0,5,5))
ans
# I need to either name/extract each result in the list below, or directly write each into its own file
out[]: [(0.0, 0.0), (1.25, 2.5), (2.5, 5.0), (3.75, 7.5), (5.0, 10.0)]

Answer 1

如果您只是希望每个进程都写入自己的文件，则可以执行以下操作。

def fn(x):
    for i in np.linspace(0, x, 1000):
        a = x
        b = 2*x
        with open(str(x)+"_file.csv", 'w') as file:
            file.write(a, b)

        return a, b

ans = Parallel(n_jobs=-1)(delayed(fn)(x) for x in np.linspace(0,5,5))

但我不确定你为什么要这样做，如果你让我们更详细地了解你的最终目标，我相信我们可以提供更多帮助。