编写并行循环

Question

我正在尝试在一个简单的示例上运行并行循环。
我做错了什么？

from joblib import Parallel, delayed  
import multiprocessing

def processInput(i):  
        return i * i

if __name__ == '__main__':

    # what are your inputs, and what operation do you want to 
    # perform on each input. For example...
    inputs = range(1000000)      

    num_cores = multiprocessing.cpu_count()

    results = Parallel(n_jobs=4)(delayed(processInput)(i) for i in inputs) 

    print(results)

代码的问题在于，当在 Python 3 的 Windows 环境下执行时，它会打开

num_cores

python 实例来执行并行作业，但只有一个处于活动状态。这不应该是这种情况，因为处理器的活动应该是 100% 而不是 14%（在 i7 - 8 逻辑内核下）。

为什么额外的实例什么都不做？

Answer 1

继续您提供工作多处理代码的请求，我建议您使用

Pool.map()

（如果延迟功能不重要），我会给您举个例子，如果您使用的是 Python3，那么值得一提的是你可以使用

starmap()

。 另外值得一提的是，如果返回结果的顺序不必与输入的顺序相对应，您可以使用

map_sync()

/

starmap_async()

。

import multiprocessing as mp

def processInput(i):
   return i * i

if __name__ == '__main__':
    # What are your inputs, and what operation do you want to
    # perform on each input. For example...
    inputs = range(1000000)
    # Removing the processes argument makes the code run on all available cores
    pool = mp.Pool(processes=4)
    results = pool.map(processInput, inputs)
    print(results)

Answer 2

在 Windows 上，多处理模块使用 'spawn' 方法启动多个 python 解释器进程。这相对较慢。 Parallel 试图聪明地运行代码。特别是，它会尝试调整批处理大小，以便执行一个批处理大约需要半秒。 （请参阅 https://pythonhosted.org/joblib/parallel.html 中的 batch_size 参数）

您的

processInput()

函数运行得如此之快，以至于 Parallel 确定在一个处理器上串行运行作业比启动多个 python 解释器并并行运行代码更快。

如果您想强制您的示例在多个内核上运行，请尝试将 batch_size 设置为 1000 或使

processInput()

更复杂，以便执行时间更长。

编辑：Windows 上的工作示例显示正在使用的多个进程（我使用的是 Windows 7）：

from joblib import Parallel, delayed
from os import getpid

def modfib(n):
    # print the process id to see that multiple processes are used, and
    # re-used during the job.
    if n%400 == 0:
        print(getpid(), n)  

    # fibonacci sequence mod 1000000
    a,b = 0,1
    for i in range(n):
        a,b = b,(a+b)%1000000
    return b

if __name__ == "__main__":
    Parallel(n_jobs=-1, verbose=5)(delayed(modfib)(j) for j in range(1000, 4000))