多处理、Python3、Windows：TypeError：无法 pickle _thread.lock 对象

Question

在运行 Python 3.6 的 Windows 10 系统上，当尝试使用

multiprocessing.Process

创建新的

rq

工作线程时，

multiprocessing.Process(target=Worker(qs).work, kwargs={'burst': True}).start()     

我们遇到错误

TypeError：无法pickle _thread.lock对象

和

OSError: [WinError 87] 参数不正确

使用

rq.SimpleWorker

代替

rq.Worker

，因为 Windows 不支持

fork

使用的

rq.Worker

函数。

问题： 是什么原因导致此错误？怎么解决呢？

from rq import SimpleWorker, Connection

def needMoreWorkers():
    return True

if __name__ == '__main__':
    qs = sys.argv[1:] or ['default']
    with Connection(connection=my_redis_conn):
        if needMoreWorkers():
            multiprocessing.Process(target=SimpleWorker(qs).work, kwargs={'burst': True}).start()     

错误回溯

Traceback (most recent call last):
File "WorkerFactory.py", line 53, in <module>
    main(qs)
File "WorkerFactory.py", line 45, in main
    multiprocessing.Process(target=SimpleWorker(qs)).start()
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\process.py", line 105, in start
    self._popen = self._Popen(self)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\context.py", line 223, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\context.py", line 322, in _Popen
    return Popen(process_obj)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\popen_spawn_win32.py", line 65, in __init__
    reduction.dump(process_obj, to_child)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\reduction.py", line 60, in dump
    ForkingPickler(file, protocol).dump(obj)
TypeError: can't pickle _thread.lock objects

(test) C:\Code\test\source>Traceback (most recent call last):
File "<string>", line 1, in <module>
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\spawn.py", line 99, in spawn_main
    new_handle = reduction.steal_handle(parent_pid, pipe_handle)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\reduction.py", line 82, in steal_handle
    _winapi.PROCESS_DUP_HANDLE, False, source_pid)
OSError: [WinError 87] The parameter is incorrect   

Answer 1

据我所知，Pickle 模块导致了这个问题。它必须被导入到另一个模块的某个地方。无论如何，pickle 用于保存数据，但它显然不能“pickle” thread.lock 对象。至于如何修复它，请检查所有函数调用并确保传递正确的变量类型。

Answer 2

_thread.lock 实际上可能是一个方法而不是常规的类对象。

pickle

没有腌制方法，最后我检查了。然而，

dill

确实如此。您可以尝试使用莳萝代替泡菜，看看是否有效。

如果您使用的是 Ubuntu，则可以使用

sudo apt-get install python3-dill

安装它。

Python 允许函数式编程，这意味着方法和函数可以作为参数传递给函数。

要准确了解 _thread.lock 是什么，您可以使用它的 help() 函数。

Answer 3

0

_thread.lock 实际上可能是一个方法而不是常规的类对象。 pickle 没有 pickle 方法，最后我查了一下。然而，莳萝确实如此。您可以尝试使用莳萝代替泡菜，看看是否有效。

如果您使用的是 Ubuntu，则可以使用 sudo apt-get install python3-dill 安装它。