pickle转储的多处理队列问题

Question

我已经阅读并再次阅读有关多处理模块和队列管理的Python文档，但我找不到与此问题相关的任何事情让我发疯并阻止我的项目：

我写了一个'JsonLike'类，它允许我创建一个对象，例如：

a = JsonLike()
a.john.doe.is.here = True

...不考虑中间初始化（非常有用）

下面的代码只是创建这样一个对象，设置并将其插入一个数组并尝试将其发送到一个进程（这是我需要的，但发送对象本身会导致相同的错误）

考虑到这段代码：

from multiprocessing import Process, Queue, Event

class JsonLike(dict):
    """
    This class allows json-crossing-through creation and setting such as :
    a = JsonLike()
    a.john.doe.is.here = True
    it automatically creates all the hierarchy
    """

    def __init__(self, *args, **kwargs):
        # super(JsonLike, self).__init__(*args, **kwargs)
        dict.__init__(self, *args, **kwargs)
        for arg in args:
            if isinstance(arg, dict):
                for k, v in arg.items():
                    self[k] = v
        if kwargs:
            for k, v in kwargs.items():
                self[k] = v

    def __getattr__(self, attr):
        if self.get(attr) != None:
            return attr
        else:
            newj = JsonLike()
            self.__setattr__(attr, newj)
            return newj

    def __setattr__(self, key, value):
        self.__setitem__(key, value)

    def __setitem__(self, key, value):
        dict.__setitem__(self, key, value)
        self.__dict__.update({key: value})

    def __delattr__(self, item):
        self.__delitem__(item)

    def __delitem__(self, key):
        dict.__delitem__(self, key)
        del self.__dict__[key]


def readq(q, e):
    while True:
        obj = q.get()
        print('got')
        if e.is_set():
            break


if __name__ == '__main__':
    q = Queue()
    e = Event()

    obj = JsonLike()
    obj.toto = 1

    arr=[obj]

    proc = Process(target=readq, args=(q,e))
    proc.start()
    print(f"Before sending value :{arr}")
    q.put(arr)
    print('sending done')
    e.set()
    proc.join()
    proc.close()

我得到以下输出（在q.put上）：

Before sending value :[{'toto': 1}]
Traceback (most recent call last):
sending done
  File "/usr/lib/python3.7/multiprocessing/queues.py", line 236, in _feed
    obj = _ForkingPickler.dumps(obj)
  File "/usr/lib/python3.7/multiprocessing/reduction.py", line 51, in dumps
    cls(buf, protocol).dump(obj)
TypeError: 'JsonLike' object is not callable

有什么建议？

Answer 1

问题是你在搞乱__getattr__。如果在此方法中添加print语句，您将看到运行以下代码也会导致崩溃：

obj = JsonLike()
obj.toto.test = 1

q = Queue()
q.put(obj)
q.get()

最后一个语句将导致调用（重复）obj.__getattr__，搜索名为__getstate__的属性（稍后它会尝试找到它的朋友__setstate__）。以下是pickle文档中关于这种dunder方法的内容：

如果没有__getstate__()方法，则实例的__dict__像往常一样被腌制。

在您的情况下，问题是该方法不存在，但您的代码使它看起来像它（通过动态创建具有正确名称的属性）。因此，不会触发默认行为，而是调用名为__getstate__的空属性。问题是__getstate__不是可调用的，因为它是一个空的JsonLike对象。这就是为什么你可能会在这里看到像“JsonLike不可调用”这样的错误。

一个快速解决方法是避免触及看起来像__xx__甚至_xx的属性。为此，您可以添加/修改这些行：

import re

dunder_pattern = re.compile("__.*__")
protected_pattern = re.compile("_.*")

class JsonLike(dict):

    def __getattr__(self, attr):
        if dunder_pattern.match(attr) or protected_pattern.match(attr):
            return super().__getattr__(attr)
        if self.get(attr) != None:
            return attr
        else:
            newj = JsonLike()
            self.__setattr__(attr, newj)
            return newj

这将允许使以前的代码工作（同样适用于您的代码）。但另一方面，你将无法再写obj.__toto__ = 1这样的东西，但无论如何这可能是一件好事。

我觉得你可能会在其他环境中遇到类似的错误，遗憾的是，在某些情况下，你会发现不会使用这种可预测属性名称的库。这就是为什么我不建议使用这种机制IRL的原因之一（即使我真的很喜欢这个想法，我希望看到它能走多远）。