如何模块化与 dask 一起使用的函数？

Question

我正在尝试模块化使用 Dask 的函数，但我不断遇到错误

"No module named 'setup'"

。我无法导入与 Dask 相关的任何本地模块，目前，我使用 Dask 执行的所有操作都必须位于单个

.py

文件中。如何正确模块化使用 Dask 的功能？

这是我的设置示例：

• main.py： 包含利用 Dask 的函数。
• setup.py：我创建的本地模块，其中还包含使用Dask的函数。

我正在尝试像这样导入

setup

模块：main.py

但我不断收到以下错误：

没有名为“setup”的模块

Answer 1

因此，工作人员需要访问与您的客户相同的模块。

有很多方法可以确保这种环境同步。也许对您来说最简单的是

from setup import *

class CustomModulePlugin(WorkerPlugin):
    def setup(self, worker):
        import setup

    def start(self, worker):
        logging.warning("Plugin started and added to the worker.")

client = Client('tcp://127.0.0.1:8786')
client.register_worker_plugin(CustomModulePlugin())

，它将把代码发送给所有工作人员并确保它位于可导入的位置。