如何指定dask用于临时文件的目录？

Question

Dask 似乎写入 /tmp 文件夹。如何更改 dask 用于临时文件的文件夹？

Answer 1

设置

TMPDIR

可能会导致问题，因为它也可能会影响其他应用程序。另一种方法是使用

dask.config.set

>>> import dask
>>> with dask.config.set({'temporary_directory': '/path/to/tmp'}):
...     pass

您还可以添加行

temporary_directory: /path/to/tmp

到

~/.config/dask/distributed.yaml

（在您的主目录中 - 请参阅配置文档）

Answer 2

由于某种原因，接受的代码对我不起作用。我收到此错误：

AttributeError: 'set' object has no attribute 'items'

这是一个有效的版本：

dask.config.set(temporary_directory='/path/to/tmp')

另请注意，您必须在创建客户端之前执行此操作。

Answer 3

通过

export TMPDIR=/my/path

将 TMPDIR 环境变量设置到所需位置似乎可行。