Dask.distributed是一个用于Python中的分布式计算的轻量级库。它将concurrent.futures和dask API扩展到中等大小的集群。
如何使用SLURMRunner（作业队列）设置Dask仪表板地址并通过SSH端口转发访问它？
我正在尝试使用 dask-jobqueue 中的 SLURMRunner 在远程集群上运行 Dask Scheduler 和 Workers。我想将 Dask 仪表板绑定到 0.0.0.0（因此可以通过端口转发访问）和...
Azure Kubernetes 中的 Dask 自适应部署
我正在尝试部署一个包含0个worker和1个调度程序的dask集群，根据工作负载需要将worker扩展到所需的数量，我发现自适应部署是正确的方法，我就是我们...
在系统 A 上运行 Dask Scheduler，并在系统 A 和 B 上运行工作程序。系统 A 中的 NFS 卷通过 NFS 在网络上与系统 B 共享，并包含数据文件。该文件夹有一个符号...
我正在使用 dask 来并行化内存限制的操作。因此，我想确保每个 dask worker 都可以访问单个 NUMA 节点并防止跨节点内存访问。我可以在c中做到这一点...
我试图运行 dask-distributed 在 slurm 集群中分发一些大型计算。 我总是收到“超时错误：找不到有效的工作人员”消息（这来自第 6130 行...
Dask 分布式暂停任务以等待子任务 - 操作方法，还是不好的做法？
我正在使用 client.submit 运行任务： 从 dask.distributed 导入 Client、get_client、等待、as_completed # 其他进口 zip_and_upload_futures = [ client.submit(zip_and_upload, id, 路径,
我经常遇到这样的问题：Dask 在几个任务上随机停止，这些任务通常与从网络上的不同节点读取数据相关（更多详细信息请参见下文）。 这可能会发生...
使用 --multiprocessing-fork 了解当前进程是否是多处理池的一部分
我需要找到一种方法让 python 进程确定它是否作为多处理池的一部分启动。 我正在使用 dask 来并行计算，使用 dask.distributed.LocalCluster。对于用户体验
我是 Dask 新手。我目前正在由 SLURM 管理的 HPC 中工作，其中包含一些计算节点（执行作业的节点）和登录节点（我通过 SSH 访问该节点以发送 SLURM 作业）。我是...
在下面，我想在一个文件中捕获“dask_client_log_msg”和其他任务日志，在一个单独的文件中捕获“dask_worker_log_msg”和其他客户端日志。显然客户会...
如何让 Dask 工作人员在处理大型数据集时保持忙碌，以防止他们耗尽任务？
我正在尝试使用Python中的Dask分布式计算来处理大型数据集（大约100万个任务）。 （我正在从数据库获取数据来处理它，并且正在检索大约 1M 行）。我在这里
我正在尝试模块化使用 Dask 的函数，但我不断遇到错误“没有名为“setup”的模块”。我无法导入任何与 Dask 相关的本地模块，目前，
有没有办法将xarray保存到zarr文件中，并且可以在多个维度上附加？
标题：在 Xarray 中收集过程中高效地将数据附加到 Zarr 文件 我目前正在实习，需要创建大型数据集，通常大小为数百 GB。我正在收集
我正在使用 dask 进行模拟的并行处理。它由一系列微分方程组成，这些微分方程使用使用 numba @jitdecor 编译的 numpy 数组进行数值求解...
如何在 dask 中使用用户定义的 fsspec 文件系统？
我在 fsspec 库中创建了自己的文件系统，我正在尝试从该文件系统对象读取 dask 数据帧以打开数据帧文件。但是，当我尝试执行此操作时出现错误...
检测我是否在 dask Worker 中运行的最干净的方法是什么
给定一个 dask.distributed 集群（例如 LocalCluster），检测我是否在 Worker 实例中运行 python 代码的最可靠方法是什么？ 这可能是不严格的代码
简单的问题。如果我使用以下代码创建 Dask 集群： 从 dask.distributed 导入客户端 客户端 = 客户端() 它将创造多少工人？我在一台机器上运行了这段代码，它
我正在寻求有关使用 Dask 有效分析数据的指导。 我选择使用 Dask 从 SQL 表 (dask.read_sql_table) 或 CSV 文件 (dask.read_csv) 延迟加载 DataFrame。 我是你...
在 Dask 分布式 AWS ECS/EC2 集群中挂载文件夹
我正在使用 dask 分布式包创建 EC2/ECS 集群，我想读取工作人员中的 ML 模型，例如 def read_model(模型路径): 模型 = pickle.load(model_path) ...
如何在执行 Dask 任务之间保留一些 Python 对象状态？
我有一个 Dask 工作集群，我想用它们来使用复杂模型并行化预测操作。模型文件很大并且需要时间来加载，所以我使用 client.run 来获取所有