Dask 无法同步读取 NFS 上共享的数据

问题描述 投票:0回答:1

在系统 A 上运行 Dask Scheduler,在系统 A 和 B 上运行工作程序。系统 A 中的 NFS 卷通过 NFS 在网络上与系统 B 共享,并包含数据文件。由于路径问题,此文件夹具有指向我的主目录的符号链接。

与系统 B 的工作人员一起运行时,出现以下错误:

OSError: [Errno 5] Can't synchronously read data (file read failed: time = Tue Apr 30 18:12:40 2024
, filename = '/home/steffan/raw_sarez2017_desc/S1_20170511_ALL_F2.grd', file descriptor = 18, errno = 5, error message = 'Input/output error', buf = 0x757e7079f720, total read size = 40136, bytes this sub-read = 40136, bytes actually read = 18446744073709551615, offset = 0)

仅使用系统 A 时,我没有收到任何错误。在同一网络上使用来自不同系统的工作线程时,Dask 抛出同步 IO 错误是否有原因?

dask nfs dask-distributed
1个回答
0
投票

我也有同样的问题。你解决了吗?如果您能告诉我您的解决方案,我将非常感激。

© www.soinside.com 2019 - 2024. All rights reserved.