无法在pyspark中导入s3fs

Question

当我尝试使用以下代码在 pyspark 中导入 s3fs 库时：

import s3fs

我收到以下错误：

遇到错误：无法从以下位置导入名称“maybe_sync” 'fsspec.asyn' (/usr/local/lib/python3.7/site-packages/fsspec/asyn.py) 回溯（最近一次调用最后一次）：文件 “/usr/local/lib/python3.7/site-packages/s3fs/init.py”，第 1 行，在 from .core import S3FileSystem，S3File 文件“/usr/local/lib/python3.7/site-packages/s3fs/core.py”，第 12 行，在 from fsspec.asyn import AsyncFileSystem、sync、sync_wrapper、maybe_sync ImportError：无法导入名称“maybe_sync” 'fsspec.asyn' (/usr/local/lib/python3.7/site-packages/fsspec/asyn.py)

fsspec

软件包已安装在我的笔记本中。其实我已经用了很长时间了，突然就发生了这种情况。 我尝试谷歌搜索，但找不到这个特定的错误。 以前有人遇到过这个吗？如果是这样，你知道如何解决吗？

Answer 1

很高兴听到这不仅仅是我。看起来如果你 pip install 版本 s3fs==0.5.1 和 fsspec==0.8.3，应该可以修复它。

Answer 2

更改 s3fs 和 fsspec 的版本时要小心！万一你的代码变得比以前更糟糕

pip install --升级 botocore pip install --升级 s3fs pip install --升级 sfspec