OSError: [Errno 28] No space left on device: Unzip file on HPC Cloud Server

问题描述 投票:0回答:1

我正在解压缩 35.8 GB 的文件,并且在我的虚拟机中有一个

1.7 TB
空间来提取 zip 文件。另外,我已经授予所有安全权限来执行它,但仍然停留在
no space left

目录是

 /home2/coremax
,你可以看到
10.100.201.21:/cloudhome/coremax 2097152000 692367040 1404784960  34% /home2/coremax
有很多空间。我正在谷歌搜索但是这个问题却没有找到解决方案

image

RAM 利用率

image

回溯

/home2/coremax/Documents/ocr_dataset/datasets/SynthText/SynthText
Unpacking SynthText:  33%|███▎      | 252421/772875 [2:13:24<4:35:03, 31.54it/s]
Traceback (most recent call last):
  File "/home2/coremax/Documents/doctr/references/recognition/original_pytorch_train.py", line 521, in <module>
    main(args)
  File "/home2/coremax/Documents/doctr/references/recognition/original_pytorch_train.py", line 324, in main
    synth_train = SynthText(
  File "/home2/coremax/Documents/doctr/doctr/datasets/synthtext.py", line 114, in __init__
    tmp_img.save(os.path.join(reco_folder_path, f"{reco_images_counter}.png"))
  File "/home2/coremax/anaconda3/envs/doctr_hpc/lib/python3.9/site-packages/PIL/Image.py", line 2350, in save
    fp = builtins.open(filename, "w+b")
OSError: [Errno 28] No space left on device: '/home2/coremax/Documents/ocr_dataset/datasets/SynthText/SynthText/SynthText_recognition_train/2097151.png'
python zip extract torch unzip
1个回答
0
投票

我在位于不同区域的虚拟服务器(HPC 云)上工作,因此我可以连接到一个网址。

首先,我将我的

40GB
zip
文件传输到我几乎有
1.5TB
空间的 HPC 服务器,但我仍然无法提取 .zip 文件并收到错误消息
"No Space Left"
。我也检查了
inodes
,过程,es,一切都很好

仅供参考:我的 HPC 根目录只有

100GB
所以我无法将数据集复制到根目录

任务 1: 授予对 .zip 文件的所有权限并解压缩(无效)

任务2: 我的垃圾桶一直被占用,需要10个小时才能清空。然后,我再次提取它(没用)

解决方案: HPC 服务器中的硬盘类型是

NFS
- 基于不允许提取大型 zip 文件所以我在我的
1.5TB
硬盘中创建了一个虚拟分区
ext4
格式并挂载它根。之后,我提取了
.zip
文件,它对我有用。

© www.soinside.com 2019 - 2024. All rights reserved.