云运行作业 GCSFuse 内存不足

Question

在运行“仅”将文件写入已安装存储桶的云运行作业时，我们遇到内存不足错误。该作业从存储桶中读取文件，进行一些处理，然后将输出写入存储桶。 我的印象是写入存储桶不会消耗作业分配的内存，但事实似乎并非如此，因为我可以看到内存消耗在整个作业的生命周期中不断增加（见下图）。这是我们收到的错误：

time="01/08/2024 05:38:44.092331" severity=ERROR message="WriteFile: no space left on device, write /tmp/gcsfuse109880762: no space left on device"

我已在我的机器上本地运行此作业，并且内存消耗稳定。上述问题是已知问题吗？写入存储桶会消耗作业的内存吗？如果是这样，当我从作业中写入已安装的存储桶时，是否应该执行任何清理？

我还在本地运行了 GCSFuse 挂载，但无法重现内存泄漏。

内存消耗图

Answer 1

WriteFile: no space left on device

所示，您安装的磁盘上已没有可用空间来写入文件。

您需要清理现有的文件，或者您尝试写入的文件太大。