Dataproc Serverless for Spark Batch 在 4 小时后超时

Question

如何延长时间限制？

日志显示“发现 1 个无效租约”和“任务 srvls-batch-d702cb8b-1d45-44d2-bf2e-6bf6275f66bf 租约授予已撤销，正在取消工作。”

尝试研究属性，但由于时间限制找不到任何属性。

Answer 1

有一个名为

ttl

的选项，在 Dataproc Serverless 运行时 2.1 下，默认为 4 小时：

--ttl

：您可以添加

--ttl

标志来指定批处理生命周期的持续时间。当工作负载超过此持续时间时，它会无条件终止，而不等待正在进行的工作完成。使用

s

、

m

、

h

或

d

（秒、分钟、小时或天）后缀指定持续时间。最小值为 10 分钟 (

10m

)，最大值为 14 天 (

14d

)。

• 1.1 或 2.0 运行时批处理：如果未为 1.1 或 2.0 运行时批处理工作负载指定

  --ttl

  ，则允许工作负载运行直至自然退出（如果不退出，则永远运行）。
• 2.1+ 运行时批处理：如果未为 2.1 或更高版本的运行时批处理工作负载指定

  --ttl

  ，则默认为

  4h

  。

您可以在批处理 -> 环境配置 -> 执行配置 -> ttl 的

ExecutionConfig

部分下设置。