Java SDK 2.11.0上的数据流作业无法扩展

问题描述 投票:3回答:1

我有一个流媒体作业,从pubsub读取并写入pubsub,在中间进行一些基本处理。 在SDK 2.5.0上工作并“直接”执行它时,它按预期工作,并根据需要从1个工作者扩展到尽可能多的工作者。尝试升级到最新版本2.11.0,并尝试使用模板 - 它工作正常,但不能扩展。 附件是工作的管道选择。 有什么建议吗?我失踪的那两个版本之间可能有什么变化? 谢谢, Shushu SDK 2.5.0 example SDK 2.11.0 example

澄清: 即使我设置了20名工人 - 我只得到1. enter image description here

java google-cloud-platform google-cloud-dataflow apache-beam autoscaling
1个回答
1
投票

numWorkers设置为20.因此,当工作开始时,将根据此值分配20名工人。

maxNumWorkers也被设定为20.因此,将不会分配超过20名工人。

如果需要将工作扩展到最初的20个工作者之外,请修改maxNumWorkers值。

© www.soinside.com 2019 - 2024. All rights reserved.