有没有办法为具有自动缩放功能的 Cloud Dataflow 指定最小工作人员数量？

Question

我想为我的工作指定最少数量的工人，自动缩放不会低于此数量（类似于

max_num_workers

的工作方式）。这可能吗？我的理由是，有时工人启动需要足够长的时间，以至于自动缩放决定将工人数量减少到一个，即使这样做对我的工作来说不是最佳选择。如果作业大于我估计的最小值，我仍然想使用自动缩放。

Answer 1

尚不支持最小工人数。可以提交一份包含工作详细信息的工单，以便它的支持人员可以了解为什么它缩减为太少的工人吗？

Answer 2

根据Autoscaling文档，您可以指定在

--maxNumWorkers

选项和

--numWorkers

中的最大工人数作为工人的初始数量。您可以在本文档

中找到这些选项的描述

Answer 3

您可以使用

--numWorkers

指定最小工作人员数量，这是部署应用程序时要使用的初始工作人员数量。

您可以使用

--maxNumWorkers

指定最大工人数，这是当数据流自动缩放然后它可以使用的最大工人数。

Answer 4

尝试使用标志“minNumWorkers”来配置具有自动缩放功能的数据流作业的最小工作人员数量。

--experiments=minNumWorkers=N

虽然 GCP 产品团队正在努力使其尽快实现，但该标志尚未正式发布。

Answer 5

现在支持：根据

文档

，要传递的参数是--num_workers