如果我们更新现有管道,Google Dataflow Apache Beam 版本升级将失败

问题描述 投票:0回答:1

我有一个在 Apache beam Java 2.50.0 上运行的 Google 数据流流管道。我希望通过更新管道选项升级到 2.56.0(当前最新版本)。然而,更新给出了错误 -

新作业与 2024-06-17_11_26_33-885445509533346704 不兼容。原始作业(如果存在)尚未中止。要验证替换作业是否与旧作业兼容,请在启动新作业之前,通过传递 --dataflow_service_options=graph_validate_only 来验证其作业图。请参阅 https://cloud.google.com/dataflow/docs/guides/updating-a-pipeline#validate 原因:步骤 Read PubSub Events/PubsubUnboundedSource 的编码器或类型已更改

我这边没有更改任何代码。如果我使用 2.56.0 启动一个新管道,它将成功启动。但是,我只需要更新现有的正在运行的管道。

google-cloud-dataflow apache-beam
1个回答
0
投票

如果您提交的替换作业使用更高版本的 Apache Beam SDK,请将 --updateCompatibilityVersion 设置为原始作业中使用的 Apache Beam SDK 版本。

尝试添加 --updateCompatibilityVersion=2.50.0 并查看是否有效。 对我来说,从 46 到 56 可以用,但从 43 到 56 就不行了……

© www.soinside.com 2019 - 2024. All rights reserved.