Apache Beam / Dataflow ReShuffle已过时,请改用什么?

问题描述 投票:0回答:1

带有注释的Apache Beam的Reshuffle被标记为不推荐使用的in May 2017

仅供内部使用;没有向后兼容性保证。

此外,DataflowRunner安装了一个ReshuffleOverrideFactory,我不清楚该如何更改重新排列。

无论如何,JavaDoc并未提及要使用的内容。一般而言,在数据流方面,用户应该如何处理高扇出的ParDo变换?

java google-cloud-dataflow apache-beam
1个回答
0
投票

您可以在ReshuffleOverrideFactorywithFanout操作中查看GroupByKey选项。这是指向Java API的链接-Combine

© www.soinside.com 2019 - 2024. All rights reserved.