带有注释的Apache Beam的Reshuffle被标记为不推荐使用的in May 2017
仅供内部使用;没有向后兼容性保证。
此外,DataflowRunner安装了一个ReshuffleOverrideFactory
,我不清楚该如何更改重新排列。
无论如何,JavaDoc并未提及要使用的内容。一般而言,在数据流方面,用户应该如何处理高扇出的ParDo变换?
您可以在ReshuffleOverrideFactory
和withFanout
操作中查看GroupByKey
选项。这是指向Java API的链接-Combine