使用Cloud Data Fusion从MySql在Bigquery中添加增量数据

问题描述 投票:0回答:2

我想安排一个将MySql数据传输到Google Bigquery的管道,但是完整的数据会附加到BQ中的旧表中,我只希望附加增量数据...

cloud google-cloud-data-fusion
2个回答
0
投票

是否可以根据数据中的列计算每次导入的差异?


0
投票

您需要能够“更新当前存在”的原理图,这在BQ插件中目前不可用。我们正在努力更新插件以便能够支持它(打开了一个JIRA https://issues.cask.co/browse/CDAP-15298)。或者,您可以在每次运行时将其写入单独的表,然后使用“merge”更新主表。打开一个JIRA添加一个合并Action插件,允许一个合并表(https://issues.cask.co/browse/CDAP-15297

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.