Apache Beam 上的 BigQuery 迁移动态架构

Question

我正在尝试编写从 Mongo 到 BigQuery 的 ETL。由于架构在 Mongo 中未固定，因此我需要在将数据流式传输到 BigQuery 之前更新架构。

所以我使用带有侧输入的窗口作为

withSchemaFromView

。 当对模式使用窗口时，我收到错误：

尝试从非全局获取 GlobalWindow 的侧面输入窗口 窗口Fn

似乎

BigQeryIO

使用了模式的全局窗口。有解决办法吗？

Answer 1

您可以将 Beam BigQueryIO 中的 SchemaUpdateOption 设置为 ALLOW_FIELD_ADDITION 以启用有限的架构演变。