Snowpipe 和处理模式演化,无需重新从外部表中获取数据

问题描述 投票:0回答:1

我正在尝试实现 Snowpipe 将数据从 AWS S3 摄取到 Snowflake,并尝试找出如何处理架构演变,即列添加/更改,而不重新从外部表摄取数据?

snowflake-cloud-data-platform snowpipe
1个回答
0
投票

如果您的意思是仅包含新记录的新列,那么您可以暂停管道,使用新的 COPY 语句重新创建它,然后重新启动管道。

如果您的意思是为现有记录填充新列,那么您不能 - 无需重新加载整个表。您不一定需要使用 Snowpipe 来完成此操作;例如,当管道暂停时,您可以将所有历史数据复制到 Snowflake 中的临时表中,使用它作为源合并到目标表中以更新新列,然后删除临时表并重新启动管道

© www.soinside.com 2019 - 2024. All rights reserved.