为什么雪管没有加载所有数据

Question

我遇到了从天蓝色斑点到雪花的数据加载问题。我已经创建了完整的流程（存储、通知集成、文件格式、阶段、管道）。因此，当截断表并创建管道时，它仅加载最近 7 天的文件，而在 azure blob 中存在 1 年的文件。

您能否建议如何深入研究这个问题？ 谢谢！！

Answer 1

默认情况下，ALTER PIPE REFRESH 命令仅加载最近 7 天的暂存文件。 如果文件超过 7 天，可以使用直接 COPY INTO 命令一次性加载所有文件。使用关键字PATTERN指定要加载的文件名的正则表达式。

请查看Snowflake文档了解更多详细信息

注意：REFRESH 功能旨在短期使用，以解决 Snowpipe 无法加载文件子集时的特定问题，不适合常规使用。

Answer 2

您是否尝试过此处

记录的 REFRESH 命令

Answer 3

您需要打开一个支持案例来进一步调试。通知通道可能存在某些问题，需要调试。

Answer 4

您可以在此处执行几个步骤。

检查舞台是否已正确创建。 尝试Snowpipe刷新功能。

ALTER PIPE <snowpipe name> REFRESH;

检查 SnowPipe 是否运行良好以及 SnowPipe 状态

SELECT SYSTEM$PIPE_STATUS( '<snowpipe name>');