将数据复制到目标后,Azure 数据工厂 V2 复制活动不会清理/删除暂存文件/容器(如:Snowflake)

问题描述 投票:0回答:2

将数据复制到目标后,Azure 数据工厂 V2 复制活动不会清理/删除暂存文件/容器(例如:Snowflake)。

这是一个错误吗?在我的 ADF 中,为暂存区域设置了容器级别,最终我得到了多个 GUID 容器。有些容器甚至有元数据文件。

根据 Microsoft 的说法,复制成功后,ADF 应自动删除 Azure 数据工厂在暂存区域中创建的所有临时文件/文件夹/容器。

请指导。

azure snowflake-cloud-data-platform azure-data-factory azure-data-lake azure-data-lake-gen2
2个回答
1
投票

根据 Microsoft 的说法,复制成功后,ADF 应自动删除 Azure 数据工厂在暂存区域中创建的所有临时文件/文件夹/容器。

对于分段,我们有 2 个链接服务选项:

  1. Azure Blob 存储。
  2. Azure 数据湖服务。
  • Azure Blob 存储。 -- 如果您选择 Blob 存储进行暂存,它将删除或清理在暂存时创建的所有文件夹。 -- 因为 blob 存储不能在其中保存空文件夹。

Blob 存储分段后: enter image description here

  • Azure 数据湖服务。 -- 如果您选择 ADLS 进行暂存,它只会删除或清理暂存时创建的数据文件。 -- 因为您可以在 ADLS 中保留空文件夹。

ADLS 交错后: enter image description here

两个存储帐户中的容器都不会被删除。


0
投票

您找到解决方案了吗?

© www.soinside.com 2019 - 2024. All rights reserved.