使用SSIS从ADLS第2代读取

问题描述 投票:3回答:3

有谁知道哪个连接和数据流组件用于ADLS(Azure Data Lake Store)gen2?

我已经设法在连接管理器中使用blob连接器并成功连接到ADLS Gen2,但是当我尝试使用blob源组件时,我收到400错误请求。如果它只是一个没有HNS的blob存储,那么工作正常。

ADLS组件声明它仅适用于ADLS第1代。

那么如何读取和写入ADLS Gen 2?

azure ssis etl azure-storage-blobs azure-data-lake
3个回答
0
投票

首先,基于@rickvdbosch提供的great link,看起来Azure Data Storage Gen2存在许多关于BLOB存储API的临时限制。这意味着它不是组件限制,也许您应该等到它与SSIS集成。

Microsoft SQL SERVER Feature pack for Azure

如果你提到这些组件的意思是:

ADLS组件声明它仅适用于ADLS第1代。

然后忽略这一部分。

我不确定它是否支持Gen2,但我认为你可以使用Azure Data Lake Store组件,这些组件是Azure的Microsoft SQL SERVER功能包的一部分。有关更多信息,请参阅:

下载链接


Other methods

如果上面的建议不起作用那么你应该使用Azure Data Factory或命令行Installing AWS CLIusing AzCopy v10


0
投票

我得到了以下信息:“目前Gen 2不支持BLOB API(但它会在短时间内),因此,SSIS无法连接。”

所以对于SSIS来说,它目前要么是ADLS Gen 1,要么是blob商店


0
投票

我使用脚本任务使用Rest API将文件或System.Objects(在内存中转换为csv)写入Azure Storage Gen 2(已启用分层命名空间)。在SSIS组件发布之前,我做了这个演示。

© www.soinside.com 2019 - 2024. All rights reserved.