使用Azure Data Lake Analytics / U-SQL拆分1TB文件

问题描述 投票:0回答:1

我有一个1TB的文本文件,其中包含一些文本数据。我想使用Azure Data Lake Analytics / U-SQL将其拆分为较小的数据块。

我该如何实现?

azure azure-data-lake
1个回答
0
投票

我建议使用基于云中Spark构建的ADF的映射数据流功能

1。创建新的数据流

2。添加源文件

3。通过定义分区添加接收器文件夹

4。保存数据流

5。然后添加一个执行数据流活动并选择新的文件拆分数据流

© www.soinside.com 2019 - 2024. All rights reserved.