我有一个1TB的文本文件,其中包含一些文本数据。我想使用Azure Data Lake Analytics / U-SQL将其拆分为较小的数据块。
我该如何实现?
我建议使用基于云中Spark构建的ADF的映射数据流功能
1。创建新的数据流
2。添加源文件
3。通过定义分区添加接收器文件夹
4。保存数据流
5。然后添加一个执行数据流活动并选择新的文件拆分数据流