Azure数据工厂多个表

问题描述 投票:-1回答:1

我有一个业务场景,我们必须从一个数据库中提取所有表,让我们说冒险工作,并将所有表信息放入数据湖中的单独的csv中。假设在Adventure Works数据库中,如果我们有20个表,我需要将所有表并行拉出,并且每个表都包含一个csv,即20个表在蔚蓝的数据湖中将包含20个csv。使用Azure数据工厂的方法。请不要使用for-each活动,因为它需要按顺序进行文件且耗时。

database azure cloud azure-data-lake paas
1个回答
0
投票

在Data Factory中,有两种方法可以帮助您从一个管道中的20个表中创建20个csv文件:for-each activityData Flow

在“数据流”中,添加20个“源”和“接收器”,例如:enter image description here

无论采用哪种方式,激活的副本都必须按顺序进行并花费一些时间。

[您应该做的是像Thiago Gustodio在评论中所说的那样思考如何提高复制数据的性能,它可以同时帮助您。enter image description here

例如,设置更多数据库的DTU,并使用更多DIU激活副本。

请参考这些数据工厂文档:

  1. Mapping data flows performance and tuning guide
  2. Copy activity performance and scalability guide

它们都为您提供性能支持。

希望这会有所帮助。

© www.soinside.com 2019 - 2024. All rights reserved.