我有一个业务场景,我们必须从一个数据库中提取所有表,让我们说冒险工作,并将所有表信息放入数据湖中的单独的csv中。假设在Adventure Works数据库中,如果我们有20个表,我需要将所有表并行拉出,并且每个表都包含一个csv,即20个表在蔚蓝的数据湖中将包含20个csv。使用Azure数据工厂的方法。请不要使用for-each活动,因为它需要按顺序进行文件且耗时。
在Data Factory中,有两种方法可以帮助您从一个管道中的20个表中创建20个csv文件:for-each activity和Data Flow。
无论采用哪种方式,激活的副本都必须按顺序进行并花费一些时间。
[您应该做的是像Thiago Gustodio在评论中所说的那样思考如何提高复制数据的性能,它可以同时帮助您。
例如,设置更多数据库的DTU,并使用更多DIU激活副本。
请参考这些数据工厂文档:
它们都为您提供性能支持。
希望这会有所帮助。