如何提高 Azure 数据工厂中的复制活动吞吐量

问题描述 投票:0回答:3

我有一个包含从 parquet 到 azure sql 的多个复制活动(23)的管道。我的复制吞吐量较低(23kb/s),有办法改进吗?

集成运行时是天蓝色的,而不是自托管的 IR。

azure azure-data-factory
3个回答
0
投票

数据集成单元 (DIU) 是一种衡量标准,代表 Azure 数据工厂和 Synapse 管道中单个单元的功能。功耗是 CPU、内存和网络资源分配的组合。 DIU 仅适用于 Azure 集成运行时。 DIU 不适用于自托管集成运行时。

更多详情: https://learn.microsoft.com/en-us/azure/data-factory/copy-activity-performance


0
投票

就像其他答案所说,增加 DIU 是增加复制活动吞吐量的主要方法。

您可以尝试不同的 DIU 设置来调整复制活动并查看获得的性能。完成此操作后,我就确定了副本的最大 DIU。使用两倍数量的 DIU 每小时的成本是原来的两倍,但速度却是原来的两倍,因此并没有更贵。

如果增加 DIU 并不能提高性能,则可能与“源”和“接收器”中的设置有关。您的镶木地板文件的“来源”是什么?您的 azure sql 接收器可以处理所有写入吗?


0
投票

自托管集成运行时,用于从本地数据存储或具有访问控制的网络复制数据..

性能设置需要检查 1)启用站立 2)数据整合单元 3)复制并行度

© www.soinside.com 2019 - 2024. All rights reserved.