天蓝色数据工厂(“复制活动管道”)多个并发复制活动运行时遇到错误

问题描述 投票:0回答:2

我在复制活动管道中面临问题

对目标的操作...:对目标的操作.....失败:“Sink”端发生故障。 ErrorCode=AdlsGen2OperationFailedConcurrentWrite,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=尝试上传文件时发生错误。这是可能的,因为您有多个并发复制活动运行写入同一文件“...文件夹路径...”。检查您的 ADF 配置。,Source=Microsoft.DataTransfer.ClientLibrary,''Type=Microsoft.Azure.Storage.Data.Models.ErrorSchemaException,Message=操作返回无效状态代码“PreconditionFailed”,Source=Microsoft.DataTransfer.ClientLibrary, '

请帮我纠正这个错误

azure azure-functions azure-pipelines azure-data-factory
2个回答
0
投票

上述错误中的消息是,

Message=尝试上传文件时发生错误。这是可能的,因为您有多个并发复制活动运行写入同一文件“...文件夹路径...”。检查您的 ADF 配置

根据官方文档,其原因是,

您有多个并发复制活动运行或应用程序写入同一文件。

因此,您的管道中可能在同一目标文件上运行多个复制活动,从而导致此错误。
检查管道中所有复制活动的接收器数据集,并尝试根据您的要求更改目标。

如果您的管道中只有一个复制活动,并且您为此设置了多个触发器,其中任意两个触发器同时运行管道,则可能会出现此错误。在这种情况下,请将管道的并发限制设置为1,这样可以控制并发执行。您可以在管道设置中找到它。

enter image description here

此外,请检查您的任何其他管道是否同时运行复制活动,并使用相同的文件作为目标。


0
投票

就我而言,我试图将 json 文件写入已经有 json 文件的文件夹中。所以我改变了水槽的位置,它对我有用。祝一切顺利!!

© www.soinside.com 2019 - 2024. All rights reserved.