从Azure Data Factory运行可执行文件时Azure批处理池中的节点数

Question

我们有一个ADF管道，它运行3个其他管道，使用相同的Azure批处理池运行相同的可执行文件。大多数情况下，可执行文件成功运行。但是，有些情况下管道在开始运行可执行文件之前会挂起。

请注意，所有3个管道都使用相同的Azure批处理池。

• 可执行文件没有任何并行性，节点数量也有所不同吗？应该至少有3个节点吗？
• 使用相同Azure批处理池的管道是否存在问题？他们应该使用不同的游泳池吗？

谢谢

穆罕默德

Answer 1

我可能会尝试尝试从我的Batch帽子中提出两个问题:(我希望这会让你有一些调试到位，以便深入识别）

• 可执行文件没有任何并行性，节点数量也有所不同吗？应该至少有3个节点吗？ 不，节点数量不限制批量中的任何并行度概念。 AFAIK，我不确定3节点在哪里提到，但是有3节点你的情况有效吗？ ErrorHandling：只要概念代码得到妥善管理，如果BatchException或FailureInfo中存在任何异常，那么BatchErrors中的异常将被推送给用户。例如https://docs.microsoft.com/en-us/azure/batch/batch-task-fail-event或https://docs.microsoft.com/en-us/rest/api/batchservice/batch-status-and-error-codes 从节点中，您始终可以获得服务日志：https://docs.microsoft.com/en-us/rest/api/batchservice/computenode/uploadbatchservicelogs 并行任务挂起时的节点状态是什么？
• 使用相同Azure批处理池的管道是否存在问题？他们应该使用不同的游泳池吗？ 不，AFAIK。如果您看到任何具体内容，我建议您详细说明您的方案。

由于其代码节点正在尝试运行，我建议设置调试点并检查服务日志以识别用户代码运行行为。

谢谢，