Azure 数据工厂管道日志

Question

Azure Pipeline v2 的数据日志存储在哪里，我想检索特定日期的失败管道的数据。（不想使用 azure 门户查看这些数据）。是否有任何表/视图保存数据库中的此类数据日志。

Answer 1

据我所知，要获取诊断日志，您可以使用 Azure Monitor、Operations Management Suite (OMS)，或以方式监控这些管道。

Answer 2

Azure Pipeline v2 指的是 Azure 数据工厂 v2。 使用 Azure Monitor 发出警报并监视数据工厂

诊断日志：

• 将它们保存到存储帐户以供审核或手动检查。您可以使用诊断设置指定保留时间（以天为单位）。
• 将它们流式传输到事件中心，以便由第三方服务或自定义分析解决方案（例如 PowerBI）摄取。
• 使用 Log Analytics 进行分析

Answer 3

日志在 Azure 数据工厂 Web 服务器上存储 45 天。如果您想获取管道运行和活动运行元数据，可以使用 Azure Data Factory SDK 提取所需的信息并将其保存在您想要的位置。

Answer 4

针对日志术语分析以及限制对生产数据工厂的访问的推荐方法是配置要发送到日志分析的日志。请务必启用专用的日志记录表，因为这将有助于后端组织日志。

从那里您还可以设置警报和访问组来运行日志分析查询，以实现更好的监控。

Answer 5

ADF 中提供了可用于生成日志文件并将其保存到数据湖容器的配置：

参考：https://learn.microsoft.com/en-us/azure/data-factory/copy-activity-log?tabs=data-factory

如何捕获adf表中的每个活动日志：

参考：https://learn.microsoft.com/en-us/answers/questions/1922633/how-to-capture-the-each-activity-logs-in-the-table