我们需要对所有管道运行进行后处理,包括评估每个单元的输出。目的是直接审核单元输出 - 而不是生成电子邮件或其他新工件。
一个主要用例是允许根据笔记本单元内容进行自动和手动深入故障排除,包括检查许多单独的日志条目以及堆栈跟踪。
由于笔记本可能会在多个单元之一中出现故障,因此我们将寻找一种 API,允许访问笔记本输出的单元级结构。
这里有一个相关的问题,但是该问题涉及生成电子邮件以发送特定结果:轻松访问在 Synapse 管道中运行的笔记本输出。相反,我们希望通过
azure
API 按顺序单元号组织整个笔记本输出。这怎么办?
您可以在“Monitor”选项卡下的“Pipeline Runs”部分查看计划管道笔记本运行的详细信息。 单击“打开笔记本快照”选项,该选项由一个类似眼镜的图标表示。
我已经调试了管道,并且还触发了管道:
我已经设置了一个笔记本并将其链接到预定的触发器,使我可以在监视器选项卡中查看每个单元格的结果。 要查看输出,请导航到管道运行下的“
Monitor
”应用程序选项,选择“Logs
”选项卡,然后检查“stdout
”菜单中的输出。
以下是每个单独单元格的输出。
点击眼镜后,您将看到如下所示
请注意,您可以选择使用
print()
函数,而不是使用通常的方法将文本写入标准输出。
有关更多信息,了解有关 Azure Synapse Analytics 限制的更多信息。