我通过 AWS Step 函数自动执行了 50 个 AWS Glue 作业。
它们都是同时执行的。
如果有人可以提供指导,我将不胜感激
如何触发事件、aws lambda 函数或 如果所有 50 个胶水作业均成功执行,则 aws 步骤函数。
供参考 我确实有一个 EventBridge 规则可以捕获 AWS 胶水作业失败 并通过SNS发送通知。
可以选择创建 EventBridge 规则来捕获单个作业成功事件,但不能捕获多个作业。
谢谢
您可以配置 AWS Eventbridge 规则,通过选择“胶水作业状态更改”来验证所有胶水作业的状态,添加您要检查的所有胶水作业的前缀或列表。 对于 EventBridge 目标,配置您创建的 lambda 函数,以在所有粘合作业成功时触发。
{
"source": [
"aws.glue"
],
"detail-type": [
"Glue Job State Change"
],
"detail": {
"jobName": [
"<YourJobName>"
],
"state": [
"SUCCEEDED"
]
}
}