AWS Glue书签:运行作业与触发器

问题描述 投票:0回答:1

我想知道是否为具有书签功能的特定作业启用了如果我使用触发器运行替换运行作业,它如何工作逻辑。

我使用“运行作业”按钮手动运行我的作业,并处理特定文件夹中的输入文件。在此输入文件夹中,将创建新文件。半小时后,工作由计划的触发器触发。

计划的触发器是否会通过“手动”运行作业了解处理过的文件,或者是不同的书签过程?

amazon-web-services aws-glue
1个回答
2
投票

Job Bookmark的检查点是针对transformation_ctx保存的,当从脚本运行job.commit()命令时,将提交更新的检查点。

由于通过触发器或手动运行作业,导致相同API动作(StartJobRun)的调用,并且这些作业运行实际上运行相同的代码,每个新的作业运行将知道上一次运行的书签更新。

© www.soinside.com 2019 - 2024. All rights reserved.