有没有办法可以更改作业本身中 AWS Glue 作业参数的值?假设我有一个参数,其键为 --color 且值为“red”:
args = getResolvedOptions(sys.argv, ['color'])
color = args['color']
上面的代码将为变量颜色返回“红色”。
如何更改此参数,以便下次运行作业时,颜色参数为蓝色?
您可以将“颜色”设置为作业的默认参数,这样如果没有给出“--color”,则使用“红色”。
要将默认值更改为“蓝色”,您将需要更新作业定义。如果需要的话,这可以在作业本身内部完成(通过使用 boto3 并拥有必要的权限)。
寻找
DefaultArguments
:在这种情况下最好的方法是使用参数存储。
您可以将每个参数存储在参数存储中,并在需要时安全地更新。
gluejob 参数是作业的构造函数和环境变量,您不应该更改它。在运行时更新参数是危险的,如果您使用 IAC cloudformation 来部署作业,将会导致数据丢失。