AWS Glue作业python脚本

Question

我在不同的数据库中有两个表源和目标。我需要从源中插入目标中的新记录，更新现有记录并从目标表中删除记录。我需要使用AWS glue python脚本来实现这些目标。我需要使用哪种转换？

Answer 1

您还没有提到要使用的源和目标数据库是什么。我作为Target完成了对Aurora Mysql数据库的UPSERTS，以及作为我的Source的S3。

我使用了“INSERT INTO TABLE .... ON DUPLICATE KEY update ...”。这将检查目标数据库中是否已存在记录（基于PRIMARY KEY），如果存在，则记录为UPDATED，否则将插入记录。

如果您需要任何样品帮助，请告诉我。您可以查看我的其他SO问题/答案。您必须使用python数据库连接器库作为Glue作业的单独zip文件。