我有一个csv文件,它将在S3存储桶中出现(每日新文件)。从这里开始,我尝试使用AWS Glue在AWS Aurora数据库中提取,转换和加载。 Aurora DB被设计为规范化的关系数据库,我必须将csv加载到此关系数据库中,并在多个表之间映射信息。
我正在尝试的步骤:1)修改python脚本以执行加载操作。
想知道是否还有其他方法可以实现这种加载操作?
RDS Aurora提供内置功能,您可以使用“从S3加载数据到表”,从驻留在S3存储桶中的CSV文件加载数据。您需要添加适当的IAM角色,并在Aurora参数组中对其进行配置。
我们在过去一年中使用此功能,并且其工作正常。您也可以执行相反的操作,例如将表中的数据卸载到S3存储桶中。您能否查看以下链接以获取更多信息和测试。希望我的问题正确吗?
https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Integrating.LoadFromS3.html
谢谢,
座位