我目前正在使用athena来处理和执行ETL - 从中我获得了包含要加载到极光rds表中的整个数据集的csv文件。我发现LOAD DATA FROM S3是一个加载数据的选项。由于这些文件非常大,大约10 GB,有4-5百万行数据。极光可以处理来自同一文件的大量数据,或者在此过程中是否会有超时。如有必要,如何使这些过程更有效?
您应该考虑使用AWS数据库迁移服务。设置迁移后,AWS DMS将完全管理工作,并将处理可能遇到的任何超时或故障。
AWS DMS允许您使用许多源(including S3)将数据加载到许多目标(including Aurora)。
AWS DMS可以作为一次性任务完成,也可以作为持续数据复制的初始加载完成。
迁移期间发生的对源数据库的所有数据更改都会不断复制到目标。
(来自AWS DMS Benefits)