从s3 - 大文件加载数据到极光

问题描述 投票:0回答:1

我目前正在使用athena来处理和执行ETL - 从中​​我获得了包含要加载到极光rds表中的整个数据集的csv文件。我发现LOAD DATA FROM S3是一个加载数据的选项。由于这些文件非常大,大约10 GB,有4-5百万行数据。极光可以处理来自同一文件的大量数据,或者在此过程中是否会有超时。如有必要,如何使这些过程更有效?

database amazon-s3 amazon-rds amazon-rds-aurora aws-aurora
1个回答
1
投票

您应该考虑使用AWS数据库迁移服务。设置迁移后,AWS DMS将完全管理工作,并将处理可能遇到的任何超时或故障。

AWS DMS允许您使用许多源(including S3)将数据加载到许多目标(including Aurora)。

AWS DMS可以作为一次性任务完成,也可以作为持续数据复制的初始加载完成。

迁移期间发生的对源数据库的所有数据更改都会不断复制到目标。

(来自AWS DMS Benefits

© www.soinside.com 2019 - 2024. All rights reserved.