使用AWS Data Pipeline将数据从PostgreSQL复制到S3

Question

我试图将所有表从一个模式（PostgreSQL，50多个表）复制到Amazon S3。

做这个的最好方式是什么？我能够创建50个不同的复制活动，但是有一种简单的方法可以复制模式中的所有表或编写一个管道和循环吗？

Answer 1

我认为旧的方法是：

 1. Unload your data from PostgreSQL to a CSV file first using something like psql  
 2. Then just copy the csv to S3

但是，AWS为您提供了一个脚本，RDSToS3CopyActivity请参阅AWS的this链接

Answer 2

由于你有大量的表。与AWS Data Pipeline相比，我建议使用AWS Glue。胶水很容易配置，有爬虫等，可以灵活选择列，定义等。此外，他在AWS胶水中的基础工作是pyspark工作，可以很好地扩展，给你真正的良好表现。