是否有AWS服务用于针对API运行脚本并保存接收的数据

Question

我在AWS环境中工作，我需要执行以下[编辑]作为每日计划任务[/ EDIT]：

1. 运行python / http脚本多次调用外部（AWS外部）API。
2. 将每个调用的输出保存为CSV
3. 将多个CSV转储到Redshift数据库中。

我查看了AWS Glue，但我认为我无法在其中迈出第一步。您会建议使用哪种工作流程或工具组合？

Answer 1

1. 使用EC2命中API并存储CSV
2. 使用boto3库将这些库上传到S3
3. 使用COPY命令将S3中的数据加载到Redshift中（迄今为止最快的方式）

Answer 2

您可以编写Lambda function with scheduled events来抓取API。

与配置EC2实例相比，使用Lambda最可能会更便宜，因为您的工作不耗时且数据量较少。

如果您希望仍然使用EC2实例，则可以将Lambda调度事件用于start and stop the EC2 instance（或者，一旦完成作业，EC2实例本身就可以关闭）。