想要清楚关于AWS Glue的大图

Question

我想清楚一下以下几个方面关于aws Glue的大图。

1. AWS Glue如何准备和配置其基础架构？然而，它是无服务器，但它如何管理它？
2. 如何使用apache spark和hadoop一次解决如此多的ETL工作，几乎每个地区的数百名AWS Glue客户的工作。

谢谢

Answer 1

AWS Glue在下面使用EMR。当新作业启动时，它会生成一个具有所需执行程序数的新集群（取决于已配置的DPU）。但是，为了改善冷启动时间，他们为最常见数量的DPU提供了已经配置的EMR集群的缓冲区。为了管理这一切，他们有一套自动化服务来监控每个集群的状态，启动一个新集群等。