AWS Glue DPU配置

问题描述 投票:0回答:2

我看到DPU由4个vCPU和16 GB内存组成。是否可以更改vCPU,内存的此设置,以便我不会耗尽DPU或超出DPU限制。

我认为Dev Endpoint最多可以有5个DPU,一个帐户最多可以有2个DEV端点?

问候

座位

aws-glue
2个回答
1
投票

目前无法配置DPU内存,但您可以在您的帐户上请求limit increase以便能够使用更多DPU。


1
投票

截至2019年4月,有两种新型工人:

您现在可以在AWS Glue中为内存密集型工作负载指定Apache Spark作业的工作类型。

以前,AWS Glue中的所有Apache Spark作业都使用每个工作节点1个数据处理单元(DPU)的标准配置和每个节点2个Apache Spark执行程序。您现在可以从两个新配置中选择G.1X和G.2X,它们为每个执行程序提供更多内存。

https://aws.amazon.com/about-aws/whats-new/2019/04/aws-glue-now-supports-additional-configuration-options-for-memory-intensive-jobs/

© www.soinside.com 2019 - 2024. All rights reserved.