AWS Glue Python Shell配置DPU

问题描述

当我使用胶水python shell而不是胶水火花时，1 dpu设置会更改吗？ 我最近看到了一条Maximum number of concurrent tasks in 1 DPU in AWS Glue帖子，我看到他们在谈论胶水火花，但不是来自aws胶水python壳，这就是为什么我对此表示怀疑。

解决方法

根据此doc，可以为Python Shell类型的AWS Glue作业分配1个DPU或0.0625 DPU。默认情况下，AWS Glue为每个Python Shell作业分配0.0625 DPU。

您需要按每DPU小时0.44 USD的费用（以1秒为单位递增），四舍五入至最接近的秒数，每种类型的Python Shell作业的最小持续时间为1分钟。

根据this，单个DPU提供的处理能力包括4个计算vCPU和16 GB内存。

您最多可以提供1个DPU，因为它不需要很多资源，因为不涉及分布式处理。您尝试提供多于1个的DPU，将遇到如下所示的错误：