Celery仅使用20%的Cpu(在峰值时)

问题描述 投票:1回答:1

我正在运行celery + Rabbitmq应用。我启动了一堆ec2机器,但是我发现我的celery worker机器仅使用大约15%的cpu(峰值为20%)。我已经为每台机器配置了2个芹菜工人。

芹菜工人难道就要接近100%的CPU利用率吗?

更多信息:即使我使用多个工作程序,我也没有使用celery --concurrency选项或eventlet。默认情况下,并发性设置为8。我的任务主要在php中进行io阻止,因此,如果我们有更多并行运行的进程,就不会有问题。有什么方法可以配置celery以根据CPU使用情况运行更多任务

concurrency rabbitmq load celery cpu
1个回答
0
投票

您有两个选择-增加concurrency level(使用--concurrency)或使用(不推荐使用的)auto-scaling option。在大多数情况下,我们通过使用2 * N的并发设置数在AWS上过度利用,其中N是您选择的实例类型上的vCPU数量。我们不会过度利用订阅了特殊队列的节点,这些特殊队列将在其中发送CPU绑定的任务。

© www.soinside.com 2019 - 2024. All rights reserved.