多个celerybeat实例用于弹性豆秆上的自动标定django app

Question

我试图找出构建Django应用程序的最佳方法，该应用程序使用Celery在自动缩放AWS ElasticBeanstalk环境中处理异步和计划任务。

到目前为止，我只使用了Celery + Celerybeat的单个实例Elastic Beanstalk环境，这非常好用。但是，我希望在我的环境中运行多个实例，因为每个实例都会崩溃，并且在实例重新启动之前需要花费很多时间，但是我无法将当前的体系结构扩展到多个实例，因为Celerybeat应该只在所有实例中运行一次，否则Celerybeat安排的每个任务将被多次提交（对于环境中的每个EC2实例一次）。

我已经阅读了多个解决方案，但是所有这些解决方案似乎都存在一些问题，这些问题并不适用于我：

• 使用django cache + locking：这种方法更像是一个快速解决方案，而不是一个真正的解决方案。如果您有许多计划任务并且需要添加代码来检查每个任务的缓存，则这不是解决方案。此外，任务仍然会多次提交，这种方法只能确保重复项的执行停止。
• 对ebextensions使用leader_only选项：最初工作正常，但如果环境中的EC2实例崩溃或被替换，这将导致根本没有运行Celerybeat的情况，因为领导者仅在创建环境时定义一次。
• 为Elastic Beanstalk工作层中的异步任务创建一个新的Django应用程序：很好，因为Web服务器和工作人员可以独立扩展，并且Web服务器性能不受工作人员执行的巨大异步工作负载的影响。但是，此方法不适用于Celery，因为工作层SQS守护程序会删除邮件并将邮件正文发布到预定义的URL。此外，我不喜欢有一个完整的额外Django应用程序的想法，需要从主应用程序导入模型，如果在主应用程序中修改任务需要单独更新和部署。

如何在分布式Elastic Beanstalk环境中将Celery与计划任务一起使用而不进行任务复制？例如。如何确保在Elastic Beanstalk环境中始终在所有实例中运行一个实例（即使Celerybeat的当前实例崩溃）？

有没有其他方法可以实现这一目标？在Django中使用Elastic Beanstalk的Worker Tier环境的最佳方法是什么？

Answer 1

我猜你可以把芹菜殴打给不同的团体。

您的自动缩放组运行多个django实例，但芹菜不包含在缩放组的ec2配置中。

你应该有不同的芹菜节拍（或只是一个）实例

Answer 2

如果有人遇到类似问题：我最终切换到django的不同队列/任务框架。它被称为django-q，并在不到一个小时的时间内完成了工作。它具有我需要的所有功能，并且比Celery更好的Django集成（因为djcelery不再活跃）。

Django-q非常易于使用，也比巨大的Celery框架更轻巧。我只能推荐它！