我如何在Rails（Web Scraping）中编写永无止境的工作？

Question

目标：我想在无限期运行并可以缩放的Rails应用中制作一个Web刮板。

当前堆栈应用程序正在运行：

ROR / Heroku / Redis / Postgres

想法

：我当时正在考虑运行每[分钟运行一次的Sidekiq作业，并检查是否有任何可用的代理（这些代理将存储在状态为sleep / scraping的表中）。假设有一个可用的代理进行抓取，然后将检查（使用Sidekiq API）是否有任何可用的工人来启动另一个作业以使用可用的代理进行抓取。

这意味着我可以通过增加工人数量和可用代理数量来扩展刮板。如果由于某种原因该作业失败，则寻找可用代理的作业将再次启动。

问题

：这是实现我目标的最佳解决方案吗？利用长期运行的Sidekiq作业是最好的主意，还是会炸掉？目标：我想在无限期运行并可以缩放的Rails应用中制作一个Web刮板。当前的堆栈应用程序正在运行：ROR / Heroku / Redis / Postgres想法：我当时正在考虑运行Sidekiq作业...

Answer 1

如果您希望每隔[[n

Answer 2