Question

我遇到的事情是有太多页面（大约有20,000页，每个页面上有15行数据），而我花了太长时间来刮擦所有内容。关于如何优化此过程的任何建议？

I检查了您要刮擦的目标网站，并且由于数据未通过可见的API加载，因此需要您当前的方法。但是，为了提高效率和速度，请考虑使用异步方法。以下是：

使用零食

- 已针对快速可扩展的刮擦进行了优化。

Answer 1