如何使Python从网上转储文本行？

Question

我如何创建从网站上摘录的程序。用户需要指定他将从网站上获得多少行，并且他有限制（1000），并且他有一个冷却时间，例如每24小时可以从Web捕获数据。

提前感谢！

Answer 1

我认为您正在寻找网络爬虫/蜘蛛/刮板。

[here中所述，尝试使用Scrapy。

Answer 2

[像scrappy这样的网络抓取库可以从网站上获取数据，而像beautifulsoup这样的解析库则可以理解它。要每24小时触发一次，您可以使用Heroku之类的托管服务，并根据自己的意愿使用一些自定义逻辑。