如何从任何网址页面获取数据来抓取评论

Question

假设您有一个游戏商店评论页面，其中有数百人定期评论。我的想法是不仅在同一页面上，而且在滚动时从Play商店评论页面获取数据。那么它应该从评论页面中获取所有数据吗？如果他给出了任何评级。包括他/她的照片。

我如何解决这个问题以及我可以使用哪些工具？分享我可以阅读更多有关此类问题陈述的所有链接。

Answer 1

我会使用scrapy循环请求到ajax URL。终止循环的逻辑可以通过几种方式处理，具体取决于可用的数据。