使用 PHP scraper 获取所有 Play 商店搜索结果（不仅仅是前 20 名）

Question

总结：

我想获取所有 Play 商店搜索结果，问题是，滚动后显示的应用程序未在 PHP file_get_content() 中显示。

详情：

我正在尝试制作一个基于 php 的游戏商店抓取工具。

我检查了所有 stackoverflow 答案和 github 示例，但它们都很旧，并且无法正常工作。这是因为以前 Play 商店使用“start”参数来显示更多应用程序/下一页。现在 Play 商店在滚动时显示更多应用程序

经过这么多研究，我决定制作自己的刮刀。

我在做什么：

file_get_contents() ：从 Play 商店获取查询 url，如下所示：

$result = file_get_content( "https://play.google.com/store/search?q=football" );

结果中仅返回 20 个应用程序，我想要 250 个。

Play 商店在查询结果中仅显示 20 个应用程序，更多应用程序仅在滚动时显示。

我尝试从“网络选项卡”获取谷歌ajax URL，但谷歌使用令牌参数作为下一个滚动页面...

问题：

如何使用 PHP 获取滚动内容？如果不可能，我怎样才能获得Play商店所有搜索结果？

否则我怎样才能用PHP获取用javascript显示的页面内容？

Answer 1

在 Chrome 开发工具中查看商店网站。它有一个完美的数据源，但你可能很难获取令牌。我怀疑他们想把这个刮掉。

一般：

请求网址： https://play.google.com/store/apps?authuser=0
请求方式：POST
状态代码：200
远程地址：216.58.220.142:443

表格数据：

开始：20
数量： 5
孩子数量： 10
pagTok：CBQQFA==：S：ANO1ljJ62NU
ipf：1
xhr： 1
代币： OmILlMEkRv_FCJ1tveWI8rtELHQ：1459318564260