抓取下一页 XHR 请求

Question

我想抓取该用户的第二页评论。

然而，下一个按钮执行 XHR 请求，虽然我可以使用 Chrome 开发人员工具看到它，但我无法复制它。

Answer 1

这不是一件容易的事。首先你应该安装这个 扩展。 它可以帮助您根据捕获的数据测试自己的请求，即使用捕获的数据捕获并模拟请求。

正如我所见，他们在此 XHR 请求中发送了一个令牌，因此您需要从 html 页面正文中获取它（存储在源代码中，js 变量“taSecureToken”）。

接下来您需要执行四个步骤：

1. 使用插件捕获 POST 请求
2. 将令牌更改为之前保存的
3. 在 POST 请求数据中设置

   limit

   和

   offset

   变量
4. 生成带有结果正文的请求

注意：在此请求服务器上返回 json 数据（不是下一页的 html），其中包含有关下一页上加载的对象的信息。