我已经看过这个关于抓取ajax的问题,但是那里没有提到python。我考虑过使用 scrapy,我相信他们有一些关于该主题的文档,但正如你所看到的,该网站已关闭。所以我不知道该怎么办。我想做以下事情:
我只有一个网址,example.com,您可以通过单击“提交”从一个页面转到另一个页面,该网址不会更改,因为他们使用 ajax 来显示内容。我想抓取每个页面的内容,该怎么做?
假设我只想抓取数字,除了 scrapy 之外还有什么可以做到这一点吗?如果没有,您能给我一个关于如何执行此操作的片段吗,只是因为他们的网站已关闭,所以我无法访问文档。
首先,scrapy 文档可以在 https://scrapy.readthedocs.org/en/latest/ 获得。
谈论在网页抓取时处理ajax。基本上,这个想法相当简单:
XHR
请求将发送到服务器XHR
请求另请参阅:
希望有帮助。
我发现答案非常有用,但我想让它更简单。
response = requests.post(request_url, data=payload, headers=request_headers)
request.post 接受三个参数 url、data 和 headers。这三个属性的值可以在 XHR 请求中找到。
复制整个请求标头和表单数据以加载到上述变量中,然后就可以了