直接链接到正在异步加载的评论?

问题描述 投票:0回答:1
我正在使用change.org,并尝试下载请愿书上的一些评论。为此,我想知道当用户单击“加载更多原因”时从哪里提取评论例如,请看这里:

http://www.change.org/petitions/tell-usda-to-stop-using-pink-slime-in-school-food

查看 Chrome 中的 XHR 请求,我看到请求发送到

http://www.change.org/petitions/tell-usda-to-stop-using-pink-slime-in-school-food/opinions? page=2&role=comments 当然,页数随着评论加载的次数而变化。

但是,当我在浏览器中尝试时,此链接会导致空白页面。这是因为 url 中缺少一些数据,还是因为 javascript 中首先发出请求的某些身份验证步骤的结果?

任何指示将不胜感激。谢谢!

编辑:感谢第一个响应,我看到当我使用控制台时正在接收数据。 从 python 脚本发出请求时如何接收相同的数据。我是否

模仿浏览器或者有没有办法只使用urllib?

python jquery web-scraping xmlhttprequest
1个回答
1
投票
他们必须验证请求的来源。如果您访问该站点,请打开控制台并运行以下命令:

$.get('http://www.change.org/petitions/tell-usda-to-stop-using-pink-slime-in-school-food/opinions?page=2&role=comments',{},function(data){console.log(data);});

您将看到数据返回

© www.soinside.com 2019 - 2024. All rights reserved.