使用 Scrapy-Splash 从远程 AJAX 请求获取 HAR 数据

Question

我正在抓取一个网页，该网页进行多次 ajax 调用来获取数据。 render.har 返回同一域中的数据，但不包括来自远程域的数据。有没有办法从向远程域发出的请求中获取 HAR 数据？

我尝试了以下论点但没有成功：

endpoint='render.har',
url=url,
har=1,
iframes=1,
allowed_content_types='*',
html=1,
expand=1,
response_body=1,
request_body=1,
console=1,
timeout=20,
wait=6

Answer 1

您像平常一样渲染点

render.html

，但使用

response.data['har']

来获取它