我一直在命令行上使用curl来请求url并解析其标记。
我通过进入Chrome浏览器,加载网址,然后打开检查器,在网络历史记录的顶部找到该网址,右键单击它,然后选择Copy | Copy as Curl
,就可以轻松地对经过身份验证的页面执行此操作
我想用一个页面应用程序做同样的事情,它当然会运行大量其他东西来呈现自己,例如javascript或其他。
是否有任何工具可以让我轻松地将“ curl”更改为其他内容,并可以下载页面的生成源?
例如如果不是单页应用程序(从Chrome复制),通常我会运行它来获取经过身份验证的页面的来源]
curl 'https://mywebsite.com/singlePageApplication' \ -H 'Connection: keep-alive' \ -H 'Pragma: no-cache' \ -H 'Cache-Control: no-cache' \ -H 'Accept-Language: en,en-US;q=0.9' \ -H 'Cookie: session=XXX"
我希望能够将其切换到其他内容,并且它接受所有标头,并且最好采用与curl完全相同的语法,并提供生成的源。
downloadGeneratedSource 'https://mywebsite.com/singlePageApplication' \ -H 'Connection: keep-alive' \ -H 'Pragma: no-cache' \ -H 'Cache-Control: no-cache' \ -H 'Accept-Language: en,en-US;q=0.9' \ -H 'Cookie: session=XXX"
这存在于任何地方吗?
我一直在命令行中使用curl来请求url并解析其标记。通过进入Chrome,加载网址,然后打开检查器,我可以轻松地对已验证的页面执行此操作,...
正如root和Brad Parks在其注释中指出的,Selenium,PhantomJS或Pupeteer是旨在模仿浏览用户行为的精美工具,因此您可以下载[ C0](SPA)易于配置。