检索需要身份验证的页面的内容

Question

我可以使用基本的HTTP身份验证系统访问管理页面。

此页面使用JavaScript加载数据，方法是从Firefox Web开发工具中可以看到的另一个URL中检索JSON数据（组合Ctrl+Shift+I，然后进入“网络”选项卡并重新加载页面）

如果我将此URL复制并粘贴到浏览器的同一实例中，则会检索我需要的JSON数据。

所以：

1. 使用Firefox，我连接到管理页面并提供用户名/密码。
2. 使用Firefox Webdev工具箱，我检索用于检索我想要的JSON数据的URL。
3. 我复制并粘贴此URL并获取我需要的JSON数据，准备进行解析。

现在，我想使用Python 3自动执行相同的操作。

我使用Requests使它更容易。但是，如果我尝试直接检索步骤3中找到的URL，我会收到401 Authentication错误：

import requests
url = "http://xxx/services/users?from=0&to=50"
r = requests.get(url, auth=('user', 'passwd'))
r.status_code
>>> 401

我可以在管理URL（类似http://xxx/admin-ui/）上做一个经过身份验证的请求，我可以检索网页的内容，但它不包含任何有趣的内容，因为所有内容都是从JavaScript中加载来自该URL的JSON数据3 ...

任何帮助都非常欢迎！

Answer 1

我需要使用基于表单的身份验证，而不是我最初想的HTTP Basic Auth。

所以首先我需要登录第一个URL才能检索auth cookie：

url = "http://xxx/admin-ui/"
credentials = {'j_username':'my_username','j_password':'my_passwd'}
s = requests.session()
s.post(url, credentials)
s.cookies
>>> <<class 'requests.cookies.RequestsCookieJar'>[Cookie(version=0, name='JSESSIONID', value='...>

然后我可以使用此cookie连接到第二个URL并检索我需要的数据：

url2 = "http://xxx/services/users?from=0&to=50"
r = requests.get(url2, cookies=s.cookies)
r.content
>>> (a lot of JSON data! \o/)