在 python 中请求 JSON 数据以进行网络抓取

Question

我使用下面的代码获取一些股票的 JSON 数据（例如 https://www.tipranks.com/stocks/tsla/forecast）：

import json
import requests
url = " https://tr-frontend-cdn.azureedge.net/bff/prod/stock/tsla/payload.json?ver=1678406987078"
req = requests.get(url)
data = req.json()

但是该网站也有 ETF 的数据（例如，
https://www.tipranks.com/etf/xlb/forecast） 但我不知道在这种情况下要使用的 url（我试过 https://tr-frontend-cdn.azureedge.net/bff/prod/etf/xlp/payload.json?ver=1678406987078 但这确实不工作）。

有人能帮我确定我应该输入什么 url 才能正确获取 JSON 数据吗？

Answer 1

试试这个

import requests
url = " https://tr-frontend-cdn.azureedge.net/bff/prod/stock/tsla/payload.json?ver=1678406987078"
req = requests.get(url)
if req.status_code == 200:
    print(req.json())
else:
    print(f"url request failed : status code {req.status_code}, response text: {req.text}")