Scrapy JSON获得价值

Question

使用这个link我试图在每个实例之后得到以下数据，这将是100个数据集

contributor-limited-meta":{"data":{"id":"4103089"

预期结果将是：

768919,4103089,193246966,976367,508762等

我曾经通过response.xpath('//script').re(r'author":"([0-9.]+?)"')尝试过scrapy shell，但我无法让它发挥作用。

Answer 1

您可以使用请求然后使用响应中的json并在循环中提取

import requests
res = requests.get('https://www.shutterstock.com/sstk/api/footage/images/search?site=image&image_type=vector&q=&page%5Bnumber%5D=1&studio=1&include=contributor-limited-meta').json()
results  = []
for item in res['data']:
    id = item['relationships']['contributor-limited-meta']['data']['id']
    results.append(id)
print(results)

随着scrapy使用json

jsonres = json.loads(response.body_as_unicode()