scrapy crawler不能在instagram上刮取简单的instagram标签。

Question

我正在创建一个非常简单的网络爬虫版本，它从页面底部的导航栏中推断并计算一些简单的< li > 标签www.instagram.com。

以下代码在任何其他网站上都可以工作，除了在instagram上。

import scrapy

class InstaSpider(scrapy.Spider):
    name = "insta_spider"
    start_urls = ["https://www.instagram.com/"]
    count = 1


def parse(self, response):
    SET_SELECTOR = ".K5OFK"
    for tag in response.css(SET_SELECTOR):
        self.count += 1
    print("My count is " + str(self.count))

爬虫产生了以下代码： 页面被抓取，但出于某种原因，它找不到那个特定的类（或instagram页面上的任何其他类） 所以它将产生1的计数，而不是10的计数。

INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
DEBUG: Crawled (200) <GET https://www.instagram.com/> (referer: None)
My count is 1

有什么原因吗？

Answer 1

似乎它正确地阅读了页面，但没有锁定li项