爬行蜘蛛无法进入下一页

Question

我正在 http://www.ulta.com/makeup-eyes-eyebrows?N=26yi 上抓取所有产品详细信息。我的规则复制如下。我只从第一页获取数据，不会继续到下一页。

rules = (Rule(LinkExtractor(
            restrict_xpaths='//*[@id="canada"]/div[4]/div[2]/div[3]/div[3]/div[2]/ul/li[3]/a',), 
            callback = 'parse',
            follow =True),)

有人可以帮我吗？

Answer 1

使用CrawlSpider，它会自动抓取到其他页面，否则用， Spider，其他链接需要手动传过去

 class Scrapy1Spider(CrawlSpider):

而不是

 class Scrapy1Spider(scrapy.Spider):

参见：Scrapy 抓取下一页