Webscraping沃尔玛产品具有令人愉快的效果

Question

我正在尝试对Walmart的产品进行网络抓取。这是我尝试拉出的链接https://www.walmart.com/search/?query=&cat_id=91083我能够从页面成功抓取10种产品。这是我正在使用的代码。

const axios = require('axios');
const cheerio = require('cheerio');

axios.get('https://www.walmart.com/search/?query=&cat_id=91083').then( res => {
        var combino1 = [];
        const $ = cheerio.load(res.data);

        $('a.product-title-link').each( (index, element) => {
        const name = $(element)
        .first().text()
        combino1[index] = {name}
        })
        console.log(combino1);
    })

当我使用a.product-title-link]搜索dom时，它会显示40种产品。为什么我只能抓10个而不抓40个？

我正在尝试对Walmart的产品进行网络抓取。这是我要拉的链接https://www.walmart.com/search/?query=&cat_id=91083我能够从...

Answer 1

您的问题是，使用axios进行的呼叫只会使您获得服务器提供的HTML