抓取所有这些链接

Question

我想抓取这个链接 点击该链接后，您将看到很多篮球比赛。我想把它们都“刮掉”。但我不知道如何自动完成。 例如：刮擦 1、刮擦 2 和 刮擦 3 我只有这个：

urlMom = "https://www.google.com/search?rlz=1C1CHBF_esES858ES858&sxsrf=ALeKk00vAYRnHmOE6qFRilFVywG3lzWqrg:1593765601198&q=liga+acb&spell=1&sa=X&ved=2ahUKEwij1o7E17DqAhXGSsAKHfPfB5EQBSgAegQIDBAq&biw=958&bih=927#sie=lg;/g/11hz1p2mky;3;/m/04mds4;mt;fp;1;;" 
page = requests.get(urlMom)
soup = BeautifulSoup(page.content, "html.parser")
links = soup.findAll("div", class_="imspo_mt__mit")

但是根本不起作用

Answer 1

此类网站的一个常见问题是内容是使用 JavaScript 动态生成的，这意味着不幸的是您无法抓取静态 html（即使用 Beautifull Soup）。

另一方面，您可以尝试使用

Selenium

库抓取数据，因为它可以渲染 JavaScript。 最后我强烈建议阅读：

scrape-page-with-dynamic-content

祝你一切顺利！