使用 BeautifulSoup 单击 div 标签后抓取 html 页面

问题描述 投票:0回答:1

我在从网站上抓取问题和答案时遇到了一些麻烦:

https://tech12h.com/bai-hoc/trac-nghiem-lich-su-12-bai-1-su-hinh-thanh-trat-tu-gioi-moi-sau-chien-tranh-gioi-星期四

问题是答案仅在我单击 div Xem đáp án (向下滚动到末尾)时出现,但它不是链接,它只是一个 div,我猜它使用 Javascript 事件触发器在单击 div 后呈现内容.

我该如何用 Beautifulsoup 处理这个问题。当我在 Ubuntu 上使用时,我遇到了与 Selenium 驱动程序冲突的问题。

谢谢你

javascript python html beautifulsoup web-crawler
1个回答
0
投票

终于解决了我的问题,

由于 chrome 应用程序版本和 chrome-driver 版本(位于 usr/local/bin 中)之间的冲突,我无法运行驱动程序

我发现此存储库包含我的 chrome 应用程序版本:https://github.com/dreamshao/chromedriver

我下载了合适的版本,然后放入usr/local/bin文件夹中。

然后一切正常

© www.soinside.com 2019 - 2024. All rights reserved.