我正在使用 BeautifulSoup 和 Selenium 来抓取 Goodreads 上的评论。我能够得到我想要的结果,但我想使用操作来单击“显示更多评论”按钮,以便页面不断加载,并且我可以重复代码以获得更多评论。
HTMl 如下所示:在此处输入图像描述 没有像 ID 这样的“唯一”标识符可用于定位“显示更多评论”按钮;该类与页面上的其他按钮相同。我不确定如何具体针对这个目标。
我尝试过各种我能想到的“By.__”变体,甚至是 XPath。
您可以在浏览器中按F12定位到span元素,然后右键单击
Copy
->Copy XPath
或Copy full XPath
即可获取span元素的位置。