我正在使用 selenium 和 unDetected_chromedriver 从 9gag 中抓取模因。我通过打印标题来测试代码,大约需要 7 到 10 秒。我不确定这是否正常。我想知道是否有办法让这个过程更快。
这是我的代码:
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
import undetected_chromedriver as uc
options = Options()
options.headless = True
driver = uc.Chrome(service=Service(ChromeDriverManager().install()), options=options)
driver.get("https://9gag.com/gag/a5EAv9O")
print(driver.title)
刚开始时我做了一些 9gag 的抓取:)
您的代码需要很长时间才能运行的原因可能是因为您正在运行
ChromeDriverManager().install()
?每次都安装它。您只需要做一次。
Selenium 需要几秒钟才能启动,所以它实际上不是
driver.get("https://9gag.com/gag/a5EAv9O")
print(driver.title)
这需要很长时间,但是正在旋转。所以别担心,继续吧。
你使用VPN吗?我遇到了同样的问题,直到我停止我的VPN。使用任何使用网络外部连接的库的 python 的所有内容都非常慢。这解决了它。