我试图刮Instagram以获得最近的发布日期。我正在使用硒来完成工作。但是当我使用get_element_by_xpath并给出日期文本的路径时,它表示找不到元素。我尝试使用滚动页面,但它没有用。
from bs4 import BeautifulSoup
import requests
import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
browser = webdriver.Chrome()
new='https://www.instagram.com/p/Bf1Xl9Pgvvy/?tagged=meditation'
##finding poster user link and date
browser.get(new)
element = WebDriverWait(browser, 10).until(EC.presence_of_element_located(browser.find_element_by_xpath('/html/body/div[4]/div/div[2]/div/article/div[2]/div[2]/a/time')))
您需要为您的任务使用尽可能简单的XPath。这对你有用:
element = WebDriverWait(browser, 10).until(EC.presence_of_element_located(browser.find_element_by_xpath('//time')))