如何向下滚动 Twitter 页面以加载下一页并提取数据

Question

我正在尝试向下滚动 Twitter 状态上的评论，尝试提取包含所有评论的页面（或至少前 5 页）。使用硒驱动程序，但滚动部分不成功，所以我必须手动执行并提取。我正在使用 python 3.6.5 请帮忙...

例如这条推文 - https://twitter.com/TeamYouTube/status/1012415985184206848 谁能帮我写代码..

我的代码：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.keys import Keys
import time

driver = webdriver.Chrome(executable_path="...../chromedriver")
driver.get('https://twitter.com/TeamYouTube/status/1012415985184206848')

for i in range(1,10):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(3)

ip = input("Enter y to proceed: ")
if(ip == 'y'):
    page = driver.page_source
    filename = input('Enter file name : ')
    path = 'D:/page_'+filename+'.html'
    f = open(path,'w',encoding='utf-8')
    f.write(page)
f.close()
driver.close()

Answer 1

试试这个：

driver.execute_script("arguments[0].scrollTo(0, document.body.scrollHeight);", driver.findElement(By.id("#permalink-overlay-dialog")));

说明：您必须滚动特定的

div

。为了能够做到这一点，您必须在页面上找到此元素，然后滚动到页面末尾仅此元素。

第二个建议是使用：

from selenium.webdriver.common.keys import Keys
# locate element and simulate 'END' button press
driver.find_element_by_id("permalink-overlay-dialog").send_keys(Keys.END)

如果不起作用，也可以尝试使用 ActionChains 进行扩展：

from selenium.webdriver.common.action_chains import ActionChains

element = driver.find_element_by_id("permalink-overlay-dialog")
action = ActionChains(driver)
action.move_to_element(element).perform()
element.send_keys(Keys.END)