如何向下滚动并单击按钮以在python中连续网页抓取页面

Question

我想废弃整个页面以获取帐户链接，但问题是：

1. 我需要多次点击Load more按钮才能获得完整的帐户清单
2. 偶尔有一个弹出窗口，所以如何检测它并单击取消按钮

如果可能的话，我更愿意仅在请求时废弃整页。因为我必须点击按钮，所以想到使用selenium。

这是我的代码：

import time
import requests
from bs4 import BeautifulSoup
import lxml
from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://society6.com/franciscomffonseca/followers')

time.sleep(3)

try: driver.find_element_by_class_name('bx-button').click() #button to remove popup

except: print("no popups")

driver.find_element_by_class_name('loadMore').click #to click load more button

我正在使用一个有10K粉丝的测试页，想要废弃他们的粉丝帐户链接。我已经对剪贴板进行了编码，因此只需要查看完整的网页即可

https://society6.com/franciscomffonseca/followers

废弃代码以防万一：

r2 = requests.get('https://society6.com/franciscomffonseca/followers')
print(r2.status_code)
r2.raise_for_status

soup2 = BeautifulSoup(r2.content, "html.parser")
a2_tags = soup2.find_all(attrs={"class": "user"})

#attrs={"class": "user-list clearfix"}

follow_accounts = []

for a2 in a2_tags:
    follow_accounts.append('https://society6.com'+a2['href'])

print(follow_accounts)
print("number of accounts scrapped: " + str(len(follow_accounts)))

load more按钮的HTML：

<button class="loadMore" onclick="loadMoreFollowers();">Load More</button>

Answer 1

您可以直接向Society6 API发送请求，如下所示：

counter = 1

while True:
    source = requests.get('https://society6.com/api/users/franciscomffonseca/followers?page=%s' % counter).json()
    if source['data']['attributes']['followers']:
        for i in source['data']['attributes']['followers']:
            print(i['card']['link']['href'])
        counter += 1
    else:
        break

这将打印相对hrefs

/wickedhonna
/wiildrose
/williamconnolly
/whiteca1x

如果你想要绝对的hrefs只需要替换

print(i['card']['link']['href'])

同

print("https://society6.com" + i['card']['link']['href'])