使用BeautifulSoup进行Web抓取时出现“浏览器不支持”错误

Question

我正在尝试网络抓一个网站，但我一直得到这个“浏览器不支持”错误。有谁知道如何解决这一问题？谢谢。

import bs4
import requests

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/39.0.2171.95 Safari/537.36'}

session = requests.get("https://revengeofficial.com/webstore", headers=headers)

page = bs4.BeautifulSoup(session.text, "html.parser")

print(page.title.text)

输出：http://prntscr.com/kozv1x

编辑：多次尝试后我仍然无法找到解决方案，其他人可以帮忙吗？

Answer 1

以下用户代理似乎有效：

import bs4
import requests

headers={'User-Agent': 'Mozilla/5.0 (iPad; U; CPU OS 3_2_1 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/7B405'}
session = requests.get("https://revengeofficial.com/webstore", headers=headers)
page = bs4.BeautifulSoup(session.text, "html.parser")

print(page.title.text)

这显示：

WEBSHOP — Revenge — Official Clothing Shop

如果这对您不起作用，请尝试使用其他IP地址发出请求。您也可能向服务器发出了太多请求。

使用Python 3.6.3，请求2.18.4，BeautifulSoup 4.6.0进行测试

Answer 2

我认为问题与user-agent标头有关。我尝试用你的用户代理在POSTMAN中做一个GET请求但它不起作用，但是这个做了：

'用户代理' ; 'Mozilla / 5.0（Windows NT 6.1; Win64; x64）AppleWebKit / 537.36（KHTML，与Gecko一样）Chrome / 68.0.3440.106 Safari / 537.36'