我需要解析一个site,但我收到了 403 Forbidden 错误。
这是代码:
url = 'http://worldagnetwork.com/'
result = requests.get(url)
print(result.content.decode())
输出为:
<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx</center>
</body>
</html>
有什么问题吗?
该页面似乎拒绝未识别
GET
的 User-Agent
请求。我使用浏览器 (Chrome) 访问了该页面,并复制了 User-Agent
请求的 GET
标头(在开发人员工具的“网络”选项卡中查看):
import requests
url = 'http://worldagnetwork.com/'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
result = requests.get(url, headers=headers)
print(result.content.decode())
# <!doctype html>
# <!--[if lt IE 7 ]><html class="no-js ie ie6" lang="en"> <![endif]-->
# <!--[if IE 7 ]><html class="no-js ie ie7" lang="en"> <![endif]-->
# <!--[if IE 8 ]><html class="no-js ie ie8" lang="en"> <![endif]-->
# <!--[if (gte IE 9)|!(IE)]><!--><html class="no-js" lang="en"> <!--<![endif]-->
# ...
只需添加阿尔贝托的答案:
如果添加
403 Forbidden
后仍然得到 user-agent
,则可能需要添加更多标头,例如 referer
:
headers = {
'User-Agent': '...',
'referer': 'https://...'
}
标题可以在开发者工具的
Network > Headers > Request Headers
中找到。 (按 F12
进行切换。)
如果您是服务器的所有者/管理员,并且接受的解决方案对您不起作用,请尝试禁用 CSRF 保护(链接到 SO 答案)。
我正在使用 Spring (Java),因此设置需要您创建一个
SecurityConfig.java
文件,其中包含:
@Configuration
@EnableWebSecurity
public class SecurityConfig extends WebSecurityConfigurerAdapter {
@Override
protected void configure (HttpSecurity http) throws Exception {
http.csrf().disable();
}
// ...
}