我正在编写一些Python客户端代码，由于一些环境限制，我想指定一个URL并控制它的解析方式。我可以使用 --resolve 标志通过curl 来完成此操作。有没有办法用Python的requests库做类似的事情？
理想情况下，这可以在 Python 2.7 中工作，但我也可以使 3.x 解决方案也能工作。
我已经尝试找出解决方案有一段时间了，最后偶然发现了这篇文章。 @supersam654提供的解决方案并没有立即对我起作用（使用https和python 3.8），但是几天的睡眠让我得到了这个无论版本如何都有效的解决方案（还没有测试太多版本，但是天真地希望事实如此）。
它也应该适用于 ipv6 - 尽管我也没有测试过。
解决方案的关键是对所有调用使用默认的 getaddrinfo() （对其输出不做任何假设） - 只需将主机名替换为 IP 地址即可覆盖它！因此，我对它的效果发表了宏大的声明;-)
import socket
dns_cache = {}
# Capture a dict of hostname and their IPs to override with
def override_dns(domain, ip):
dns_cache[domain] = ip
prv_getaddrinfo = socket.getaddrinfo
# Override default socket.getaddrinfo() and pass ip instead of host
# if override is detected
def new_getaddrinfo(*args):
if args[0] in dns_cache:
print("Forcing FQDN: {} to IP: {}".format(args[0], dns_cache[args[0]]))
return prv_getaddrinfo(dns_cache[args[0]], *args[1:])
else:
return prv_getaddrinfo(*args)
socket.getaddrinfo = new_getaddrinfo
要使用上述逻辑 - 只需在发出请求之前调用该函数即可（您可以使用 IP 地址或其他 FQDN 覆盖！）：
override_dns('www.example.com', '192.168.1.100')
我相信这是比我之前使用的 ForcedIPHTTPSAdapter 更好的解决方案。
经过一番挖掘后，我（不出所料）发现 Requests 通过要求 Python 来解析主机名（这就是要求你的操作系统来解析主机名）。首先，我找到了一些劫持 DNS 解析的示例代码（告诉 urllib2 使用自定义 DNS），然后我在 socket 文档中了解了有关 Python 如何解析主机名的更多详细信息。然后只需将所有东西连接在一起即可：
import socket
import requests
def is_ipv4(s):
# Feel free to improve this: https://stackoverflow.com/questions/11827961/checking-for-ip-addresses
return ':' not in s
dns_cache = {}
def add_custom_dns(domain, port, ip):
key = (domain, port)
# Strange parameters explained at:
# https://docs.python.org/2/library/socket.html#socket.getaddrinfo
# Values were taken from the output of `socket.getaddrinfo(...)`
if is_ipv4(ip):
value = (socket.AddressFamily.AF_INET, 0, 0, '', (ip, port))
else: # ipv6
value = (socket.AddressFamily.AF_INET6, 0, 0, '', (ip, port, 0, 0))
dns_cache[key] = [value]
# Inspired by: https://stackoverflow.com/a/15065711/868533
prv_getaddrinfo = socket.getaddrinfo
def new_getaddrinfo(*args):
# Uncomment to see what calls to `getaddrinfo` look like.
# print(args)
try:
return dns_cache[args[:2]] # hostname and port
except KeyError:
return prv_getaddrinfo(*args)
socket.getaddrinfo = new_getaddrinfo
# Redirect example.com to the IP of test.domain.com (completely unrelated).
add_custom_dns('example.com', 80, '66.96.162.92')
res = requests.get('http://example.com')
print(res.text) # Prints out the HTML of test.domain.com.
我在写这篇文章时遇到的一些警告：
httpshttps://443http://80getaddrinfois_ipv4迟到的答案，但有一个名为 forcediphttpsadapter 的模块正是这样做的：
pip3 install forcediphttpsadapter
import requests
from forcediphttpsadapter.adapters import ForcedIPHTTPSAdapter
url = 'https://domain.tld/path'
session = requests.Session()
session.mount(url, ForcedIPHTTPSAdapter(dest_ip='x.x.x.x')) # type the desired ip
r = session.get(url, verify=False)
print(r.text)
...
看起来最简单的途径是使用这个包：https://github.com/requests/requests-kerberos
使用可路由名称并将 hostname_override 值设置为 Kerberos 期望的名称。