总结
我正在尝试在 OCI 环境中实施绕过 Cloudflare 的抓取过程,但没有成功。它在我的本地环境中使用多种方法工作,但在云环境中失败。我应该假设 OCI 的 IP 地址已被 Cloudflare 列入黑名单吗?
如果有人对此有了解,我将不胜感激您的指导。
我尝试过的事情
用Python抓取
- 无驱动程序:模块
- 驾驶页面:模块
- flaresolverr:Docker 代理
环境
本地
- 机器:配备M2芯片的Mac mini
- macOS:索诺玛 14.6.1
云
- OKE(Oracle Linux,基于 ARM)
- OCI 实例(Oracle Linux、基于 ARM、Ubuntu)
成功/失败
无驱动程序
- 本地:在 Mac 上成功绕过 Cloudflare
- Cloud:无法绕过 OCI 实例上的 Cloudflare(尽管该过程正常完成)
驾驶页面
- 本地:在 Mac 上成功绕过 Cloudflare
- Cloud:无法绕过 OCI 实例上的 Cloudflare(尽管该过程正常完成)
flaresolver
- 本地:通过运行 Docker Compose 设置代理容器并在 Python 中使用代理,成功绕过 Cloudflare
- Cloud (OKE):无法使用在 pod 上运行的代理容器和使用代理的 Python 绕过 Cloudflare(进程正常完成)
- Cloud(OCI 实例):无法通过实例上运行的代理容器和使用代理的 Python 绕过 Cloudflare(进程正常完成)