云环境抓取中无法绕过Cloudflare

问题描述 投票:0回答:1

总结

我正在尝试在 OCI 环境中实施绕过 Cloudflare 的抓取过程,但没有成功。它在我的本地环境中使用多种方法工作,但在云环境中失败。我应该假设 OCI 的 IP 地址已被 Cloudflare 列入黑名单吗?

如果有人对此有了解,我将不胜感激您的指导。

我尝试过的事情

用Python抓取

  • 无驱动程序:模块
  • 驾驶页面:模块
  • flaresolverr:Docker 代理

环境

本地

  • 机器:配备M2芯片的Mac mini
  • macOS:索诺玛 14.6.1

  • OKE(Oracle Linux,基于 ARM)
  • OCI 实例(Oracle Linux、基于 ARM、Ubuntu)

成功/失败

无驱动程序

  • 本地:在 Mac 上成功绕过 Cloudflare
  • Cloud:无法绕过 OCI 实例上的 Cloudflare(尽管该过程正常完成)

驾驶页面

  • 本地:在 Mac 上成功绕过 Cloudflare
  • Cloud:无法绕过 OCI 实例上的 Cloudflare(尽管该过程正常完成)

flaresolver

  • 本地:通过运行 Docker Compose 设置代理容器并在 Python 中使用代理,成功绕过 Cloudflare
  • Cloud (OKE):无法使用在 pod 上运行的代理容器和使用代理的 Python 绕过 Cloudflare(进程正常完成)
  • Cloud(OCI 实例):无法通过实例上运行的代理容器和使用代理的 Python 绕过 Cloudflare(进程正常完成)
python ubuntu kubernetes web-scraping oracle-cloud-infrastructure
1个回答
0
投票

Cloudflare 端发生更改后(2024 年 9 月),Flaresolverr 在解决挑战方面存在问题。您可以尝试:https://github.com/yoori/flare-bypasser - 它对很多人都有效

© www.soinside.com 2019 - 2024. All rights reserved.