我正在尝试从我的服务器中阻止机器人。但我所有的努力似乎都不正确。
有很多我想阻止的机器人，但我只提到了 1 个
cPHulk 蛮力保护中的第一个块
第二个我在 iptable 中阻止
tail -100 /var/log/nginx/access.log | grep -i "dataforseo" | awk -F" " '{print $1}' | sort -u > numbers.txt
while read -r ip
do
# echo
# iptables -A INPUT -m iprange --src-range $ip.0-$ip.255 -j DROP
iptables -A INPUT -s $ip -j DROP
service iptables save
done < numbers.txt
然后我在 Cloudflare 的 Web 应用程序防火墙中阻止我添加
"Field"=referer "Oprator"=contain "Value"= dataforseo
我也在 robots.txt 中加入了 disallow https://whoisdatacenter.com/robots.txt
在所有这些之后我的结果就像
tail -f /var/log/nginx/access.log | grep dataforseo
136.243.228.182 - - [04/May/2023:13:05:12 +0000] "GET /domain/albeegator.com/ HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)" "136.243.228.182"