Modsecurity & Apache：如何通过标头限制访问速率？

Question

我让 Apache 和 Modsecurity 一起工作。我试图通过请求的标头（如“facebookexternalhit”）来限制命中率。然后返回友好的“429 Too Many Requests”和“Retry-After: 3”。

我知道我可以读取一个标题文件，例如：

SecRule REQUEST_HEADERS:User-Agent "@pmFromFile ratelimit-bots.txt"

但是我在制定规则时遇到了麻烦。

任何帮助将不胜感激。谢谢你。

Answer 1

经过两天的研究和了解 Modsecurity 的工作原理，我终于做到了。仅供参考，我正在使用 Apache 2.4.37 和 Modsecurity 2.9.2 这就是我所做的：

在我的自定义文件规则中：

/etc/modsecurity/modsecurity_custom.conf

我添加了以下规则：

# Limit client hits by user agent
SecRule REQUEST_HEADERS:User-Agent "@pm facebookexternalhit" \
    "id:400009,phase:2,nolog,pass,setvar:global.ratelimit_facebookexternalhit=+1,expirevar:global.ratelimit_facebookexternalhit=3"
SecRule GLOBAL:RATELIMIT_FACEBOOKEXTERNALHIT "@gt 1" \
    "chain,id:4000010,phase:2,pause:300,deny,status:429,setenv:RATELIMITED,log,msg:'RATELIMITED BOT'"
    SecRule REQUEST_HEADERS:User-Agent "@pm facebookexternalhit"
Header always set Retry-After "3" env=RATELIMITED
ErrorDocument 429 "Too Many Requests"

说明：

注意：我想限制为每 3 秒 1 个请求。

1. 第一条规则将请求标头用户代理与“facebookexternalhit”进行匹配。如果匹配成功，它会在 global 集合中创建 ratelimit_facebookexternalhit 属性，初始值为 1（每次匹配用户代理时都会增加该值）。然后，它设置这个var的过期时间为3秒。如果我们收到与“facebookexternalhit”匹配的新点击，则ratelimit_facebookexternalhit 的总和将为1。如果 3 秒后我们没有收到与“facebookexternalhit”匹配的点击，ratelimit_facebookexternalhit 将消失，并且此过程将重新启动。
2. 如果 global.ratelimit_clients > 1（我们在 3 秒内收到 2 次或更多点击）并且用户代理匹配“facebookexternalhit”（这个 AND 条件很重要，因为否则如果产生匹配，所有请求都将被拒绝），我们设置 RATELIMITED=1 ，以 429 http 错误停止操作，并在 Apache 错误日志中记录一条自定义消息：“RATELIMITED BOT”。
设置
3. RATELIMITED=1 只是为了添加自定义标头“Retry-After: 3”。在这种情况下，这个变量由Facebook的爬虫（facebookexternalhit）解释，并将在指定的时间内重试操作。
4. 我们为 429 错误映射自定义返回消息（如果需要）。

您可以通过添加 @pmf 和 .data 文件来改进此规则，然后初始化全局集合（如

initcol:global=%{MATCHED_VAR}

），这样您就不仅限于规则的单个匹配。我没有测试最后一步（这是我现在需要的）。如果有的话我会更新我的答案。

更新：

我已经调整了规则，以便能够拥有一个包含我想要速率限制的所有用户代理的文件，因此可以在多个机器人/爬虫之间使用单个规则：

# Limit client hits by user agent
SecRule REQUEST_HEADERS:User-Agent "@pmf data/ratelimit-clients.data" \
    "id:100008,phase:2,nolog,pass,setuid:%{tx.ua_hash},setvar:user.ratelimit_client=+1,expirevar:user.ratelimit_client=3"

SecRule USER:RATELIMIT_CLIENT "@gt 1" \
    "chain,id:1000009,phase:2,deny,status:429,setenv:RATELIMITED,log,msg:'RATELIMITED BOT'"                                                                                     
    SecRule REQUEST_HEADERS:User-Agent "@pmf data/ratelimit-clients.data"

Header always set Retry-After "3" env=RATELIMITED

ErrorDocument 429 "Too Many Requests"

因此，带有用户代理的文件（每行一个）位于此规则同一目录下的子目录中：

/etc/modsecurity/data/ratelimit-clients.data

。然后我们使用 @pmf 读取并解析该文件（https://github.com/SpiderLabs/ModSecurity/wiki/Reference-Manual-(v2.x)#pmfromfile）。我们使用用户代理初始化 USER 集合：

setuid:%{tx.ua_hash}

（tx.ua_hash位于

/usr/share/modsecurity-crs/modsecurity_crs_10_setup.conf

中的全局范围内）。我们只是使用 user 作为集合而不是 global。仅此而已！

Answer 2

使用“deprecatevar”可能会更好， 你可以允许更大一点的突发宽容

# Limit client hits by user agent
SecRule REQUEST_HEADERS:User-Agent "@pmf data/ratelimit-clients.data" \
        "id:100008,phase:2,nolog,pass,setuid:%{tx.ua_hash},setvar:user.ratelimit_client=+1,deprecatevar:user.ratelimit_client=3/1"
SecRule USER:RATELIMIT_CLIENT "@gt 1" \
        "chain,id:100009,phase:2,deny,status:429,setenv:RATELIMITED,log,msg:'RATELIMITED BOT'"                                                                 
            SecRule REQUEST_HEADERS:User-Agent "@pmf data/ratelimit-clients.data"
    
Header always set Retry-After "6" env=RATELIMITED
    
ErrorDocument 429 "Too Many Requests"

Answer 3

不幸的是，这个规则似乎不适用于 OpenLiteSpeed。您能帮我重写这个 ModSecurity 规则以使其与 OpenLiteSpeed 兼容吗？