请求标头中的用户代理不可用

Question

我正在捕获网站的

User-Agent

的

Request Headers

属性，并观察到对于大约 20% 的请求，该属性本身不可用。

NameValueCollection nvcReqHeaders = HttpContext.Current.Request.Headers;
foreach (string key in nvcReqHeaders.AllKeys)
{
   Log.AppendLine(key + " : " + nvcReqHeaders[key]);
}

我想了解一下，这可能是什么原因。当页面请求不是来自浏览器时会发生这种情况吗？这可能来自机器人吗？

Answer 1

当然，这可能是由于：

• 非浏览器客户端（来自脚本或 API 的请求可能不包含它。）
• 机器人和爬虫（许多不发送用户代理或使用通用代理。）
• 隐私设置（某些用户出于隐私原因阻止或修改此标头。）
• 代理/防火墙（这些可能会删除某些标头，包括用户代理。）
• 广告拦截器（某些用户可能有删除或更改它的设置。）

不幸的是，我找不到任何在线文档与您分享有关该主题的内容，但这些是我多年前知道的基本知识，希望对您有所帮助。