如何停止搜索引擎索引维护页面

Question

我需要为我正在运行的网站设置一个维护页面，例如当我执行站点维护（计划的停机时间）或者某些东西确实发生故障并且我需要建立一个保留页面时显示。

我需要做些什么特别的事情来确保搜索引擎爬虫不会将其编入索引并认为这是我的网站。或者我应该执行 404、添加临时 robots.txt 文件或其他内容？我基本上不希望他们将其索引为我的网站，但我也不希望他们认为我的网站已经死了并且不再回来。

编辑：这是我在 Apache 中所做的：ErrorDocument 503 /.server-maintenance.html RewriteEngine On RewriteRule !^.server-maintenance.html /server-maintenance Redirect 503 /server-maintenancestrong text

Answer 1

您应该发送

503 Service Unavailable

HTTP 状态代码，而不是

404

。将此与

Retry-After

标头结合使用，告诉机器人何时回来。

Answer 2

您可以使用robots.txt

http://www.robotstxt.org/

此外，谷歌在其网站管理员工具中有一个验证器。

https://www.google.com/webmasters/tools/

Answer 3

返回

503 Service Unavailable

告诉 Google 机器人稍后再回来。有一个 Google 支持页面 描述了 HTTP 错误代码以及如何解释它们。

您还可以使用 Retry-After 响应标头建议重新检查站点可用性的最短时间。

Answer 4

另一种方法是不从您网站（或任何其他网站）上的任何其他页面链接维护页面。