我在Google上发现我无法使用X-Robots-Tag进行索引/禁用。有很多网页告诉我如何在单个文件,整个网站和目录上执行此操作。这是我应该为单个文件执行的方式:
<FilesMatch "robots.txt">
Header set X-Robots-Tag "noindex"
</FilesMatch>
但是我需要索引一个网站中的多个文件,并且无法弄清楚该如何做。我已经在Google和stackoverflow中进行搜索,但尚未找到答案。有人可以帮我吗?
[花了我几个星期的时间,尝试使用一个深于三个目录的路径,以便对我网站上的某些文件进行索引。我花了很长时间试图弄清楚该怎么做,最后发现您只需要使用不带路径的文件名,Apache将规则应用于具有所提供文件名的文件系统中的任何文件。所以这就是我最终所做的,我认为这对我有用:
# Prevent search engines from indexing some files
<FilesMatch "^(about-cosma.html|footer.html|menu.html|acerca-de-cosma.html|es-footer.html|es-menu.html)">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>
本文帮助了我。 https://gist.github.com/ankurk91/ee339291c6666dcba794