禁止 pdf 文件建立索引 (Robots.txt)

Question

我有一些不应该被索引的链接。我需要从谷歌中删除它们。我应该在 robots.txt 中输入什么 链接示例 http://sitename.com/wp-content/uploads/2014/02/The-Complete-Program-2014.pdf

Answer 1

使用 robots.txt，您可以禁止 爬行 ，而不是 索引 。

有了这个robots.txt

User-agent: *
Disallow: /wp-content/uploads/2014/02/The-Complete-Program-2014.pdf

路径以

/wp-content/uploads/2014/02/The-Complete-Program-2014.pdf

开头的URL不允许被抓取。

但是，如果机器人以其他方式找到此 URL（例如，由其他人链接），他们可能仍然会对其进行索引（无需抓取/访问它）。对于已经对其建立索引的搜索引擎也是如此：他们可能会保留它（但不会再访问它）。

要禁止索引，您可以使用 HTTP 标头

X-Robots-Tag

和

noindex

参数。在这种情况下，您不应该阻止抓取robots.txt中的文件，否则机器人将永远无法看到您的标题（因此它们永远不会知道您不希望该文件被索引）。

Answer 2

要阻止搜索引擎索引中的所有 PDF，请使用以下内容创建

robots.txt

：

User-agent: *
Disallow: *.pdf