有没有办法阻止 Googlebot 对页面的某些部分建立索引？

Question

是否可以对 Google 的指令进行微调，使其忽略页面的一部分，但仍对其余部分进行索引？

我们遇到了一些不同的问题，这将有助于解决这些问题，例如：

• 页面上显示外部源内容的 RSS 提要/新闻收报机类型文本
• 输入联系电话等详细信息的用户希望这些信息在网站上可见，但又不想被谷歌搜索到

我知道上述两个问题都可以通过其他技术来解决（例如使用 JavaScript 编写内容），但我想知道是否有人知道 Google 是否已经提供了更清晰的选项？

我对此进行了一些挖掘，并提到了

googleon

和

googleoff

标签，但这些似乎是 Google Search Appliance 独有的。

有谁知道 Googlebot 是否会遵守一组类似的标签？

编辑：只是为了澄清一下，我不想走上向谷歌隐藏/提供不同内容的危险路线，这就是为什么我想看看是否有一种“合法”的方式来实现我的目标想要在这里做。

Answer 1

你所要求的，实际上无法完成，谷歌要么占据整个页面，要么不占据任何页面。

您可以使用一些偷偷摸摸的技巧，例如插入您不想在 iFrame 中建立索引的页面部分，并使用 robots.txt 要求 Google 不要为该 iFrame 建立索引。

Answer 2

简而言之，不 - 除非 Google 不鼓励您使用隐藏内容。

Answer 3

请从这里查看官方文档

http://code.google.com/apis/searchappliance/documentation/46/admin_crawl/Preparing.html

转到“从索引中排除不需要的文本”部分

<!--googleoff: index-->
here will be skipped
<!--googleon: index-->

Answer 4

找到了使用某些重复内容的有用资源，并且不允许搜索引擎对此类内容进行索引。

<p>This is normal (X)HTML content that will be indexed by Google.</p>

<!--googleoff: index-->

<p>This (X)HTML content will NOT be indexed by Google.</p>

<!--googleon: index>

Answer 5

如果您担心的是您不希望出现在搜索结果片段中的页面部分，您可以使用

data-nosnippet

属性

https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag#data-nosnippet-attr

Answer 6

在您的服务器上使用 PHP 或 ASP 通过 IP 检测搜索机器人。 然后将您希望索引的页面版本提供给属于该列表的 IP 地址。 在页面的搜索引擎友好版本中，使用规范链接标签向搜索引擎指定您不希望被索引的页面版本。

这样，包含想要索引的内容的页面将仅按地址索引，而只有您希望索引的内容才会被索引。 此方法不会让您被搜索引擎屏蔽，并且完全安全。

Answer 7

是的，您当然可以通过创建自定义 robots.txt 来阻止 Google 为您网站的某些部分建立索引，并编写您不想像 wpadmins 那样索引的部分，或者特定的帖子或页面，这样您就可以通过创建此 robots 轻松地做到这一点.txt 文件。在创建之前检查您的网站 robots.txt，例如 www.yoursite.com/robots.txt。

Answer 8

所有搜索引擎要么索引要么忽略整个页面。实现你想要的唯一可能的方法是：

(a) 同一页面有两个不同版本

(b) 检测使用的浏览器

(c) 如果是搜索引擎，则提供页面的第二个版本。

此链接可能会有所帮助。

Answer 9

有机器人的元标签，还有 robots.txt，您可以用它来限制对某些目录的访问。