我希望页面中的某些内容可被抓取，但不应被索引

Question

问题：

• 一个像 https://websiteurl/person/{person} 这样的页面，其中有一些与该人相关的内容（包括图像、描述），并且在此页面中有一个名为 （相关人员） 的部分，其中包括链接到其他人的页面。
• 现在，当我在谷歌搜索中搜索那个人的名字时，它会显示该人的名字和图像，但是同时它还显示其他人的图像，我们不希望这样。
• 因此，为此，我希望爬虫抓取那些相关人员链接，但不想与该人员页面关联（不要将相关人员链接与给定人员页面建立索引）。

废弃溶液： 使用元标记机器人没有索引将不起作用。因为它在页面级别工作，我们不希望整个页面不可索引。

Answer 1

对于上述问题我想出了：-

• 向图像 src uri 添加了查询参数，例如 noindex=1。这看起来像 www.website.com/Image/{nameOfImage}.jpeg?noindex=1
• 向 robots.txt 添加添加规则，例如 *?noindex=1 到 Disallow: 部分 将告诉爬虫不要爬行该链接。