奇怪的场景/隐藏 Google 抓取工具的名称

问题描述 投票：0回答：2

我的客户有一个博客，希望对 Google 抓取工具隐藏所有提到的名称。出于这个原因，他写下了所有的个人名字，就像这个一样，每个字母之间用点分隔。这种方法似乎有效，但当我现在正在重建他的网站时，我正在寻找仍然有效的方法，但看起来不那么糟糕并且可读。点状图案很容易用 regEx 替换，我用 PHP 去掉这些点没有问题，但我的问题是，我应该将它们替换成什么？

  • 我想到了标签 l.i.k.e s.o，所以这些点可以通过 CSS 隐藏，但这些标签不会被爬虫剥离，让名称响亮而清晰吗？
  • 将这些点留在源代码中但通过 JS 剥离它们怎么样？爬虫会看到结果还是来源？
  • 还有什么我没想到的吗？

感谢您的提示和想法！

web-crawler google-crawlers
2个回答
2
投票

您从 JavaScript 文件写入页面的任何内容（如果被 

robots.txt
阻止爬行）都不会被搜索引擎索引。

file.html

<!doctype html>
<html><head>
<script src=/write_name.js>
</head><body>
Your name is <div id=name1></div>
</body></html>


write_name.js

document.addEventListener("DOMContentLoaded",function(){
    document.getElementById('name1').innerText = "John Doe"
})



robots.txt

User-Agent: *
Disallow: /write_name.js

请参阅防止机器人抓取页面的特定部分

-2
投票

我有一个关于机器人的问题。 TXT 如果我输入语法 User-agent: * 这意味着所有机器人都可以在该特定网站上爬行 如果我输入 Disallow: / 这意味着没有其他机器人，但是对于我不想要该特定页面的任何特定机器人呢，所以我还需要提及该机器人和页面吗？

最新问题
© www.soinside.com 2019 - 2024. All rights reserved.