当搜索引擎（google、bing 等）抓取网站时，搜索引擎抓取网站的典型最大深度是多少。我所说的深度是指从主页开始的跳转次数。
这取决于您网站的整体排名以及传入链接的排名，特别是如果它们没有指向您的主页。
像 blekko 这样的小型搜索引擎的爬虫不会远离外部链接的着陆点，除非您的整个网站很棒或者您有很多来自很棒网站的链接。我们为排名较高的内容节省爬行和索引能量，因此，如果我们估计某个页面排名较差，我们就不会打扰。
即使您只有较差的内链配置文件，Google 的抓取工具也可能会爬行相当长的距离 - 但即使他们知道的网址也比实际爬行的网址多 10 倍。
如果你想爬行整个世界那么19深度就足够了。因为整个世界都覆盖在19个深度。但如果您想抓取特定域或国家/地区，那么 10 深度就足够了。
我从一篇论文中找到了此信息。用于开发墨卡托。
谢谢 莫胡尔·阿拉姆王子