仅禁止主页 ( / ) 并允许 robots.txt 的所有其他页面

Question

我需要阻止 Google 网络爬虫仅抓取我的主页，位于 /

但是我需要允许抓取所有其他页面。我怎样才能做到这一点？

我尝试这样做：

User-agent: *
Disallow: /

User-agent: *
Disallow:

但是不起作用

Answer 1

为此，您需要使用以下内容：

User-agent: *
Disallow: /$

URL 的路径与

Disallow

指令进行比较。

$

指定匹配模式的结尾，因此

Disallow

指令将仅匹配

https://example.com/

而不是

https://example.com/foo

。