如何阻止搜索引擎为根目录.php和.html文件以外的文件和子目录建立索引，而不列出目录名称？

Question

我想这样做，以便搜索引擎仅索引我的网站根目录中的.html和.php文件，而没有子目录。我想要这样做而实际上没有在robots.txt文件中列出明确的目录名称，因此对于黑客和恶意人员而言，要轻易找到我的秘密和重要目录并不容易。因此，例如：

Index:
domainname.com/index.php
domainname.com/index.html
domainname.com
domainname.com/

没有索引：

domainname.com/randomdirectory / *

domainname.com/index.htmldfgdfgg

domainname.com/randomfile.example

domainname.com/index.phpffgfdfgdf

到目前为止，这是我的代码（我绝对不是robots.txt的专家）：

User-agent: *
Disallow: //*$
Disallow: /*$
Allow: /*.php$
Allow: /*.html$
Allow: /$
Allow: $
Disallow: /*/*

Answer 1

用户代理：*不允许：/ *。example $

即

不允许：/ *。extensionation $