我有一个拥有 WordPress 网站的客户，我正在与她合作以整体改进该网站。我们重新设计了它，修改了内容，重新启动了它，我们获得了更多的流量。
但是，Ahrefs 无法加载 robots.txt 文件。需要明确的是，我们网站的 robots.txt 内容并没有在规则中阻止 Ahrefs 作为机器人，而是请求超时且从未响应。这很奇怪，因为我可以在浏览器中加载 robots.txt 文件，Google 可以打开它，并且我可以验证 Google 正在查看 Robots 文件并使用指定的 Sitemap 文件成功抓取该网站。我还可以使用其他第 3 方工具来成功加载我们的 Robots.txt 文件。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/uploads/wpo-plugins-tables-list.json
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap.rss
但是 Ahrefs 显示超时并且没有响应。 WP 网站安装了 All-in-One SEO 插件。我在这里没有看到任何有关阻止访问 Ahrefs 的内容，如果是的话 - 他们可能会将其放入机器人文件本身中。
我查看了所有插件，没有看到任何阻止 IP 或特定机器人的设置或配置。
我查看了CPanel，没有IP被屏蔽。我已检查
.htaccess我已经联系了运行网络服务器的公司，他们表示他们对服务器没有任何IP限制。
我还能在哪里检查可能阻止该机器人加载网站的配置？
我也有同样的问题。我禁用了所有插件，清除了缓存，然后进行了另一次审核。它能够纠正这个问题。然后我重新打开我的插件。 WordPress 插件可能会导致 ahrefs 和 aduits 出现问题