Nuxt.js robots.txt 文件每个用户代理多次禁止

Question

使用 Nuxts nuxt-robots 模块如何配置多个不允许每个用户代理。目前我有：

  robots: () => {
    return {
      UserAgent: '*',
      Disallow: '/search/',

      Sitemap: (req) => `https://${req.headers.host}/sitemap.xml`,
    }
  },

但是我需要输出：

User-agent: *
Disallow: /search/
Disallow: /testimonials/

User-agent: MJ12bot
Disallow: /search/
Disallow: /testimonials

Answer 1

如果你想要多个元素，你可能需要使用数组。

这样的东西不行吗？

robots: () => {
  return [
    {
      UserAgent: '*',
      Disallow: '/search/',
      Sitemap: (req) => `https://${req.headers.host}/sitemap.xml`,
    },
    {
      UserAgent: 'MJ12bot',
      Disallow: '/search/',
      Sitemap: (req) => `https://${req.headers.host}/sitemap.xml`,
    },
  ]
}

类似于数组方法：https://github.com/fengsi-io/nuxt-robots#array

Answer 2

您可以通过在机器人配置中将禁止路径指定为数组来实现此目的。

robots: {
  rules: {
    UserAgent: '*',
    Disallow: ['/auth/', '/settings', '/create-pitchdeck', '/search'],
  },
},

此配置的输出将是：

User-agent: *
Disallow: /auth/
Disallow: /settings
Disallow: /create-pitchdeck
Disallow: /search