Google Cloud Speech：区分声音？

Question

我有兴趣编写一个能够识别多个扬声器的语音识别应用程序。例如，如果 Bill、Joe 和 Jane 正在说话，那么应用程序不仅可以将声音识别为文本，还可以按说话者对结果进行分类（例如 0、1 和 2...因为显然/希望 Google 无法将声音链接到人）。

我正在寻找可以做到这一点的语音识别 API，而 Google Cloud Speech 是排名最高的 API。我查看了 API 文档，看看是否有这样的功能，但没有找到。

我的问题是：这个功能是否存在？

注意：Google 的支持页面表示，他们的工程师有时会在 SO 上回答这些问题，因此似乎有人可能对问题的“意愿”部分有答案。

Answer 1

IMB 的语音转文本服务可以做到这一点。如果您使用他们的休息服务，则非常简单，只需添加您希望在 url 参数中识别不同的扬声器即可。此处的文档 (https://console.bluemix.net/docs/services/speech-to-text/output.html#speaker_labels)

它的工作原理有点像这样：

 curl -X POST -u {username}:{password}
--header "Content-Type: audio/flac"
--data-binary @{path}audio-multi.flac
"https://stream.watsonplatform.net/speech-to-text/api/v1/recognize?model=en-US_NarrowbandModel&speaker_labels=true"

然后它将返回一个 json，其中包含结果和演讲者标签，如下所示：

{
 "results": [
    {
      "alternatives": [
        {
          "timestamps": [
            [
              "hello",
              0.68,
              1.19
            ],
            [
              "yeah",
              1.47,
              1.93
            ],
            [
              "yeah",
              1.96,
              2.12
            ],
            [
              "how's",
              2.12,
              2.59
            ],
            [
              "Billy",
              2.59,
              3.17
            ],
            . . .
          ]
          "confidence": 0.821,
          "transcript": "hello yeah yeah how's Billy "
        }
      ],
      "final": true
    }
  ],
  "result_index": 0,
  "speaker_labels": [
    {
      "from": 0.68,
      "to": 1.19,
      "speaker": 2,
      "confidence": 0.418,
      "final": false
    },
    {
      "from": 1.47,
      "to": 1.93,
      "speaker": 1,
      "confidence": 0.521,
      "final": false
    },
    {
      "from": 1.96,
      "to": 2.12,
      "speaker": 2,
      "confidence": 0.407,
      "final": false
    },
    {
      "from": 2.12,
      "to": 2.59,
      "speaker": 2,
      "confidence": 0.407,
      "final": false
    },
    {
      "from": 2.59,
      "to": 3.17,
      "speaker": 2,
      "confidence": 0.407,
      "final": false
    },
    . . .
  ]
}

他们还有针对不同平台的 Web 套接字选项和 SDK，可以访问此选项，而不仅仅是休息调用。

祝你好运

Answer 2

据我所知，当前没有任何提供商将其作为其语音识别 API 的内置部分。

我已使用 Microsoft 认知服务 - 说话者识别 API 进行类似的操作，但音频单独提供给 API 以使用其 语音识别 API。

能够将两者结合起来会很有用。

Answer 3

说话人识别和说话人区分之间存在很大差异。大部分云AI平台主要做的是说话人差异化。 但 Nuance 是唯一一家声称提供说话者识别功能的公司，但您需要购买他们的许可证。 https://www.nuance.com/en-nz/omni-channel-customer-engagement/security/multi-modal-biometrics.html

Answer 4

微软现在将说话人识别作为对话转录的一部分，结合了实时语音识别、说话人识别和分类。这是他们的语音服务的一项高级功能。此处对此进行了描述：

https://learn.microsoft.com/en-us/azure/cognitive-services/speech-service/conversation-transcription-service

有3个步骤：

1. 收集用户的语音样本。
2. 使用用户语音样本生成用户配置文件
3. 使用语音 SDK 识别用户（说话者）并转录语音

如下图所示：

目前仅限于以下地区的

en-US

和

zh-CN

：

centralus

和

eastasia

。

Answer 5

如果您正在寻找一个高质量、简单、快速、基于耳语的 API，可以识别多个说话者，我可以推荐这个 API，我个人使用它：https://rapidapi.com/Thomcle/api/说话人二值化语音识别/playground/apiendpoint_1fbdd4ad-2714-4e2b-8e73-5c88dc66af1e

Answer 6

Google 最近发布了在应用程序中访问用户位置、姓名和唯一 ID 的功能。

文档可以在以下位置找到： https://developers.google.com/actions/reference/nodejs/AssistantApp#getUser

使用 getUserName 获取用户名的示例：

const app = new DialogflowApp({request: req, response: res});
const REQUEST_PERMISSION_ACTION = 'request_permission';
const SAY_NAME_ACTION = 'get_name';

function requestPermission (app) {
const permission = app.SupportedPermissions.NAME;
 app.askForPermission('To know who you are', permission);
}

function sayName (app) {
  if (app.isPermissionGranted()) {
    app.tell('Your name is ' + app.getUserName().displayName));
  } else {
    // Response shows that user did not grant permission
    app.tell('Sorry, I could not get your name.');
  }
}
const actionMap = new Map();
actionMap.set(REQUEST_PERMISSION_ACTION, requestPermission);
actionMap.set(SAY_NAME_ACTION, sayName);
app.handleRequest(actionMap);