使用 OpenAI 的实时 api 和 server-vad 模式

Question

我正在尝试设置实时 API，但我对音频到音频事件如何在

server_vad

模式下工作有点困惑。

目前我执行以下操作：

1. 设置实时客户端

const client = new RealtimeClient({ apiKey: process.env.OPENAI_API_KEY });

2. 设置客户端会话：

  instructions: "be nice and helpful",
  input_audio_transcription: { model: 'whisper-1' },
  turn_detection: { type: "server_vad" },
});

3. 监听事件：

  console.log("Realtime Event: ", event);
});

4. 连接：

client.connect()

5. 发送一些音频：

  client.appendInputAudio(data)

但是，除了

input_audio_append.event

之外，我从未收到过任何事件。我还需要采取其他步骤来确保收到回复吗？

Answer 1

open ai 有一个官方实现，使用react https://github.com/openai/openai-realtime-console