带有 Python 后端流的 Triton 推理服务器

Question

我正在使用带有 python 后端的 Triton 推理服务器，目前发送单个 grpc 请求，有人知道我们如何使用带有流式传输的 python 后端吗，因为我没有找到任何示例或与流式传输文档相关的任何内容。

Answer 1

Hey 撰写了详细教程 - 使用 NVIDIA Triton Inference 和 SSE over HTTP 构建实时流应用程序。您可以在此处查看代码和分步指南 - https://www.inferless.com/learn/building-real-time-streaming-apps-with-nvidia-triton-inference-and-sse-over-http