致电 aws bedrock 代理

Question

boto3 bedrockruntime中有converse和converse_stream，但为什么bedrock-agent-runtime只有invoke_agent？我应该只用这个吗？或者还有什么方法可以打电话给agent吗？我希望收到流媒体形式的回复。

可以使用 bedrock-agent-runtime 调用 invoke_agent。不过，大约需要3到5秒的时间才能做出反应。我正在尝试使用 converse 或 converse_stream 来减少这部分，但我在代理运行时没有看到该函数。

Answer 1

还有

invoke_model_with_response_stream()

。

Boto3 文档：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock-runtime/client/invoke_model_with_response_stream.html

AWS 代码示例库中使用 Python 和其他语言的示例：https://docs.aws.amazon.com/code-library/latest/ug/bedrock-runtime_example_bedrock-runtime_InvokeModelWithResponseStream_AnthropicClaude_section.html

话虽如此，对于 Bedrock 上的所有文本模型，我推荐

converse()

或

converse_stream()

，因为它们提供了不同模型提供者的本机 JSON API 的强类型抽象。