如何在“vertexai”中对预训练（bison）聊天模型的令牌进行编码/解码？

Question

在

vertexai

或

google.cloud.aiplatform

中是否存在用于预训练聊天和文本模型（例如 bison）的 Tiktoken 等效项？

我希望能够在发送请求之前计算令牌，以便我可以通过编程方式确定将哪些信息以及多少信息放入 context

、

examples

 和 

message_history

 属性中。

我能找到的最接近的东西是对返回所使用的计费令牌的API端点的引用：

https://cloud.google.com/vertex-ai/docs/generative-ai/get-token-count。我不想仅仅为了获得计数而进行缓慢的 HTTPS 往返。

此外，当输入大小导致其无法用作截断信号时，

send_message

异常并不清楚。例外的是这个相当模糊的消息：

400 无法处理请求。最可能的原因是提供的输入超出了模型的输入令牌限制。

Answer 1

假设您现在使用 Gemini 而不是 Bison，您可以使用 Vertex AI SDK for Python（从版本 1.57.0 开始）在本地计算文本标记。
查看这篇 Medium 文章了解详细信息：
• 在本地计算 Gemini 文本标记。