部署huggingface模型

Question

在学习本教程时，我一直在尝试在 sagemaker 中使用 Llava 端点（https://github.com/aws-samples/multimodal-rag-on-slide-decks/blob/main/Blog1-TitanEmbeddings-LVM/笔记本/0_deploy_llava.ipynb）。 我没有使用过 Cloudformation，我只是对部署模型本身感兴趣。 但是，端点已部署，当我尝试调用它时，出现以下错误：

ModelError：调用 InvokeEndpoint 操作时发生错误 (ModelError)：从主服务器收到客户端错误 (400)，消息为“{ “代码”：400， “类型”：“内部服务器异常”， "message": "GET 无法找到执行此计算的引擎" }

不太确定该怎么做以及确切的问题是什么。

我已成功部署模型，确认 Sagemaker 角色已附加所有端点策略。

Answer 1

这似乎与文档中的 CUDA 有关这里 运行 nvidia-smi 和 nvcc --version 的 cuda 版本需要匹配

您检查过端点的日志吗？