我想使用自定义训练模型在 Google Cloud 的 vertex.ai 内运行批量预测。 我能够找到文档,通过设置端点来使用自定义构建的 Docker 映像进行在线预测,但我似乎找不到任何有关批量预测的 Dockerfile 的文档。 具体来说,我的自定义代码如何获取输入以及将输出放在哪里?
我找到的文档是here,看起来确实可以使用自定义模型,当我尝试时它没有抱怨,但最终它确实抛出了错误。 根据文档,运行批处理作业不需要端点。
您可以使用为在线预测部署的相同自定义模型来进行批量预测。
只需确保您的输入数据源采用以下 jsonl、csv 格式等允许的格式。
https://cloud.google.com/vertex-ai/docs/predictions/get-batch-predictions#json-lines
在 Vertex AI UI 中的 Batch Predictions 中提供输入目录和输出 gs 目录。
它将在输出桶位置输出预测
此笔记本是如何创建自定义容器的一个很好的示例。