在 AWS SageMaker 上部署我自己创建的（自定义）深度学习模型

Question

我是 AWS SageMaker 的新手，我的问题可能看起来很愚蠢。我创建了一个需要 GPU 的深度学习模型，并将该模型部署在 EC2 实例上 (g4dn.4xlarge ）具有 Auto Scaling 和负载均衡器。该应用程序运行良好，但我有一些问题：

1. 在具有 Auto Scaling 和负载均衡器的 EC2 上部署深度学习模型是最佳实践，还是应该部署在 AWS SageMaker 上（考虑成本）？
2. 如何在 SageMaker 上简单地部署模型并创建端点？我的模型已经构建、训练和测试，我只想将其部署在 AWS SageMaker 上。 我们将非常感谢您的指导..

Answer 1

1. 对于 SageMaker，ml 实例溢价（ml.g4dn.4xlarge 与 g4dn.4xlarge）已包含负载均衡器成本。此外，您通过 Python 代码进行部署，需要了解和执行的 DevOps 工作要少得多。因此，这取决于您拥有的知识水平以及您需要多少控制力。当您的工作负载在 CI/CD、操作和 MLOps 方面变得更加复杂时，显然 SageMaker 有内置工具来支持。
2. 确切的部署方式取决于您没有提到的几个因素，例如：PyTorch/Tensorflow/其他？哪个版本？您需要实时推理还是异步/批处理？您是否需要自己的容器，或者可以使用 AWS 深度学习容器来获得？ 根据这些答案，SageMaker 示例 中提供了许多示例。 我建议您应该从这里开始来理解基本概念。那么this就是通过Python进行的典型部署。