使用AWS lambda在AWS SageMaker上执行Jupyter笔记本

问题描述 投票:0回答:2
I在Python中制作了一个使用许多库的分类器。我将模型上传到Amazon S3作为泡菜(my_model.pkl)。理想情况下,每当有人将文件上传到特定的S3存储桶时,它都应该触发AWS lambda,该AWS lambda会加载分类器,返回预测并在Amazon S3存储桶上保存一些文件。 我想知道是否可以使用lambda在AWS SageMaker中执行Jupyter笔记本。这样,我就不必担心依赖项,通常会使分类更加直接。

,有没有一种方法可以使用AWS Lambda执行Jupyter笔记本?

shesseduling笔记本电脑执行有点像sagemaker抗模式,因为(1)您需要自己管理数据I/O(训练集,经过训练的型号)自己,(2)您需要管理元数据跟踪自己,(3)您无法在分布式硬件上运行,并且(4)无法使用点斑点。取而代之的是,建议安排的任务来利用各种萨格人长期运行的背景工作API:SageMaker培训,萨格马制造商处理或Sagemaker Batch Transform(在批处理推论的情况下)。

说,如果您仍然想安排笔记本运行,则可以通过多种方式进行操作:

amazon-web-services aws-lambda amazon-sagemaker
2个回答
2
投票
中,笔记本以云形式模板启动,其执行是通过SageMaker LifeCycle配置自动化的。 woars发行的

该博客帖子

记录了如何从处理作业中启动笔记本

但再次,我对预定任务的建议是将其从jupyter中删除,将它们转变为脚本并在Sagemaker Training中运行它们。
    无论您的选择,所有这些任务都可以从lambda函数中启动,只要功能角色具有适当的权限
  • 我同意奥利维尔。将sagemaker用于笔记本执行可能不是工作的正确工具。 papermill
  • 是以这种方式运行jupyter笔记本的框架。 您可以考虑尝试这一点。这使您可以直接将jupyter笔记本作为无服务器云功能部署,并在场景后面使用PaperMill。 disclaimer:我为Clouderizer工作。
  • 完全有可能,根本不是反图案。这确实取决于您的用例。 AWS实际上是一篇描述IT
  • 的文章,其中包括lambda

这应该是到达这里的方式-https://github.com/aws-samples/sagemaker-run-notebook

2
投票
使用Papermill在SageMaker实例上运行笔记本。用户可以使用自己的自定义内核传递自定义Docker映像。

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.