无法在笔记本实例上本地运行 sagemaker pyspark,缺少 conda_python3 内核

问题描述 投票:0回答:1

我正在尝试在 sagemaker 笔记本上使用 pyspark,如下所述: https://github.com/aws/sagemaker-spark/tree/master/sagemaker-pyspark-sdk#local-spark-on-sagemaker-notebook-instances

页面显示:

SageMaker 笔记本实例上的本地 Spark 使用 conda_python2 或 conda_python3 内核创建笔记本。然后,您可以按照快速入门部分中描述的方式初始化 Spark 上下文:

我尝试使用 Data Science 3.0 图像以及其他图像来使用两个内核中的任何一个。没有一个描述了 conda_python2 或 conda_python3 内核,并且使用 Python 3 内核给出了 Java Home not find 错误,正如我所料,因为我没有连接到 EMR 集群

pyspark amazon-emr amazon-sagemaker amazon-sagemaker-studio
1个回答
0
投票

该链接建议使用SageMaker Notebook Instances。根据您对使用数据科学图像的评论,我假设您正在使用 Studio Notebooks

创建笔记本实例后,您将能够看到

conda_python2
conda_python3
内核。 Studio Notebooks(经典)有 Data Science、SparkMagic、Tensorflow 等图像,它们通常只有一个
Python
内核。

© www.soinside.com 2019 - 2024. All rights reserved.