如何将Spark升级到新版本？

Question

我有一个虚拟机，上面有

Spark 1.3

，但我想将其升级到

Spark 1.5

，主要是因为 1.3 中没有某些受支持的功能。我是否可以将

Spark

版本从

1.3

升级到

1.5

如果可以，我该怎么做？

Answer 1

预构建的 Spark 发行版，就像我相信您基于“您的另一个问题”使用的发行版一样，“升级”相当简单，因为 Spark 实际上并未“安装”。其实，你所要做的就是：

下载
• 适当的 Spark 发行版（根据您的情况，为 Hadoop 2.6 及更高版本预先构建） 将 tar 文件解压到适当的目录中（即文件夹
spark-1.3.1-bin-hadoop2.6
• 已经所在的位置）相应地更新您的
SPARK_HOME
• （可能还有一些其他环境变量，具体取决于您的设置）
这是我自己所做的，从 1.3.1 升级到 1.5.2，设置与您类似（运行 Ubuntu 的 vagrant VM）：

将 tar 文件下载到适当的目录中

1. vagrant@sparkvm2:~$ cd $SPARK_HOME vagrant@sparkvm2:/usr/local/bin/spark-1.3.1-bin-hadoop2.6$ cd .. vagrant@sparkvm2:/usr/local/bin$ ls ipcluster ipcontroller2 iptest ipython2 Spark-1.3.1-bin-hadoop2.6 ipcluster2 ipengine iptest2 jsonschema ipcontroller ipengine2 ipython pygmentize vagrant@sparkvm2:/usr/local/bin$ sudo wget

   http://apache.tsl.gr/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz

   [...] vagrant@sparkvm2:/usr/local/bin$ ls ipcluster ipcontroller2 iptest ipython2 Spark-1.3.1-bin-hadoop2.6 ipcluster2 ipengine iptest2 jsonschema Spark-1.5.2-bin-hadoop2.6.tgz ipcontroller ipengine2 ipython pygmentize

请注意，您应该与

wget

使用的确切镜子可能与我的不同，具体取决于您所在的位置；选择要下载的包类型后，您可以通过单击

下载页面

中的“下载 Spark”链接来获取此信息。

使用
2. 解压

   tgz

    文件
   

   vagrant@sparkvm2:/usr/local/bin$ sudo tar -xzf Spark-1.*.tgz vagrant@sparkvm2:/usr/local/bin$ ls ipcluster ipcontroller2 iptest ipython2 Spark-1.3.1-bin-hadoop2.6 ipcluster2 ipengine iptest2 jsonschema Spark-1.5.2-bin-hadoop2.6 ipcontroller ipengine2 ipython pygmentize Spark-1.5.2-bin-hadoop2.6.tgz

你可以看到现在你有了一个新文件夹，

spark-1.5.2-bin-hadoop2.6

。

相应更新

SPARK_HOME
3. （以及您可能正在使用的其他环境变量）以指向这个新目录而不是前一个目录。
重新启动机器后，您应该完成了。

请注意：

您不需要删除以前的 Spark 发行版，只要所有相关的环境变量都指向新的发行版即可。这样，您甚至可以在新旧版本之间快速“来回”移动，以防您想要测试（即您只需更改相关的环境变量）。

sudo
2. 对我来说是必要的；根据您的设置，您可能不需要。确保一切正常后，最好删除下载的
tgz
3. 文件（请参阅下面的原因）。您可以使用完全相同的过程升级到 Spark 的未来版本（相当快）。如果执行此操作，请确保之前的
tgz
4. 文件已被删除，或者修改上面的

   tar

   命令以指向特定文件（即没有如上所述的

   *

   通配符）。

Answer 2

将您的

SPARK_HOME
1. 设置为

   /opt/spark

下载
2. 最新的预构建二进制文件，即spark-2.2.1-bin-hadoop2.7.tgz - 可以使用

   wget

   创建最新下载的符号链接 -
ln -s /opt/spark-2.2.1 /opt/spark
3. 相应地编辑
$SPARK_HOME/conf
4. 中的文件

对于您下载的每个新版本，只需创建其符号链接（第 3 步）

---

ln -s /opt/spark-x.x.x /opt/spark

Answer 3

第1步：

从 Azure 门户转到 AzSynapseSparkPool Powershell

步骤：2：

使用 Update-AzSynapseSparkPool powershell cmdlet 升级 Apache Spark 池，如下所示。

检查Apache Spark的版本：

get-AzSynapsesparkpool -WorkspaceName <Synapseworkspacename>

更新Spark版本：

update-AzSynapseSparkPool -WorkspaceName <Synapseworkspacename> -Name <SparkPoolName> -sparkversion 3.4