Spark版本是Azure数据工厂管道中工作的参数

Question

我们正在使用

ZUREDATA FACTORY监视作业。管道呼叫代码和databricks中的数据。 ADF中的每个管道都使用预定义的链接服务，用于不同的池（中小型）。是否可以从ADF中的链接服务或管道中为这些池的Spark版本参数，并将此值从ADF管道发送到Databricks中的工作流程？？ 我已经尝试了管道中

链接的服务属性的参数，但没有成功。

update1：您可以使用

Cluster version

链接服务中的SPARK版本，但是尚不清楚它是否适用于任何实例类型（例如，新的作业群集与现有实例池）。

当您使用现有群集时，无论需要更改或修改所需的更改，都可以在Databricks工作区本身中进行。

但是，当您选择新的作业集群或现有池时，

Dileepraj narayanthumula

Answer 1

仅剩下的选项是您可以选择运行时时间，因此，动态选择所需的SPARK版本的运行时。

在下拉列表中，您可以看到可用的运行时。