不是每个笔记本活动的每个管道的Databricks作业集群

Question

我正在不同Databricks笔记本中转换数据（读取，转换和写入ADLS）。我在DataFactory管道中选择了这些笔记本：

Notebook 1 --> Notebook 2 --> Notebook 3 --> Notebook

我已经从DataFactory创建了到我的Databricks的连接，并将其添加到我的笔记本活动中。每当管道触发时，我都想启动一个Databricks集群。总的来说，这一切工作正常。但是Databricks为每个笔记本活动启动了一个工作集群，这花了太长时间，对我来说似乎不必要。

是否有可能在管道的开头启动集群，然后在所有笔记本完成后关闭集群？还是有任何论点认为每个活动都有一个工作集群是件好事？

Answer 1

当前无法将同一作业集群用于多个笔记本活动。

两个替代选项：

1. 使用交互式集群
2. 使用交互式群集，并且（如果有成本意识的话）在开始时会有一个网络活动，通过天蓝色的数据块REST端点启动群集，而在笔记本活动通过REST端点DELETE(TERMINATE)结束时，另一个活动在结束时]]

不幸的是，这两个选项都使用交互式群集

-与作业群集相比，它有点贵。

Answer 2

[当我运行Web活动时，它将重定向到登录页面，我从Web活动得到以下响应。请提出建议？