使用 Datafactory 中的 Init 脚本在 Databricks 集群上安装 Maven 库

Question

我正在尝试使用 Azure 数据工厂在作业集群上执行 Databricks Notebook。 Notebook 需要安装一些 Maven 库。我正在尝试使用链接服务上的初始化脚本进行此安装，因此我可以在 1 个位置而不是在单个管道级别进行这些更改。

为此我需要使用什么初始化脚本？

谷歌搜索后，我了解到我需要将 jar 复制到 /databricks/jars。我尝试从Maven repo下载maven jar并将其上传到DBFS文件夹/dbfs/FileStore/tables/。然后我尝试了以下 3 个不同的 Init 脚本，但每个脚本都因以下脚本错误而失败。

集群范围的初始化脚本 dbfs:/FileStore/tables/ADBscript.sh 失败： 脚本退出状态是非零的。

我试过的脚本是：

#!/bin/bash
cp /dbfs/FileStore/tables/spark_mssql_connector_2_12_1_2_0.jar /databricks/jars/

#!/bin/bash
find /dbfs/FileStore/tables/ -name \*.jar -print0|xargs -0 mv -t /databricks/jars/

#!/bin/bash
echo /databricks/databricks-hive /databricks/jars /databricks/glue | xargs -n 1 cp /dbfs/FileStore/tables/spark_mssql_connector_2_12_1_2_0.jar

不确定我遗漏了什么或如何进一步调试它。任何帮助将不胜感激。