为 databricks 作业添加 init .sh 文件

Question

我有一个 python 脚本，它使用一个具有 init 脚本的集群：

 /Volumes/projects/default/admin/odbc.sh

这可以帮助我通过 odbc 连接到 SQL Server 表。

当我运行作业并添加具有此内容的集群时 ^ 我看到了在将其添加到我的集群之前看到的错误：

无法打开库“ODBC Driver 17 for SQL Server”：找不到文件

我的问题是，如何将此 .sh 文件添加到我的作业中？

Answer 1

我尝试过以下方法：

以下代码在 Azure Databricks 群集上下载安装 MS SQL ODBC 驱动程序。

第一种方法：

%sh
curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
curl https://packages.microsoft.com/config/ubuntu/16.04/prod.list > /etc/apt/sources.list.d/mssql-release.list
sudo apt-get update
sudo ACCEPT_EULA=Y apt-get -q -y install msodbcsql17

第二种方法：

if ! [[ "18.04 20.04 22.04 23.04 24.04" == *"$(lsb_release -rs)"* ]];
then
    echo "Ubuntu $(lsb_release -rs) is not currently supported.";
    exit;
fi

curl https://packages.microsoft.com/keys/microsoft.asc | sudo tee /etc/apt/trusted.gpg.d/microsoft.asc

curl https://packages.microsoft.com/config/ubuntu/$(lsb_release -rs)/prod.list | sudo tee /etc/apt/sources.list.d/mssql-release.list

sudo apt-get update
sudo ACCEPT_EULA=Y apt-get install -y msodbcsql18
#optional: for bcp and sqlcmd
sudo ACCEPT_EULA=Y apt-get install -y mssql-tools18
echo 'export PATH="$PATH:/opt/mssql-tools18/bin"' >> ~/.bashrc
source ~/.bashrc
#optional: for unixODBC development headers
sudo apt-get install -y unixodbc-dev

结果：

参考：

• 所以链接
• 安装适用于 SQL Server 的 Microsoft ODBC 驱动程序 （Linux）