Databricks 中的系统路径

Question

我有 100 个笔记本正在使用一些通用模块，为了导入当前使用以下代码片段的模块

import sys
sys.path.append('/Workspace/<folder>')
import <module>

注意“模块”位于“文件夹”中

集群启动后，笔记本就可以正常工作，其中包含上述代码片段。将代码添加到每个独立运行的笔记本中是非常低效的。我尝试添加以下代码的全局初始化脚本

#!/bin/bash
export PYTHONPATH=${PYTHONPATH}:/Workspace/<folder>

它不是那样工作的。

Answer 1

创建一个笔记本来保存要在每个笔记本上运行的命令。例如 - “common_functions”。

在每个笔记本的开头添加运行命令：

%run "../common/common_functions"

您需要更新 100 个笔记本，但这只是一次，然后您可以在一个位置添加和编辑常用导入或函数或环境变量。