有没有办法在Databricks笔记本中参数化魔术命令?

问题描述 投票:0回答:2

我想使用能够运行配置文件列表并使用 %run 将配置文件中的变量导入到 databricks 笔记本中。 但我找不到动态更改 %run 之后的文件的方法。

我尝试指定这样的参数: 配置='./config.py' %运行$配置 但这不起作用。我无法使用 dbutils.notebook.run(config),因为我无法访问主笔记本中的变量。

有什么办法可以做到这一点吗?

pyspark databricks
2个回答
0
投票

既然您已经提到了配置文件,我会认为您已经在某些路径中提供了配置文件,并且这些文件不是 Databricks 笔记本。

您可以在一个笔记本中使用 python - configparser 来读取配置文件并在主笔记本中使用 %run 指定笔记本路径(或者您可以通过在主笔记本中使用 configparser 来忽略笔记本本身)

参考:如何使用python读取配置文件


0
投票

Magic Commands 无法参数化。 您可以使用另一种技术来对笔记本进行参数化。

以下命令可用于在触发笔记本时传递参数。

mssparkutils.notebook.run("paramerterization_demo",300 {"person_name":"John", "person_age":"24"})

更详细的解释,请关注这篇文章。

文章链接:https://www.linkedin.com/pulse/mastering-notebook-parameterization-ms-fabric-abdullah-najeeb-gbxff/?trackingId=Z9pbDt5RRDyKJtEbz0Y92A%3D%3D

© www.soinside.com 2019 - 2024. All rights reserved.