通过全局初始化脚本启用 Databricks 集群日志

Question

我想通过全局初始化脚本为我的工作区中的所有集群（新的或旧的）设置集群日志传送。

我尝试通过自定义 Spark conf 添加底层 Spark 属性 -

/databricks/driver/conf/00-custom-spark.conf

（见下文）。但这是行不通的。可能这些属性只是为了显示目的而设置的。

cat <<EOF >/databricks/driver/conf/00-custom-ud-spark.conf
[driver] {
    "spark.databricks.clusterUsageTags.clusterLogDeliveryEnabled" = "true"
    "spark.databricks.clusterUsageTags.clusterLogDestination" = "dbfs:/cluster-logs"
}
EOF

有任何指示可以让这个工作吗？

Answer 1

联系了 Databricks 团队，他们说这是不可能的。即使是初始化脚本日志也仅在首先启用集群日志记录的情况下才可用。因此，在稍后的状态下启用没有影响。