Spark/Pyspark 如何使用spark.conf.set 设置属性

Question

想知道使用spark.conf.set设置某些属性的确切语法（在Pyspark中）。我见过多种方法，但不确定哪种方法是正确的。 假设我想设置spark.sql.adaptive.optimizeSkewsInRebalancePartitions.enabled，现在哪个语法是正确的

1. spark.conf.set（“spark.sql.adaptive.optimizeSkewsInRebalancePartitions.enabled”，“true”）
2. spark.conf.set（“spark.sql.adaptive.optimizeSkewsInRebalancePartitions.enabled”，True）
3. spark.sql（“设置adaptive.optimizeSkewsInRebalancePartitions.enabled = true”）
4. spark.sql（“设置adaptive.optimizeSkewsInRebalancePartitions.enabled=True”）

Answer 1

根据文档中的this page，您可以使用小写的“true”。就像在 pyspark 中一样，您使用

spark.conf.set

命令，这意味着您的第一个选项应该是正确的。您还可以参考此文档，看到您必须以字符串格式提供键和值。

如果您深入研究代码，您会发现该值已转换为字符串，因此您的第二个选项也可能有效，但我不确定大写字母将如何影响事物。

要检查是否成功，可以运行以下命令。

spark.conf.set("spark.sql.adaptive.optimizeSkewsInRebalancePartitions.enabled")