请求的多个核心出现 Azure Synapse 工作区错误

Question

我是 Azure Workspace 的新手，我正在尝试启动一个基本的 Spark 应用程序。

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, expr

# Initialize Spark session
spark = SparkSession.builder.appName("Optimized CSV Comparison").getOrCreate()

我收到以下错误，我不明白，因为我只是使用具有 3-10 个节点的小型计算。

这是我遇到的错误

    InvalidHttpRequestToLivy: Your Spark job requested 40 vcores. 
However, the workspace has a 12 core limit. Try reducing the numbers of
 vcores requested or increasing your vcore quota. Quota can be increased using Azure Support request https://learn.microsoft.com/en-
us/azure/synapse-analytics/spark/apache-spark-concepts#workspace-level HTTP status code: 400

Answer 1

您选择的虚拟机/节点类型“小型（4 个 vCores/32GB）”有 4 个核心，并且由于您选择自动缩放到可能的 10 个虚拟机/节点，这可能会导致 4 * 10 = 40 个核心。

从错误消息中可以看出，您的核心限制为 12 个。

尝试禁用自动缩放，并且只有 1 或 2 个节点或使用自动缩放，最少为 1 个节点，最多为 2 个节点。

（否则，您始终可以使用错误消息中的链接要求增加配额，但我希望在这种情况下您并不真正需要它。）