我是 pyspark 的新手。我了解到 local[*] 在本地运行 Spark,其工作线程数与机器上的逻辑内核数一样多。任何人都可以详细解释一下,这是什么意思? 例如,如果我有一个 spark 作业并且我将它运行为 “spark-submit --master local[2] spark_example.py” 那么它将有一个执行者运行这个任务,这个执行者将使用 2 个线程来执行这个任务? 并且每个线程都会使用一个核心的cpu?我的理解对吗?
有人能澄清一下吗?
另外,在上述情况下,我如何确认我的 spark 是否真的使用了 2 个线程?