dse火花-提交到特定的工作池，而不是 "默认"。

Question

我能够成功地从下面的示例项目中构建出 https:/github.comdatastaxSparkBuildExamplestreemasterscalasbtdsesrcmainscalacomdatastaxsparkexample。

我也成功提交了dse火花-submit。程序运行正常，结果也符合预期。

dse spark-submit --class com.datastax.spark.example.WriteRead target/writeRead-0.1.jar

我现在希望将上述作业提交到一个现有的池中，如在dse.yaml中配置的那样。

resource_manager_options:
worker_options:
    cores_total: 6
    memory_total: 32G
    workpools:
        - name: alwayson_sql
          cores: 2
          memory: 4G
        - name: pool_1
          cores: 2
          memory: 16G

我无法确定我应该如何修改代码或spark-submit，以提交申请到池 "pool_1"。

申请提交到默认池，我无法提交到 "pool_1"。

请帮助我。

Answer 1

经过一些额外的研究，我想出了正确的方式来DSE火花提交使用池 "池_1"

 bin/dse spark-submit \
 --master dse://?workpool=pool_1 \
 --conf spark.network.timeout=500 \
 --class com.datastax.spark.example.WriteRead target/writeRead-0.1.jar

(Per input from Alex)DSE文档。文件链接