从 Airflow 连接到 Spark Standalone 集群

Question

我使用 docker-compose 文件在本地环境上运行气流，并且 Spark 独立集群也在本地运行。我登录到气流工作容器并尝试将 Spark 作业提交到独立 Spark 集群，但与主节点的连接被拒绝。

1. airflow 正在 localhost:8080 上运行
2. spark 独立集群正在 localhost:8090 上运行
3. Spark Master 位于spark://spark-master:7077

注意：我检查了 JAVA_HOME 路径是否正确设置，airflow 和 Spark 独立容器都在同一个 docker 网络上运行，但我仍然无法提交作业。

命令：spark-submit --master Spark://spark-master:7077 ./dags/my-script.py

我尝试了 --master value 的所有组合，但没有运气。

如果我遗漏了什么，有人可以建议吗

Answer 1

我记得您不能将 SparkSubmitOperator 与独立集群一起使用。 您可以尝试 SSHBashOperator 并在 Spark 机器中运行 Spark-Submit。