Pyspark尝试连接到Spark Master，但连接被拒绝

Question

我在云中有一个3节点的docker集群，并且有spark master和spark worker服务，spark worker成功连接到master，在spark master UI中显示了spark worker连接：:

spark master UI

但是有一个运行带有pyspark的python脚本的服务，pyspark尝试连接到spark master，但是在以下日志中显示连接被拒绝错误：

pyspark logs

我使用nestat来显示群集中的侦听端口，并且与Spark Master（7077）的连接的端口正在侦听：

listening ports

我正在网上搜索问题几天，没有任何回应，对您有帮助吗？谢谢。

Answer 1

我调查了您的docker-compose。请尝试像这样更改您的代码

我删除了其他配置，仅是为了举例。

基本上是我更改的内容] >>[添加了新的端口号- 27017:27017，提供了容器名称container_name: mongoDB，然后是主要问题数据库URL- DATABASE_URL=mongodb://root:owl45#21@mongoDB:27017/?replicaSet=replica_set #mongodb://<USERNAME>:<PASSWORD>@<ContainerName:PortNumber>/?replicaSet=replica_set

version: '3'
services:
    database_api:
        build: ./database_api_service
        image: 127.0.0.1:5050/database_api:database_api
        container_name: mongoDB
        ports:
            - 5000:5000
            - 27017:27017
        depends_on:
            - database_primary
            - images
        deploy:
            replicas: 1
            restart_policy:
                condition: on-failure
            placement:
                constraints:
                    - "node.role==worker"
        volumes:
            - 'database_api:/database_api'
        networks:
            - database
            - frontend
        environment: 
            - DATABASE_URL=mongodb://root:owl45#21@mongoDB:27017/?replicaSet=replica_set #mongodb://<USERNAME>:<PASSWORD>@<ContainerName:PortNumber>/?replicaSet=replica_set
            - DATABASE_PORT=27017