无法在群集中使用SSH Dataproc Master

Question

我一直在尝试使用jupyter repository作为初始化脚本在Dataproc中创建一个集群。

但是当我尝试ssh到master时，为了能够访问运行此命令的Jupyter接口：

gcloud compute ssh --zone=zone_name \
                   --ssh-flag="-D 10000" \
                   --ssh-flag="-N" \
                   --ssh-flag="-n" "cluster1-m" &

我收到错误：

权限被拒绝（publickey）。错误：（gcloud.compute.ssh）[/ usr / bin / ssh]退出并返回代码[255]。

我可以确认所有ssh密钥都是正常创建的。我尝试了另一种选择：

gcloud compute ssh --zone=zone_name \
                   --ssh-flag="-D 10000" \
                   --ssh-flag="-N" \
                   --ssh-flag="-n" "will@cluster1-m" &

这似乎工作，因为我可以ssh到实例，但现在我得到错误：

bind：无法分配请求的地址channel_setup_fwd_listener_tcpip：无法侦听端口：10000无法请求本地转发。

为了创建我使用的集群：

gcloud dataproc clusters create $CLUSTER_NAME \
--metadata "JUPYTER_PORT=8124,JUPYTER_CONDA_PACKAGES=numpy:pandas:scikit-learn:jinja2:mock:pytest:pytest-cov" \
--initialization-actions \
    gs://dataproc-initialization-actions/jupyter/jupyter.sh \
--bucket $BUCKET_NAME

我在Docker图片Debian 8.9（jessie）中运行它。

如果您需要任何额外信息，请告诉我。

Answer 1

如果您确认可以在群集中执行正常的SSH，那么如果您刚刚收到bind: Cannot assign requested address错误，则可能意味着您已经在当前计算机上使用端口10000进行了本地端口转发的另一个SSH会话。如果你看到bind错误，你应该首先尝试一个不同的本地端口，如-D 12345。您可以使用top或您的任务管理器检查您是否在某处仍在运行并占用端口10000的挂起ssh -D命令。