如何访问Dataproc群集元数据？

Question

创建集群后，我正在尝试检索其他组件的URL地址（不使用GCP仪表板）。我正在使用de Dataproc python API，更具体地说是get_cluster()函数。

该函数返回了很多数据，但是我无法找到Jupyter网关URL或其他元数据。

from google.cloud import dataproc_v1

project_id, cluster_name = '', ''
region = 'europe-west4'

client = dataproc_v1.ClusterControllerClient(
                       client_options={
                            'api_endpoint': '{}-dataproc.googleapis.com:443'.format(region)
                        }
                    )


response = client.get_cluster(project_id, region, cluster_name)
print(response)

有人能解决这个问题吗？

Answer 1

如果遵循this doc通过启用组件网关来设置Jupyter访问，则可以按照here所述访问Web界面。诀窍是，这包含在v1beta2版本的API响应中。

代码中需要的更改很小（除v1beta2库外没有其他要求）。只需将google-cloud-dataproc替换为dataproc_v1并使用dataproc_v1beta2访问端点：

response.config.endpoint_config

就我而言，我得到：

from google.cloud import dataproc_v1beta2

project_id, cluster_name = '', ''
region = 'europe-west4'

client = dataproc_v1beta2.ClusterControllerClient(
                       client_options={
                            'api_endpoint': '{}-dataproc.googleapis.com:443'.format(region)
                        }
                    )


response = client.get_cluster(project_id, region, cluster_name)
print(response.config.endpoint_config)