GCP上PySpark群集的空闲删除配置

Question

我正在尝试定义创建集群功能以在Cloud Dataproc上创建集群。在查阅参考资料时，我遇到了一个空闲的删除参数（idleDeleteTtl），如果未使用定义的时间量，它将自动删除群集。当我尝试将其包含在群集配置中时，它给了我ValueError：Protocol message ClusterConfig has no "lifecycleConfig" field.

创建集群功能以供参考：

def create_cluster(dataproc, project, zone, region, cluster_name, pip_packages):
    """Create the cluster."""
    print('Creating cluster...')
    zone_uri = \
        'https://www.googleapis.com/compute/v1/projects/{}/zones/{}'.format(
            project, zone)
    cluster_data = {
        'project_id': project,
        'cluster_name': cluster_name,
        'config': {
            'initialization_actions': [{
                'executable_file': 'gs://<some_path>/python/pip-install.sh'
            }],
            'gce_cluster_config': {
                'zone_uri': zone_uri,
                'metadata': {
                        'PIP_PACKAGES': pip_packages
                    }
            },
            'master_config': {
                'num_instances': 1,
                'machine_type_uri': 'n1-standard-1'
            },
            'worker_config': {
                'num_instances': 2,
                'machine_type_uri': 'n1-standard-1'
            },
              'lifecycleConfig': { #### PROBLEM AREA ####
                'idleDeleteTtl': '30m'
            }
        }
    }

    cluster = dataproc.create_cluster(project, region, cluster_data)
    cluster.add_done_callback(callback)
    global waiting_callback
    waiting_callback = True

如果不是同一功能本身，我想要相似的功能。我已经定义了手动删除功能，但是我想添加该功能以在不使用时自动删除集群。

Answer 1

您正在调用v1 API，传递的参数是v1beta2 API的一部分。