GCP Dataproc：在激活了堆栈驱动程序的情况下创建集群

Question

使用GCP，我为我的处理实例化工作流程。我想激活Stackdriver日志以获取更多指标（请参阅https://cloud.google.com/dataproc/docs/guides/stackdriver-logging）。

根据文档，我应该设置属性：

dataproc:dataproc.logging.stackdriver.job.driver.enable=true

我的工作流程模板如下：

placement:
  managedCluster:
    clusterName: my-cluster
    config:
      gceClusterConfig:
        zoneUri: europe-west1-d
      masterConfig:
        machineTypeUri: n1-standard-4
      workerConfig:
        machineTypeUri: n1-standard-4
        numInstances: 10

我应该在哪里设置此属性？

Thx。

Answer 1

以下内容应该起作用。

由于API层次结构是深层嵌套的，因此您可以使用gcloud dataproc workflow-templates接口构建初始模板，describe命令将为您提供正确的YAML或JSON。然后，您可以使用本地文件中的instantiate-inline进行快速迭代。

placement:
  managedCluster:
    clusterName: arlas-proc-axxes
    config:
      gceClusterConfig:
        zoneUri: europe-west1-d
      masterConfig:
        machineTypeUri: n1-standard-4
      workerConfig:
        machineTypeUri: n1-standard-4
        numInstances: 10
      softwareConfig:
        properties:
          dataproc:dataproc.logging.stackdriver.job.driver.enable: true