安排Google Cloud Dataflow作业的最简便方法

Question

我只需要每天运行一个数据流管道，但在我看来，建议像App Engine Cron Service这样需要构建整个Web应用程序的解决方案似乎有点太多了。我正在考虑从Compute Engine Linux VM中的cron作业运行管道，但这可能太简单了:)。这样做有什么问题，为什么不是任何人（除了我，我猜）建议它？

Answer 1

使用cron作业启动Dataflow管道绝对没有错。我们一直为我们的生产系统做这件事，无论是我们的Java还是Python开发的管道。

然而，我们正试图摆脱cron的工作，并更多地使用AWS Lambdas（我们运行多云）或云功能。不幸的是，云功能don't have scheduling yet。 AWS Lambdas do。

Answer 2

这个问题有一个FAQ答案：https://cloud.google.com/dataflow/docs/resources/faq#is_there_a_built-in_scheduling_mechanism_to_execute_pipelines_at_given_time_or_interval

• 您可以使用Google App Engine（仅限灵活环境）或云功能自动执行管道。
• 您可以使用Apache Airflow的Dataflow Operator，它是Cloud Composer工作流程中的几个Google Cloud Platform Operators之一。
• 您可以在Compute Engine上使用自定义（cron）作业流程。

云功能方法被描述为“Alpha”，它们仍然没有调度（不等同于AWS云观察调度事件），只有发布/订阅消息，云存储更改，HTTP调用。

云作曲家看起来是个不错的选择。实际上是一个重新标记的Apache Airflow，它本身就是一个很好的编排工具。绝对不像cron那样“太简单”:)

Answer 3

这就是我使用Cloud Functions，PubSub和Cloud Scheduler的方式（假设您已经创建了一个Dataflow模板，它存在于您的GCS存储桶中）

1. 在PubSub中创建一个新主题。这将用于触发云功能
2. 创建一个从模板启动数据流作业的云功能。我发现从CF控制台创建它是最简单的。确保您选择的服务帐户具有创建数据流作业的权限。函数的index.js看起来像：

const google = require('googleapis');

exports.triggerTemplate = (event, context) => {
  // in this case the PubSub message payload and attributes are not used
  // but can be used to pass parameters needed by the Dataflow template
  const pubsubMessage = event.data;
  console.log(Buffer.from(pubsubMessage, 'base64').toString());
  console.log(event.attributes);

  google.google.auth.getApplicationDefault(function (err, authClient, projectId) {
  if (err) {
    console.error('Error occurred: ' + err.toString());
    throw new Error(err);
  }

  const dataflow = google.google.dataflow({ version: 'v1b3', auth: authClient });

  dataflow.projects.templates.create({
        projectId: projectId,
        resource: {
          parameters: {},
          jobName: 'SOME-DATAFLOW-JOB-NAME',
          gcsPath: 'gs://PATH-TO-YOUR-TEMPLATE'
        }
      }, function(err, response) {
        if (err) {
          console.error("Problem running dataflow template, error was: ", err);
        }
        console.log("Dataflow template response: ", response);
      });
  });
};

package.json看起来像

{
  "name": "pubsub-trigger-template",
  "version": "0.0.1",
  "dependencies": {
    "googleapis": "37.1.0",
    "@google-cloud/pubsub": "^0.18.0"
  }
}

3. 转到PubSub和您创建的主题，手动发布消息。这应该触发Cloud Function并启动Dataflow作业
4. 使用Cloud Scheduler按计划https://cloud.google.com/scheduler/docs/tut-pub-sub发布PubSub消息