如何在云作曲家群集中启动云代理

Question

如何为云作曲家集群启动云代理

目前，我们使用气流来管理作业和动态DAG创建。为此，编写了一个单独的Dag来检查PostgreSQL中的数据库表以获取现有规则，如果规则在PostgreSQL中处于活动/非活动状态，我们手动设置为关闭/开启Airflow中的动态DAG。现在，我们将使用Google的自我管理Cloud Composer但问题是我们无法访问云编写器的db。我们如何使用云sql代理来解决这个问题？

Answer 1

Cloud Composer数据库实际上已经可访问，因为在环境的附加GKE集群中运行了一个Cloud SQL代理。您可以使用其服务名称airflow-sqlproxy-service使用root从群集内连接到它。例如，在Composer 1.6.0上，如果您拥有Kubernetes群集凭据，则可以列出正在运行的pod：

$ kubectl get po --all-namespaces
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-database-init-job-kprd5                                  0/1     Completed   0          1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-scheduler-78d889459b-254fm                               2/2     Running     18         1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-worker-569bc59df5-x6jhl                                  2/2     Running     5          1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-worker-569bc59df5-xxqk7                                  2/2     Running     5          1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-worker-569bc59df5-z5lnj                                  2/2     Running     5          1d
default                                 airflow-redis-0                                                  1/1     Running     0          1d
default                                 airflow-sqlproxy-668fdf6c4-vxbbt                                 1/1     Running     0          1d
default                                 composer-agent-6f89fdb7-0a7a-41b6-8d98-2dbe9f20d7ed-j9d4p        0/1     Completed   0          1d
default                                 composer-fluentd-daemon-g9mgg                                    1/1     Running     326        1d
default                                 composer-fluentd-daemon-qgln5                                    1/1     Running     325        1d
default                                 composer-fluentd-daemon-wq5z5                                    1/1     Running     326        1d

您可以看到其中一个工作区pod名为airflow-worker-569bc59df5-x6jhl，并且正在名称空间composer-1-6-0-airflow-1-9-0-6f89fdb7中运行。如果我通过SSH连接其中一个并运行MySQL CLI，我可以访问数据库：

$ kubectl exec \
    -it airflow-worker-569bc59df5-x6jhl \
    --namespace=composer-1-6-0-airflow-1-9-0-6f89fdb7 -- \
      mysql \
        -u root \
        -h airflow-sqlproxy-service.default

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 27147
Server version: 5.7.14-google-log (Google)

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

TL; DR用于在DAG中运行的任何内容，使用[email protected]连接，无需密码。这将通过已在Composer环境中运行的Cloud SQL Proxy连接到Airflow元数据数据库。

---

如果您需要连接到不是在Cloud SQL中运行的Airflow数据库的数据库，那么您可以通过将新的代理pod部署到GKE中来启动另一个代理（就像您将其他任何内容部署到Kubernetes集群中一样）。