操作员：尝试同步数据时出现“无效 URL”错误

Question

描述：
我正在 Apache Airflow DAG 中使用

AirbyteTriggerSyncOperator

将数据从 Airbyte 同步到 ClickHouse。但是，任务失败了，我在日志中收到以下错误：

requests.exceptions.MissingSchema: Invalid URL 'localhost/jobs': No scheme supplied. Perhaps you meant https://airbyte-server/jobs?

运行 dag 时出现此错误。

连接：

这是 Airflow 中的连接配置：
连接详情：

这是我的 Airflow 连接 (airbyte_conn) 的配置（在 Airflow UI 中配置）：

Conn Id: airbyte_conn
Conn Type: HTTP
Host: localhost
Schema: (empty)
Login: airbyte
Password: password (airbyte defaults)
Port: 8001 (airbyte server port - docker)

DAG任务代码：

sync_airbyte_to_clickhouse_task = AirbyteTriggerSyncOperator(
    task_id='sync_airbyte_to_clickhouse',
    airbyte_conn_id='airbyte_conn',
    connection_id='45ce102e-1d33-4834-836a-592d37ee1316',
    asynchronous=False,
    timeout=3600,
    wait_seconds=10,
    dag=dag,
)

环境：

• 用于编排的 Docker Compose（在 Docker 容器中运行的 Airflow、Airbyte 和 ClickHouse）
• 阿帕奇气流 2.x

到目前为止我尝试过的：

1. 我检查了Airflow中

   airbyte_conn

   连接的配置，看起来是正确的。
2. Airbyte 服务已启动并正在运行，但由于 URL 问题，Airflow 似乎无法正常连接。

Answer 1

在airbyte连接的主机字段中，您需要指定http或https方案，后跟FQDN（完全限定域名）和端口，例如 https:// 后接主机.域:端口号/

您可以查看此气流文档链接：airflow.apache.org/docs/apache-airflow-providers-airbyte/stable/... –