汇合水槽连接器 - 有多少就太多了

Question

1. 我想使用 Confluence 接收器连接器来更新远程服务器上的 Postgres 数据库。 平均每天我们可能会收到 1000-2000 条消息（更新）。 创建数百个接收器连接器以将这些消息复制到所有远程服务器是否“合法”？有那么多水槽连接器正常吗？

2. 是否可以告诉接收器连接器“分散”他们的工作，这样不是所有 100 个连接器都会同时将更改推送到远程服务器？ 应该使用“timestamp.delay.interval.ms”吗？

谢谢

Answer 1

1. 理论上，每个目标服务器可以有一个连接器。一个连接器可以将数据从多个主题流式传输到一台服务器。如果配置因主题而异（例如不同的主键列名称、不同的

   insert.mode

    要求等），您可能会发现自己增加了连接器的数量 - 这是完全有效的（“合法”😄）

2. 每个

   连接器都会产生一个或多个任务来执行工作。如果一个连接器正在为多个目标对象传输数据，它可以并行处理并发任务如果您愿意的话。如果您想以串行方式传输数据，以便只有一个与数据库的连接，请相应地设置 tasks.max

   。

要了解有关连接器/任务执行模型的更多信息，请参阅

文档。