如果Kafka Sink通过独立配置将多个接收器消耗到多个表中,是否可用?

问题描述 投票:0回答:1

我已经阅读过Kafka连接源可以从数据库接收多个主题(一个主题代表一个表)。我有很多表的PostgreSQL数据库,并且一次Kafka源足够满足这次的需求。但是,如果我仅声明单个JDBC Kafka接收器以将所有主题消耗到基于主题的目标表中,例如从PostgreSQL到单个MS SQL Server数据库的所有表,是否可以使用?这很费时间,例如,如果我从一个数据库中有200个表,并且必须为每个表建立200个接收器连接,尽管我只需要声明一次源即可。

postgresql jdbc apache-kafka apache-kafka-connect
1个回答
0
投票

您可以使用Debezium快照一个数据库和所有表以通过Kafka发送它们并转储到任何其他接收器连接器(包括MSSQL),是的

[您需要运行多少个连接器或将在目标上创建多少个表最终取决于您自己的配置

和独立无关紧要,但是无论如何,即使您仅使用一台计算机,还是首选分布式模式

© www.soinside.com 2019 - 2024. All rights reserved.