最主要的是我想使用 CDC 方法将 Azur SQL 连接到汇合的 kafka,然后我想将该数据导入 s3。
将数据从数据库获取到 Kafka 有多种方法。您需要检查 Azure SQL 支持什么,但这些幻灯片进入选项和示例,通常使用 Kafka Connect 构建。
要将数据从 Kafka 流式传输到 S3,请使用 Kafka Connect(它是 Apache Kafka 的一部分),并使用 S3 接收器连接器,详细信息请参阅本文。
要查看包含转换的数据库 S3 管道示例,请查看 这篇博文。