将 MySQL RDS 表同步到 Snowflake

Question

我有一个 MySQL RDS 数据库，用于保存配置/维度表。我还有交易数据流入 Snowflake。我希望 MySQL 表在 Snowflake 中同步，以便它们在 Snowflake 中可用，因为我将编写一个计算作业，将配置/维度表与 Snowflake 中的事务数据连接起来。 以特定频率将表从 MySQL 同步到 Snowflake 的最佳方法是什么？

Answer 1

为了将 MySQL 表复制到 Snowflake，您可以使用以下方法之一：

• Fivetran（用于本地和云数据库复制的云原生）
• Debezium（用于变更数据捕获的开源分布式平台）

Answer 2

免责声明：我是致力于下面建议的解决方案的团队的一员

除了已经提到的解决方案之外，您还可以使用 Turbine 创建数据应用程序，将表从 MySQL 实时同步到 SnowflakeDB。

根据您当前的技术堆栈和您觉得最适合开发的语言，您可以使用以下任何库创建应用程序：

• Python：turbine-py
• GoLang：涡轮-go
• JavaScript：turbine-js

Answer 3

如果您正在寻找实时数据复制解决方案。基本上有两类：

1. 基于时间戳的增量摄取
2. 基于日志的 CDC

#1 可以通过 JDBC 轻松实现，但有一些限制。例如，您的源表必须有时间戳，以便您可以回顾已更新或创建的记录，如果您需要识别已删除的记录，您可能需要即兴发挥。

对于#2，有多种工具，例如 Fivetran 等。对于免费选项，您可以查看 Debezium。这是在 Databricks 上实现的示例 https://medium.com/@ziangjia/stream-cdc-event-to-databricks-in-real-time-with-debezium-7f46193e053e 对于 Snowflakes，您应该能够实现相同的架构。