我有旧的 mysql 数据库和数据。开发了一个新的模式,几乎没有什么变化。删除了某些表中的某些字段并添加了新表。仅在字段不变的情况下将数据从旧数据库转移到新数据库的最佳方法是什么?
目前我正在考虑使用数据构建工具。它们是 ETL 中的 T,或更具体地说是 ELT。
寻找这方面的具体指南时我偶然发现了
建议使用Meltano(使用DBT)
他们,Meltano,有完整的 ETL 指南 https://docs.meltano.com/guide/complete_tutorial
以及有关数据转换的文档 https://docs.meltano.com/guide/transformation/
教程部分有示例。
https://docs.meltano.com/tutorials/example-projects
具体来说(https://github.com/sbalnojan/meltano-example-el-db)
Meltano DB -> DB 示例 - 从 Postgres 数据库中简单提取并加载到第二个 Postgres 数据库中。全部被嘲笑并且完全独立。
https://www.youtube.com/watch?v=sL3RvXZOTvE
这里有一个介绍速度跑的视频,可帮助您了解基础知识。