我使用的是 Flink 1.16 版本,并通过 Maven 合并了 Flink Doris Connector 1.14 包。当尝试将包含 30,000 条记录的一批数据下沉到 Doris 数据库时,该过程大约需要 3 分钟。令人惊讶的是,当我切换到 Flink 1.13 版本时,相同的操作在大约三秒内完成。
我预计使用 Flink 1.16 到 Doris 的数据下沉过程将在几秒内完成,而不是几分钟,类似于 Flink 1.13 观察到的性能。
我在使用Flink 1.13时没有遇到这个问题。我尝试通过检查 Flink 和 Doris Connector 之间的版本兼容性、检查配置更改以及利用性能监控工具来调查该问题。但是,我还没有找到解决问题的方法。
您能否提供有关解决此性能差异并使用 Flink 1.16 和 Doris Connector 1.14 实现更快数据接收时间的指导?
感谢您的协助。
使用不匹配版本的 Flink 连接器从来都不是一个好主意。您可以从 GitHub 下载为 Flink 1.16 构建的 Doris 连接器版本:https://github.com/apache/doris-flink-connector/releases