我真的需要Flink检查点吗?

问题描述 投票:0回答:1

我有一个Flink应用程序,它从Kafka中读取一些事件,从MySQL中进行一些数据充实,使用窗口函数缓冲数据并将窗口内部的数据写入HBase。我目前已启用检查点,但事实证明,检查点非常昂贵,并且随着时间的流逝,检查点花费的时间越来越长,并影响了我的工作延迟(落后于kafka摄取速度)。如果我想出一种使我的HBase写幂等的方法,那么是否有充分的理由让我使用检查点?我可以只配置内部kafka消费者客户端以经常提交,对吗?

apache-flink flink-streaming
1个回答
0
投票

如果您唯一要检查的点是Kafka提供程序偏移量,那么让我感到惊讶的是,检查点时间足够长,足以减慢您的工作流程。还是将状态保存到其他地方?如果是这样,则可以跳过该操作(只要根据您的注释,HBase的写入是幂等的即可。)

请注意,您还可以调整检查点间隔,并且(如果需要)可以在RocksDB中使用增量检查点。

© www.soinside.com 2019 - 2024. All rights reserved.