我可以通过Flume将消息发送到kafka,但是如何将键值消息发送到kafka?
例如,我使用tailf日志文件作为源,如何发送键值消息?
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command =tail -F /apps/logs/mysql_status.log
您必须使用Flume标头
Kafka Sink使用FlumeEvent标头中的主题和键属性将事件发送到Kafka。如果标题中存在主题,则事件将发送到该特定主题,从而覆盖为接收器配置的主题。如果标题中存在密钥,那么Kafka将使用该密钥在主题分区之间对数据进行分区]
标题可以与拦截器一起添加
。http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#flume-interceptors