如何通过Flume将密钥值发送到kafka

问题描述 投票:0回答:1

我可以通过Flume将消息发送到kafka,但是如何将键值消息发送到kafka?

例如,我使用tailf日志文件作为源,如何发送键值消息?

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command =tail -F /apps/logs/mysql_status.log 
apache-kafka flume flume-ng
1个回答
0
投票

您必须使用Flume标头

Kafka Sink使用FlumeEvent标头中的主题和键属性将事件发送到Kafka。如果标题中存在主题,则事件将发送到该特定主题,从而覆盖为接收器配置的主题。如果标题中存在密钥,那么Kafka将使用该密钥在主题分区之间对数据进行分区]

标题可以与拦截器一起添加

http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#flume-interceptors

© www.soinside.com 2019 - 2024. All rights reserved.