Kafka SMT ValueToKey - 如何使用多个值作为关键?

问题描述 投票:3回答:1

我正在使用Confluent JDBCSourceConnector从Oracle表中读取。我正在尝试使用SMT生成由3个连接字段组成的密钥。

transforms=createKey
transforms.createKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.createKey.fields=BUS_OFC_ID_CD,SO_TYPE,SO_NO

使用上面的转换,我得到这样的东西:

{"BUS_OFC_ID_CD":"111","SO_TYPE":"I","SO_NO":"55555"}

我想要像:

111I55555

关于如何仅连接值的任何想法?

oracle jdbc apache-kafka apache-kafka-connect confluent
1个回答
3
投票

我无法解决属性文件中的上述问题。所以,解决方法是:

  • 创建一个视图(我们必须这样做才能使mode = timestamp与我们的Oracle DB一起工作)
  • 添加一个带有KEYNAME连接值的额外字段
  • 提取连接值以用作键。

例如:

CREATE VIEW XX_TEST_V AS 
SELECT BUS_OFC_ID_CD, SO_TYPE, SO_NO, BUS_OFC_ID_CD||SO_TYPE||SO_NO as KEYNAME 
FROM XX_TEST;

然后,这将为您提供JSON密钥消息

{"KEYNAME ":"111I55555"}

然后,在属性文件中完成剥离JSON以仅包含文本

例如:

transforms=createKey,extractString
transforms.createKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.createKey.fields=KEYNAME
transforms.extractString.type=org.apache.kafka.connect.transforms.ExtractField$Key
transforms.extractString.field=KEYNAME

这应该给你以下的关键

"111I55555" 

关心彼得

© www.soinside.com 2019 - 2024. All rights reserved.