从Kafka主题中提取特定数据

Question

我正在Twitter上进行实时流式传输，想知道是否有一种方法可以仅从Kafka主题中提取消息和某些值？

Answer 1

您可以使用ksqlDB执行此操作。例如：

ksql> CREATE STREAM TWEETS WITH (KAFKA_TOPIC='twitter_01', VALUE_FORMAT='Avro');

ksql> SELECT USER->SCREENNAME, TEXT FROM TWEETS WHERE TEXT LIKE '%cool%' EMIT CHANGES;

+-------------------+------------------------------------------------------------------------------------------+
|USER__SCREENNAME   |TEXT                                                                                      |
+-------------------+------------------------------------------------------------------------------------------+
|MobileGist         |This is super cool!! Great work @houchens_kim!                                            |

Answer 2

您没有提及要接收的数据类型。推文，是的，但是是CSV吗？ JSON？阿夫罗？ Protobuf？