无法从Kafka获取数据到分布式表

问题描述 投票:0回答:1

我需要从Kafka队列中获取数据(用我的脚本填充)到ClickHouse(CH)集群中的每个副本。

我创造了:

  1. 每个副本上都有'队列'表(卡夫卡引擎);
  2. 每个副本上的“消费者”物化视图(从“队列”到分布式表获取数据);
  3. '数据'分布表;

虽然我将数据放入Kafka我非常确定表接受数据(简单的select count(*) from data),但我总是这样:

“进度:1.55千行,1.24 MB(297.46行/秒,237.18 KB /秒。)从服务器收到异常(版本18.14.17):代码:159。DB ::异常:从主机接收:端口.DB: :例外:无法声明使用者:。0行集合。经过:5.313秒。处理1.55万行,1.24 MB(291.94行/秒,232.78 KB /秒。)“

当我停止填充Kafka时,我有一个很短的时间窗口,我可以在其中完成我的查询。但是几秒钟后我收到了 - 我创造的每张桌子都有0个计数。

java apache-kafka bigdata clickhouse
1个回答
1
投票

问题出在我身边:物化视图“消费者”中的列无效。顺便说一下,如果有人需要在这里执行相同的任务数据图:

  1. 在集群中的所有主机上创建“本地”表;
  2. 在集群中的所有主机上创建分布式表;
  3. 在一台主机上创建Kafka引擎表'queue'+物化视图'consumer'
© www.soinside.com 2019 - 2024. All rights reserved.