在卡夫卡(Kafka),我可以将我的主题分为许多分区。我不能比Kafka的分区更多的消费者,因为该分区被用作扩展主题的一种方式。如果我有更多的负载,我可以

问题描述 投票:0回答:1
我们还被告知:“亚马逊运动客户端库(KCL)自动为每个亚马逊运动型应用程序创建一个Amazon DynamoDB表,以跟踪和维护状态信息,例如重新设备事件和序列编号检查点。”

ok,所以我准备开始阅读kcl代码

here

,但是我希望有人可以回答这些问题以节省我的时间。

KCL实际上是这样做的?

在解释过程的某个地方图表?

如果我在所有先前的Kinesis应用程序已经制作和消费记录后启动了新的运动式应用程序(mykinesisapp1),那么新的Kinesis应用程序(mykinesisapp1)是否仍然有机会消费该记录?换句话说,Kinesis在处理后是否从其流中删除了记录,还是将其留在7天?

我已经看到了这个问题。特别是我的第三个问题!另外,这个问题可以直接比较两种类似的技术。它将帮助认识卡夫卡的人,更快地学习运动动物。
  1. 在KCL配置中,有一个“ AppName”部分,该部分与“应用程序名称”相对应,并且与Kafka中的“消费者组”相同。对于每个消费者组(即kinesis流消费者应用程序),都有一个DynamoDB表。您可以在此处看到一个示例DynamoDB(KCl AppName是'QuickStats-eveloverment'):
  2. awskinesis leaseaner混乱

据我所知,没有。 “运动流”类似于Kafka,但除此之外,图形表示不多。 是的。每个Kafka消费者组都表示为运动动力学表中的另一个DynamoDB表。这样,不同的运动型消费应用程序可以独立消费相同的记录。 Kineis中的检查点是Kafka的偏移值。 DynamoDB中的一个检查点是kinesis碎片中阅读点的光标。在类似示例中阅读此答案:https://stackoverflow.com/a/42833193/1622134

apache-kafka kafka-consumer-api amazon-kinesis
1个回答
9
投票
  1. KAFKA中的Consumer Group从同一主题中读取,但是每条消息仅由一个客户群客户群中的一个客户消费。因此,消费者组中的两个客户群在同一主题中读取相同的消息。这与每个客户端应用程序都可以读取相同消息的运动相反。那是很大的区别。

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.