apache-kafka 相关问题

functions: compute: handler: handler.compute events: - kafka: accessConfigurations: clientCertificateTlsAuth: arn:aws:secretsmanager:us-east-1:01234567890:secret:ClientCertificateTLS serverRootCaCertificate: !Ref resource # <-- turn to [Object object] in cloudformation topic: MySelfManagedMTLSKafkaTopic consumerGroupId: MyConsumerGroupId bootstrapServers: - abc3.xyz.com:9092 - abc2.xyz.com:9092

apache-kafka serverless

回答 1 投票 0

如何在同一浮士德应用程序（使用kafka和python）中创建不同的消费者群我是浮士德的新手，我需要我的应用来使用不同的消费者组来处理kakfa消息。我需要在同一计划中有两个不同的消费者组，但是由于消费者组...

## Script test_faust.py import faust app1 = faust.App('consumer_group1', broker='kafka://localhost:9092', value_serializer='json', consumer_auto_offset_reset='earliest') app2 = faust.App('consumer_group2', broker='kafka://localhost:9092', value_serializer='json', consumer_auto_offset_reset='earliest') topic1 = app1.topic('topic1', value_type=str) topic2 = app2.topic('topic2', value_type=str) @app1.agent(topic1) async def process1(stream): async for value in stream: print(f'App1: {value}') @app2.agent(topic2) async def process2(stream): async for value in stream: print(f'App2: {value}')

python apache-kafka faust

回答 1 投票 0

KAFKA经纪人SASL_SSL普通身份验证失败：无效的用户名或密码

docker apache-kafka

回答 1 投票 0

在Helidon SE 4.1.6中，如何使用Kafka生产商将数据发送到特定分区

我想使用Helidon SE 4.1.6并使用生产者将数据与Apache Kafka的特定分区一起生产。细节：我已经通过https://helidon.io/docs/latest/se/reactive-messaging#

apache-kafka apache-kafka-streams apache-kafka-connect kafka-producer-api helidon

回答 1 投票 0

。我使用以下配置：

听众以同步的方式发布到另一个主题，每次发送后等待Acks。（此过程的持续时间可能会有所不同，但我希望它总共保持在1分钟以下）

apache-kafka spring-kafka

回答 1 投票 0

当Acks = 0时，在领导者与追随者同步之前，Kafka消费者可以立即读取消息吗？

apache-kafka

回答 1 投票 0

在卡夫卡（Kafka），我可以将我的主题分为许多分区。我不能比Kafka的分区更多的消费者，因为该分区被用作扩展主题的一种方式。如果我有更多的负载，我可以

在卡夫卡，有一个消费者群体的概念。如果我们在一个主题上有10个消费者组，则每个消费者组都有机会处理主题中的每个消息。消费者组仍然利用分区的可扩展性（即，每个消费者群体都可以拥有多达“ n”的消费者，其中'n'是主题上的分区数量）。这是Kafka的美丽，可扩展性和多通道阅读是两个单独的概念，有两个单独的旋钮。

apache-kafka kafka-consumer-api amazon-kinesis

回答 1 投票 0

关于任务的灌注。max具有自定义kafka接收器中的单分区主题。我已经实现了一个自定义的Kafka接收器连接器，以消耗17个主题的数据，每个都有1个分区。从我的理解来看，最大任务的数量应等于每个分区的数量...

否则，在阅读Mickael Maison和Kate Stanley的《 Kafka Connect：Build and of Data Pipelines》一书时，我遇到了本段：

apache-kafka apache-kafka-connect

回答 0 投票 0

使用广播流与Flink进行链条处理正在提供不一致的结果

//定义来自Kafka主题的传入原始数据流采购 datastream主流= env.AddSource（...）; //定义来自Kafka主题的参考数据流采购 datastr ...

apache-kafka apache-flink apache-kafka-streams flink-streaming

回答 0 投票 0

有任何API或工具可以在Kafka主题中获取摄入率

apache-kafka data-ingestion