apache-kafka 相关问题

Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。

Confluence Replicator 未将标头传递到 Converter#fromConnectData

tl;博士;如何实现使用标头的 Kafka 转换器? (使用 Confluence Replicator 时) 我制作了一个自定义的 Kafka Connect 转换器,据我了解,当

回答 1 投票 0

Kafka 主题创建最佳实践

为 Apache Kafka 创建主题时什么被认为是最佳实践?每个人都允许自动创建主题吗?或者你是如何做到的?您是否将主题创建步骤与开始捆绑在一起...

回答 3 投票 0

publishEndpoint.Publish() 未在 MassTransit 中使用 Kafka 发送消息

我面临一个问题, Producer.Produce() 工作并成功将消息发送到 Kafka,但publishEndpoint.Publish() 似乎没有生成任何消息。我正在使用 MassTransit 和 Kafka,...

回答 1 投票 0

Spring Batch - Kafka:KafkaItemReader 始终从头开始读取数据

我愿意使用Spring Batch进行Kafka数据消费。这个 spring-tips 链接有一个基本示例。 这是我的读者: @豆 KafkaItemReader kafkaItemRead...

回答 5 投票 0

Mac 上的 Kafka 通过 docker-compose 运行给出错误

它过去总是有效,但我遇到了一个非常奇怪的错误。似乎没有什么是健康的。列出主题的简单命令也会失败。 直到大约一个月前,它曾经正常工作。 这里是...

回答 1 投票 0

我可以将Kafka消费者设置为cron作业吗?

我有一个使用 Kafka 的简单流程,有 1 个生产者和 1 个消费者。生产者会持续运行,而消费者只能在一天内的特定时间范围内运行。这可能吗...

回答 1 投票 0

Flink 时间连接不一致

我有3个Kafka主题:optionsTopic、stocksTopic和referencesTopic。所有内容均以 Kraft 模式本地部署在单个 Kafka (v7.7.1) 实例上。为了降低复杂性,我设置了一个分区...

回答 1 投票 0

使用 SASL_SSL 通过 Kafka-Python 连接到 MSK 集群时出错

我尝试使用带有 SASL_SSL 身份验证的 kafka-python 库将 AWS Lambda 函数连接到 Amazon MSK(Apache Kafka 托管流)集群。我正在关注官方

回答 1 投票 0

JBPM:当Kafka Topic有消息时触发业务流程

我遇到过用于 JBPM (7.18.0) 的 Kafka WorkItem,用于将消息发布到 kafka 主题。 但是,当主题中有消息时,如何触发特定的工作流程。 或者这个过程如何...

回答 2 投票 0

AWS MSK 与 Confluence 托管 Kafka? [已关闭]

就投资最大价值而言,在托管端到端 Kafka 事件源方面,AWS MSK 与 Confluence 相比如何? 用于比较的主要标准是: 部署...

回答 1 投票 0

如何将kafka的ConsumerRecord<K, V>或Spring cloud Stream的元数据暴露给反序列化器?

Spring 云流集成允许用户提供 Function> 实现来处理通过某些预配置的 MQ 实现(例如 kafka)接收到的消息。我...

回答 1 投票 0

如何覆盖 Aiven JdbcSinkConnector 上的默认退避期和最大重试次数

我正在使用 Aiven JdbcSinkConnector (io.aiven.connect.jdbc.JdbcSinkConnector) 连接到 Postgres DB。 我想设置自定义退避时间和最大重试次数,但似乎不可能,它

回答 1 投票 0

从自定义偏移量恢复 Kafka Stream

我正在尝试找到某种方法来从手动偏移恢复 Kafka Streams。 通过在互联网上查找,我没有找到任何说可以的答案。 有什么办法吗?或者必须回到低水平

回答 1 投票 0

从消息中配置路径 kafka-s3-connector 的文件夹

我在 AWS MSK 中有以下格式的数据。我想将此数据推送到 AWS s3 存储桶中,但我需要根据消息中的变量值创建文件夹结构。我该怎么做你...

回答 1 投票 0

寻找另一个实例来处理kafka消息

我在AWS中部署了2个SpringBoot应用程序,APP1正在管理汽车,对于每辆新添加的汽车,它将创建2个仅用于该汽车的kafka主题(主题A用于事件APP1 - > APP2和...

回答 1 投票 0

重负载下 REST 端点的正确 Kafka 生产者选择

大家!感谢您尝试提供帮助,我会简短地说。 为了学习 Kafka,我正在尝试以下操作: 我有一个 REST 端点,可将 JSON 请求数据推送到 Kafka。 我想发布到 Kafka 中......

回答 1 投票 0

如何将主题信息添加到Spring Kafka Template的metrics中?

我有指标“spring_kafka_template_seconds_count”,但没有主题信息。我使用2.8.11 spring-kafka版本。在文档中 https://docs.spring.io/spring-kafka/reference/kafka/micro...

回答 1 投票 0

如何在Kafka 3.8.0中为Kafka Consumer配置log4j

我正在尝试使用 kafka 3.8.0 中的 log4j 和一个容器“代理”为 Kafka 生产者和消费者启用日志记录,以便在新的生产者或消费者连接时维护日志。所以,...

回答 1 投票 0

Kafka-connect 无法发送无模式 JSON

我有一个 Zabbix-webhook 服务,它以 JSON 格式将数据发送到 kafka: “价值”: { "name": "Zabbix 服务器:趋势写入缓存,已使用百分比", “关键”:“z...

回答 1 投票 0

Apache Flink:在一段时间内未收到数据时如何关闭固定大小的窗口

我正在尝试根据事件时间计算 Kafka 主题每分钟传入事件的速率。为此,我使用 1 分钟的 TumblingEventTimeWindows。代码片段如下。我...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.