apache-kafka 相关问题

os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.0.2 pyspark-shell' if __name__ == '__main__': sc = SparkSession.builder.appName('PythonStreamingDirectKafkaWordCount').getOrCreate() ssc = StreamingContext(sc, 60) df = sc \ .readStream \ .format("kafka") \ .option("kafka.bootstrap.servers", "localhost:9092") \ .option("subscribe", "near_line") \ .load() \ .selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)","CAST(value AS STRING)") ssc.start() ssc.awaitTermination()

apache-spark pyspark apache-kafka spark-structured-streaming

回答 3 投票 0

对消费者和消费者群体有限制？

卡夫卡中消费者或消费者群体的数量有限制吗？我计划每10分钟将200 MB的数据推向一个主题，并让200多个不同的消费者聆听和消费

apache-kafka

回答 1 投票 0

Spring-kafka-test-意外依赖性版本

使用Spring Boot 3.1.11 Spring -Kafka -3.0.16 试图将KAFKA-CLIATER从3.4.1更新为3.5.1 根据文档，这三个应该一起工作。但是我注意到Spring-Kafka测试仍在

spring-boot apache-kafka spring-kafka

回答 1 投票 0

使用Python

我们正在尝试使用Python获取主题列表，但它返回空列表。从kafka.admin进口kafkaadminclient #Configure Kafka客户端客户端= kafkaadminclient（

python amazon-web-services apache-kafka aws-msk

回答 1 投票 0

Kafka与Vireguard集成：不可折断的元地址0.0.0.0

apache-kafka apache-kafka-connect

回答 1 投票 0

使用kafkaflow与野外卡

我使用的主题名称就像

.net apache-kafka kafkaflow

回答 0 投票 0

在GO中有效消费Kafka消息的最佳并发模式是什么？我在GO中研究Kafka消费者，目前使用一个简单的循环来获取和处理消息。我将使用go commume（）称此功能同时运行它。但是，我不确定是否...

func Consume(ctx context.Context, k *kafka.Reader, handler IMessageHandler) { for { msg, err := k.FetchMessage(ctx) if err != nil { log.Error("Failed to fetch message", "error", err) return } err = handler.Handle(ctx, msg) if err != nil { log.Error("Failed to handle message", "error", err) continue } commitWithRetry(ctx, k, msg) }

go apache-kafka design-patterns concurrency goroutine

回答 1 投票 0

parpuse msk kafka连接器（接收器）而无需删除我正在尝试写下过程，以便我们正在陷入的数据库中是否有些问题。想法是：暂停/禁用连接器重置偏移启用连接器后退但是，看来

apache-kafka aws-msk

回答 0 投票 0

设置值序列化器仅通过具有3个参数的构造函数起作用，因此不考虑地图配置

Herey，

java spring apache-kafka spring-kafka

回答 1 投票 0

Kafka .NET 中的恰好一次消费者/生产者？

假设我有一个 Kafka 消费者/生产者，其工作原理如下：使用输入主题中的消息计算消息的函数将结果写入输出主题提交来自输入的消息 ...

c# .net apache-kafka f#