Milvus - Kafka 分区策略

问题描述 投票:0回答:1

我们使用 kafka 作为 Milvus 的消息流。当我们登录代理并查看日志目录时。尽管我们已覆盖代理配置 (num.partitions = 2) 以创建 2 个分区,但我们始终观察到日志文件仅使用 1 个分区。 Milvus 仅向 1 个分区写入数据,其他分区日志文件始终为 0 字节。在下面的快照中,Milvus 仅考虑分区 0。您能否分享一下 Milvus 使用的分区策略以及如何获取生产者和消费者配置?如果摄取率太高,如果我们增加 kafka 中的分区数量,我们会获得任何优势吗?默认为 1。

-rw-r--r--. 1 1001 1001     0 Sep 12 01:21 by-dev-rootcoord-dml_8-1/00000000000000000000.log
-rw-r--r--. 1 1001 1001  622K Sep 12 01:31 by-dev-rootcoord-dml_8-0/00000000000000000000.log
-rw-r--r--. 1 1001 1001  947K Sep 12 01:31 by-dev-rootcoord-dml_8-0/00000000000000001963.log

collections artificial-intelligence vector-database milvus
1个回答
0
投票

据我所知,milvus 在创建 kafka 的 Consumer 时并没有指定任何分区。我想它总是使用默认/第一个分区。

© www.soinside.com 2019 - 2024. All rights reserved.