Kafka主题配置中的local.retention.bytes是什么？

Question

我注意到 Conduktor Console 中有一个新设置，我认为这是最近添加的。

它被称为

local.retention.bytes

。还有一个相关的

local.retention.ms

。

以下是文档中关于此参数的说明：

分区在删除旧段之前可以增长的本地日志段的最大大小。默认值为-2，它表示要使用的retention.bytes值。有效值应始终小于或等于retention.bytes值。

但这意味着什么呢？特别是，什么是“本地日志段”？我的猜测是，也许如果该代理是集群的一部分，则该值描述了主题日志可以占用的该代理的最大磁盘空间量？

我尝试通过搜索文档（和谷歌）来验证此信息，但我找不到答案。

ChatGPT 4o（实际上是一个搜索引擎）对此是这样说的：

在 Kafka 中，本地日志段是主题分区日志的一部分，存储在单个 Kafka Broker 的本地存储上。

然而，ChatGPT 并不可靠，所以这完全可以弥补。我只是为了您的兴趣才将其包含在内。

Answer 1

local.retention.bytes

配置在启用分层存储时相关。分层存储允许 Kafka 将较旧的日志段卸载到更便宜的存储介质，同时将最新的日志段保留在本地存储上，以便更快地访问。

local.retention.bytes

帮助管理主题使用的本地存储的大小。

retention.bytes

和

local.retention.bytes

之间的区别在于，

retention.bytes

控制在丢弃旧日志段以释放空间之前分区可以增长到的最大大小。另一方面，

local.retention.bytes

指定在删除旧段之前分区的local日志段的最大大小。