Kafka 生产者将记录发送到主题分区捕获 TimeoutException：过期 1 条记录

Question

在实际环境中，使用flink连接kafka作为Kafka的生产者。现在环境中发送数据时出现“TimeoutException”异常信息：

org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for topic-test-1 due to 60024 ms has passed since batch creation plus linger time

我观察了kafka服务器的网络IO和磁盘IO（网络：10000mbps），还有大量的空闲时间。 kafka集群中所有broker节点状态正常 生产者配置：

properties
batch.size=16k
request.timeout.ms=60*1000

我不是kafka专家，所以我很困惑为什么会出现这样的问题。有谁遇到过类似的问题吗

帮我解决这个问题吗？

Answer 1

Kafka 中的 TimeoutException: Expiring 1 record(s) 错误通常表示生产者无法在配置的范围内将记录发送到 Kafka 代理

request.timeout.ms.

这可能是由于以下几个原因造成的：

首先检查

调整批量大小 减少batch.size：

batch.size

配置控制批次中包含的最大字节数。减少此值将使批次更小，这可以帮助它们更快地得到处理。

调整linger.ms：

linger.ms

配置控制生产者在发送批次之前等待的时间。减小此值有助于确保更频繁地发送批次。

如果未修复，请进行下一步

网络问题：如果Kafka生产者和Kafka代理之间存在网络连接问题，可能会导致消息发送延迟。

Broker 负载：如果 Kafka Broker 负载过重，可能无法及时处理请求。

生产者配置： Kafka 生产者的配置（例如 ack、重试和 request.timeout.ms）会影响它处理发送消息和重试的方式。

代理配置：

replica.lag.time.max.ms

和

replica.lag.time.max.ms

等代理设置也可以影响代理在考虑消息失败之前等待副本确认的时间。

要排查并解决此问题，请考虑以下步骤：

1. 检查网络连接 确保 Kafka 生产者和代理之间不存在网络问题。这可以包括检查防火墙、网络延迟和数据包丢失。

2. 监控经纪商负载 检查 Kafka 代理的负载。您可以使用 Kafka 内置指标、Prometheus 或 Grafana 等监控工具来深入了解代理性能。如果代理过载，请考虑扩展 Kafka 集群或优化生产者配置。

3. 调整生产者配置 修改 Kafka 生产者配置以更好地处理重试和超时：

增加

request.timeout.ms:

这将为制作人提供更多时间将记录发送给经纪人。 增加

delivery.timeout.ms:

这定义了等待记录被确认的总时间。如果超过，则记录失败。 调整重试和确认：配置重试次数和确认设置以提高可靠性。 4. 调整经纪商配置

确保您的 Kafka 代理配置针对您的用例进行了优化：

增加

replica.lag.time.max.ms:

这可以在副本响应缓慢的情况下有所帮助。 查看其他相关代理设置：查看与复制和请求处理相关的设置。 5.审查生产者日志 检查 Kafka 生产者日志以获取其他信息，这些信息可能提供有关超时发生原因的更多上下文。这可以帮助识别特定问题或模式。

配置调整示例 以下是如何调整 Kafka 生产者配置的示例：

request.timeout.ms=30000; // Increase timeout
delivery.timeout.ms 60000// Increase total delivery timeout