我正在设计一个基于Kafka的系统，用于从通常网络连接较差的远程平台传递消息。 Kafka群集将在舒适的数据中心中运行，在那里所有节点的故障极不可能发生。让我担心的是生产者在网络中断期间的行为（这种情况肯定会发生并且可能持续数天）。这是为什么尚未实施基于Kafka的系统的主要原因，即所有数据都被视为关键数据，应该丢失0个数据。当前，我们有一个使用TCP连接的简单系统，如果不可用，则将数据缓冲到HDD（请考虑到有足够的空间来缓冲数据）。
有人在网络中断期间有使用硬盘缓冲数据的经验吗？这会对Kafka集群产生负面影响吗？将有数百个提供者，几乎可以保证其中的某些提供者在任何给定时间都会中断。
感谢您的帮助！
我看不到您的计划有任何问题。如果可以满足您的用例，则可以将其与Kafka一起使用。