用于大量数据处理的Spring Boot应用程序的Spring Kafka或Kafka流

Question

我正在使用Spring boot，Kafka和QuickFIX / J为银行创建大量JSON数据处理应用程序。这是我第一次使用Kafka和QuickFIX / J之类的技术，无法决定应该使用普通的Kafka spring还是Kafka流或spring cloud流。这是要求：

1. 读取来自多个Kafka主题的数据
2. 处理数据并将其发送到QuickFIX / J启动器，然后将其进一步发送到外部FIX引擎
3. 一个QuickFIX / J接受器从外部FIX引擎接收数据，并将其再次写回到多个Kafka主题，但是这次不同。

我看过的教程/文章说，如果您同时拥有消费者/生产者，执行大量数据流并希望实现一次处理，那么Kafka流或Spring Cloud流是很好的选择。但是，在这里，我需要将数据处理后发送给外部参与者，接收它，然后再写给Kafka主题。

使用Kafka流是否是一个不错的选择？还是应该与正常的生产者和消费者一起使用spring kafka？

我正在使用Spring boot，Kafka和QuickFIX / J为银行创建大量JSON数据处理应用程序。这是我第一次使用Kafka，QuickFIX / J和...

Answer 1

Spring Cloud Stream是Apache Kafka在Spring之上的一个更高层次的，自以为是的抽象。它可以处理您的用例（有几个“接收器”示例应用程序）。