我们有一个场景，其中会有一个连续的二进制文件输入集（确切地说是ASN.1类型）。我们想将这些二进制文件转换为XML或JSON等不同格式，然后写入不同的位置。我想知道什么是解决此类问题的最佳建筑设计。我知道我们可以将Spark集群用于CSV，JSON镶木类型的文件，但是我不确定是否可以将其用于二进制文件处理，或者我们可以使用Apache flume将文件从一个位置移动到另一个位置，甚至使用拦截器进行转换内容。
这是理想的，只要我们考虑性能考虑而无需改变分布式处理的基础框架，就可以切换使用ASN.1解码器。 （例如：使用基于C ++，基于python或基于Java的解码器库）
关于解决方案的可伸缩性，可靠性和面向未来的观点，我会看Apache NiFi而不是Flume。您可以从开发自己的ASN.1处理器开始，或者尝试使用已经可用但还不是发行版本一部分的the patch。