binary-data 相关问题

二进制数据是使用两个字符的字母表存储的信息（通常使用0和1编写）

我正在使用 Apache NiFi，我需要解析和转换传入的二进制数据，这些数据遵循格式字符串 ' 定义的特定结构我正在使用 Apache NiFi，我需要解析和转换传入的二进制数据，这些数据遵循每条消息的格式字符串 '<BBHBBHHHHHHh'（20 字节）定义的特定结构（类似于 Python 的 struct 模块格式字符串）。数据表示一系列不同类型的字段（无符号字符、无符号短整型、有符号短整型），我需要提取这些值以便在 NiFi 流中进行进一步处理。使用 python 从 mqtt 中使用并使用 struct 将其转换为 json 非常容易，但是如何在 nifi 中做到这一点？我设法使用 mqtt 但无法解码。将来我每秒会收到许多这样的 20 字节数据包，我希望它稳定且高性能。我知道 NiFi 主要处理基于文本或更通用的数据结构，例如 JSON 或 XML，并且我正在寻找在 NiFi 中处理这种二进制数据解析的最佳方法，如果可能的话，无需依赖外部脚本或工具。这是我迄今为止考虑或尝试过的：基于记录的处理器，例如ConvertRecord，但我不确定如何为二进制数据配置记录读取器。脚本处理器，例如 ExecuteScript 或 InvokeScriptedProcessor，但我担心 Jython 或 Groovy 中处理二进制数据结构的性能和复杂性。外部工具或脚本，我希望避免使用这些工具或脚本，以便将处理保留在 NiFi 的托管环境中。将此类二进制数据解析集成到 NiFi 数据流中的最佳实践或模式。您的经验中的任何建议或见解将不胜感激！如果 nifi 不是合适的工具，我对其他工具持开放态度，我确实研究过 flink，但这看起来很复杂，我喜欢 nifi 的流程思想。我也研究过 redis gears，但从 api 开发来看，它看起来不稳定。这很奇怪，但最有效的变体是使用 ExecuteGroovyScript （或 ScriptedProcessor，但在性能上相同 ScriptedProc 有一些附加选项）或外部脚本和 ExecuteStreamCommand。但我认为 ExecuteGroovyScript 是不太复杂的解决方案。更通用的解决方案编写 ScriptedReader 并根据测试使用 ConverRecord 它不是那么性能，但更通用的解决方案编写 ScriptedReader 您可以比在您选择的任何过程中使用它。

json mqtt apache-nifi binary-data

回答 1 投票 0

502 错误网关内部服务器错误 lambda 提供二进制文件

我正在从节点获取中获取文件，如下所示 module.exports.somelambdafunction = async (事件、上下文、回调) => { const StreamData = 等待获取（某些文件 url，{ 标题：{ ...

aws-lambda serverless-framework binary-data

回答 1 投票 0

如何在Python中分块循环遍历二进制文件

我正在尝试使用Python循环一个充满8字节记录的长二进制文件。每个记录的格式为 [ uint16 | uint16 | uint32] （结构格式中的“HHI”）显然每个...

python binary-data

回答 4 投票 0

二进制网格导出是什么二进制格式以及如何将其转换为ascii？

我通过 Python API 使用 Gmsh 生成了一些大型网格。 ASCII 文件可以是千兆字节。由于二进制文件更小且读取速度更快，我设置 Gmsh 将网格文件保存为二进制文件...