apache-nifi 相关问题

我正在使用 Apache NiFi，我需要解析和转换传入的二进制数据，这些数据遵循格式字符串 ' 定义的特定结构我正在使用 Apache NiFi，我需要解析和转换传入的二进制数据，这些数据遵循每条消息的格式字符串 '<BBHBBHHHHHHh'（20 字节）定义的特定结构（类似于 Python 的 struct 模块格式字符串）。数据表示一系列不同类型的字段（无符号字符、无符号短整型、有符号短整型），我需要提取这些值以便在 NiFi 流中进行进一步处理。使用 python 从 mqtt 中使用并使用 struct 将其转换为 json 非常容易，但是如何在 nifi 中做到这一点？我设法使用 mqtt 但无法解码。将来我每秒会收到许多这样的 20 字节数据包，我希望它稳定且高性能。我知道 NiFi 主要处理基于文本或更通用的数据结构，例如 JSON 或 XML，并且我正在寻找在 NiFi 中处理这种二进制数据解析的最佳方法，如果可能的话，无需依赖外部脚本或工具。这是我迄今为止考虑或尝试过的：基于记录的处理器，例如ConvertRecord，但我不确定如何为二进制数据配置记录读取器。脚本处理器，例如 ExecuteScript 或 InvokeScriptedProcessor，但我担心 Jython 或 Groovy 中处理二进制数据结构的性能和复杂性。外部工具或脚本，我希望避免使用这些工具或脚本，以便将处理保留在 NiFi 的托管环境中。将此类二进制数据解析集成到 NiFi 数据流中的最佳实践或模式。您的经验中的任何建议或见解将不胜感激！如果 nifi 不是合适的工具，我对其他工具持开放态度，我确实研究过 flink，但这看起来很复杂，我喜欢 nifi 的流程思想。我也研究过 redis gears，但从 api 开发来看，它看起来不稳定。这很奇怪，但最有效的变体是使用 ExecuteGroovyScript （或 ScriptedProcessor，但在性能上相同 ScriptedProc 有一些附加选项）或外部脚本和 ExecuteStreamCommand。但我认为 ExecuteGroovyScript 是不太复杂的解决方案。更通用的解决方案编写 ScriptedReader 并根据测试使用 ConverRecord 它不是那么性能，但更通用的解决方案编写 ScriptedReader 您可以比在您选择的任何过程中使用它。

json mqtt apache-nifi binary-data

回答 1 投票 0

如何将输入流文件顺序传输到最后一个处理器？

我想在NiFi中将MySQL DB的获取操作分成4部分。我按顺序放置了 4 个 ExecuteSQLRecord，我希望在最后一部分中拥有所有数据（我知道 MergeContent，但是我...

apache-nifi

回答 1 投票 0

有没有办法使用 JOLT 复制基于变量的 JSON？

所以，我有一个如下所示的输入： { “实体类型”：“工作”， “身份证”：1019167， “特性” ： { "TemplateName" : [ "开发Bug&

json apache-nifi jolt

回答 1 投票 0

如何知道服务器时区

有什么方法可以将 Apache Nifi 服务器时区传递到处理器中吗？例如，在 UpdateRecord 中我尝试了以下表达式： ${Duser.时区} 还： #{-Duser.timezone} 但它不会重蹈覆辙...