Apache NiFi 2.0.0 中缺少 PutHDFS 处理器

Question

我正在使用

Apache NiFi 2.0.0

，不幸的是它不包括

PutHDFS

处理器。我的项目需要此版本的 NiFi，因为它具有与 Python 脚本的集成功能，因此无法使用

PutHDFS

升级到不同版本。

我需要将数据从 NiFi 传输到 HDFS，并且我正在寻找一种替代方法来直接在 NiFi 2.0.0 中执行此操作。有人有实现这个目标的建议吗？以下是我正在考虑的一些细节：

Python 脚本处理器： 鉴于

NiFi 2.0.0

具有

Python scripting support

，有没有办法利用它来创建写入 HDFS 的自定义解决方案？

其他处理器或解决方法：如果有替代处理器或方法将数据导入 HDFS（例如，使用 ExecuteStreamCommand 运行 HDFS CLI 命令或任何基于 HTTP 的处理器），我也会对这些感兴趣。

任何有关如何处理此问题的指导或示例将不胜感激！

Answer 1

您可以在此处找到有关 NiFi 2 中删除的组件的更多详细信息： https://cwiki.apache.org/confluence/display/NIFI/Deprecated+Components+and+Features

也供参考：https://cwiki.apache.org/confluence/display/NIFI/Migration+Guidance

特别是对于 HDFS 组件，没有打包在方便的二进制文件（即 nifi-2.0.0-bin.zip）中，但组件仍然通过 Maven 存储库构建并提供。您可以根据需要下载合适的 NAR：

• https://mvnrepository.com/artifact/org.apache.nifi/nifi-hadoop-nar
• https://mvnrepository.com/artifact/org.apache.nifi/nifi-hadoop-libraries-nar