无法使用流集将JSON响应转储到CSV文件中的FTP服务器

Question

我使用HTTP客户端创建了管道> Field Pivoter> Field Flattenner> SFTP / FTP / FTPS客户端

我只是试图从返回JSON的HTTP API提取数据并将其响应转储到CSV文件中的FTP服务器。

[当我尝试预览它时，“写到目的地和执行人”时出现此错误

com.streamsets.pipeline.lib.generator.DataGeneratorException：WHOLE_FILE_GENERATOR_ERROR_0-整个文件格式错误。原因：java.lang.IllegalArgumentException：记录不包含强制性领域/ fileRef，/ fileInfo，/ fileInfo / size用于整个文件格式。

我检查了文档，这意味着什么以及如何解决此问题。

在最后一个块的FTP客户端目标中，我将文件名表达式指定为${record:value('/fileInfo/filename')}.csv

如果我在预览时未选中“写到目的地和执行者”复选框，则可以看到所有数据及其转换。但是，当我尝试转储时，它显示该错误。

我该如何解决？

Answer 1

遗憾的是，无法直接从FTP客户端目标写入CSV数据。一种方法是在一个管道中将数据写入本地磁盘，然后在一秒钟内将文件移至FTP服务器。