有没有办法从Java中的InputStream读取镶木地板文件？

Question

我正在尝试从 S3 读取镶木地板记录，S3 通常返回一个输入流，我想从中检索数据。我使用 java ，我不想使用 Spark 的内置阅读器。有办法做到这一点吗？

Answer 1

不，您无法从 InputStream 解析 Parquet 文件，因为 在内部 parquet-mr 会查找文件。

例如，有关架构的文件元信息保留在文件末尾，而 parquet 所做的第一件事就是转到文件末尾。

一种选择是完整下载文件，然后解析它。