我们可以在vertica外部表中加载多种文件格式吗？

Question

我正在尝试将 CSV 和 Parquet 格式文件加载到 Vertica DB 中的一个外部表中，但没有找到任何选项，在最坏的情况下计划将其加载到两个不同的表中并建立一个联合，但联合执行需要花费太多时间来加载数据。有人可以指导我 Vertica 中可用的最佳方法吗？

Answer 1

CREATE EXTERNAL TABLE foo(...) AS COPY FROM ... 

命令仅允许一种源（平台和目录）和一种格式。

作为 CSV，即使分配了负载，在解析阶段也往往会很密集（意味着很慢），特别是如果您想使用选择性过滤器，您可能会在外部 Parquet 和外部 Parquet 的

UNION SELECT

中获得足够的性能CSV 表。

但是，如果您的许可方案和数据添加策略允许定期将数据加载到 Vertica 内部 ROS 表中，请考虑创建 ROS 表以及从 CSV 进行常规 COPY 和从 Parquet 命令进行 COPY。