如何从GemFire将数据导出到cdv

问题描述 投票:0回答:1

我正在尝试构建一个ETL过程,将数据提取到GemFire并加载到Teradata中。但是,我没有找到一个很好的机制来导出数据。到目前为止我唯一发现的是rest api,它可以从一个区域获取所有条目。但是,这对批量出口有用吗?它将在json中返回数据,在加载到表中之前必须对其进行解析,我认为这对于大量数据不是很有效。还有其他解决方案吗?比如从GemFire导出数据为csv?或者与GemFire的ODBC / JDBC连接?我在Gemfire XD文档中找到了批量导出和ODBC / JDBC,但在核心GemFire中找不到?那么核心GemFire不支持它们吗?核心GemFire和XD版本有什么区别?

gemfire
1个回答
0
投票

这是两种不同的产品,设计时考虑了不同的东西。 GemFire XD为内存中的表数据提供了低延迟的SQL接口,因此它通常用作内存中的RDBMS。另一方面,GemFire是一个内存数据网格,对你插入区域的数据“没有限制”,你基本上处理自定义java对象,而不是表。另外,我知道GemFire XD过去是建立在GemFire之上的,不知道当前的状态是什么(你可能想看看Snappy Data了解更多细节)。

也就是说,严格来说,GemFire可以导出您所在地区的快照,然后将其导入另一个群集。更好的是,您可以通过条目读取快照条目以进行进一步处理或转换为其他格式,我相信这正是您正在寻找的。请查看Cache and Region Snapshots以获取详细信息。

希望这可以帮助。干杯。

© www.soinside.com 2019 - 2024. All rights reserved.