OCI 对象存储集成到 AWS S3 以构建 Snowflake 数据管道

问题描述 投票:0回答:3

我正在寻找一种从 OCI 对象存储中提取数据的解决方案。我们有来自 Oracle ERP 的文件并将它们存储在对象存储中。想要提取这些数据并将其加载到 Snowflake 系统中。我们将 AWS s3 与 Snowflake 集成。寻找从 OCI 对象存储 —> AWS S3 —> Snowflake 构建集成的选项。我们需要将数据加载到 Snowflake 中,作为夜间批处理和近乎实时的数据处理。您能分享一下您对构建此集成的想法吗? 寻求熟悉该流程的帮助。 Snowflake没有与OCI对象存储直接集成,S3集成选项没有找到任何AWS文档。

amazon-web-services amazon-s3 snowflake-cloud-data-platform oracle-cloud-infrastructure
3个回答
1
投票

您是否考虑过使用 RClone 之类的工具来将对象存储与 S3 同步? RClone 博客文章。您可以使用诸如 OCI 容器实例 之类的东西来将成本降至最低。

还有 Oracle Integration,它可以让您从 OCI 对象存储创建数据源。我没有使用过它,但看来您可以直接将数据提供给 Snowflake 并完全绕过 AWS S3。


0
投票

OCI 对象存储 API 与 AWS 对象存储 API 兼容。根据您在管道中提取数据的方式,您可能只需要更改 url,甚至不必从 OCI 对象存储迁移到 AWS S3。这是 Oracle 的一篇文章,讨论了这种方法的先决条件。

https://docs.oracle.com/en-us/iaas/Content/Object/Tasks/s3knownapi.htm#usingAPI


0
投票

您是否能够调用S3 API..有类似的要求。按照客户密钥步骤进行操作后,我收到错误消息。我们需要制定什么具体政策吗?

© www.soinside.com 2019 - 2024. All rights reserved.