ORACLE BLOB数据迁移到亚马逊S3上

问题描述 投票:0回答:2

我有大量的数据(1000GB)作为blob或clob在oracle数据库中的一个表,我计划将整个blob数据迁移到amazon s3。

我想的解决方案是写jdbc api,从oracle中提取blob数据,然后用aws sdk推送到amazon s3。

我为这个方法写了poc,以找出上传数据需要多少时间,从最初的测试中,我发现上传15GB的数据需要1个小时(使用多线程)。

但我不认为我可以使用这种方法上传1000GB的数据到s3,因为这将需要大量的时间。

有什么其他的方法可以实现这个目标吗?


更新了问题

我打算在这个用例中使用远程远程分区的spring batch,这是一个好方法吗?

谢谢你的回复

java multithreading oracle amazon-s3 jdbc
2个回答
0
投票

寻找Amazon SnowBall服务。


0
投票

你可以把blobclob数据导出到一个文件中。一旦导出到文件,将文件上传到S3 bucket。你可以使用任何开源ETL工具来提取blob数据。不要尝试直接从数据库中提取,这将需要大量的时间。我建议使用talend工具并迁移它。如果你使用talend工具,不需要导出到文件,你可以直接把数据从表复制到s3 bucket。

© www.soinside.com 2019 - 2024. All rights reserved.