数据仓库负载

问题描述 投票:0回答:2

我们正在构建一个 DWH,初始负载将是数百万行(一些表大约有 3 亿行)。

您能否建议一种有效的初始数据提取方法?使用 SQL Server 导入和导出是一个好的且更快的选择吗?

谢谢

sql-server ssis data-warehouse data-migration
2个回答
1
投票

首先:SQL Server 导入和导出向导创建一个 SSIS“幕后包”。

我最近必须解决同样的问题 - 我们的 Oracle 到 SQL Server 复制基础设施崩溃了,我们必须重建它,这涉及与您描述的大小相同的初始表负载。 我们对所有这些都使用了 SSIS 包,并且性能足以在我们可用的窗口中完成任务。

如果 Oracle 数据足够干净,另一个需要考虑的选项是将 Oracle 数据作为平面文件导出和 BCP 导入。 不过,如果你走那条路,我担心其他人需要协助 - 我几乎无法拼写“BCP”。


1
投票

我刚刚在 9 分钟内从 Oracle DB 提取并加载了 2450 万行数据到 SQL Server,我发现这非常棒!!!

解决方案:使用适用于 Oracle 的 Attunity 连接器,并将批量大小更改为适合您的值(1000/5000/10000),1000 对我有用。 (默认 100)

© www.soinside.com 2019 - 2024. All rights reserved.