提高文件附加到主文件的速度非常慢

Question

我试图将一组（10）相同的列Excel文件合并（或者可能是一个更好的术语）到一个主文件中。

我在控制流程中使用foreach循环尝试了一个非常简单的过程，只需将Excel源文件执行到Excel目标。这个过程不仅缓慢（每秒粘贴约1条记录），而且该过程在大约5万条记录后死亡。

它看起来像：Foreach循环容器 - >数据流任务

数据流任务是Excel源 - > Excel目标

最后，我想看到一个附加了所有文件的主文件。我认识到还有其他工具可以像在Excel中直接使用PowerQuery一样，但我正在努力更好地理解SSIS，并且我有很多处理在SQL Server中做得更好。

有一个更好的方法吗？我在线搜索高低，但在SSIS中找不到这样的例子。

Answer 1

这很简单。我建议的一件事是加载到csv格式的平面文件，可以在Excel中轻松打开。

1. Foreach循环在文件名上枚举。
2. 在Foreach GUI集中：
3. Excel文件的路径
4. 文件的结构（ex myfiles * .xls）
5. 转到变量映射并将完全限定名称映射到变量
6. 创建与任何一个文件的Excel连接。
7. 在excel连接属性中打开Expression并将filepath设置为5的变量
8. 同样在属性中将延迟验证设置为true
9. 将数据流任务添加到foreach循环容器中
10. 转到数据流
11. 使用源助手读取excel源
12. 使用目标助手加载到平面文件（可能不会覆盖目标或您只会获得最后一个工作簿