我需要ETL吗?

问题描述 投票:4回答:3

我们目前使用Datastage ETL - 每天导出一个包含15个表(3种不同模式)数据的CSV /文本文件。

我想知道如果有一个更简单的方法来完成这个使用ETL。我试过Scriptella。它看起来很简单/快速,但它又是一个ETL。请建议..

etl
3个回答
11
投票

我们使用Python。每种编程语言 - 每一种都发明过的 - 都是ETL的替代品。

你永远不需要ETL。

问题是这些:

  • 哪个更便宜?自定义软件或ETL的配置?
  • 维持运营哪个更便宜?
  • 哪种更容易适应不断变化的要求?

1
投票

为什么不使用免费且易于使用的ETL工具,如expressor Studio。你可以在http://www.expressorstudio.com下载它。


0
投票

我的2美分。

Datastage是一个糟糕的工具,许可证很昂贵。

SSIS更简单,或者cloverETL很好。

ETL工具与代码是一个很好的问题。

ETL工具通常具有更好的性能,因为可以将数据排队准备好用于编程一次一个地执行此操作的数据,并且数据存储可以并行执行此操作(但我认为这样做会很糟糕)。 PLus ETL工具可以从多个异构源获取数据,而您可以(轻松地)使用代码执行此操作。

但是,如果要对同一服务器上的数据进行任何数据转换等,我通常最终会尽可能多地使用SQL / TSQL(或PL / SQL),因为它只需要更容易调试/维护。主键/外键是您的朋友,可以通过稍后检查计数来检查任何错过的查找,以确保数据的完整性。

© www.soinside.com 2019 - 2024. All rights reserved.