etl 相关问题

ETL是Extract,Transform和Load的首字母缩写。它指的是从源系统提取数据,以某种方式转换数据(操纵它,过滤它,将其与其他源组合),最后将转换后的数据加载到目标系统的过程。

SCD推断的成员重复条目

如何最好地处理这种情况:类别维表包含“食物”和“饮料”类别事实记录到达时带有未知类别,并在“类别”维中创建推断的成员“ N / A”。 ...

回答 1 投票 0

导入/导出DataFusion管道

有人知道是否可以以编程方式导入/导出DataFlow管道(已部署或处于草稿状态?这个想法是编写一个脚本来删除并创建一个DataFusion实例,顺序为...

回答 1 投票 0

包含200多个具有不同数据结构的JSON请求

我正在设计一个项目,希望通过Web API使用多个入站JSON请求,每个请求都具有不同的数据结构。这些请求将被处理以将数据插入SQL ...

回答 1 投票 0

如何在Datastage中将2位数的年份更改为4位数的年份?

你好,我想问一下,我的源数据有一些问题,例如第一列是01-Dec-18,第二列是65-Jan-65这是第一列,我想应该是01- ...

回答 1 投票 0

将敏感数据从SQL Server导入到平面文件中

我是SSIS的新手,我想将数据从SQL数据库导入到平面文件中。我有一个名为SecurityNumber的列名,其中包含敏感数据,因此使用派生列,我想使用...

回答 1 投票 0

从DB2事务表中卸载增量数据的最佳方法?

很抱歉,以前是否有人问过这个。我希望以此方式赢得一些时间:)从针对OLTP优化的DB2源数据库中卸载增量数据的最佳方法是什么?例如。由...

回答 1 投票 0

从AWS DataLake到RDS的ETL

我对DataLakes还是相对较新,我正在对AWS上的一个项目进行一些研究。我已经创建了一个DataLake并具有从Glue Crawlers生成的表,我可以在S3中看到数据并对其进行查询...

回答 1 投票 0

用于在Azure sql中提取和处理数据的选项

我需要我正在研究的项目的专家意见。当前,我们使用调用存储过程的本地脚本来获取加载到Azure sql数据库中的数据文件。我打算替换...

回答 1 投票 0

SSIS执行存储在表的列中的sql命令

错误:将结果提取到类型(DBTYPE_WSTR)的变量中时发生错误。可能的失败原因:查询问题,“ ResultSet”属性未正确设置,参数未设置...

回答 1 投票 0

数据整理和ETL(提取,转换和加载)之间有什么区别?

我对ETL的基本理解是,像Data Analyst这样的人会使用它。 ETL将用于从数据库(MySQL)提取数据,转换为类似Excel的数据,其中业务规则(...

回答 1 投票 0

重组此csv的最简单方法是什么?

我有一个csv文件,其中包含我要转换的单独行上有关客户端的数据。当前布局为:Client_Name,Client_ID,Client_Group,Attribute_Name,Date,Attribute_Value每行...

回答 2 投票 0

传递给SUBSTING函数的无效长度参数

我正在使用Pentaho,并且在Table输入上出现此错误。 SELECT substring(PEBATENDHISTORICO,charindex('BRINDE SEM。',pebatendhistorico)+12,7)NUM_SEMANA_ENTREGA,substring(PEBATENDHISTORICO,...

回答 1 投票 0

使用任何ETL工具进行数据转换的可行性分析

我对任何ETL工具都没有任何经验。但是我想知道是否可以使用任何ETL工具执行以下操作,或者我们需要编写Java或任何其他批处理作业来执行此操作:场景1:...

回答 1 投票 0

跟踪文件oracle。如何将名称'SYS_TEMP_0FD9D6616_3CFB8B'(或对象ID = -40016362)与特定的实现块(带有as)匹配>]

我开始学习Oracle查询优化。我对跟踪文件有疑问。跟踪文件中有一个查询计划,例如(很抱歉,如果不设置格式,则不必阅读...

回答 1 投票 0

使用pentaho数据集成的SQL身份列插入

我是Pentaho数据集成工具的新手。我正在尝试将数据从源表移到目标表...两者都是SQL Server。这些表是相同的,并具有一个标识列。尝试了很多...

回答 2 投票 2

如何在数据阶段中将列名从oracle源包括到平面文件(目标)?

我是一个初学者,正在努力成为一名出色的ETL开发人员,并且使用IBM Infosphere Datastage。我能够将数据从数据库(Oracle)传输/导入到顺序文件(csv),但我想要...

回答 1 投票 0

为什么要使用Python Pandas?

一个组织正在评估数据转换工具。许可工具(SSIS,Informatica等)与Python熊猫相比,我理解比较可以是苹果与橙子相对。为什么以及何时可以......>

回答 1 投票 -1

Redshift COPY命令中的时间戳格式无效

我已经尝试了SO的几乎所有解决方案,但仍然是同一问题。我在S3中有一个CSV文件,在Redshift中有一个表。表结构如下:like_id => inetger p_id => integer c_id => ...

回答 1 投票 0

在SSIS中使用PDF如何使用数据源

我想知道使用SSIS中的数据源如何使用PDF是可能的。我曾尝试转换为另一个平面文件,但未能做到。请有人将脚本转换为PDF或其他内容...

回答 1 投票 -1

从表中计数记录并将数据写入SSIS中的文本文件中

COMPANY_CODE POLICY_NUMBER代理商PLAN_CODE AGENT_RANKING分裂状态01 001 100 ADV黄金1.0.0.0.0.0 0.3买入01 001 ...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.