etl 相关问题

ETL是Extract,Transform和Load的首字母缩写。它指的是从源系统提取数据,以某种方式转换数据(操纵它,过滤它,将其与其他源组合),最后将转换后的数据加载到目标系统的过程。

将Excel中的非规范化关系数据导入SQL Server [关闭]

我需要将数据从Excel电子表格导入SQL Server,但数据不是关系/规范化格式,因此导入向导不会削减它(据我所知)。数据在......

回答 4 投票 1

SSIS:excel连接管理器无法连接到excel 2007

在Excel连接管理器中,当我选择Excel 97-2003连接到Excel(97-2003)数据文件作为源时,我能够看到数据预览,它工作正常,但是当我选择Excel 2007时.. 。

回答 1 投票 3

在使用存储过程的输出参数传递时,在执行sql任务中出现“由于ssis中的编译错误而无法分析批处理”

我使用sp_send_dbmail来获取mailitem_id作为输出。当我使用输出参数运行查询时,它会抛出错误而没有输出它工作正常。错误:执行SQL任务] ...

回答 2 投票 4

在SSIS包中使用AD服务帐户

我在SSIS包中创建了具有Windows身份验证的连接管理器,默认情况下,它将使用我的凭据连接到特定的数据库。我创建了项目参数......

回答 1 投票 2

SSIS脚本组件输入

我有一个带有C#脚本组件的SSIS包。该脚本处理一些文档并将信息提取到多个SQL表。组合表不是一种选择。脚本运行完美......

回答 1 投票 2

这将是一个更快(更好)的工具,用于查询以Parquet格式存储的数据--Spark SQL,Athena或ElasticSearch?

我当前正在构建一个ETL管道,它将数据表(约100 + GB的顺序)输出到下游交互式仪表板,允许动态过滤数据(基于预定义的......)

回答 1 投票 1

使用cmd行运行时SSIS包失败

当我尝试运行SSIS包时,它无法抛出错误说明:要在SQL Server数据工具之外运行SSIS包,您必须安装标准版(64位)的Integration Services ...

回答 1 投票 2

如果data为null,则XmlNode.InnerText会中断

我在VS 2008中有一个脚本任务。在这个脚本任务中,我得到一个数据集并将其转换为XML,并循环遍历节点:Dim dsHistory As New DataSet dsHistory = GetHistoryByYear(Year)Dim ...

回答 2 投票 2

MYSQL变更数据捕获(CDC) - Azure服务(Azure数据工厂)

我想对MYSQL数据库的数据表执行ETL操作,并将数据存储在azure数据仓库中。我没有更新日期列来标识该期间的修改记录。 ...

回答 3 投票 -1

ssis中的意外终止错误

从服务器运行ssis包时,我收到以下错误。数据流任务:错误:Excel Source未执行预执行阶段并返回错误代码0xC0202009数据流任务:错误:...

回答 1 投票 2

从查询表达式SSIS中删除简单引号

我在SSIS工作,我创建了一个名为CPP_Empresa的变量:“## CPP _”+ @ [User :: cia] +“”结果是:## CPP_ EMBE问题是当我将此变量用于另一个变量时:如果......

回答 1 投票 0

SSIS数据流任务在执行预执行阶段时挂起

我有一个暂停执行的数据流任务。流程很简单,对不同的表进行两次查询(两者都有几个连接),然后通过一个公共ID对otuput进行排序和合并,...

回答 9 投票 25

用于查找转换的多个输入(ssis)

是否可以配置查找转换以接收多个输入?我尝试了多播和不同的其他方法来构建我的ETL,之后我认为完成它的唯一方法...

回答 1 投票 0

Pentaho,如何将int转换为字符串值

我有问题,Pentaho数据集成。我有一个表例如=>警察力量和这个值是1,2,3(外键)。现在的问题是如何改变这个值=> 1 =没有力量,......

回答 1 投票 0

查找从单个串联值字符串拆分为行的最低值和最高值

这是我的问题的后续问题:我对uzi提供的问题得到了很好的答案。然而我注意到一家新公司,Company3也使用了单一数据点,例如......

回答 4 投票 3

将unicode添加到字符串html标记模式

我在SSIS中运行时使用下面的C#脚本从描述列中删除HTML标记。我试图添加以下unicode:到下面的字符串htmlTagPattern,但我不能...

回答 1 投票 4

pentaho spoon根据字段内容输出到多个xml文件

继续这个问题Pentaho Spoon - 根据字段内容输出到多个文件如何为“xml输出”做,因为“xml输出”没有“从字段中接受文件名”输入...

回答 1 投票 2

如何使用ssms或ssis包将SSIS包从MSDB数据库复制到文件系统

有没有办法使用SSMS或SSIS包将SSIS包从MSDB数据库复制到文件系统。我的尝试在哪里:在SSMS QUERY EXEC xp_cmdshell'dtutil /中使用带有xp_cmdshell的dtutil ...

回答 1 投票 1

Apache nifi问题,将数据从json保存到orc

我正在使用NIFI jsontoavro-> avrotoorc-> puthdfs。但面临以下问题。 1)单个ORC文件正在HDFS上保存。我没有使用任何压缩。 2)当我尝试访问这些文件时,他们是......

回答 1 投票 2

从原始数据创建n个新行,例如(1000 ... 1000 + n)

我需要从Excel工作簿中读取数据,其中数据以这种方式存储:公司帐户Company1(#3000 ...#3999)Company2(#4000..4019)+(#4021..4024)其中的预期。 ..

回答 4 投票 4

© www.soinside.com 2019 - 2024. All rights reserved.