etl 相关问题

ETL是Extract,Transform和Load的首字母缩写。它指的是从源系统提取数据,以某种方式转换数据(操纵它,过滤它,将其与其他源组合),最后将转换后的数据加载到目标系统的过程。

在多重连接条件下将数据从第二个表插入一个表中

我正在尝试使用键字段上的连接将数据从第二个表(src_tbl)插入一个表(trgt_tbl)。该查询似乎工作正常,但速度非常慢。 ...

回答 1 投票 2

RestSharp返回OutputRows(HTML)

我正在执行ETL流程,是从API中提取的,但是我不知道如何输出行;那是我的代码,但我不知道如何执行“ FOREACH”返回。 var client = new RestClient(“ https:// ...

回答 1 投票 0

在各个BigQuery表之间分配数据

我的应用程序每台服务器每3分钟生成一个带有各种事件类型的日志文件。我需要根据事件类型将数据提取到BigQuery到各种100多个表中。目前,我们在...

回答 1 投票 0

SSIS表达式中不支持对象变量的数据类型

我正在使用sql任务检索ID列表并存储在对象变量中。将每个id传递给foreach循环容器,我正在创建csv文件。我希望csv文件名是唯一的。我们如何附加...

回答 1 投票 0

Apache NiFi是否适合该用例?

[请帮助我选择合适的工具。我有以下任务:有N个数据源(N <20),它可以是关系数据库(MySQL,PostgreSQL)或REST API。我需要加载所有数据...

回答 1 投票 0

SSIS OLE DB记录可用。来源:“ Microsoft SQL Server本机客户端11.0”结果:0x80004005,无法确定元数据

尽管我给了with结果集动态SQL,但出现以下错误。但是它要求相同。 OLE DB记录可用。来源:“ Microsoft SQL Server Native Client 11。...

回答 1 投票 0


S3上的ETL:如何将新数据插入到现有文件中?

我正在使用Python / Pandas创建ETL。例如,提取(从多个数据源)和转换后,我将所有数据上传到s3。数据将可用于查询...

回答 1 投票 0

如何在DataStage中使用引号插入值?

您好,我一直遇到问题,因为源文件包含多个双引号。我一直在试图弄清楚它是怎么回事,并且我目前在转换器阶段使用正则表达式。这是...

回答 1 投票 0

如何使用Visual Studio以编程方式创建OLAP多维数据集

我是SQL Server数据工具的新手。浏览互联网以学习BI套件后,我发现SSIS SSAS SSRS不仅具有拖放功能。人们实际上正在创建多维数据集和数据库...

回答 1 投票 0

从一个文件读取并写入另一个文件时,最有效地使用计算资源是什么?一行还是一批到列表?

我正在从文本文件中逐行读取并处理字符串,然后将其写入csv文件。我可以想到两种最佳方法(我欢迎其他想法或修改):阅读,...

回答 2 投票 1

使用Go从一个postgres数据库复制到另一个

我想用Go复制数据库A的postgres数据,将视图A复制到数据库B的表B。这将对几十个表完成,我想利用Go提供的并发性。 ...

回答 1 投票 0

使用Go从一个Postgres数据库复制到另一个数据库

我想用Go复制数据库A的postgres数据,将视图A复制到数据库B的表B。这将对几十个表完成,我想利用Go提供的并发性。 ...

回答 1 投票 0

使用golang从一个postgres数据库复制到另一个数据库

我想用Go复制数据库A的postgres数据,将视图A复制到数据库B的表B。这将对几十个表完成,我想利用Go提供的并发性。 ...

回答 1 投票 0

要在聚合器阶段以外的数据阶段实现逻辑

我想通过聚合器阶段实现该逻辑,基本上是通过转换器阶段以基于ID列合并这些记录,并且不可能获得...的多个值]]

回答 1 投票 0

RestSharp返回OutputRows(HTML)[已解决]

我正在执行ETL流程,从API中提取,但我不知道如何输出行;多数民众赞成在我的代码,但我不知道如何做一个“ FOREACH”返回。 var client = new RestClient(“ https:// ...

回答 1 投票 0

使用Java将RTF转换为XML

我有一个富文本文档(.rtf或.doc),其中包含很多数据元素,需要读取这些数据元素并将其转换为XML或Json的结构化数据对象。这些文档在术语上具有某些格式...

回答 2 投票 0

如何比较Pentaho中一行中的每个元素

我有一个Excel,这里有一个外观示例,我在这里使用Pentaho输入图像描述,目的是创建一个新行(与之相关),其中我将显示一个人是否有...。] >

回答 2 投票 0

如何使用Visual Studio以编程方式创建OLAP多维数据集

我是SQL Server数据工具的新手。浏览互联网以学习BI套件后,我发现SSIS SSAS SSRS不仅具有拖放功能。人们实际上正在创建多维数据集和数据库...

回答 1 投票 0

使用SSIS从电话号码中分割国家代码

我正在创建一个SSIS包,以检查现有电话号码的国家/地区代码是否与其所在国家/地区匹配。为此,我需要将国家/地区代码与电话号码分开,并有办法...

回答 1 投票 -1

© www.soinside.com 2019 - 2024. All rights reserved.