etl 相关问题

ETL是Extract,Transform和Load的首字母缩写。它指的是从源系统提取数据,以某种方式转换数据(操纵它,过滤它,将其与其他源组合),最后将转换后的数据加载到目标系统的过程。

OrientDB为每条记录创建一个记录ID。许多示例包括用于类的“ID”字段。哪个用?

这是推荐的做法,还是我应该尝试使用@rid作为我的类的主键?例如,示例JSON导入页面使用此记录定义:{“name”:“Joe”,“...

回答 1 投票 1

是否有AWS服务用于针对API运行脚本并保存接收的数据

我在AWS环境中工作,我需要执行以下[编辑]作为日常计划任务[/编辑]:运行python / http脚本多次调用外部(外部AWS)API。保存 ...

回答 2 投票 0

azure数据工厂 - 如何修剪CopyData的空白

我正在使用CopyData组件将数据从管道分隔文件中提取加载到Azure SQL DW中。通常这工作正常,但似乎默认行为是不修剪空白...

回答 1 投票 1

寻找更好的架构来从生产数据库生成报告

在我工作的公司中,我要做的工作之一就是使用存储在...中的数据编写程序来生成业务报告(例如,上个月访问过我们网站的用户数)。

回答 1 投票 0

在NiFi中使用ConvertRecord处理Null

是否可以使用convertRecord或ant其他处理器处理null(CSV中不存在列)?我每天都有几个CSv文件。但是每个领域的问题并不相同......

回答 1 投票 1

如何在Excel Source的foreach循环容器中动态传递excel连接字符串?

如何在Excel Source的foreach循环容器中动态传递excel连接字符串?在Foreach循环容器中,我将变量设置为表达式/目录。在里面 ...

回答 1 投票 1

SSIS输出日期为DD / MM / YYYY 00:00:00

我正在尝试导入一个excel文件,该文件具有自定义日期格式为“dd / mm / yyyy 00:00:00”的列,并以相同的格式将其导出到csv文件中。平面文件目前正在转换...

回答 1 投票 3

SSIS如何通过分隔符获取字符串的一部分

我需要一个SSIS表达式来获取分隔符之前的字符串的左侧部分,然后将新字符串放在一个新列中。我检查了派生列,似乎没有这样的表达式。子串可能......

回答 4 投票 14

我们可以将AWS Glue视为EMR的替代品吗?

只是一个简单的问题,从Masters澄清,因为AWS Glue作为ETL工具,可以通过避免过度配置为公司提供诸如最小或无服务器维护,节省成本等好处......

回答 3 投票 3

SSIS:截断Excel目标

我正在创建一个SSIS包,将数据从SQL Server源导入Excel目标。如何在运行之前截断电子表格?我尝试了以下方式(使用执行SQL任务...

回答 2 投票 4

使用云功能从云存储中将数据加载到BigQuery中(替代功能?)

我目前正在使用云功能将数据从云存储中的csv文件加载到BigQuery。但是,云功能有超时限制,我希望这些文件足够大,它会...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.