etl 相关问题

ETL是Extract,Transform和Load的首字母缩写。它指的是从源系统提取数据,以某种方式转换数据(操纵它,过滤它,将其与其他源组合),最后将转换后的数据加载到目标系统的过程。

BODS作业中Oracle的数据类型列中的无效日期格式

我正在使用SAP BODS,并且正在尝试使用SQL查询转换从ORACLE服务器中获取数据。现在,该表中有一个名为latest_changed_date的列,它是一个datetime列。我只想要...

回答 2 投票 0

时间戳列中Table_Comparison / Map_Operation中丢失的毫秒数

我在BODS(SAP Data Services)中有一个数据流,当我使用Table_Comparison / Map_Operation组合时,其中定义为datetime2的SQL Server列上的毫秒数被删除。当...

回答 1 投票 1

在BODS中进行MERGE语句

我有将SAP BODS作为ETL工具运行到Oracle Exadata。我想从BODS生成一个包含where子句的merge into语句,以限制在找到...

回答 1 投票 1

当AWS胶粘ETL作业中的glugContext.write_dynamic_frame.from_jdbc_conf返回错误时会发生什么?

假设我已经从s3存储桶中对文件进行了分类,并且由于主键冲突或其他原因而在RDS中插入记录时发生错误,我的ETL作业将停止处理吗? ...

回答 2 投票 0

Streamsets Data Collector:用其子值替换字段

我具有这样的数据结构{“ id”:926267,“ updated_sequence”:2304899,“ published_at”:{“ unix”:1589574240,“ text”:“ 2020-05-15 21:24:00 +0100 “,” iso_8601“:” 2020-05 -...

回答 1 投票 0

将Excel工作簿导入具有空行和列的SQL数据库

我有一个与要通过SSIS导入的发布图像相似的Excel工作簿。它具有特定的格式,例如空的列和行,因此在导入时,它具有很多NULL值。什么...

回答 1 投票 0

AWS Glue无法从CSV检测正确的架构

我有一个具有当前结构的csv:名称,路径,日期极光,芝加哥,20200130标记,“锡拉丘兹,2365”,2020131 Glue中的结果表如下:名称,路径,日期极光,芝加哥,20200130 .. 。

回答 1 投票 0

SSIS目录包错误-FlatFile目标版本与DataFlow版本不兼容

正在尝试从目录中执行SSIS程序包时,得到错误“平面文件目标版本与此数据流版本不兼容”,该程序包在...上的执行效果很好。]

回答 1 投票 0

'使用SQLalchemy将数据加载到Oracle数据库时,不允许使用'Multi'方法

我正在使用sqlalchemy和pandas将数据帧加载到Oracle数据库。由于“ multi”方法允许批量上传,因此我选择了该方法。我的熊猫版本是1.0.1。但是我得到了错误,因为...

回答 1 投票 2

为什么存储过程阶段错误在CLI上可以正常工作?

我有一个存储过程,我已经用Begin StoredProcedureName尝试了我的存储过程;结束;在My CLI中,它是成功的。我的存储过程绝对完美,完美。创建或...

回答 2 投票 0

[通过SSIS导出列后到数据库的0行数据

我正在导入CSV文件,并希望将两列连接在一起-月号和年。我通过使用“派生列”功能实现了这一点,但是当我执行流时,正在制作0行数据...

回答 1 投票 0

有关用于小型操作的Azure ETL解决方案的一般问题

我们使用数据的方式是从其他组织中获取调查数据,或者是自己创建调查工具并向我们组织下的组织征集数据。我们有一个...

回答 1 投票 0

同时在我的SQl中创建具有两列的表。一个具有char数据类型,另一个具有int数据类型。我遇到问题

嗨,我是ETL测试的新手。我想在我的Sql中创建一个表Emp,并按照下面的插入方式加载一些数据。但是创建表时出现以下错误。使用的查询是...

回答 1 投票 0

用于用户的ETL和查询的工作流系统

我正在寻找一种满足以下需求的工作流系统:使用各种AP I(基于文件的,REST,控制台,数据库等)来处理复杂的ETL管道,从而提供自动化的...

回答 1 投票 0

您需要获得对存储库的访问权限,才能发布任何更改。详细信息:给定租户的帐户名不正确

得到此错误消息“无效的GIT配置。您需要先访问存储库,然后才能发布任何更改。详细信息:给定租户的帐户名不正确。”而...

回答 1 投票 0

要创建Azure Postgres db的备份

我想创建一个Azure Postgres db的备份,该备份当前尚未用于某些低成本的存储帐户。我不想为那些DBS付费,因为没有对它们执行任何操作。但我可能需要...

回答 1 投票 0

Nifi 1.11.4线程“主”中的安装错误异常java.lang.StringIndexOutOfBoundsException:开始0,结束-1,长度2

卡在Nifi安装中。有人可以帮忙吗?谢谢/nifi.sh启动Java主页:/Library/Java/JavaVirtualMachines/openjdk-14.jdk/Contents/Home NiFi主页:/Users/shivam/Downloads/nifi-1.11.4 ...

回答 1 投票 0

为什么DataStage中的存储过程阶段无法正常工作?

我需要使用存储过程阶段。目前,我只是在举例说明如何正确使用它。创建或替换过程“ STG”。“ TRUNC_TEST”开始执行立即'truncate ...

回答 1 投票 0

如何在单个Spark作业中提取不同的Spark数据帧

我想在Spark中编写ETL管道来处理不同的输入源,但要使用尽可能少的计算资源,并且在使用“传统” Spark ETL方法时遇到问题。我有很多...

回答 1 投票 0

Python Pandas可调用的行距未从index_col获得索引

未处理的数据看起来像这样:data =“ i,a,b \ ngood,1,2 \ nbad,3,a” df = pd.read_csv(StringIO(data))iab ------- ------- 0好1 2 1好3 a使用正确的索引正确跳过了行:...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.