etl 相关问题

使用 AWSglue 连接到“本地”postgresql 数据库

我有一个 PostgreSQL 数据库，它实际上是“本地”的，但我有凭据和 JDBC 连接字符串。我想阅读 AWSglue 上的表格并将其在工作中用作源，然后写信给...

初学者被EXCEL ETL困住了

我只是不知道从哪里开始 ETL 冒险。我有一个由过时的 ERP 软件提供的多行标题杂乱数据集。我只需要清理它即可适合基本的数据透视/vlookups ...

Power Query `List.Generate` 运行太慢

TL；博士 如何更快地计算 Power Query 中的运行总和？我使用了表缓冲和 List.Generate 但它仍然太慢。 细节 我有一个这样的表： 日期时间 瓦尔 最大值 其他列 202...

Spark 中的 StreamQueryListener 不执行 onQueryProgress() 中的代码

我正在从 Databricks 增量表作为流读取数据并将其写入另一个增量表（使用屏幕截图中的控制台以便于调试），我想使用 StreamingQueryListener(...

为什么我的插入没有过滤掉空值？

我正在尝试使用 INSERT 和 UPDATE 而不是使用 MERGE 来实现 SCD2。如果 id 不存在，我需要将源表中的新行插入到目标表中，同时使...

在 SSIS 中将日期 DD.MM.YYYY hh:mm:ss 转换为 YYYY-MM-DD

我正在开发一个SSIS包，它从SAP读取数据。我创建了 ADO.Net 源，它从 ODBC 连接读取数据。 从 SAP 数据中，有一个表，其中包含日期列...

SSIS 事件处理程序：无法访问 ReadOnlyVariables 中的 OnError 系统变量

我正在尝试为我的 SSIS 包设置一个“OnError”事件处理程序，但遇到了问题。与“OnError”事件相关的所有系统变量的范围都在“

如何使用数据目录表检索在 AWS Glue Visual ETL 中读取的 CSV 文件的文件名并处理单个文件的验证错误？

我正在使用 AWS Glue Visual Studio ETL 处理存储在 S3 存储桶中的 CSV 文件。这些文件在 Glue 数据目录中注册，并在 ETL 作业期间作为单个 DynamicFrame 读取。我想要： -

比较数据阶段中的两个连续行并抛出不满足条件的行

我正在 Datastage 中使用顺序文件读取文件，并且正在使用转换器对数据进行一些转换，我想将当前行与前一行进行比较，以检查值...

将 Excel 日期序列号转换为常规日期

我的 csv 文件中有一个名为 DateOfBirth 的列，其中包含 Excel 日期序列号日期 例子： 36464 37104 35412 当我在 Excel 中格式化单元格时，这些单元格将转换为 36464 => 1/11...

SSIS 中多源的元数据

我有 2 个来源 A 和 B。每个来源有 10 个相同的表。现在我想使用增量更新方法通过 SSIS 进行 ETL。所以我需要使用 1 个元数据来包含 LSET 和 CET 值。但当我...

AWS Glue 请验证角色的 TrustPolicy

我正在实习，需要使用 AWS Glue 来使用和实施 ETL。我成功地与包含数据的 RDS Aurora 数据库建立了 JDBC 连接，但是当我尝试创建

SSIS OLE DB 目标编辑器 - 创建新表不是一个选项？

我正在尝试通过 SSIS 将 CSV 文件上传到我的 SQL Server。以前（比如几个月前），我可以在目标编辑器上单击“新建”以根据导入的数据创建通用表

如何利用airflow进行实时数据处理

我有一个场景，我想处理 csv 文件并加载到其他数据库： 案例 pic csv 文件并加载到与 csv 同名的 mysql 然后使用 py 对加载的行进行一些修改...

Pentaho ETL 工具即将消亡吗？

我在寻找有用的 pentaho ETL 工具信息时遇到问题，这个工具快要死了吗？ 有哪些替代工具/平台>

参数化雪花任务

我在雪花中创建了 10 个商店过程。为此，我们必须创建 10 个任务来安排。无论如何，我们只能创建 1 个任务并参数化该任务内 store proc 的调用。所以...

ADF 使用带有 GET 请求的延续令牌复制数据活动分页

我正在 ADF 服务中构建 ETL 管道以从 API 加载数据，但我在使用延续令牌实现分页规则时遇到困难。 我知道，根据 Azure 文档，它

使用 Nifi JoltTransformJson 转换数组中的 JSON 对象

我在Nifi中使用JOLTTransformJson处理器。 我的Json输入格式有以下4种： [ { “一”：“1” } ] 或者 [ { “一”：“1”， &

Airbyte Oracle 连接状态代码：08006；错误代码：17002；消息：IO 错误

我试图了解Airbyte并与Oracle建立联系。 我安装了 SQL*Plus 并创建了一个名为 airbyte 的用户，并授予了所有权限。 然后尝试在

使用 SSIS 将递归层次结构展平为维度

我在关系数据库中有一个递归层次结构，这反映了团队及其在层次结构中的位置。 我希望将这个层次结构扁平化为数据仓库的一个维度，它是一个 SQL