azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

如何使用数据流验证从 adlsgen2 的一个文件夹中提取所有文件以及如何获取每个文件的计数

当我尝试内部的每个活动时,我们都有数据流活动,我们无法提取其中的所有文件 使用聚合函数进行源转换和每个文件的计数 名字计数 文件1 10 菲...

回答 1 投票 0

数据工厂中Post API调用的分页规则

我有一个 url,它根据以下详细信息返回响应 json: https://testapi/dev?user=reportuser 调用类型:POST 身体: { "name": "员工资料", “页面大小&

回答 1 投票 0

ADF 数据预览或 CI/CD 管道映射列部署后出现问题

我在处理数据流时在 Azure 数据工厂 (ADF) 的数据预览中遇到意外行为。即使刷新后,数据预览仍会继续显示较旧的数据。我必须转...

回答 1 投票 0

使用 ADF 的 Rest API

您能否建议与 azure 数据工厂一起使用来连接到 API 休息的最佳解决方案是什么,我发现了一些方法可以用作使用 XML、C# 的 API 请求......为了获取令牌,

回答 1 投票 0

当我手动触发 Azure 数据工厂 (ADF) 数据流时,它会选择不正确的集成运行时

我创建了一个触发数据流执行的管道。 ` 当我单击管道的调试按钮时,数据流的执行成功。我手动指定需要的

回答 1 投票 0

在 Azure 数据工厂中选择具有特定文件名的文件

我希望使用 Azure 数据工厂将文件从 Blob 存储复制到另一个 Blob。不过,我只想选择以 AAABBBCCC 、 XXXYYYZZZ 和 MMMNNNOOO 开头的文件。剩下的我

回答 3 投票 0

是否可以在Azure数据工厂中创建到Synapse Lake数据库的链接服务

您好,有人可以告诉我是否可以在 Azure 数据工厂中创建链接到 Lake 数据库的服务吗? 我用谷歌搜索过,但没有具体信息?

回答 2 投票 0

接收器不会覆盖指定数据类型的表

我的数据流中有一个接收器指向 AzureSQL。有一组曾经是布尔值的列,现在是字符串。我一生都无法让 ADF 更改

回答 1 投票 0

如何在 Azure 数据工厂中执行先前运行的管道

我们遇到了以前的管道失败的情况。例如,管道在特定日期发生故障,但是自该日期以来,管道一直工作得很好。 问题是我们...

回答 1 投票 0

如何从 C# 代码调用 Azure 数据工厂管道?

我需要一些从 C# 代码调用 ADF(Azure 数据工厂)作业的想法。如果您可以分享一些实现此功能的示例,那将非常有帮助。 感谢您查看我的帖子。

回答 2 投票 0

使用 ADF 将 cosmos json 文档读取到表中的 1 列中

我想阅读 ADF 中带有副本数据的 cosmos-documents。 我知道如何映射到不同的列。 我想将整个文档放入 1 栏。 将嵌套数组读入 1 列很容易...

回答 1 投票 0

Azure 数据工厂 - 通过 Web 活动扩展 Elasticpool

我正在尝试使用传递以下 API 调用的 Web 活动任务来扩展数据工厂中的 Azure 弹性池: { “url”:“https://management.azure.com/subscriptions/subID/

回答 1 投票 0

Azure 数据工厂中的数据协调

我是 ADF 新手。 我的要求是我需要协调(比较)两个数据集之间的数据 - Azure SQL 表和 HTTP API(外部)。 我正在考虑使用 ADF 数据流,我可以在其中添加...

回答 1 投票 0

如何使用“复制数据”活动或任何其他选项将“设置变量”活动输出传输到 Json 文件中?

我尝试过“复制数据”活动将数据从设置变量输出复制到 JSON 文件中,但它不起作用。请检查以下我尝试过的步骤: 设置变量活动:这里是

回答 1 投票 0

使用数据集列值在 foreach 工件中查找工件

我正在尝试在 foreach 中使用 ADF 查找工件的数据集结果。 我需要在 FOREACH 工件内的查询中使用结果的每一列。 查找链接到 FOREACH 和 ...

回答 1 投票 0

将具有 Azure 数据工厂的特殊结构的 CSV 文件合并到 PostgreSQL

我在 Azure 存储资源管理器上有一个来自 API 请求的 csv 文件。我想在 Azure 数据工厂上构建一个管道,将此文件作为表接收到 PostgreSQL。我的问题是......的格式

回答 1 投票 0

如何将数据从青铜层增量加载到银层?

在当前的 Prem etl 中,我们暂存增量数据(基于修改日期,保存在控制表中)和 UPSERT,即更新最终表中的现有记录并将新记录插入...

回答 1 投票 0

在 Azure 数据工厂中查看镶木地板文件时出错

我最近一直在尝试在 ADF 中使用 NYC 数据创建元数据驱动的管道,但除了选择特定文件时之外,该过程都失败了。仅凭这个文件,我还可以 'p...

回答 1 投票 0

CosmosDB 错误 - 从 Azure 数据工厂写入

我们正在构建一个基于Azure的数据平台,并使用数据工厂进行ETL和Cosmos DB来维护执行日志。 我们能够从 Cosmos DB 集合中读取数据,但在写入负载时出现错误

回答 1 投票 0

使用 Azure 数据工厂 (ADF) 将 SQL 记录推送到 HTTP API,并进行一些自定义

我是 Azure 数据工厂的新手。我正在处理的要求是从 Azure SQL 数据库读取记录并将这些记录以 JSON 格式发送到某些 HTTP API(外部)。 所以,我正在使用 Lookup Ac...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.