Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。
如何使用数据流验证从 adlsgen2 的一个文件夹中提取所有文件以及如何获取每个文件的计数
当我尝试内部的每个活动时,我们都有数据流活动,我们无法提取其中的所有文件 使用聚合函数进行源转换和每个文件的计数 名字计数 文件1 10 菲...
我有一个 url,它根据以下详细信息返回响应 json: https://testapi/dev?user=reportuser 调用类型:POST 身体: { "name": "员工资料", “页面大小&
我在处理数据流时在 Azure 数据工厂 (ADF) 的数据预览中遇到意外行为。即使刷新后,数据预览仍会继续显示较旧的数据。我必须转...
您能否建议与 azure 数据工厂一起使用来连接到 API 休息的最佳解决方案是什么,我发现了一些方法可以用作使用 XML、C# 的 API 请求......为了获取令牌,
当我手动触发 Azure 数据工厂 (ADF) 数据流时,它会选择不正确的集成运行时
我创建了一个触发数据流执行的管道。 ` 当我单击管道的调试按钮时,数据流的执行成功。我手动指定需要的
我希望使用 Azure 数据工厂将文件从 Blob 存储复制到另一个 Blob。不过,我只想选择以 AAABBBCCC 、 XXXYYYZZZ 和 MMMNNNOOO 开头的文件。剩下的我
是否可以在Azure数据工厂中创建到Synapse Lake数据库的链接服务
您好,有人可以告诉我是否可以在 Azure 数据工厂中创建链接到 Lake 数据库的服务吗? 我用谷歌搜索过,但没有具体信息?
我的数据流中有一个接收器指向 AzureSQL。有一组曾经是布尔值的列,现在是字符串。我一生都无法让 ADF 更改
我们遇到了以前的管道失败的情况。例如,管道在特定日期发生故障,但是自该日期以来,管道一直工作得很好。 问题是我们...
我需要一些从 C# 代码调用 ADF(Azure 数据工厂)作业的想法。如果您可以分享一些实现此功能的示例,那将非常有帮助。 感谢您查看我的帖子。
使用 ADF 将 cosmos json 文档读取到表中的 1 列中
我想阅读 ADF 中带有副本数据的 cosmos-documents。 我知道如何映射到不同的列。 我想将整个文档放入 1 栏。 将嵌套数组读入 1 列很容易...
Azure 数据工厂 - 通过 Web 活动扩展 Elasticpool
我正在尝试使用传递以下 API 调用的 Web 活动任务来扩展数据工厂中的 Azure 弹性池: { “url”:“https://management.azure.com/subscriptions/subID/
我是 ADF 新手。 我的要求是我需要协调(比较)两个数据集之间的数据 - Azure SQL 表和 HTTP API(外部)。 我正在考虑使用 ADF 数据流,我可以在其中添加...
如何使用“复制数据”活动或任何其他选项将“设置变量”活动输出传输到 Json 文件中?
我尝试过“复制数据”活动将数据从设置变量输出复制到 JSON 文件中,但它不起作用。请检查以下我尝试过的步骤: 设置变量活动:这里是
我正在尝试在 foreach 中使用 ADF 查找工件的数据集结果。 我需要在 FOREACH 工件内的查询中使用结果的每一列。 查找链接到 FOREACH 和 ...
将具有 Azure 数据工厂的特殊结构的 CSV 文件合并到 PostgreSQL
我在 Azure 存储资源管理器上有一个来自 API 请求的 csv 文件。我想在 Azure 数据工厂上构建一个管道,将此文件作为表接收到 PostgreSQL。我的问题是......的格式
在当前的 Prem etl 中,我们暂存增量数据(基于修改日期,保存在控制表中)和 UPSERT,即更新最终表中的现有记录并将新记录插入...
我最近一直在尝试在 ADF 中使用 NYC 数据创建元数据驱动的管道,但除了选择特定文件时之外,该过程都失败了。仅凭这个文件,我还可以 'p...
我们正在构建一个基于Azure的数据平台,并使用数据工厂进行ETL和Cosmos DB来维护执行日志。 我们能够从 Cosmos DB 集合中读取数据,但在写入负载时出现错误
使用 Azure 数据工厂 (ADF) 将 SQL 记录推送到 HTTP API,并进行一些自定义
我是 Azure 数据工厂的新手。我正在处理的要求是从 Azure SQL 数据库读取记录并将这些记录以 JSON 格式发送到某些 HTTP API(外部)。 所以,我正在使用 Lookup Ac...