azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

adf 跳过具有空字符串的 csv 行计数问题

大家好,我想将第一行作为标题,并希望在 azure 数据工厂中使用复制活动时跳过 csv 中带有空字符串的第二行。 我正在尝试将 blob 存储中的 csv 文件复制到 Snowf...

回答 1 投票 0

如何在 ADF2 中获取动态内容中一个月的最后一天?

我想根据 utcnow() 时间戳获取一个月的最后一天。 下面的表达式中的“dd”应该自动为该月的最后一天(28、30 或 31): @{格式数据...

回答 2 投票 0

数据工厂:将正文插入复制数据活动源

我正在尝试从 REST API 获取数据。根据文档,API 需要在正文中有一个日期,如下所示: {“日期”:“2023-01-05”} 当我尝试它时,它起作用了

回答 1 投票 0

在 ADF 中的动态映射 json 中设置数据类型

我在Azure数据工厂中有一个管道,它接受json作为输入并将数据加载到Sql服务器中的表中。现在我有多个表要加载,所以我使用 for every 循环来加载多个 ta...

回答 1 投票 0

设置 Jmeter 来测试 Azure 数据工厂

最近我正在设置 JMeter 来为我的 azure 数据工厂管道进行负载测试。 我需要测试(或监视)我的某些 Azure 数据工厂管道是否在预期时间内运行: ...

回答 1 投票 0

ADF REST LinkedService 发布后在实时模式下缺少 AuthHeader

我们在 ADF 中很少有 REST linkedServices,它们正在调用 API 来获取一些数据。 问题是,它们似乎只能在 GIT 模式或预览下工作,但不能在实时数据工厂上工作,并且 JSON 看起来

回答 1 投票 0

从 Azure 数据工厂运行 Azure Repo 中的代码

主要问题: 我需要使用 Azure 数据工厂管道来编排 Python 脚本的运行。 我尝试过的: Databricks:这个解决方案的问题是成本高昂,有点慢......

回答 2 投票 0

在 ADF 中使用 SAP Table Connector 和 SHIR 时出现问题

您好,我正在尝试使用 ADF 中的 SAP 表连接器,我已正确输入所有凭据。 但是,当我测试连接时,这是我收到的错误! “无法加载文件或汇编...

回答 1 投票 0

如何使用Azure数据工厂获取Business Central数据并放入Azure SQL DB?

我正在尝试使用 Azure 数据工厂 (ADF) 从 Business Central (BC) 获取数据并将其发送到 Azure SQL DB。 在 BC 门户中,您可以在顶部搜索“Web 服务”,然后您将...

回答 2 投票 0

如何为ADF管道生成.jmx文件

最近我想对我的azure数据工厂管道进行负载测试。 现在,我按照文档在Azure负载测试中使用JMeter脚本负载测试网站: 但问题是: 那个...

回答 1 投票 0

将参数从 OData 源插入 Azure 数据工厂管道

我在使用 OData 源的管道时遇到问题,无法在没有参数的情况下从该表进行复制。但是,我插入的参数没有任何效果。我已阅读并尝试了这些步骤...

回答 1 投票 0

数据过滤问题

我尝试在复制活动中过滤正文请求,但问题是它没有过滤数据。当我在 Postman 中执行此操作时,数据会被过滤。为什么会这样呢?有人可以请...

回答 1 投票 0

如何使用 JMeter 对 ADF 管道运行性能测试

我有多个ADF管道,用于复制数据、转换数据等。 目前,我需要监控这些管道的性能。所以我需要使用JMeter来完成一些负载测试...

回答 1 投票 0

ADF - Sharepoint Online 列表连接问题

我正在尝试在 ADF 和 Sharepoint 之间建立连接,以便我可以使用 ADF 管道从 sharepoint 在线列表获取数据。 不过,我遇到了一些问题,我有指示

回答 1 投票 0

Azure 数据工厂 (ADF) 尝试删除 csv 文件。错误删除活动负载无效,“folderPath”是必需的且不能为空

我创建了一个动态定义 .csv 文件的数据集。 后来,在 if 活动的错误部分中,我尝试将 csv 从一个目录复制到容器中到...

回答 1 投票 0

Azure 数据工厂 (ADF) 创建警报以在触发管道时通知我

是否可以创建一个警报,以便在触发 adf 管道时通知我? 我知道选择什么指标来衡量成功或失败,但现在确定使用什么来触发管道: 我的

回答 1 投票 0

使用 Snowflake Connector 的 ADF 脚本对象不允许脚本参数

我们使用 ADF 中的脚本小部件来执行 Snowflake 存储过程。 脚本小部件使用 Snowflake 链接服务连接到我们的 Snowflake 数据库。 我们收到一条消息,表示我们正在使用

回答 1 投票 0

ADF 管道计划每小时失败,查找活动从 Databricks 目录中获取上次摄取日期

我们安排了一个包含 Lookup 活动的 ADF(Azure 数据工厂)管道,该管道负责从 Databricks 目录(Hive 元存储)中获取最后摄取的日期。这个pi...

回答 1 投票 0

CI CD Azure 数据工厂和 AzureDevOps 中突然出现错误

我遵循 CI CD 数据工厂的文档 https://learn.microsoft.com/en-us/azure/data-factory/continuous-integration-delivery-improvements 我之前已经完成过这个过程...

回答 1 投票 0

Azure 数据工厂 (ADF) 数据流在数据预览时似乎选择了错误的端点

我已在 Azure 中创建了一个存储帐户/blob 存储 StorageV2。在里面我创建了一个容器。存储帐户自动为所有提供的服务创建端点 然后在 ADF 中我...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.