azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

创建Azure数据工厂集成运行时(如果它不存在) - Azure PowerShell

我已经在Azure门户中创建了Azure数据工厂集成运行时,现在想要通过PowerShell脚本创建$ IR = Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName“...

回答 2 投票 0

尝试获取输出消息时出现ADF错误

执行时我得到了以下错误。错误{“errorCode”:“BadRequest”,“message”:“活动parent-control-sp失败:JSON文本格式不正确。意外字符'\”'是......

回答 1 投票 0

Azure Data Factory v2 - 从镶木地板复制到SQL DB的错误年份

我对Azure Data Factory v2有一个奇怪的问题。有一个Spark Job正在运行并生成镶木地板文件作为输出,ADFv2复制活动然后采取输出镶木地板并复制...

回答 2 投票 2

如何使用Azure数据工厂动态获取表(sql server数据仓库)中的所有json文件表数据(从ADF加载到DWH)

我必须将所有json文件数据放入从azure数据工厂到sql server数据仓库的表中。我能够将数据加载到具有静态值的表中(通过在数据集中给出列名)...

回答 1 投票 0

需要通过IR连接ADF和BigQuery

我想通过IR连接Azure数据工厂和Google Big查询,需要什么值以及如何从Big Query访问数据

回答 1 投票 0

需要将csv源数据插入Azure SQL数据库

我在csv中有一个源数据。我创建了一个sql表来插入csv数据。我的sql表中有主键列和外键列。在Data中映射时我不能跳过这两列...

回答 1 投票 0

无法加密子资源有效负载,错误是:无法在自托管IR上加密链接服务凭据

我正在使用.NET,Azure Data Factory开发ETL解决方案,以将数据从内部部署的Sql Server移动到Azure。自托管IR正确设置并在Azure门户上运行但是当我运行代码时...

回答 1 投票 -1

如何在Azure Data Factory V2中执行异常处理

如果某些管道或活动失败,我可以在Azure数据工厂中应用异常处理吗?如何通过某些TRY / CATCH方法实现异常处理?

回答 2 投票 0

Azure Data Factory v2未显示在Visual Studio 2015中的服务器资源管理器或云资源管理器中

我在Azure订阅中有一个数据工厂(版本2)和一堆其他资源,并使用Visual Studio 2015登录到该订阅。当我打开服务器资源管理器或云时......

回答 1 投票 0

在Lookup @ Azure Data Factory中处理> 5000行

我有一个复制活动,它将表从MySQL复制到Azure表存储。这非常有效。但是,当我在Azure表上执行查找时,我收到错误消息。 (太多的数据)这是设计参考...

回答 1 投票 0

如何使用Powershell执行非交互式MFA登录Azure订阅

以前,我可以使用以下代码通过powershell登录azure订阅。 $ azureAccountName =“username”$ azurePassword = ConvertTo-SecureString“Password”-AsPlainText -Force $ ...

回答 3 投票 2

使用ADF REST连接器读取和转换FHIR数据

我正在尝试使用Azure Data Factory从FHIR服务器读取数据,并将结果转换为Azure Blob存储中的换行符分隔的JSON(ndjson)文件。具体来说,如果您查询FHIR ...

回答 2 投票 1

在SQL命令和Merge Join中使用Order by / sort优化数百万行的SSIS包

嗨,我正在尝试优化SSIS包,当我执行Upsert / delete时,它从远程MariaDB源中的表中获得了大约9300万行。该表还包含大约63 ...

回答 1 投票 3

Azure数据工厂与工厂

我目前正在使用数据工厂构建一个Azure数据湖,并且在获得有关多个数据工厂与一个数据工厂的建议之后。我目前有一个数据工厂,即采购数据......

回答 4 投票 3

虚拟文件集列和行集变量U-SQL

我在Data Factory中安排作业时遇到问题。我正在尝试每小时接近一个预定的工作,这将每小时执行相同的脚本,条件不同。考虑我有一堆......

回答 3 投票 3

从另一个管道调用时,调用的管道不会失败

我有一个'Main'管道调用两个子管道,主管道每次执行时都会成功。 child1和child2管道都在为child1调用复制数据活动...

回答 2 投票 0

如何重命名自托管集成运行时节点

我在本地开发计算机上配置了自托管集成运行时节点,以连接到Azure中的数据工厂。我现在希望它改为不同的名称,例如“DEV-01-Machine”但不能......

回答 1 投票 1

从azure datafactory管道自定义活动运行powershell脚本

是否可以从azure数据工厂管道中运行Powershell脚本作为活动,我有一个UC,我需要将所有处理过的文件从“input”文件夹移动到名为“processed”的文件夹中......

回答 1 投票 2

有没有办法将web活动结果放入sql-table(sink)

无法使用azure-data-factory将Web活动的输出转换为sql-table。这就是我所做的以及我陷入困境的地方(步骤3)。步骤:1。从API调用中获取令牌获取...

回答 1 投票 0

有没有办法将Data Factory Web活动输出保存到文件或数据库表?

当我连接到oauth 2 rest api时,我在数据工厂遇到了一个问题,我似乎无法找到将web活动输出保存到文件或数据库表的方法,所以其他...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.