Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。
创建Azure数据工厂集成运行时(如果它不存在) - Azure PowerShell
我已经在Azure门户中创建了Azure数据工厂集成运行时,现在想要通过PowerShell脚本创建$ IR = Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName“...
执行时我得到了以下错误。错误{“errorCode”:“BadRequest”,“message”:“活动parent-control-sp失败:JSON文本格式不正确。意外字符'\”'是......
Azure Data Factory v2 - 从镶木地板复制到SQL DB的错误年份
我对Azure Data Factory v2有一个奇怪的问题。有一个Spark Job正在运行并生成镶木地板文件作为输出,ADFv2复制活动然后采取输出镶木地板并复制...
如何使用Azure数据工厂动态获取表(sql server数据仓库)中的所有json文件表数据(从ADF加载到DWH)
我必须将所有json文件数据放入从azure数据工厂到sql server数据仓库的表中。我能够将数据加载到具有静态值的表中(通过在数据集中给出列名)...
我想通过IR连接Azure数据工厂和Google Big查询,需要什么值以及如何从Big Query访问数据
我在csv中有一个源数据。我创建了一个sql表来插入csv数据。我的sql表中有主键列和外键列。在Data中映射时我不能跳过这两列...
无法加密子资源有效负载,错误是:无法在自托管IR上加密链接服务凭据
我正在使用.NET,Azure Data Factory开发ETL解决方案,以将数据从内部部署的Sql Server移动到Azure。自托管IR正确设置并在Azure门户上运行但是当我运行代码时...
如何在Azure Data Factory V2中执行异常处理
如果某些管道或活动失败,我可以在Azure数据工厂中应用异常处理吗?如何通过某些TRY / CATCH方法实现异常处理?
Azure Data Factory v2未显示在Visual Studio 2015中的服务器资源管理器或云资源管理器中
我在Azure订阅中有一个数据工厂(版本2)和一堆其他资源,并使用Visual Studio 2015登录到该订阅。当我打开服务器资源管理器或云时......
在Lookup @ Azure Data Factory中处理> 5000行
我有一个复制活动,它将表从MySQL复制到Azure表存储。这非常有效。但是,当我在Azure表上执行查找时,我收到错误消息。 (太多的数据)这是设计参考...
如何使用Powershell执行非交互式MFA登录Azure订阅
以前,我可以使用以下代码通过powershell登录azure订阅。 $ azureAccountName =“username”$ azurePassword = ConvertTo-SecureString“Password”-AsPlainText -Force $ ...
我正在尝试使用Azure Data Factory从FHIR服务器读取数据,并将结果转换为Azure Blob存储中的换行符分隔的JSON(ndjson)文件。具体来说,如果您查询FHIR ...
在SQL命令和Merge Join中使用Order by / sort优化数百万行的SSIS包
嗨,我正在尝试优化SSIS包,当我执行Upsert / delete时,它从远程MariaDB源中的表中获得了大约9300万行。该表还包含大约63 ...
我目前正在使用数据工厂构建一个Azure数据湖,并且在获得有关多个数据工厂与一个数据工厂的建议之后。我目前有一个数据工厂,即采购数据......
我在Data Factory中安排作业时遇到问题。我正在尝试每小时接近一个预定的工作,这将每小时执行相同的脚本,条件不同。考虑我有一堆......
我有一个'Main'管道调用两个子管道,主管道每次执行时都会成功。 child1和child2管道都在为child1调用复制数据活动...
我在本地开发计算机上配置了自托管集成运行时节点,以连接到Azure中的数据工厂。我现在希望它改为不同的名称,例如“DEV-01-Machine”但不能......
从azure datafactory管道自定义活动运行powershell脚本
是否可以从azure数据工厂管道中运行Powershell脚本作为活动,我有一个UC,我需要将所有处理过的文件从“input”文件夹移动到名为“processed”的文件夹中......
有没有办法将web活动结果放入sql-table(sink)
无法使用azure-data-factory将Web活动的输出转换为sql-table。这就是我所做的以及我陷入困境的地方(步骤3)。步骤:1。从API调用中获取令牌获取...
有没有办法将Data Factory Web活动输出保存到文件或数据库表?
当我连接到oauth 2 rest api时,我在数据工厂遇到了一个问题,我似乎无法找到将web活动输出保存到文件或数据库表的方法,所以其他...