azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

使用PowerShell进行Azure数据工厂管道部署

我创建了一个在其进程中使用变量的ADFV2管道。现在我想将此管道导出到JSON文件,以便将其用于未来部署。不幸的是,当我想...

回答 1 投票 0

如何使用Azure数据工厂计划属性?

我正在尝试创建一个高级计划触发器,如下所示:https://docs.microsoft.com/en-us/azure/data-factory/concepts-pipeline-execution-triggers#schedule-property我创建了一个非常简单的...

回答 1 投票 0

如何使用c#.net sdk在数据工厂管道中创建kusto活动

我正在尝试使用.net代码创建一个包含Kusto活动的管道。我无法在ADF的DLL中找到任何KustoActivity类。我也无法在Kusto的.net参考中找到任何地方......

回答 1 投票 0

自定义.net azure-data工厂活动

当我尝试使用Azure-DataFactory中的CustomDotNetActivity实现HttpDataDownloaderSample时出现此错误:模块中的未知错误:System.InvalidOperationException:类型...

回答 1 投票 2

无法使用azure databricks在azure sql中加载数据

我是azure databricks的新手。我在scala中编写了一个示例spark程序,通过下面的查询加载azure sql。我收到了一个错误。有人可以帮我解决这个错误信息---- com ....

回答 2 投票 0

如何修改从App中心到Azure中应用程序洞察的传入blob的结构?

我想通过使用Azure数据工厂将应用程序洞察中的传入blob解析为Sql数据库。我能够解析blob的大部分,因为它是json格式(甚至是嵌套的)但是......

回答 1 投票 0

将增量数据从REST API引入SQL azure

我的需求如下: - 需要从第三方API获取数据到SQL azure。每天都会查询API以获取增量数据,并且可能需要分页,因为默认情况下任何API响应......

回答 5 投票 3

运行ADF管道而不在订阅级别分配“贡献者”角色

如果有其他方法可以尝试,请欣赏您的建议。我想通过RestFul API / .Net SDK运行ADF管道,我已经按照Microsoft教程进行了操作。 ...

回答 1 投票 0

如何跳过Azure数据工厂中已复制的文件,复制数据工具?

我想将数据从blob存储(镶木地板格式)复制到cosmos db。每隔一小时安排一次触发器。但是每次运行都会复制所有文件/数据。如何跳过已经存在的文件...

回答 1 投票 1

Azure数据工厂将多个文件压缩为一个zip文件

目前,我们正在开发一个需要从Azure Blob压缩多个文件的项目。例如,ParentFolder File1 File2 ChildFolder File3 File4和结果我们......

回答 1 投票 0

如何使用Azure Data Factory IF活动?

我在LookUp Activity的查询中得到了值cnt = 1。现在我想检查IF活动中cnt值是否为1,然后运行另一个活动。

回答 1 投票 0

在 Azure 数据工厂管道中按日期查询

我想在 Azure 数据工厂管道中为我的源使用复制作业中的查询以及日期函数 - 这是虚拟查询: 选择 * 从 public.report_campaign_leaflet WHERE day="{

回答 3 投票 0

WebActivity的安全ADF v2管道参数字符串

我有一个带有WebActivity的ADF v2 Pipeline,它有一个REST Post调用来从AD令牌api获取Jwt访问令牌(https://login.microsoftonline.com/myorg.onmicrosoft.com/oauth2/token)我必须通过.. 。

回答 1 投票 8

如何排除Azure数据工厂中的复制数据活动中的行?

我已经构建了一个具有一个复制数据活动的管道,该活动从Azure Data Lake复制数据并将其输出到Azure Blob存储。在输出中,我可以看到我的一些行没有数据......

回答 1 投票 2

如何获取多个管道成功的警报,而不是Azure数据工厂中管道内的1个活动

我正在为我的azure数据工厂创建一个新的电子邮件通知警报。所以这里我有4个不同的管道,每个管道都有多个data_copy活动。截至目前使用Logic App我可以发送邮件...

回答 1 投票 1

如何使用Azure数据工厂将数据库查询的结果拆分为多个blob文件以供雪花摄取?

我们使用ADF的复制功能将数据库表中的单个文件提取到单个blob文件中。我们经常有8-12 GB的文件,有些文件偶尔会大得多。加载到...时

回答 1 投票 1

Azure中的REST API数据

我使用独立的c#控制台应用程序实现了REST API调用。 API返回JSON,我将其反序列化,然后将其存储在数据库中。现在我想实现整个逻辑......

回答 1 投票 0

使用Spark odbc连接器从Azure Data Factory连接到Databricks表的问题

我们设法使用Spark(odbc)连接器从Azure Data Factory获取有效的连接到Azure Databricks集群。在表格列表中,我们获得了预期的列表,但是......

回答 1 投票 1

Azure Data Factory V2:可选参数

我正在使用ADFv2,我想使用在数据集级别定义的一些可选参数。我没有发现是否可以实现。如果我在数据集中定义一个参数(在定义...之后)

回答 3 投票 1

天蓝色数据工厂更新

我创建了两个Web服务(Traning和predictive在数据工厂中使用API 。memory_train memory_train [Predictive_Exp。]在数据工厂中,我创建了ML Batch执行,然后是ML Update ...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.