azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

directoryName 选项不适用于 AzureDataLake Camel 消费者

我正在尝试在java中设置骆驼路线,读取Azure数据湖中的csv并对其进行处理。到目前为止,它看起来像这样: 来自(“直接:更新值”) .pollEnrich() .s...

回答 1 投票 0

Azure .NET SDK - 使用正则表达式使用 DataLakeFileSystemClient 查询路径

我想使用DataLakeFileSystemClient通过正则表达式查询路径。 不幸的是,到目前为止,我能够弄清楚的唯一方法是遍历带有前缀的每条路径,然后使用 Regex aft...

回答 1 投票 0

如何使用“复制数据”活动或任何其他选项将“设置变量”活动输出传输到 Json 文件中?

我尝试过“复制数据”活动将数据从设置变量输出复制到 JSON 文件中,但它不起作用。请检查以下我尝试过的步骤: 设置变量活动:这里是

回答 1 投票 0

Azure Data Lake gen 2 Delta 格式与 Delta Lake 有什么区别?

我是 Azure 突触分析和结构的新手。 我知道有 Azure 数据湖第 2 代格式,例如 Parquet 和 Delta。 Delta格式和Azure Delta Lake一样吗?

回答 1 投票 0

复制活动 - 将文件和不同文件夹从一个容器复制到另一个容器突触管道

我有一个容器,里面有多个文件、子文件夹和子zip文件夹,文件夹内有不同的文件,如 csv、xlsx 。我想复制其中的所有文件和文件夹

回答 1 投票 0

Azure 数据湖 VS Azure HDInsight

我正在浏览微软文档: https://learn.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview 我是 Azure 数据湖和 HDInsight 的新手。里面有一个声明...

回答 5 投票 0

DataLakeClienteOptions 重试日志

我正在使用带有重试选项的 Data Lake Storage。 我的服务已连接到 appinsights 并且使用 Azure Function。 有没有办法查询Data Lake Storage的重试次数?是否自动记录...

回答 1 投票 0

Azure Data Lake 分析作业无法从 Data Lake 存储读取数据

我有一个 CSV 文件从 Azure blob 复制到 Azure 数据湖存储。管道建立成功并复制文件。 我正在尝试从这里编写 USQL 示例脚本: 首页 ->

回答 2 投票 0

Azure 数据工厂中的 Xml 分页

我有一个 API,可以返回 XML 格式的数据,其中包括分页。我想将此数据作为 JSON 存储在 Azure Blob 存储中。在 JSON 中,我只想用以下方式提取条目元素...

回答 1 投票 0

错误:在 azuredatabricks 免费试用版上创建数据框并在 ADLS 中另存为表时找不到父外部位置

使用我的免费试用 Azure 帐户,我尝试将 csv 文件复制到 ADLS Gen2 并将数据帧保存为 adls silver 层中的表。 代码: DForderItems = Spark.read.csv("abfss://bronze@ca...

回答 1 投票 0

列出 Azure Data Lake Storage 中的容器

我尝试列出 Azure Data Lake Storage 帐户中特定目录内的容器,但似乎没有任何函数可以处理此问题 这是我的层次结构: > 资产 >

回答 1 投票 0

ARM 模板 - 自动批准托管专用端点

我正在为 Azure 数据工厂开发一个 ARM 模板,其中包含 SQL Server 和 Azure Datalake 的托管专用终结点。但是,当 ARM 模板完成执行时,托管专用端点...

回答 6 投票 0

解析 azure 数据湖的 http URI

我正在为 Label Studio 创建 Azure Data Lake 存储集成。 Django 后端的工作方式是,它以可以解析为 http add 的方式解析云存储集成...

回答 1 投票 0

将数据复制到目标后,Azure 数据工厂 V2 复制活动不会清理/删除暂存文件/容器(如:Snowflake)

Azure 数据工厂 V2 复制活动在将数据复制到目标后不会清理/删除暂存文件/容器(例如:Snowflake)。 这是一个错误吗?在我的 ADF 中,容器级别设置为...

回答 2 投票 0

PagedIterable<FileSystemItem>总是阻塞

我对 Spring Webflux 和 Azure 都是新手,我不明白这里发生了什么。我正在尝试检查数据湖容器是否已存在。我不明白这是为什么

回答 1 投票 0

找不到 Data Lake Store Gen2

我尝试使用 Azure 门户查找 Azure DataLake Store Gen2,但由于某种原因找不到它: 我一直在搜索文档和门户,但似乎找不到它,还有其他人吗...

回答 2 投票 0

从 Azure Databricks 作业连接到 Azure 存储帐户以使用 MSI 身份验证获取数据

我们在 Azure DataBricks 中有一项工作,它连接到 Azure Data Lake 以使用以下代码获取数据。现在我们必须将其转换为 MSI Managed Identity 身份验证而不是 Service princ...

回答 1 投票 0

如何优化使用python从azure函数读取大型增量表的时间

我们有一个在 databricks 中运行的数据科学代码,我们希望将其迁移到 azure 函数以降低成本。为此,当我们将 pyspark 代码转换为 python 来读取 adls delta 时...

回答 1 投票 0

Azure 复制活动问题

我的项目使用 Maria DB 作为本地源系统,它通过自托管集成运行时与 ADF 连接。我只想将 MariaDB 的 100 个表中的必填字段复制到 Data Lake,但我...

回答 1 投票 0

Sink 处的零输出列错误解决方案

我正在使用 Azure 数据工厂的数据流进行开发。 我有一个包含“D”、“I”和“U”行的源表,我想将“D”行与“U”和“I”分开,并将它们分别加载到两个差异中...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.