azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

仅列出容器中的 blob/文件,而不列出目录、子目录、子文件

假设我的 Azure 存储帐户中有以下文件结构。 容器-1 目录-1 文件-1-1.csv 文件1-2.json 文件-1-3.jpeg 目录-2 ...

回答 3 投票 0

使用服务主体从 Azure Function 连接到 Data Lake Gen 2 会引发 AuthorizationPermissionMismatch 错误

我正在尝试使用为从 Azure 函数访问 Data Lake Gen 2 而创建的服务主体连接到 Data Lake Gen 2 帐户(使用服务总线主题触发器) 这个服务主体是工作...

回答 2 投票 0

使用 Azure Synapse 分析 Excel 和 XML 文件

我在 Azure Data Lake 上存储了 excel 和 XML 文件。我想使用 Azure Synapse 来分析它们,即使用无服务器 SQL 来查看数据、创建视图等。 我可以分析 CSV 文件,但它不...

回答 1 投票 0

无法在Databricks上安装的存储中创建表

我正在尝试在我安装的存储上创建数据库。我正在关注这个课程 面向数据工程师的 Azure Databricks 和 Spark:实践项目 为什么这段代码 %sql 如果不存在则创建数据库

回答 1 投票 0

Delta 表分区 - 为什么仅适用于大于 1 TB 的表

我一直在使用 Azure Databricks 工作流、Spark 和 Azure Data Lake 创建 ETL/ELT 管道。它应该以近乎实时的方式处理来自 Azure SQL Ser 的更改(更改数据捕获过程)...

回答 1 投票 0

无法在Azure数据工厂的数据集中看到列标题

我已使用 Powerapps 中的 Azure synapse 链接将 Dataverse 表导入到 AZ Data Lake。 我在 AZ 数据湖容器中获取了 CSV 格式的表。现在使用 Azure 数据工厂,我想深入了解

回答 2 投票 0

PowerBi 与 Azure Key Vault 中的 Data Lake 和访问密钥

要求:我正在寻找一种链接我的Power BI的方法,该方法使用数据湖作为基于环境的数据源。 我们希望将我们的 Power BI 语义模型连接到基于环境的数据湖......

回答 1 投票 0

directoryName 选项不适用于 AzureDataLake Camel 消费者

我正在尝试在java中设置骆驼路线,读取Azure数据湖中的csv并对其进行处理。到目前为止,它看起来像这样: 来自(“直接:更新值”) .pollEnrich() .s...

回答 1 投票 0

Azure .NET SDK - 使用正则表达式使用 DataLakeFileSystemClient 查询路径

我想使用DataLakeFileSystemClient通过正则表达式查询路径。 不幸的是,到目前为止,我能够弄清楚的唯一方法是遍历带有前缀的每条路径,然后使用 Regex aft...

回答 1 投票 0

如何使用“复制数据”活动或任何其他选项将“设置变量”活动输出传输到 Json 文件中?

我尝试过“复制数据”活动将数据从设置变量输出复制到 JSON 文件中,但它不起作用。请检查以下我尝试过的步骤: 设置变量活动:这里是

回答 1 投票 0

Azure Data Lake gen 2 Delta 格式与 Delta Lake 有什么区别?

我是 Azure 突触分析和结构的新手。 我知道有 Azure 数据湖第 2 代格式,例如 Parquet 和 Delta。 Delta格式和Azure Delta Lake一样吗?

回答 1 投票 0

复制活动 - 将文件和不同文件夹从一个容器复制到另一个容器突触管道

我有一个容器,里面有多个文件、子文件夹和子zip文件夹,文件夹内有不同的文件,如 csv、xlsx 。我想复制其中的所有文件和文件夹

回答 1 投票 0

Azure 数据湖 VS Azure HDInsight

我正在浏览微软文档: https://learn.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview 我是 Azure 数据湖和 HDInsight 的新手。里面有一个声明...

回答 5 投票 0

DataLakeClienteOptions 重试日志

我正在使用带有重试选项的 Data Lake Storage。 我的服务已连接到 appinsights 并且使用 Azure Function。 有没有办法查询Data Lake Storage的重试次数?是否自动记录...

回答 1 投票 0

Azure Data Lake 分析作业无法从 Data Lake 存储读取数据

我有一个 CSV 文件从 Azure blob 复制到 Azure 数据湖存储。管道建立成功并复制文件。 我正在尝试从这里编写 USQL 示例脚本: 首页 ->

回答 2 投票 0

Azure 数据工厂中的 Xml 分页

我有一个 API,可以返回 XML 格式的数据,其中包括分页。我想将此数据作为 JSON 存储在 Azure Blob 存储中。在 JSON 中,我只想用以下方式提取条目元素...

回答 1 投票 0

错误:在 azuredatabricks 免费试用版上创建数据框并在 ADLS 中另存为表时找不到父外部位置

使用我的免费试用 Azure 帐户,我尝试将 csv 文件复制到 ADLS Gen2 并将数据帧保存为 adls silver 层中的表。 代码: DForderItems = Spark.read.csv("abfss://bronze@ca...

回答 1 投票 0

列出 Azure Data Lake Storage 中的容器

我尝试列出 Azure Data Lake Storage 帐户中特定目录内的容器,但似乎没有任何函数可以处理此问题 这是我的层次结构: > 资产 >

回答 1 投票 0

ARM 模板 - 自动批准托管专用端点

我正在为 Azure 数据工厂开发一个 ARM 模板,其中包含 SQL Server 和 Azure Datalake 的托管专用终结点。但是,当 ARM 模板完成执行时,托管专用端点...

回答 6 投票 0

解析 azure 数据湖的 http URI

我正在为 Label Studio 创建 Azure Data Lake 存储集成。 Django 后端的工作方式是,它以可以解析为 http add 的方式解析云存储集成...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.