azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

Azure的数据湖HDFS上传文件的大小限制

有谁知道什么是通过Azure的HDFS REST API来上传文件最大尺寸? (https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-data-operations-rest-api)。我发现某个地方......

回答 2 投票 1

Azure的事件集线器捕获到存储与数据第二代湖启用

我试图使用事件集线器的拍摄功能与数据存储湖第二代存储帐户启用V2存储。在门户中,选择存储帐户后,容器不显示...

回答 1 投票 1

Azure的数据存储湖之间的偏差X Azure的Blob存储和Azure的文件存储

我有一个关于不同Azure存储服务的使用情况问题:Azure的数据存储湖。 Azure的Blob存储。 Azure的文件存储。正是这些服务之间的区别?和...

回答 1 投票 1

使用AZURE功能从Azure的物联网集线器路由遥测信息到数据湖店

从Azure的IOT中心,我们的路线遥测信息到数据湖店如何使用AZURE功能。

回答 1 投票 0

试验AzureRmDataLakeStoreItem抛出错误“帐户名是无效的。指定充分考虑包括域名“。

我使用的是最新的azurerm 6.13.0。我相信,我在正确的数据湖店通过。谢谢。

回答 1 投票 0

可以使用数据工厂从数据湖中删除文件吗?

它可以使用数据工厂从数据湖中删除文件?这样做非常困难,我坚持下去。

回答 2 投票 1

使用Azure Data Factory(ADF)仅复制azure数据湖存储中的最新文件

我正在尝试从azure数据湖商店复制数据,执行一些处理并使用azure数据工厂将其移动到同一数据湖中的不同文件夹中。源数据按年组织,......

回答 1 投票 0

当我们使用Azure数据湖存储作为Azure Analysis服务的数据源时,是否支持Parquet文件格式?

如果我们使用数据湖作为数据源,如果支持“Parquet”文件格式,请帮助您提供示例教程。

回答 1 投票 -1

如何使用Data Lake Analytics将数据处理为具有最大大小的多个文件?

我正在使用Azure Data Lake Analytics处理大量小型JSON文件,我想将结果保存到多个JSON文件(如果需要的话),最大大小(例如128MB)这可能吗? ...

回答 1 投票 0

将路径文件夹输出到Data Lake Store而不使用“ColumnName =”

是否可以使用函数partitionBy或其他而不返回路径“ColumnName = Value”?我在azure databricks中使用python笔记本将csv文件发送到Azure Data Lake Store。 Cmd ......

回答 1 投票 0

为HDLnsight群集提供对ADL存储帐户的所有文件夹的访问权限

我正在尝试将ADL存储(ADLS)帐户添加到我的HDInsight群集。 1)我使用Azure Active Directory(AAD)创建了服务主体(SP)2)我将此SP访问权限授予了......

回答 2 投票 1

U-SQL在使用Text Extractor后忽略在JsonFunctions.JsonTuple()中导致JSON异常的行

我正在尝试将JSON文件转换为csv,提取一些感兴趣的特定键/值。我有大文本文件(> 100万行),其中每行是一个JSON对象。实际结构是嵌套的......

回答 2 投票 1

我们是否可以使用Azure CLI将文件上载到Azure Data Lake Storage Gen2

我想做的就是使用Azure CLI(通过`命令)将文件从素数上传到Azure Data Lake Storage Gen2,但是出现连接错误!我可以使用Azure CLI吗?或者我必须使用......

回答 2 投票 0

Azure Data Lake Store是否支持Kerberos / LDAP / SSO身份验证?

考虑到Azure Data Lake Store使用Active Directory进行身份验证(本身就是使用Kerberos和LDAP),有没有办法直接使用Kerberos,LDAP或SSO进行身份验证...

回答 1 投票 1

在Azure Data-lake Analytics中拥有两个文件夹的目的是什么

我是Azure Data湖的新手。下面的屏幕截图有2个文件夹(存储帐户和目录),一个用于Datalake分析和其他数据湖存储。我的问题是为什么每个人的目的......

回答 1 投票 0

HDInsights上的Spark - 没有用于方案的FileSystem:adl

我正在编写一个处理ADLS文件的应用程序。通过在spark-shell中运行代码尝试从群集中读取文件时,访问文件没有问题。但是,......

回答 2 投票 2

Azure Databricks存储或数据湖

我正在创建一个结构化流媒体作业,将其数据存储在数据库delta数据库中。我面临着将增量数据库中的检查点位置和数据存储在...中的选项。

回答 1 投票 1

Azure Data Lake Gen 2与DataFactory集成

我正在尝试将数据湖gen2与数据工厂v2连接,我们需要通过数据湖中的添加用户向导添加用户。但我们无法看到这个选项,我们无法连接到......

回答 1 投票 0

断点后面的U-SQL代码未命中

我只是在学习Azure数据湖分析和U-SQL。我有一个简单的脚本运行并产生预期的输出。但是,当我在帮助器方法后面的代码中设置断点时,它永远不会......

回答 3 投票 1

从Azure Data Factory管道中的Azure Data Lake Storage中删除临时文件(首选SQL)

我们使用AdLS(Azure数据湖存储)作为ADF(Azure数据工厂 - V2)管道中的临时存储。删除临时存储在ADLS中的数据的最佳方法是什么?仅限U-SQL ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.