azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

同一操作的Powershell cmdlet差异

我从文档中获得了用于相同操作的三个命令。这些命令将文件从Azure数据湖存储复制到本地计算机。我不明白这些是别名还是...

回答 1 投票 0

使用powershell从Adls gen1下载文件不起作用

我正在尝试使用powershell脚本从azure数据湖存储下载文件。该代码是从Azure云中的Runbook触发的。看起来Export-AdlStoreItem无法正常工作。我不...

回答 1 投票 0

我如何将示例数据加载到Azure数据湖并在Power Bi中进行可视化?

我有一个示例数据(.CSV),并且可以通过使用get data->文本文件在Power Bi桌面中将其可视化。我想将相同的数据加载到Azure数据湖中,以便可以从...

回答 1 投票 0

如何在Azure数据工厂中撤消操作

我是Azure数据工厂的新手。在开发管道时,我在Azure数据工厂中找不到撤消操作。 Ctrl + z无效。撤消的快捷键是什么?

回答 1 投票 0

如何使用Azure数据工厂将文件从Azure数据湖传输到网络文件文件夹(远程服务器文件夹)

是否可以使用Azure数据工厂将文件从Azure数据湖传输到远程文件服务器。我的来源没有任何问题,但是我不确定如何实现目的地。我是...

回答 1 投票 0

如何在天蓝色数据湖中更新文件数据

我在蔚蓝数据湖中上传了一个文件。我想再次上传具有更新数据的相同文件,并想要更新现有文件。那是什么过程?

回答 1 投票 0

使用Azure Data Lake Analytics / U-SQL拆分1TB文件

我有一个1TB的文本文件,其中包含一些文本数据。我想使用Azure Data Lake Analytics / U-SQL将其拆分为较小的数据块。如何实现?

回答 1 投票 0

从具有限制的ADL第1代读取CSV

用例我的Spark应用程序从Azure Data Lake Store Gen.1读取CSV文件。可以为该应用程序提供一个选项,使其仅读取前N行。此代码段的代码参数为:...

回答 1 投票 1

Azure DataLake Gen2 Powershell限制

我受到Azure Datalake gen2的cmdlet的限制:https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-directory-file-acl-powershell我' m使用此cmdlet:Get -...

回答 1 投票 0

Azure数据湖处理敏感数据

Azure存储(Blob / Data Lake Gen)是否支持处理敏感数据?我看到Azure信息保护是一种处理Azure敏感数据的方法,但我无法找到它是否受支持...

回答 1 投票 0

Azure数据湖-使用Python读取

我正在尝试在Databricks笔记本中使用Python从Azure数据湖中读取文件。这是我使用的代码,从azure.storage.filedatalake导入DataLakeFileClient文件= DataLakeFileClient...。

回答 1 投票 0

如何使用文件Url从Azure Data Lake Storage中读取文件?

是否有一种方法可以从Azure数据湖读取文件。我有文件的Http网址。我想读它直接。我如何才能实现它,因为我看不到通过SDK来实现它的方法。谢谢...

回答 2 投票 0

如何在Databricks中使用os.walk()来计算Azure datalake中的目录大小

如何在Databricks中使用os.walk来计算Azure datalake中的目录大小。我使用的Python版本是3。我首先使用递归方法来获取目录大小,该目录大小在文件路径...

回答 1 投票 0

Azure Data Lake Storage Gen1元数据(根据文件夹结构和大小信息)到Power BI中

[在Azure门户上-我有几个“ Data Lake Storage Gen1”资源,我需要构建一个Power BI仪表板,以显示1.存储信息(资源中有多少数据)2. ...] >

回答 1 投票 1

天蓝色的Blob存储可以使用abfss协议吗?还是只使用wasbs?

[我在处理某些数据提取代码的情况下,将环境设置为:将azure blob存储(不是adls)用作临时存储,并且该代码应...

回答 1 投票 0

Spark.read()一次生成多个路径,而不是在for循环中一一对应

我正在运行以下代码:list_of_paths是一个列表,其路径以avro文件结尾。例如,['folder_1 / folder_2 / 0/2020/05/15/10/41 / 08.avro','folder_1 / folder_2 / 0/2020/05/15/11/41/08 ....

回答 1 投票 0

将数据从第二代ADLS加载到Azure Synapse中

我正在尝试使用polybase外部表功能将Parquet文件从ADLS Gen2加载到Synapse。下面是代码,但是在运行create external table命令时,查询永远不会完成。 ...

回答 1 投票 0

使用distcp复制到Azure ADLS Gen1失败,并显示403

我正在尝试使用OAuth2进行身份验证时复制到Azure Data Lake Storage(ADLS)Gen1。我收到以下错误:com.microsoft.azure.datalake.store.ADLException:错误得到...

回答 1 投票 0

无法使用javascript列出Azure Datalake的文件系统

[我正在尝试使用此代码列出Azure datalake中文件系统内的路径:我能够检索$ {fileSystem.name},但通过.listPaths()节点获取权限被拒绝:15660)...] >

回答 1 投票 0

Azure数据工厂-Azure Data Lake Gen1访问

逻辑应用程序正在将文件添加到Data Factory V2,我有一个数据工厂,可以访问“第1代数据湖”来处理该文件。尝试调试数据时收到以下错误...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.