Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件：HDInsight，Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive，Pig，Spark，Storm和U-SQL编写的大数据作业。要了解更多信息，请访问：https：//azure.microsoft.com/en-us/solutions/data-lake/
使用Azure Data Lake Analytics / U-SQL拆分1TB文件
我有一个1TB的文本文件，其中包含一些文本数据。我想使用Azure Data Lake Analytics / U-SQL将其拆分为较小的数据块。如何实现？
用例我的Spark应用程序从Azure Data Lake Store Gen.1读取CSV文件。可以为该应用程序提供一个选项，使其仅读取前N行。此代码段的代码参数为：...
Azure DataLake Gen2 Powershell限制
我受到Azure Datalake gen2的cmdlet的限制：https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-directory-file-acl-powershell我' m使用此cmdlet：Get -...
Azure存储（Blob / Data Lake Gen）是否支持处理敏感数据？我看到Azure信息保护是一种处理Azure敏感数据的方法，但我无法找到它是否受支持...
我正在尝试在Databricks笔记本中使用Python从Azure数据湖中读取文件。这是我使用的代码，从azure.storage.filedatalake导入DataLakeFileClient文件= DataLakeFileClient...。
如何使用文件Url从Azure Data Lake Storage中读取文件？
是否有一种方法可以从Azure数据湖读取文件。我有文件的Http网址。我想读它直接。我如何才能实现它，因为我看不到通过SDK来实现它的方法。谢谢...
如何在Databricks中使用os.walk（）来计算Azure datalake中的目录大小
如何在Databricks中使用os.walk来计算Azure datalake中的目录大小。我使用的Python版本是3。我首先使用递归方法来获取目录大小，该目录大小在文件路径...
Azure Data Lake Storage Gen1元数据（根据文件夹结构和大小信息）到Power BI中
[在Azure门户上-我有几个“ Data Lake Storage Gen1”资源，我需要构建一个Power BI仪表板，以显示1.存储信息（资源中有多少数据）2. ...] >
天蓝色的Blob存储可以使用abfss协议吗？还是只使用wasbs？
[我在处理某些数据提取代码的情况下，将环境设置为：将azure blob存储（不是adls）用作临时存储，并且该代码应...
Spark.read（）一次生成多个路径，而不是在for循环中一一对应
我正在运行以下代码：list_of_paths是一个列表，其路径以avro文件结尾。例如，['folder_1 / folder_2 / 0/2020/05/15/10/41 / 08.avro'，'folder_1 / folder_2 / 0/2020/05/15/11/41/08 ....
我正在尝试使用polybase外部表功能将Parquet文件从ADLS Gen2加载到Synapse。下面是代码，但是在运行create external table命令时，查询永远不会完成。 ...
使用distcp复制到Azure ADLS Gen1失败，并显示403
我正在尝试使用OAuth2进行身份验证时复制到Azure Data Lake Storage（ADLS）Gen1。我收到以下错误：com.microsoft.azure.datalake.store.ADLException：错误得到...
无法使用javascript列出Azure Datalake的文件系统
[我正在尝试使用此代码列出Azure datalake中文件系统内的路径：我能够检索$ {fileSystem.name}，但通过.listPaths（）节点获取权限被拒绝：15660）...] >
Azure数据工厂-Azure Data Lake Gen1访问
逻辑应用程序正在将文件添加到Data Factory V2，我有一个数据工厂，可以访问“第1代数据湖”来处理该文件。尝试调试数据时收到以下错误...
您可以拥有不带HNS的Azure Data Lake gen2吗？
我正在尝试了解创建Azure Data Lake的选择。从本文中我了解到，gen2数据湖基本上是启用了Hns的Azure V2存储帐户。我从...
我需要验证我上传到ADLG2的文件，但是找不到一个好的方法...虽然有ContentMD5属性，但是即使尝试获取HEAD，我也看不到为什么要更改或更新它。 ..
如何避免在使用U-SQL读取具有未知列数的Excel文件时重复最后一列的值
我正在尝试使用oh22is ExcelExtractor库读取Excel文件并在Azure Datalake中写入一个csv文件。 Excel文件的表格格式有问题，并且列数未知（...
我有一个人创建的容器，正在使用它加载数据。在“管理访问权”选项卡中，我看到我的用户名以及具有不同级别的ACL的$ superuser（所有者）和$ superuser（所属组）...
Azure Data Factory：设置限制，以使用“复制活动”复制文件数
我在管道中使用了一个复制活动来从第2代Azure数据湖中复制文件。源位置可能有1000个文件，需要复制文件，但我们需要为...设置限制。