azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

U-SQL结合三个连接的操作写入了大量的数据

所以我有三个数据源,我想连接在一起产生一些输出。 File1.json:378mb File2.json:72kb file3.json:500kb @ extractFile1 = EXTRACT columnList FROM PATH“path / File1 ....

回答 1 投票 0

Azure Data Lake:使用ARM和PowerShell成功部署后如何添加用户权限

我通过ARM和PowerShell部署Azure Datalake商店和分析帐户。如何在以后使用其电子邮件地址为Azure Active Directory中存在的某些用户添加权限...

回答 1 投票 0

Azure Data Lake中的U-SQL输出

如果我不知道表中包含多少个不同的键值,是否可以根据列值自动将表拆分为多个文件?是否可以将关键值放入...

回答 3 投票 5

ADLA作业:根据行内容写入不同的文件

我有一个固定宽度文本文件的BUNCH包含多个事务类型,只有我关心的3个(121,122,124)。示例文件:...

回答 2 投票 1

ADLS java sdk数据副本

有没有办法使用Azure ADLS java SDK通过安全通道复制数据? ADLFileOutputStream可用于将数据传输到ADLS。想知道是否有安全的API。

回答 1 投票 0

如何在U-SQL连接中使用OR逻辑运算符?

AND((Glt.LineNumber == Pct.LineNumber)OR(Glt_1.LineNumber == Pct.UniqueKey_Num));我想在U-SQL中实现上述条件,但Azure不支持它。我怎样才能做到这一点?

回答 2 投票 2

ADF V2中的USQL活动 - 2705用户无法访问datalake商店

使用Azure Data Factory V2运行U-SQL脚本时遇到问题。这个U-SQL脚本在门户网站或vs:@a = SELECT * FROM(VALUES(“Contoso”,1500.0,“2017 -...

回答 2 投票 1

将文件从FTP位置复制到Azure Data Lake

我已按照MSDN文档中显示的所有步骤从FTP复制文件。到目前为止,创建了数据集,创建了链接服务器,创建了管道。管道图...

回答 1 投票 0

在SSIS中更改Data Lake Store Source的输出类型

使用Azure Data Lake Store Source时是否可以更改列的输出类型?目前它是DT_WSTR(100),但在我的源文件中包含更大的字段,然后是100个字符。 ...

回答 1 投票 2

上游依赖项的数据工厂等待超时

我目前正在使用Data Factory V1。我有一个有2个链式活动的管道:。第一个活动是复制活动,它将SQLDB中的表提取到Data Lake Store中的.tsv文件中。 ......

回答 1 投票 1

动态获取用户凭据以使用来自spark作业的ADLS进行身份验证

有没有办法可以获取用户凭据以在Spark作业中使用ADLS进行身份验证。我正在尝试编写一个库,供用户在他们的火花作业中用来读取数据并想隐藏......

回答 1 投票 0

将文件夹递归上传到Azure

我正在尝试将批量数据上传到Azure DataLake。按照Microsoft的示例,并将命令更改为:Import-AzureRmDataLakeStoreItem -AccountName $ dataLakeStoreName -Path“C:\ ...

回答 1 投票 0

如何在不同的订阅中将文件和文件夹从一个ADLS复制到另一个ADLS?

我需要能够将文件和文件夹从一个Data Lake复制到另一个不同订阅的Data Lake,我拥有Auth Token和密钥。我试过不同的解决方案......

回答 1 投票 0

ADAL V3,Azure Data Lake,证书和ServiceClientCredentials

我有点陷阱,我需要在同一段代码(C#)中从相同的服务主体访问Azure Event Hub和Azure Data Lake。服务主体是Azure AD应用程序,我...

回答 1 投票 2

处理azure数据湖中的多个读写器

我是azure数据湖的新手,目前正在使用数据工厂v2将数据从我的事务数据库移动到azure数据湖存储。考虑一个场景公司有多个数据源团队......

回答 1 投票 0

从Azure Data Lake向SQL Server提取数据的最佳方法

我正在寻找一种最佳的编程方法,将数据从Azure Data Lake提取到MSSQL数据库,该数据库安装在Azure中的VM上。目前我正在考虑以下选项:Azure数据......

回答 1 投票 0

USQL提取文件的子集

我有一个U SQL问题。我有一个日常工作,就是按照以下格式将文件输出到目录/Output/{YYYY}/{MM}/{DD}/file.csv我现在有第二份工作要运行,这将...

回答 1 投票 0

如何使用U-SQL修改文本文件

我有一个大约130MB的大文件,每行包含10个A字符,而在第10个“A”字符的末尾是\ t,我想提取这个文本文件,然后将所有A改为B。任何人都可以帮忙......

回答 1 投票 0

Azure Data Lake Analytics中的内存限制

我已经为NetCDF文件实现了一个自定义提取器,并在输出之前将变量加载到内存中的数组中。有些数组可能很大,所以我想知道ADLA的内存限制是什么。 ...

回答 2 投票 3

将数据源从一个数据湖更改为另一个数据湖

我正在迁移具有外部表的DW,但它们指向原始数据湖而不是我创建的副本。是否有任何简单/有效的方法来重新分配数据源而无需...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.