azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

如何处置与Azure存储等服务的连接

我的函数将数据存储在Azure Data Lakta Storage Gen 1.但我收到错误发送请求时发生错误。当我调查时,我知道我在天蓝色功能中的连接克服了8k然后......

回答 1 投票 0

必须修改New-AzureRmDataLakeStoreItem“User-Agent”标头错误

我正在尝试使用powershell在Azure Data Lake Store Gen 1中创建一些新文件夹,但New-AzureRmDataLakeStoreItem和New-AZDataLakeStoreItem都返回错误。我有RWX权限...

回答 1 投票 0

如何使用Azure API Management从Azure Data Lake Rest API获取响应?

我想使用Data Lake rest API调用Azure Data Lake Gen 1。我尝试通过Javascript调用,但因为我遇到了CORS,我决定在JS和ADLS之间使用...

回答 1 投票 0

如何使用httpclient API删除Azure datalake Store中的目录

我可以使用httpclient API删除Azure中的文件,但是如何使用httpclient API删除Azure的datalake Store中的目录?文件删除代码私有const字符串DeleteUrl =“...

回答 1 投票 0

如何有效地防止事实表中的重复行?

我已经构建了一个数据工厂管道,它将Data Lake中的数据ETL转换为Datawarehouse。我为我的尺寸选择了SCD类型1。我的管道包含以下活动:[存储...

回答 1 投票 2

将Azure Data Lake帐户添加到现有HDInsight群集

我需要以编程方式将Azure Data Lake的引用添加到现有集群。我知道我们可以通过脚本操作对blob存储执行此操作,但我发现没有记录的方法来执行此操作...

回答 2 投票 0

使用Databricks将Google Api的结果写入数据湖

我通过Databricks上的Python SDK从Google管理员报告用户使用情况Api中获取用户使用情况数据。数据大小是每天大约100 000条记录,我通过批处理过夜。 ...

回答 1 投票 0

使用COPY DATA活动与SQL表和使用CREATE EXTERNAL TABLE有什么区别?

我有一堆U-SQL活动来操作和转换Azure Data Lake中的数据。除此之外,我得到一个包含我所有事件的csv文件。接下来我只想使用复制数据活动......

回答 1 投票 0

如何在U-SQL EXTRACT语句中处理丢失的文件?

我有以下EXTRACT语句,它从暂存文件和生产文件中获取数据:DECLARE @staging string =“/ staging /events.csv”; DECLARE @production string =“/ ...

回答 1 投票 1

Azure Lake to Lake转移文件

我的公司有两个Azure环境。第一个是临时环境,正在重新定位/退役/我不确定。我所知道的是我需要从一个Data Lake获取文件...

回答 1 投票 0

用databricks中的python日志记录模块编写日志,使azure datalake无法正常工作

我正在尝试在Databricks的Python-Notebook中将自己的日志文件写入Azure Datalake Gen 2。我正在尝试通过使用Python日志记录模块来实现这一点。不幸的是我无法得到它......

回答 1 投票 0

如何解决在从SQL Server数据仓库中读取外部源时拒绝行的问题

我必须使用polybase表将数据从datalake加载到sql server数据仓库。我已经创建了用于创建外部表的设置。我创建了外部表并尝试...

回答 1 投票 0

与CTAS相比,CREATE EXTERNAL TABLE的优缺点是什么?

我正在尝试构建一个Azure数据工厂管道,该管道从Azure Data Lake获取数据并对其进行转换。我想将转换后的数据存储在Azure SQL数据仓库中(作为事实和...

回答 1 投票 0

从azure函数连接到Azure数据湖Gen 2

我正在尝试从Azure函数连接到Azure Data Lake Storage Gen2以导入一些XML文件并将它们转换为JSON。但我的代码不起作用:var creds = ApplicationTokenProvider ....

回答 2 投票 1

Azure Databricks - 无法创建托管表关联的位置已存在

我在Azure Databricks中有以下问题。有时当我尝试将DataFrame保存为托管表时:SomeData_df.write.mode('overwrite')。saveAsTable(“SomeData”)我收到以下错误:...

回答 2 投票 1

如何在Sql Server数据仓库中读取包含在外部表的子文件夹中的所有文件

我必须使用polybase表将数据从datalake加载到sql server数据仓库。我已经创建了用于创建外部表的设置。我用...创建了外部表

回答 1 投票 0

从Scala访问Azure Data Lake Storage gen2

我能够从运行在Azure Databricks上的笔记本连接到ADLS gen2,但无法使用jar连接作业。我使用了与笔记本中相同的设置,除了使用...

回答 1 投票 0

使用Azure Functions中的NodeJS将文件保存到Azure Data Lake Storage的任何示例?

我的用例非常像这个问题。但我们正在寻找一个nodejs解决方案。无法在任何地方找到它。希望至少这是可行的。

回答 2 投票 -1

可以在Azure Data Lake Gen 2 Rest API中使用通配符吗?

我创建了一个Azure Data Lake gen2文件系统来存储和恢复数据。我已经正确加载了我的数据(每天一个文件)但是,当我想使用Azure Data Lake gen2 Rest API时,我可以......

回答 1 投票 -2

如何解决SQL Server数据仓库中的特殊字符问题

我必须使用polybase表将datalake中的数据加载到SQL Server数据仓库中。我已经创建了用于创建外部表的设置。我创建了外部表格......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.