azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

如何从ASP.NET Core应用程序查询Azure Analysis Service中的数据?

我有一个云应用程序,它将所有数据转储到Azure Data Lake中。使用Azure Data Factory,我构建了一个管道,用于从湖中提取和转换数据并将其保存在...

回答 1 投票 0

如何使用Azure数据工厂动态获取表(sql server数据仓库)中的所有json文件表数据(从ADF加载到DWH)

我必须将所有json文件数据放入从azure数据工厂到sql server数据仓库的表中。我能够将数据加载到具有静态值的表中(通过在数据集中给出列名)...

回答 1 投票 0

使用SSIS从ADLS第2代读取

有谁知道哪个连接和数据流组件用于ADLS(Azure Data Lake Store)gen2?我已设法在连接管理器中使用blob连接器并成功连接到...

回答 3 投票 3

无法连接到Azure Data Lake Storage gen1,禁止出错

我正在使用.net4.8。我需要连接到Azure Data Lake Storage Gen1。我在github上找到了以下示例:https://github.com/Azure-Samples/data-lake-store-adls-dot-net-get-started/现在在Azure ...

回答 1 投票 0

使用Azure功能处理Azure Datalake存储文件

我定期在Azure Datalake商店的特定文件夹中获取文件。一旦文件到来,我想使用Azure功能进一步处理它。那可能吗?

回答 1 投票 0

如何使用Data Factory截断Dynamics 365实体(并复制到Azure数据湖)?

我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure Data Lake。实体每24小时保存为Data Lake中的CSV文件。我没有批量复制,而是......

回答 2 投票 1

U-SQL + Pandas Merge_asof

我是第一次使用Azure Data Lake Analytics,我不确定如何合并2个数据集,就像我在python中使用pandas一样。我正在合并两个具有不同时间戳的数据集,但......

回答 1 投票 1

将数百万个小文件从Azure Data Lake Store加载到Data Bricks

我在Azure Data Lake Store中有一个分区文件夹结构,其中包含大约600万个json文件(大小为kb到2 mb)。我正试图从这些文件中提取一些字段...

回答 3 投票 3

如何对U-SQL脚本进行单元测试?

我目前有一个带有一组不同脚本的U-SQL项目,我正在尝试为它们创建单元测试。我可以使用带有一组测试数据的Azure Data Lake工具在本地运行脚本...

回答 1 投票 1

如何在U-SQL中抛出错误或引发异常?

用于在U-Sql脚本中引发错误或异常的机制是什么?我有一个处理CSV文件的场景,如果在其中找到重复项,那么我需要放弃处理。在......

回答 1 投票 2

安装Azure U-SQL Extensions以在本地运行R / Python脚本?

我们可以在Azure Data Lake Analytics中使用R / Python代码扩展U-SQL脚本,但我们如何在本地进行?

回答 1 投票 1

USQL + Python扩展库

usql python扩展是否支持sci-kitlearn库?网页https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-python-extensions仅提及numpy,pandas,...

回答 1 投票 0

使用SSIS脚本组件读取Azure Data Lake Store文件

感谢您的建议。我的要求是,使用SSIS从ADLS读取json文件并加载到SQL表中实现:我已经实现了代码来读取.Net控制台应用程序中的json文件内容。 ...

回答 1 投票 1

使用Azure Data Lake时是否需要数据仓库?

我正在探索Azure Data Lake,我是这个领域的新手。我探索了很多东西并阅读了很多文章。基本上我必须从不同来源的数据开发Power BI仪表板。经典......

回答 2 投票 2

Data Lake Store数据和格式如何?

我听说Data Lakes可以存储任何类型的数据:Relational,NoSql,Pictures / images,Adobe Pdf,Excel。如何以No-SQL格式或二叉树存储数据?或者它只是像...一样保存它

回答 1 投票 1

从Excel管理授权到Azure Data Lake中的文件夹

我正在开发一个Azure数据湖,我想将Excel连接到数据湖。您如何授权用户也可以从Excel中查看数据?我使用了两个测试用户并给他们不同的访问权限......

回答 1 投票 -2

如何删除Azure数据湖分析中的作业

嘿,我是Azure数据湖的初学者,我已经在azure datalake分析中创建了一些工作,现在我想删除它们,任何人都可以告诉我如何去做。

回答 1 投票 1

如何使用.NET SDK中的代码执行U-SQL作业

我有一个U-SQL作业,在后面的代码中使用自定义Extractors。我需要从C#代码按需运行它。我找到了一种通过像字符串一样传递脚本来提交作业的方法。我能以某种方式执行......

回答 1 投票 0

在Azure Data Lake Analytics中将SQL Server添加为数据源

我正在使用Azure Data Lake Analytics进行一些测试,我无法将新的SQL Server数据库添加为数据源。当我点击“添加数据源”时,只有两个可用选项:“Azure Data Lake ...

回答 1 投票 1

如何使用不等于U-SQL中的条件?

我正在尝试编写一个U-SQL查询来复制SQL查询所执行的相同逻辑,如下所示。 SELECT * FROM tb1 LEFT JOIN tb2 ON tb1.id = tb2.id AND tb1.pid!= tb2.pid;由于U-SQL不支持...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.