azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件：HDInsight，Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive，Pig，Spark，Storm和U-SQL编写的大数据作业。要了解更多信息，请访问：https：//azure.microsoft.com/en-us/solutions/data-lake/

Sink 处的零输出列错误解决方案

我正在使用 Azure 数据工厂的数据流进行开发。我有一个包含“D”、“I”和“U”行的源表，我想将“D”行与“U”和“I”分开，并将它们分别加载到两个差异中...

azure azure-data-factory azure-data-lake

回答 1 投票 0

DataLake 文件 - 上次修改日期时间

想要使用 Synapse 笔记本 (pyspark) 获取数据湖中文件的上次更新日期时间。我们有开箱即用的选项吗？

python azure-data-lake azure-synapse

回答 2 投票 0

AzureDataLake 上传文件

我想将文件上传到AzureDataLake，但无法决定使用哪种方法我发现 DataLakeFileClient.UploadAsync 的这两个重载 https://learn.microsoft.com/en-us/dotnet/api/azure.stor...

c# azure azure-data-lake azure-data-lake-gen2

回答 1 投票 0

找不到凭据<mainstorage path>，因为它不存在或您没有权限。由于绑定错误，无法使用视图/函数

我通过 Azure 数据工厂将本地数据库迁移到 ADLS，然后创建 Azure Synapse 作为数据仓库来存储新转换的数据。当我通过数据库 SQL Authenticat 将其连接到 Power BI 时...

azure powerbi azure-synapse azure-data-lake azure-data-lake-gen2

回答 1 投票 0

动态联合 Pyspark 数据帧

我在湖中的文件被分成2个分区，partition_Continent和partition_Country。我有一个 df_grouped 告诉我要使用哪个过滤器，例如，假设这给了我 2 条记录：我已经

pyspark databricks azure-databricks azure-data-lake azure-data-lake-gen2

回答 1 投票 0

将 Salesforce 数据拉入 Azure

要求是将一些 Salesforce 对象复制到 Azure 数据湖中。由于我是 Azure 的新手，有人可以帮助我使用将 salesforce 中的数据提取到 az 中所需的工具或连接吗...

azure salesforce azure-data-lake

回答 2 投票 0

Endpoint 不支持 BlobStorageEvents 或软删除异常

在尝试执行数据预览或调试管道时，我收到以下错误，指出“端点不支持 blobstorage 事件或软删除” 我不想禁用软d...

azure ssis azure-data-factory azure-data-lake linked-service

回答 2 投票 0

将数据发送到数据湖存储

我正在尝试保存从 ESP32 发送到 IoTHub 的 json，json 文件如下所示：` ' { "msgCount": 0, "message": "你好世界", "id": "

azure azure-functions azure-data-lake

回答 1 投票 0

如何向用户授予对 Azure Synapse Analytics Lake 数据库中特定数据库的权限？

我在 Azure Synapse Analytics Lake 数据库中有多个数据库。现在我试图限制其中一位用户的读取访问权限。我使用以下脚本为用户创建登录名： ...

azure-sql-database azure-data-lake azure-data-lake-gen2 azure-synapse-analytics

回答 1 投票 0

无法使用 Polybase/复制方法将数据从本地加载到 Synapse

ADF、ADLS 和 Synapse 都位于私有端点，我们能够从本地提取数据并使用 ADF 复制活动中的批量插入方法加载到 Synapse 中。但是当使用 Polybase/Copy me...

azure azure-data-factory azure-synapse azure-data-lake polybase

回答 1 投票 0

我如何通过外部应用程序写入我的 Fabric Lakehouse？

我有一个用于用户管理的 React 应用程序，我需要经常将数据直接（通过天蓝色函数）写入我的 Fabric Lakehouse。理想情况下，我能够使用我的服务原理......

azure azure-data-lake microsoft-fabric

回答 1 投票 0

将 DefaultAzureCredential 用于 DataLakeServiceClient

我有一个 api，它向调用者授予 sas 令牌，以将文件上传到 blob 存储。我想让它与 DefaultAzureCredential 一起使用。这是我的program.cs中的代码：建设者.服务.

azure azure-data-lake

回答 1 投票 0

使用 adf 中的复制活动将文件归档到带有时间戳的 adf 中

我的要求是使用复制活动将基于通配符的特定文件从数据湖中的容器/文件夹复制到azure数据库，然后将文件复制到时间戳为...的不同文件夹中

azure-data-lake azure-data-factory

回答 2 投票 0

Azure Data Lake Gen 2 和 Python 在 Data Lake 文件夹中复制文件

使用此处证明的示例：https://learn.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-directory-file-acl-python?tabs=account-key。我已经能够连接到我的 Azure Data Lake

python azure-data-lake

回答 1 投票 0

是否可以使用 DBeaver 和 DuckDB 连接器直接从 Azure Datalake 存储读取 parquet 文件？

我使用 DBeaver 和 DuckDB 数据库连接（Path = :memeory:）来读取本地 .parquet 文件。 SELECT * FROM "C: old\myfile.parquet" 是否可以直接读取 .parquet 文件...

azure-data-lake dbeaver azure-data-lake-gen2 duckdb

回答 1 投票 0

根据通配符在源处复制文件名，以便使用 Azure 数据工厂传输到接收器中的单独文件夹

我希望配置 ADF 作业以使用复制功能从源容器传输 .txt 文件，并将它们传输到各自文件夹中的 ADLS 接收器容器。例如：所以...

azure azure-data-factory azure-data-lake

回答 1 投票 0

在 Azure 数据工厂中解压缩

我有一个大小为32GB的zip文件。我需要将其导入数据湖存储服务帐户。我正在尝试解压文件并通过 Azure 数据工厂移动该文件。 Zip 文件已上传...