可以使用数据工厂从数据湖中删除文件吗?

问题描述 投票:1回答:2

它可以使用数据工厂从数据湖中删除文件?这样做非常困难,我坚持下去。

azure-data-factory azure-data-lake
2个回答
1
投票

使用Data Factory删除文件是不可能的。我发现Data Factory的主要目的是ETL编排。

如果您熟悉.NET / Java编码,我建议您创建一个将从ADF调用的Azure函数,它将删除一个文件。 ADF现在支持Azure功能(不需要使用HTTP触发器/ Web组件)

Data Lake上有一个用于文件操作的SDK,它包含从Data Lake Store删除文件的方法Delete。看看这个文档:https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-data-operations-net-sdk#see-also

删除方法:https://docs.microsoft.com/en-us/dotnet/api/microsoft.azure.datalake.store.adlsclient.delete?view=azure-dotnet

您可以将路径作为请求参数/标头传递给文件,无论您感觉从ADF到Azure功能是否合适。希望这个建议对你有用。


0
投票

您拥有的最佳选择是创建Azure批处理。

https://docs.microsoft.com/en-us/azure/batch/

您可以创建一个删除文件并从数据工厂调用它的应用程序。您也可以将文件作为参数传递。

© www.soinside.com 2019 - 2024. All rights reserved.