什么是在数据湖中计算文件数的最简单方法

Question

我将az存储blob的结果输出到文本文件，然后AZURE datalake中的文件数。

请告诉我最简单的方法来计算Azure Datalake中文件的数量吗？

Answer 1

您可以使用Powershell Toolkit来获取容器或文件夹的文件数：

function CountFiles
{
    Param(
        [string]$rootFolder
    )
    $items = Get-AzureRmDataLakeStoreChildItem -Account $dataLakeStoreName -Path $rootFolder

    $count = 0

    Write-Host "Number of files in $rootFolder :"

    foreach ($item in $items)
    {
        if ($item.Type -eq "FILE")
        {
            $count += 1
        }
    }
    return $count
}

Login-AzureRmAccount
$dataLakeStoreName = "myDataLakeStore" #Replace value with your own Data Lake Store name
$folder = "/user" #Replace value with the folder you want to delete files from
CountFiles $folder

引用此博客：Azure Data Lake Store PowerShell Toolkit。

您也可以使用此答案中的代码：https://stackoverflow.com/a/44938479/10549281

没有内置函数可以直接获取文件计数，很难说这是最简单的方法。通常，我们经常使用Powershell技巧。

希望这会有所帮助。