获取Python文件上传到Azure的进度

Question

我正在将文件上传到 azure，如下所示：

with open(tempfile, "rb") as data:
    blob_client.upload_blob(data, blob_type='BlockBlob',  length=None, metadata=None)

如何获得进度指示？ 当我尝试作为流上传时，它只上传一个块。

我确信我做错了什么，但找不到信息。

谢谢！

Answer 1

Azure 库似乎不包含用于监视进度的回调函数。

幸运的是，您可以在 Python 的文件对象周围添加一个包装器，它可以在每次读取时调用回调。

试试这个：

import os
from io import BufferedReader, FileIO


class ProgressFile(BufferedReader):
    # For binary opening only

    def __init__(self, filename, read_callback):
        f = FileIO(file=filename, mode='r')
        self._read_callback = read_callback
        super().__init__(raw=f)

        # I prefer Pathlib but this should still support 2.x
        self.length = os.stat(filename).st_size

    def read(self, size=None):
        calc_sz = size
        if not calc_sz:
            calc_sz = self.length - self.tell()
        self._read_callback(position=self.tell(), read_size=calc_sz, total=self.length)
        return super(ProgressFile, self).read(size)



def my_callback(position, read_size, total):
    # Write your own callback. You could convert the absolute values to percentages
    
    # Using .format rather than f'' for compatibility
    print("position: {position}, read_size: {read_size}, total: {total}".format(position=position,
                                                                                read_size=read_size,
                                                                                total=total))


myfile = ProgressFile(filename='mybigfile.txt', read_callback=my_callback)

那么你会做

blob_client.upload_blob(myfile, blob_type='BlockBlob',  length=None, metadata=None)

myfile.close()

编辑： 看起来 TQDM（进度监视器）有一个简洁的包装器：https://github.com/tqdm/tqdm#hooks-and-callbacks。 这样做的好处是您可以轻松访问漂亮的进度条。

Answer 2

这就是我最终使用阿拉斯泰尔上面提到的

tqdm

包装器的方式

  from tqdm import tqdm

  size = os.stat(fname).st_size
  with tqdm.wrapattr(open(fname, 'rb'), "read", total=size) as data:
     blob_client.upload_blob(data)

工作完美，显示时间估计、进度条、人类可读的文件大小和传输速度。