我如何使用Google Drive API下载30,000张图像？

Question

我需要使用Google Drive API下载30,000张图像（我的所有file_id都保存在本地，以便可以将它们上传到AWS S3，但是在仅向API发送20-30张图像请求后，我得到了403错误，这意味着我超出了API配额（每位用户每100秒1,000个请求-不确定我如何超过它，但这还不重要）。在每次请求之间，我的代码休眠2秒钟，但仍然出现此错误。我需要在合理的时间内下载和上传这些文件，有什么建议吗？

Answer 1

我不确定您要使用哪个库来获取请求。但是据我了解，urlopen会针对无法处理的内容（例如“ 403”（禁止请求））引发HTTPError。

参考-List of Errors

403: ('Forbidden',
      'Request forbidden -- authorization will not help').

相反，您可以使用-urlretrieve()

共享一个小的代码示例：-

import urllib.request
url = 'http://example.com/'
response = urllib.request.urlopen(url)
data = response.read()      # a `bytes` object
text = data.decode('utf-8') # a `str`; this step can't be used if data is binary