我正在做一个项目,我需要从不同的URL导入200个大的列表。每一个都需要3秒左右的时间,我不能等那么久才能完成程序。但在网站上,我需要的每一个对象只有两个,所以我想知道是否有办法只导入这两个对象,而不是从每个URL导入整个JSON。
第一,是下载文档要花时间,还是拿到文档后用Python解析? 最好衡量一下。 如果是下载,除非源码API提供了一种只请求部分文档的方法,否则你也没办法。
如果解析是瓶颈,你还是要解析(没有办法不解析JSON文档的某一部分就归零),但你可以尝试去用一个非Python解析器来完成这部分任务,比如调用命令行的 jq 通过子流程。