python如何在json中搜索字符串，计数值和分组依据

Question

我有一个调用API的python程序，该API接收如下结果：

{
   "result": [
       {
         "company" : "BMW",
         "model" : "5"
       },           
       {
         "company" : "BMW",
         "model" : "5"
       },           
       {
         "company" : "BMW",
         "model" : "5"
       },           
       {
         "company" : "BMW",
         "model" : "3"
       },           
       {
         "company" : "BMW",
         "model" : "7"
       },           
       {
         "company" : "AUDI",
         "model" : "A3"
       },           
       {
         "company" : "AUDI",
         "model" : "A7"
       },           
]
}

现在，我的任务是从JSON输出中的列表中识别出现的元素的数量并将其分组。预期的输出应如下所示：

{
   "BMW" :
       {
         "5series" : 3,
         "3series" : 1,
         "7series" : 1,
       },
   "AUDI" :
      {
         "A3" : 1,
         "A7" : 1,          
      },
  "MERCEDES":
      {
         "EClass" : 0,
         "SClass" : 0
     }
}

我需要从元素列表中找到“公司”。这将包括有时可能不在JSON响应中的名称，然后预期的输出应将其包括为0。“模型”名称（3、5、7，A3等。）是固定的，因此我们知道这些是只有可能或可能不在json api响应中的那些。

例如：该列表在以下代码中包含3个公司名称。 -companyname = [“ BMW，” AUDI“，” MERCEDES“]。但是，有时JSON API响应可能没有一个或多个元素。在这种情况下，“ MERCEDES”丢失了，但是最终输出应包括“ MERCEDES” “以及值为0。

这是到目前为止我尝试过的：

def modelcount():
    companyname= ["BMW","AUDI","MERCEDES"]
    url = apiurl   

    #Send Request

    apiresponse = requests.get(url, auth=(user, password), headers=headers, proxies=proxies)

# Decode the JSON response into a dictionary and use the data
    data = apiresponse.json()

    print(len(data['result']))

    3series= 0
    5series= 0
    7series= 0
    A3=0
    A7=0
    EClass = 0
    SClass = 0
    modelcountjson = {}

    for name in companyname:

        for item in data['result']:
            models= {}
            if item['company'] == name:
                if item['model'] == 3:
                    3series = 3series + 1
                elif item['model'] == 5:
                    5series = 5series + 1
                elif item['model'] == 7:
                    7series = 7series + 1

                models['3series'] = 3series
                models['5series'] = 5series
                models['7series'] = 7series                           

#I still haven't written AUDI, MERCEDES above. This is where i feel i am writing inefficiently.

                   modelcountjson[name] = models

    return jsonify(modelcountjson)


```

随着模型数量的增加，我担心代码会因为许多for循环而变得多余，并可能导致性能开销。我正在寻求帮助，以最有效的方式实现最终结果。

非常感谢您的帮助。

Answer 1

您可以将代码和配置分开一些：

conf = {
    'BMW': {'format': '{}series', 'keys': ['3', '5', '7']},
    'AUDI': {'format': '{}', 'keys': ['A3', 'A7']},
    'MERCEDES': {'format': '{}Class', 'keys': ['E', 'S']},
}

def modelcount():
    # retrieve `data`
    # ...
    result = {
        k: {
            v['format'].format(key): 0 for key in v['keys']
        } for k, v in conf.items()
    }
    for car in data['result']:
        com = car['company']
        mod = car['model']
        key = conf[com]['format'].format(mod)
        result[com][key] += 1
    for com in result:
        result[com]['Total'] = sum(result[com].values())
    return result

>>> modelcount()
{'BMW': {'3series': 1, '5series': 3, '7series': 1}, 
 'AUDI': {'A3': 1, 'A7': 1}, 
 'MERCEDES': {'EClass': 0, 'SClass': 0}}

这样，对于更多的公司和型号，您只需触摸conf，而无需触摸代码。其时间复杂度为O(m+n)，其中m是不同模型的总数，n API响应中的汽车数量。

Answer 2

直接用于JSON样式字典和列表的有用包是toolz（有关更多详细信息，请参见documentation）。这样，您可以简洁地将数据分组并计算每个模型的出现次数，同时分别处理可能丢失的数据：

from toolz import itertoolz

result = {
   "result": [
       {
         "company" : "BMW",
         "model" : "5"
       },
       {
         "company" : "BMW",
         "model" : "5"
       },
       {
         "company" : "BMW",
         "model" : "5"
       },
       {
         "company" : "BMW",
         "model" : "3"
       },
       {
         "company" : "BMW",
         "model" : "7"
       },
       {
         "company" : "AUDI",
         "model" : "A3"
       },
       {
         "company" : "AUDI",
         "model" : "A7"
       },
    ]
}

final_output = {}
grouped_result = itertoolz.groupby('company', result['result'])

if 'MERCEDES' not in grouped_result:
    final_output['MERCEDES'] = {
        'EClass': 0,
        'SClass': 0
    }

for key, value in grouped_result.items():
    models = itertoolz.pluck('model', value)
    final_output[key] = itertoolz.frequencies(models) 

输出结果为：

{'AUDI': {'A3': 1, 'A7': 1}, 'BMW': {'3': 1, '5': 3, '7': 1}, 'MERCEDES': {'EClass': 0, 'SClass': 0}}