在Python3中,我创建了一个程序来读取API(来自巴西众议院)并以JSON格式获取数据
import requests
import pandas as pd
url = 'https://dadosabertos.camara.leg.br/api/v2/deputados'
首先,我列出了一个带有词典的列表 - 它们是代表的名字以及各自的API链接。参数是json,每页的项目数和页码(有500多名代表,那么有6页)
deputados = []
for pagina in [1, 2, 3, 4, 5, 6]:
parametros = {'formato': 'json', 'itens': 100, 'pagina': pagina}
resposta = requests.get(url, parametros)
for deputado in resposta.json()['dados']:
dicionario = {"deputado": deputado['nome'], "link_api": deputado['uri']}
deputados.append(dicionario)
列表内容:
deputados
[{'deputado': 'ABEL MESQUITA JR.',
'link_api': 'https://dadosabertos.camara.leg.br/api/v2/deputados/178957'},
{'deputado': 'ADAIL CARNEIRO',
'link_api': 'https://dadosabertos.camara.leg.br/api/v2/deputados/178864'},
{'deputado': 'ADALBERTO CAVALCANTI',
'link_api': 'https://dadosabertos.camara.leg.br/api/v2/deputados/178914'},
{'deputado': 'ADELMO CARNEIRO LEÃO',
'link_api': 'https://dadosabertos.camara.leg.br/api/v2/deputados/178890'},
{'deputado': 'ADELSON BARRETO',
'link_api': 'https://dadosabertos.camara.leg.br/api/v2/deputados/178968'},
{'deputado': 'ADEMIR CAMILO',
'link_api': 'https://dadosabertos.camara.leg.br/api/v2/deputados/133374'},
...
我用结果创建了一个数据帧
df = pd.DataFrame(deputados)
df.reset_index().head()
index deputado link_api
0 0 ABEL MESQUITA JR. https://dadosabertos.camara.leg.br/api/v2/depu...
1 1 ADAIL CARNEIRO https://dadosabertos.camara.leg.br/api/v2/depu...
2 2 ADALBERTO CAVALCANTI https://dadosabertos.camara.leg.br/api/v2/depu...
3 3 ADELMO CARNEIRO LEÃO https://dadosabertos.camara.leg.br/api/v2/depu...
4 4 ADELSON BARRETO https://dadosabertos.camara.leg.br/api/v2/depu...
然后我用字典创建了另一个列表。这次我想继续每个副API页面并提取一些数据。我放了一些打印来检查结果(“resposta”和“linha”)。参数现在只是json
perfis = []
for num, row in df.iterrows():
parametros = {'formato': 'json'}
resposta = requests.get(row['link_api'], parametros)
print(resposta)
for linha in resposta.json()['dados']:
print(linha)
item1 = linha['uri']
item2 = linha['nomeCivil']
for linha2 in resposta.json()['ultimoStatus']:
item3 = linha2['nomeEleitoral']
item4 = linha2['siglaPartido']
item5 = linha2['siglaUf']
item6 = linha2['urlFoto']
for linha3 in resposta.json()['ultimoStatus/gabinete']:
item7 = linha3['telefone']
item8 = linha3['email']
item9 = linha3['sexo']
item10 = linha3['dataNascimento']
dicionario = {"link_api": item1, "nome_completo": item2, "nome_eleitoral": item3, "partido": item4, "uf": item5, "link_foto": item6, "telefone": item7, "e_mail": item8, "sexo": item9, "data_nascimento": item2}
perfis.append(dicionario)
这里我有一个错误(字符串索引必须是整数),并且打印显示副API未正确读取
<Response [200]>
id
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-21-bfada3632dc2> in <module>()
6 for linha in resposta.json()['dados']:
7 print(linha)
----> 8 item1 = linha['uri']
9 item2 = linha['nomeCivil']
10 for linha2 in resposta.json()['ultimoStatus']:
TypeError: string indices must be integers
刚确认,“resposta”打印是= Response [200]和“linha”= id。在“resposta”的情况下,应该具有API链接的requests.get值。并且“linha”是所选项目的json值
然后我单独测试了一个API链接,它工作正常:
resposta = requests.get('https://dadosabertos.camara.leg.br/api/v2/deputados/178890')
print(resposta.json())
{'dados': {'id': 178890, 'uri': 'https://dadosabertos.camara.leg.br/api/v2/deputados/178890', 'nomeCivil': 'ADELMO CARNEIRO LEAO', 'ultimoStatus': {'id': 178890, 'uri': 'https://dadosabertos.camara.leg.br/api/v2/deputados/178890', 'nome': 'ADELMO CARNEIRO LEÃO', 'siglaPartido': 'PT', 'uriPartido': 'https://dadosabertos.camara.leg.br/api/v2/partidos/36844', 'siglaUf': 'MG', 'idLegislatura': 55, 'urlFoto': 'http://www.camara.leg.br/internet/deputado/bandep/178890.jpg', 'data': '2015-03-06', 'nomeEleitoral': 'ADELMO CARNEIRO LEÃO', 'gabinete': {'nome': '231', 'predio': '4', 'sala': '231', 'andar': '2', 'telefone': '3215-5231', 'email': '[email protected]'}, 'situacao': 'Exercício', 'condicaoEleitoral': 'Suplente', 'descricaoStatus': None}, 'cpf': '', 'sexo': 'M', 'urlWebsite': None, 'redeSocial': [], 'dataNascimento': '1949-05-25', 'dataFalecimento': None, 'ufNascimento': 'MG', 'municipioNascimento': 'Itapagipe', 'escolaridade': 'Doutorado'}, 'links': [{'rel': 'self', 'href': 'https://dadosabertos.camara.leg.br/api/v2/deputados/178890'}]}
JSON页面可以在这里看到:https://dadosabertos.camara.leg.br/api/v2/deputados/178890?formato=json
请问这是否意味着当我尝试创建第二个列表时缺少某些参数?
因为这条线:
for linha in resposta.json()['dados']:
以下是您在resposta.json()['dados']
中所拥有的一个示例:
{'ufNascimento': 'MG', 'municipioNascimento': 'Teófilo Otoni', 'redeSocial': [], 'id': 133374, 'dataNascimento': '1964-05-30', 'dataFalecimento': None, 'urlWebsite': None, 'ultimoStatus': {'siglaPartido': 'PODE', 'condicaoEleitoral': 'Suplente', 'idLegislatura': 55, 'nome': 'ADEMIR CAMILO', 'id': 133374, 'nomeEleitoral': 'ADEMIR CAMILO', 'descricaoStatus': None, 'uri': 'https://dadosabertos.camara.leg.br/api/v2/deputados/133374', 'uriPartido': 'https://dadosabertos.camara.leg.br/api/v2/partidos/36896', 'situacao': 'Exercício', 'urlFoto': 'http://www.camara.leg.br/internet/deputado/bandep/133374.jpg', 'gabinete': {'predio': '4', 'nome': '556', 'andar': '5', 'sala': '556', 'telefone': '3215-5556', 'email': '[email protected]'}, 'siglaUf': 'MG', 'data': '2016-04-19'}, 'nomeCivil': 'ADEMIR CAMILO PRATES RODRIGUES', 'cpf': '', 'escolaridade': None, 'sexo': 'M', 'uri': 'https://dadosabertos.camara.leg.br/api/v2/deputados/133374'}
这是一本字典。
for x in dictonary
在dictionary
的键中循环,所以你循环列表:
['urlWebsite', 'sexo', 'nomeCivil', 'cpf', 'ultimoStatus', 'dataFalecimento', 'municipioNascimento', 'uri', 'id', 'escolaridade', 'dataNascimento', 'redeSocial', 'ufNascimento']
所以,写item1 = linha['uri']
就像写item1 = ['foo', 'bar']['baz']
,这显然并不意味着什么。
快速修复:用for linha in resposta.json()['dados']:
替换linha = resposta.json()['dados']
,然后使用unindent代码。它会奏效