使用Python中的Pandas模块将网站中提取的项目写入包含不同长度列表的.xls表格

Question

我是Python编程的初学者，我正在练习从网站上抓取不同的价值观。我从特定网站中提取了项目，现在想将它们写入.xls文件。

整个网页有714条记录，包括重复记录，但excel表只显示707条记录，因为zip（）函数在最小列表耗尽时停止。这里最小的列表是电子邮件列表。因此，由于zip（）函数的属性，它已经耗尽并且迭代停止。我甚至在没有电子邮件地址的记录的if条件下检查它，以便显示“无电子邮件地址”但仍然与重复记录704一起显示相同的结果。请告诉我哪里出错了，如果可能的话，建议如何删除重复记录，并在没有电子邮件的情况下显示“无电子邮件地址”。

from bs4 import BeautifulSoup as bs
import pandas as pd

res = requests.get('https://www.raywhite.com/contact/?type=People&target=people&suburb=Sydney%2C+NSW+2000&radius=50%27%27&firstname=&lastname=&_so=contact', headers = {'User-agent': 'Super Bot 9000'})
soup = bs(res.content, 'lxml')

names=[]
positions=[]
phone=[]
emails=[]
links=[l1['href'] for l1 in soup.select('.agent-name a')]

nlist = soup.find_all('li', class_='agent-name')
plist= soup.find_all('li',class_='agent-role')
phlist = soup.find_all('li', class_='agent-officenum')
elist = soup.find_all('a',class_='val withicon')

for n1 in nlist:
    names.append(n1.text)
for p1 in plist:
    positions.append(p1.text)
for ph1 in phlist:
    phone.append(ph1.text)
for e1 in elist:
    emails.append(e1.get('href') if e1.get('href') is not None else 'No Email address')


df = pd.DataFrame(list(zip(names,positions,phone,emails,links)),columns=['Names','Position','Phone','Email','Link'])
df.to_excel(r'C:\Users\laptop\Desktop\RayWhite.xls', sheet_name='MyData2', index = False, header=True)

excel表看起来像这样我们可以看到最后的记录名称，它的电子邮件地址不匹配：

Ray White Excel表格

Answer 1

看起来你正在做很多find_all's然后将它们拼接在一起。我的建议是做一个find_all然后迭代。当所有数据都在一个位置时，可以更轻松地构建数据框的列。

我已更新以下代码以成功提取链接而不会出现错误。使用任何代码，有许多方法可以执行相同的任务。这个可能不是最优雅的，但它确实完成了工作。

import requests
from bs4 import BeautifulSoup 
import pandas as pd

r    = requests.get('https://www.raywhite.com/contact/?type=People&target=people&suburb=Sydney%2C+NSW+2000&radius=50%27%27&firstname=&lastname=&_so=contact', headers = {'User-agent': 'Super Bot 9000'})
soup = BeautifulSoup(r.text, 'html.parser')

get_cards = soup.find_all("div",{"class":"card horizontal-split vcard"})

agent_list = []

for item in get_cards:
    name      = item.find('li', class_='agent-name').text
    position  = item.find('li', class_='agent-role').text
    phone     = item.find('li', class_='agent-officenum').text
    link      = item.find('li', class_='agent-name').a['href']

    try:
        email = item.find('a',class_='val withicon')['href'].replace('mailto:','')
    except:
        email = 'No Email address'
    agent_list.append({'name':name,'position':position,'email':email,'link':link})

df = pd.DataFrame(agent_list)

上面是我一起编写的一些示例代码来创建数据帧。这里的关键是在"class":"card horizontal-split vcard"}上做一个find_all

希望得到一些帮助。

干杯，亚当