如何让我的代码变得更好？ Web Scraping，XPath

Question

希望你们都做得很好。

所以直截了当，我的代码试图通过网络抓取网站的结果，特别是餐馆的标题，评级和地址。

餐厅和地址的代码完美无缺，但评级代码不仅带来了评级，还带来了其他价值。

餐厅位：//a[@class="arrivalName"]/text()

地址位：//span[@class="address"]/text()

评分位：//a[@rel="nofollow"]/text()

为了刮，我把它们全部组合成：

'//a[@class="arrivalName"]/text()|//span[@class="address"]/text()|//a[@rel="nofollow"]/text()'

评级的问题实际上并不是那么糟糕，因为当我导出它时，我可以删除实际上没有评级的额外行。

我的问题来自结果在列表中的显示方式。比如说，例如：

169：Farbatto冰淇淋

170,999观看次数

171：\ nYerbal 2413 \ n

我想有这个，但有一个列为餐厅名称（169），另一个为评级（170），第三列为方向（171）。

Farbatto冰淇淋| 999意见| \ nYerbal 2413 \ n

我的代码如下，任何帮助将不胜感激！

第1部分

import pandas as pd
 import requests
 from lxml import html

第2部分

header = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36","X-Requested-With": "XMLHttpRequest"}

url = 'https://www.pedidosya.com.ar/restaurantes/buenos-aires?a=+colpayo+132&lng=-58.44132490000004&lat=-34.6184536&doorNumber=132&page=8'

第3部分

r = requests.get(url, headers=header)

第4部分

tree = html.fromstring(r.content)

title = tree.xpath('//a[@class="arrivalName"]/text()|//span[@class="address"]/text()|//a[@rel="nofollow"]/text()')

df = pd.DataFrame(title)

Answer 1

我已经快速编写代码来帮助你，根据你的需要进行修改。

import pandas as pd
import requests
from lxml import html

header = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36","X-Requested-With": "XMLHttpRequest"}
url = 'https://www.pedidosya.com.ar/restaurantes/buenos-aires?a=+colpayo+132&lng=-58.44132490000004&lat=-34.6184536&doorNumber=132&page=8'
r = requests.get(url, headers=header)
tree = html.fromstring(r.content)

hotel_elements = tree.xpath('//section[@class="restaurantData"]')
hotels = []
for hotel in hotel_elements:
    hotel_name = hotel.xpath('.//a[@class="arrivalName"]')
    hotel_address = hotel.xpath('.//span[@class="address"]')
    hotel_reviews = hotel.xpath('.//a[@rel="nofollow"]')
    if hotel_name:
        hotel_name = hotel_name[0].text_content()
    if hotel_address:
        hotel_address = hotel_address[0].text_content()
    if hotel_reviews:
        hotel_reviews = hotel_reviews[0].text_content()
    hotels.append([hotel_name, hotel_address, hotel_reviews])


df = pd.DataFrame(hotels)

Output

                              0                                       1              2
0                 Double Crêpes           \nBernardo de Irigoyen 1588\n  144 opiniones
1            Empanadas del Chef                         \nRosario 749\n  230 opiniones
2     El Emporio Helado Natural                         \nMurillo 749\n   33 opiniones
3                    Vian-ditas                                      []             []
4                 Rios Peruanos                          \nYerbal 787\n   33 opiniones
5                   Puro Goyena                \nAv. Pedro Goyena 293\n             []
6   Rotisería Welcome Caballito  \nAvenida Dr. Honorio Pueyrredón 784\n  137 opiniones
7             Moreira Caballito               \nJosé María Moreno 735\n   62 opiniones
8               Game of Burgers                         \nSaraza 1110\n   82 opiniones
9                Salimos Fuerte                    \nRamos Mejía 1088\n             []
10        Fullescabio Caballito                    \nCucha Cucha 1420\n   59 opiniones
11                     Donovans                          \nPerón 1596\n             []
12         Don Ricardo Restobar              \nJuan B. Ambrosetti 704\n   37 opiniones
13                Titan Burgers                       \nAranguren 334\n   40 opiniones
14         El Rey de las Arepas       \nDr. Juan Felipe Aranguren 336\n             []