除了使用BeautifulSoup和Scrapy之外，有没有办法刮除不可废弃的网站，因为这些不起作用？

Question

我试图将Tangerine website的nbn计划作为一项刮刮练习。我正在使用BeautifulSoup，我能够抓取数据并查看终端中的数据，但是一旦我将数据保存到csv文件中，它就无法工作，我会得到某种奇怪的输入。

我使用了BeautifulSoup，但我也知道如何使用scrapy并使用过它。我只是想知道是否有可能在我尝试之前使用scrapy将数据删除并保存到csv文件中，如果不是，我还能使用什么？ 还有一些网站，我试图使用scrapy刮，但它没有工作。我知道我的代码没有任何问题，因为我试图抓取其他网站并且它有效。

import requests
from bs4 import BeautifulSoup
import pandas


url = requests.get('https://www.tangerinetelecom.com.au/nbn/nbn-broadband')
soup = BeautifulSoup(url.content, 'html.parser')

plans = soup.find_all('div', class_="large-3 columns text-center")

data = []

for plan in plans:
    d = {}
    info = plan.find_all('p')
    title = info[0].text
    speed = info[1].text[0:-2]
    d['Speed'] = title + '\n' + speed
    d['Data'] = info[2].text
    d['Trial'] = info[3].text
    d['Contract'] = info[4].text
    d['Setup Fee'] = info[5].text
    d['Promo Price'] = info[6].text
    d['Price'] = info[7].text[0:-1]
    d['Price Details'] = info[8].text.replace('(', '').replace(')', '')

    data.append(d)

print(data)
df = pandas.DataFrame(data)
df.to_csv("tangerine.csv")

预期的结果将是csv文件中的此数据：

[ {'Speed': 'Basic Speed \n10Mbps Typical Evening Speed ', 'Data': 'UNLIMITED DATA', 'Trial': 'RISK FREE TRIAL', 'Contract': 'NO CONTRACT', 'Setup Fee': '$0 SETUP FEE', 'Promo Price': 'SPECIAL PROMO PRICE', 'Price': '$49.90/mth', 'Price Details': '$49.90 for 6 months, then $59.90 ongoing'}, 
{'Speed': 'Speed Boost \n21Mbps Typical Evening Speed ', 'Data': 'UNLIMITED DATA', 'Trial': 'RISK FREE TRIAL', 'Contract': 'NO CONTRACT', 'Setup Fee': '$0 SETUP FEE', 'Promo Price': 'SPECIAL PROMO PRICE', 'Price': '$58.90/mth', 'Price Details': '$58.90 for 6 months, then $68.90 ongoing'}, 
{'Speed': 'XL Speed Boost \n42Mbps Typical Evening Speed ', 'Data': 'UNLIMITED DATA', 'Trial': 'RISK FREE TRIAL', 'Contract': 'NO CONTRACT', 'Setup Fee': '$0 SETUP FEE', 'Promo Price': 'SPECIAL PROMO PRICE', 'Price': '$64.90/mth', 'Price Details': '64.90 for 6 months, then $74.90 ongoing'}, 
{'Speed': "XXL Speed B'st \n83Mbps Typical Evening Speed ", 'Data': 'UNLIMITED DATA', 'Trial': 'RISK FREE TRIAL', 'Contract': 'NO CONTRACT', 'Setup Fee': '$0 SETUP FEE', 'Promo Price': 'SPECIAL PROMO PRICE', 'Price': '$69.90/mth', 'Price Details': '$69.90 for 6 months, then $79.90 ongoing'} ]

但我在csv文件中得到了一些奇怪的输入：

Answer 1

您的问题不是代码，而是您的libra文件的编码。

使用以下步骤将编码从UTF-16更改为UTF-8：

File > New > Spreadsheet，然后是Insert > Sheet from file。选择你的文件和OK。你应该得到文本导入窗口。在顶部，检查“字符集”设置 - 我的猜测是它设置不正确。如果还没有，请将其更改为UTF-8。