尝试从网页打印所有TR元素和所有TD元素

Question

我正在玩下面的脚本并试图让它将所有TR元素和所有TD元素从网页写入CSV文件。由于某些未知原因，我在CSV文件中根本没有获得任何数据。

from bs4 import BeautifulSoup
import requests
import pandas as pd
import csv

url = "https://my_url"
page = requests.get(url)
pagetext = page.text

soup = BeautifulSoup(pagetext, 'html.parser')

file = open("C:/my_path/test.csv", 'w')

for row in soup.find_all('tr'):
    for col in row.find_all('td'):
        print(col.text)

我使用的是Python 3.6。

Answer 1

您的网址不是网站，因此无法找到任何内容。你只需要修复网址然后再试一次。

我已修复代码，以便您可以完成它。它只会将列表中的第一行数据添加到csv文件中。

from bs4 import BeautifulSoup
import requests
import pandas as pd
import csv

url = "https://www.w3schools.com/html/html_tables.asp"
page = requests.get(url)
pagetext = page.text

soup = BeautifulSoup(pagetext, 'html.parser')

file = open("C:/Test/test2.csv", 'w')

for row in soup.find_all('tr'):
    for col in row.find_all('td'):
        info= col.text
        print(info)


file.write(info)
file.close()