我正在从以下地址做一些网络抓取:https://www.pro-football-reference.com/boxscores/201809060phi.htm
我想将HTML文本打印到控制台,以便我可以阅读它并找到我需要的内容。我有以下代码:
from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup
# assigning url
my_url = 'https://www.pro-football-reference.com/boxscores/201809060phi.htm'
# opening up connection, grabbing the page
raw_page = uReq(my_url)
page_html = raw_page.read()
raw_page.close()
# html parsing
page_soup = soup(page_html,"html.parser")
print(page_soup)
问题是,当我将它打印到控制台时,我没有得到全文。如果单击该链接,您将在页面的一半左右看到标题为“Eagles Drives”的部分。这是文本开始打印到控制台的地方。上面没有任何东西正在印刷。
print(page_soup.prettify())
这将以漂亮的格式打印html。