我是python的新手,并开始尝试使用Beautiful Soup 4.我尝试编写可以在一个页面上获取所有链接的代码,然后使用这些链接重复这些优点,直到我解析整个网站。
import bs4 as bs
import urllib.request as url
links_unclean = []
links_clean = []
soup = bs.BeautifulSoup(url.urlopen('https://pythonprogramming.net/parsememcparseface/').read(), 'html.parser')
for url in soup.find_all('a'):
print(url.get('href'))
links_unclean.append(url.get('href'))
for link in links_unclean:
if (link[:8] == 'https://'):
links_clean.append(link)
print(links_clean)
while True:
for link in links_clean:
soup = bs.BeautifulSoup(url.urlopen(link).read(), 'html.parser')
for url in soup.find_all('a'):
print(url.get('href'))
links_unclean.append(url.get('href'))
for link in links_unclean:
if (link[:8] == 'https://'):
links_clean.append(link)
links_clean = list(dict.fromkeys(links_clean))
input()
但我现在收到这个错误:
'NoneType'对象不是可调用的第20行,在soup = bs.BeautifulSoup(url.urlopen(link).read(),'html.parser')
你能帮忙吗?
导入模块as
时要小心。在这种情况下,当你迭代时,第2行的url
会在你的for
循环中被覆盖。
这是一个较短的解决方案,它也只返回包含https作为href属性一部分的URL:
from bs4 import BeautifulSoup
from urllib.request import urlopen
content = urlopen('https://pythonprogramming.net/parsememcparseface/')
soup = BeautifulSoup(content, "html.parser")
base = soup.find('body')
for link in BeautifulSoup(str(base), "html.parser").findAll("a"):
if 'href' in link.attrs:
if 'https' in link['href']:
print(link['href'])
但是,由于带有HTML标记的页面上的错误,并未捕获所有链接,因此这描绘了一幅不完整的图片。我还可以推荐以下替代方案,它非常简单并且在您的方案中完美运行(注意:您将需要包Requests-HTML):
from requests_html import HTML, HTMLSession
session = HTMLSession()
r = session.get('https://pythonprogramming.net/parsememcparseface/')
for link in r.html.absolute_links:
print(link)
这将输出所有URL,包括引用同一域中的其他URL和外部网站的URL。
我会考虑使用attribute = value css选择器并使用^
运算符来指定href
属性以https
开头。然后,您将只有有效的协议。另外,使用set comprehensions确保没有重复项,并使用Session
重新使用连接。
from bs4 import BeautifulSoup as bs
import requests
import pandas as pd
final = []
with requests.Session() as s:
r = s.get('https://pythonprogramming.net/parsememcparseface/')
soup = bs(r.content, 'lxml')
httpsLinks = {item['href'] for item in soup.select('[href^=https]')}
for link in httpsLinks:
r = s.get(link)
soup = bs(r.content, 'lxml')
newHttpsLinks = [item['href'] for item in soup.select('[href^=https]')]
final.append(newHttpsLinks)
tidyList = list({item for sublist in final for item in sublist})
df = pd.DataFrame(tidyList)
print(df)