我有从 MS Word 保存的 html 文档,现在它有一些与 MS Word 相关的标签。我不需要与它保持任何向后兼容性,我只需要从该文件中提取内容。问题是单词特定标签不容易被删除。
我有这个代码:
from bs4 import BeautifulSoup, NavigableString
def strip_tags(html, invalid_tags):
soup = BeautifulSoup(html)
for tag in soup.findAll(True):
if tag.name in invalid_tags:
s = ""
for c in tag.contents:
if not isinstance(c, NavigableString):
c = strip_tags(unicode(c), invalid_tags)
s += unicode(c)
tag.replaceWith(s)
return soup
它删除不需要的标签。但即使使用此方法后,仍有一些残留。 例如看这个:
<P class="MsoNormal"><SPAN style="mso-bidi-font-weight: bold;">Some text -
some content<o:p></o:p></SPAN></P>
<P class="MsoNormal"><SPAN style="mso-bidi-font-weight: bold;">some text2 -
647894654<o:p></o:p></SPAN></P>
<P class="MsoNormal"><SPAN style="mso-bidi-font-weight: bold;">some text3 -
some content blabla<o:p></o:p></SPAN></P>
这就是 html 文档中的样子。当我使用这样的方法时:
invalid_tags = ['span']
stripped = strip_tags(html_file, invalid)
print stripped
打印出来是这样的:
<p class="MsoNormal">Some text -
some content<html><body><o:p></o:p></body></html></p>
<p class="MsoNormal">some text2 -
647894654<html><body><o:p></o:p></body></html></p>
<p class="MsoNormal">some text3 -
some content blabla<html><body><o:p></o:p></body></html></p>
正如您所看到的,由于某种原因
html
和 body
标签出现在那里,即使在 html 中它不存在。如果我添加 invalid_tags = ['span', 'o:p']
,它会删除 <o:p></o:p>
标签,但如果我添加删除 html 或 body 标签,它不会执行任何操作,并且仍然保留在那里。
附注如果我直接更改查找标签的位置,我可以删除那里的
html
标签。例如,通过在方法中添加此行(在使用 findAll
之前)soup = soup.body
。但在此之后,body
标签仍然挂在那些特定的段落中。
你可以试试这个:
from bs4 import BeautifulSoup
def strip_tags(html, invalid_tags):
soup = BeautifulSoup(html)
for t in invalid_tags:
tag = soup.find_all(t)
if tag:
for item in tag:
item.unwrap()
return str(soup)
然后你只需要去掉 html 和 body 标签即可。
要消除Word标签,只需使用“另存为”/“html - 过滤”选项保存Word文档即可。 过滤后,所有标准 html 标记都保持不变,但删除了 Word 格式标记。 如果有必要,您可以使用 BeautifulSoup 进行更多整理。