lxml 相关问题

lxml是一个功能齐全的高性能Python库，用于处理XML和HTML。

如何获取 HTML 字符串中文本节点的源索引？标签具有 sourceline 和 sourcepos 这对此很有用，但 NavigableString 没有任何直接有用的属性，例如 ...

python beautifulsoup lxml

回答 1 投票 0

如何使用Python通过指定的不配对标签分割html字符串？例如 split('你好那里', 'br') 应该返回 ['hello', 'there'], 分割（'... 如何使用Python通过指定的不配对标签分割html字符串？例如 split('hello<br >there', 'br') 应该返回['hello', 'there']， split('<div id="d71">text1<br data-i="1">text2<br>text3</div>', 'br') 应该返回['<div id="d71">text1', 'text2', 'text3</div>'] 我看过了 def get_start_stop(source, tag_name): soup = BeautifulSoup(source, 'html.parser') return dir(soup.find(tag_name)) 但是我所希望的事情，sourcepos，string，strings，self_and_descendants，.nextSibling.sourcepos没有获得开始和结束索引所需的信息（据我所知）源字符串中的标签。我也尝试过类似的事情 from lxml import html def split(input_str, tag_name): tree = html.fromstring(input_str) output_list = [] for element in tree.iter(): if element.tag == tag_name: output_list.append(element.tail) else: output_list.append(html.tostring(element, encoding='unicode', with_tail=False)) return output_list 但是with_tail=False没有达到我的预期使用 lxml 作为 HTML 解析器假设文档片段是 <div id="d71">text1<br/>text2<br/>text3</div> 查找 div 元素内的所有文本节点 from lxml import html doc = html.parse('temp.html') # returns a node set of text nodes d71txt = doc.xpath('//div[@id="d71"]/text()' 结果 ['text1', 'text2', 'text3'] 子元素的 tail 属性也包含其中一些文本节点。使用 descendant-or-self xpath 轴 >>> d71nodes = doc.xpath('//div[@id="d71"]/descendant-or-self::*') >>> d71nodes[0].text 'text1' >>> d71nodes[1].tail 'text2' >>> d71nodes[2].tail 'text3' 这是一个例子： from bs4 import BeautifulSoup text = """ <p>one<br>two</p> <p>two<br>three</p> """ page = BeautifulSoup(text, "html.parser") for t in page.find_all('p'): print("Got this:", t) for u in t: print(u) 输出： Got this: <p>one<br/>two</p> one <br/> two Got this: <p>two<br/>three</p> two <br/> three 我认为如何从中获取之前和之后应该非常清楚。我认为BeautifulSoup并没有直接提供HTML标签的开始和结束索引，但是你可以通过在原始字符串中定位标签来找到它们 def get_start_stop(source, tag_name): soup = BeautifulSoup(source, 'html.parser') tag = soup.find(tag_name) if tag: start = source.find(f"<{tag_name}") end = source.find(">", start) + 1 return start, end return None

python beautifulsoup lxml

回答 3 投票 0

如何使用lxml更新XML文件

我想使用 lxml 库用新信息更新 xml 文件。例如，我有这样的代码： >>> 从 lxml 导入 etree >>> >>> 树 = etree.parse('books.xml') w...

python xml lxml

回答 2 投票 0

Python lxml - 如何删除空的重复标签

我有一些由脚本生成的 XML，可能有也可能没有空元素。有人告诉我现在 XML 中不能有空元素。这是一个例子： <...

python xml lxml

回答 2 投票 0

在Python中解析Google Earth KML文件（lxml，命名空间）

我正在尝试使用 xml 模块将 .kml 文件解析为 Python（在我用于 HTML 的 BeautifulSoup 中未能完成此操作之后）。因为这是我第一次这样做，所以我就跟着走了......

python xml xpath lxml xml-namespaces

回答 2 投票 0

无条件停止在指定元素（或EOF）处抓取HTML

我正在使用 Python lxml.html 包来抓取 HTML 文件。我试图抓取的 HTML 部分读取 DAB Ensemble 1 的描述我不关心的东西我正在使用 Python lxml.html 包来抓取 HTML 文件。我试图抓取的 HTML 部分读取 <h1>Description of DAB Ensemble 1</h1><table>Stuff I don't care about</table>  <div id="announcement_data_block"> <h3>Announcement information</h3> <p>No announcement information is broadcast</p> </div>  <h1>Description of DAB Ensemble 2</h1><table>Stuff I don't care about</table>  <div id="announcement_data_block"> <h3>Announcement information</h3> <h4>Announcement switching (FIG0/19)</h4> <table>Stuff I DO care about</table> </div>  我对“公告切换”表感兴趣，对于给定的 DAB 整体，该表可能存在也可能不存在。我有一个lxml.hmtl.xpath表达式如下： f'//h1[text()="Description of DAB Ensemble {ens_idx}"]/following-sibling::table/following-sibling::div[@id="announcement_data_block"]/h4[starts-with(text(), "Announcement switching")]/following-sibling::table' 根据我的理解，这个 XPath 语句是说，对于给定的 ens_idx 值：从根目录开始，找到文本匹配“Description of DAB Ensemble {ens_idx}”的 h1 标签（例如“Description of DAB Ensemble 1”、“Description of DAB Ensemble 2”），然后转到您看到的第一个表。在上面的示例中，它将是标记为“我不关心的东西”的表。然后，转到下一个 id 为“announcement_data_block”的 div。在该 div 中，找到一个 h4 标签，其文本以“公告切换”开头。获取接下来的第一个表。在上面的示例中，DAB Ensemble 1 没有这样的表。我希望 xpath 在尝试获取 DAB Ensemble 1 的表时返回 None 。但是，xpath 在遇到 h1 标签“DAB Ensemble 2 的描述”时不知道停止，因此它会继续运行，直到找到 DAB Ensemble 2的h4标签。我正在寻求帮助，以找到一个 xpath 语句，该语句将使 XPath 无条件停止在下一个“DAB Ensemble 的描述”h1 标记处。本质上我希望将该指令修改为：从根目录开始，找到文本匹配“Description of DAB Ensemble {ens_idx}”的 h1 标签（例如“Description of DAB Ensemble 1”、“Description of DAB Ensemble 2”），然后转到您看到的第一个表。在上面的示例中，它将是标记为“我不关心的东西”的表。然后，转到下一个 id 为“announcement_data_block”的 div。在该 div 中，找到一个 h4 标签，其文本以“公告切换”开头。获取随后的第一个表。如果在文本匹配“Description of DAB Ensemble {ens_idx + 1}”或 EOF 的 h1 标记之前找不到此条件，则返回 None。粗体部分是我的 XPath 表达式中缺少的部分。有谁知道如何构造这样的表达式？从示例中可以看出，H1 和带有 id 的 div 都是兄弟姐妹，所以搜索应表明找到的第一个 following::table 和第一个 @id="announcement_data_block" 是必需的，因为 f'//h1[text()="Description of DAB Ensemble {ens_idx}"]/following-sibling::table[1]/following-sibling::div[@id="announcement_data_block"][1]/h4[starts-with(text(), "Announcement switching")]/following-sibling::table' 顺便说一句：id 不应重复。

python html xpath lxml

回答 1 投票 0

无条件停止抓取指定元素（或EOF）

我正在使用 Python lxml.html 包来抓取 HTML 文件。我正在尝试抓取部分内容的 HTML DAB Ensemble 1 的描述我不关心的东西&... 我正在使用 Python lxml.html 包来抓取 HTML 文件。我正在尝试抓取部分内容的 HTML <h1>Description of DAB Ensemble 1</h1><table>Stuff I don't care about</table>  <div id="announcement_data_block"> <h3>Announcement information</h3> <p>No announcement information is broadcast</p> </div>  <h1>Description of DAB Ensemble 2</h1><table>Stuff I don't care about</table>  <div id="announcement_data_block"> <h3>Announcement information</h3> <h4>Announcement switching (FIG0/19)</h4> <table>Stuff I DO care about</table> </div>  我对“公告切换”表感兴趣，对于给定的 DAB 整体，该表可能存在也可能不存在。我有一个lxml.hmtl.xpath表达式如下： f'//h1[text()="Description of DAB Ensemble {ens_idx}"]/following-sibling::table/following-sibling::div[@id="announcement_data_block"]/h4[starts-with(text(), "Announcement switching")]/following-sibling::table' 根据我的理解，这个 XPath 语句是说，对于给定的 ens_idx 值：从根目录开始，找到文本匹配“Description of DAB Ensemble {ens_idx}”的 h1 标签（例如“Description of DAB Ensemble 1”、“Description of DAB Ensemble 2”），然后转到您看到的第一个表。在上面的示例中，它将是标记为“我不关心的东西”的表。然后，转到下一个 id 为“announcement_data_block”的 div。在该 div 中，找到一个 h4 标签，其文本以“公告切换”开头。获取接下来的第一个表。在上面的示例中，DAB Ensemble 1 没有这样的表。我希望 xpath 在尝试获取 DAB Ensemble 1 的表时返回 None 。但是，xpath 在遇到 h1 标签“DAB Ensemble 2 的描述”时不知道停止，因此它会继续运行，直到找到 DAB Ensemble 2的h4标签。我正在寻求帮助，以找到一个 xpath 语句，该语句将使 XPath 无条件停止在下一个“DAB Ensemble 的描述”h1 标记处。本质上我希望将该指令修改为：从根目录开始，找到文本匹配“Description of DAB Ensemble {ens_idx}”的 h1 标签（例如“Description of DAB Ensemble 1”、“Description of DAB Ensemble 2”），然后转到您看到的第一个表。在上面的示例中，它将是标记为“我不关心的东西”的表。然后，转到下一个 id 为“announcement_data_block”的 div。在该 div 中，找到一个 h4 标签，其文本以“公告切换”开头。获取随后的第一个表。如果在文本匹配“Description of DAB Ensemble {ens_idx + 1}”或 EOF 的 h1 标记之前找不到此条件，则返回 None。粗体部分是我的 XPath 表达式中缺少的部分。有谁知道如何构造这样的表达式？从示例中可以看出，H1 和带有 id 的 div 都是兄弟姐妹，所以搜索应表明找到的第一个 following::table 和第一个 @id="announcement_data_block" 是必需的，因为 f'//h1[text()="Description of DAB Ensemble {ens_idx}"]/following-sibling::table[1]/following-sibling::div[@id="announcement_data_block"][1]/h4[starts-with(text(), "Announcement switching")]/following-sibling::table' 顺便说一句：id 不应重复。

python html xpath lxml

回答 1 投票 0

LXML：获取子元素之间的文本

我有一个结构很糟糕的 html 模板，其中我的元素包含多个元素（p、figure、a 等），但中间也包含原始文本。我怎样才能访问所有这些文本片段，... 我有一个结构很糟糕的 html 模板，其中我的 <section> 元素包含多个元素（p、figure、a 等），但中间也包含原始文本。我如何访问所有这些文本片段，并就地编辑它们（我需要的是用标签替换所有$$code$$？） section.text 和 section.tail 都返回空字符串... 检查紧邻文本之前的完整标记的 .tail。因此，在 <section>A<p>B</p>C<p>D</p>E</section> 中，两个 .tail 元素的 <p> 将包含 C 和 E。示例： from lxml import etree root = etree.fromstring('<root><section>A<p>B</p>C<p>D</p>E</section></root>') for section_child in root.find('section'): section_child.tail = section_child.tail.lower() print(etree.tounicode(root)) 结果： <root><section>A<p>B</p>c<p>D</p>e</section></root> 我从我发布的问题的答案中了解到：在根元素内的元素之间解析 XML 文本 from lxml import etree xml = '<a>aaaa1<b>bbbb</b>aaaa2<c>cccc</c>aaaa3</a>' element = etree.fromstring(xml) for text in element.xpath('text()'): xml = xml.replace(f'>{text}<', f'>{text.upper()}<') 对此的一个担忧是关于 xml 中的 CDATA，但我猜这对于 html 来说不是问题。

python html lxml

回答 2 投票 0

Python lxml 带有文本值的子元素？

是否可以以某种方式创建具有默认文本值的元素？那么我不需要这样做吗？从 lxml 导入 etree root = etree.Element('root') a = etree.SubElement(root, 'a') a.tex...

python lxml

回答 3 投票 0

使用 Xcode 在 Mac OSX 上使用 pip 安装 lxml 时出现 GCC 错误

我是一个初学者，试图将 lxml 安装到我的 Mac 上的 Python 2.7.3 安装中。我设法将其安装到 Apple 发行版中，但 pip install lxml 到该版本返回错误：错误...

python xcode macos lxml

回答 1 投票 0

将根元素作为变量传递

我有一个 python 函数，它接受部分 xml 字符串和根元素标签，并尝试构造一个有效的 xml。我很难让它发挥作用。从 lxml 导入 etree 来自 lxml.builder

python lxml

回答 1 投票 0

使用lxml获取HTML的所有链接

我想使用 lxml 从 html 页面中找出所有 url 及其名称。我可以解析 url 并找到这个东西，但是有什么简单的方法可以使用 lxml 找到所有 url 链接吗？

python lxml

回答 3 投票 0

使用 Xpath 解析未配对标签的 XML

我想在Python中用Xpath解析以下内容。省份我想在Python中使用Xpath解析以下内容。 <h3>Province</h3> <ul> <li><a href="?k=*&program_language=ENGLISH&province_code=ON">Ontario (5853)</a> <li><a href="?k=*&program_language=ENGLISH&province_code=BC">British Columbia (2096)</a> <li><a href="?k=*&program_language=ENGLISH&province_code=AB">Alberta (1241)</a> <li><a href="?k=*&program_language=ENGLISH&province_code=QC">Québec (921)</a> <li><a href="?k=*&program_language=ENGLISH&province_code=NS">Nova Scotia (895)</a> <li><a href="?k=*&program_language=ENGLISH&province_code=SK">Saskatchewan (847)</a> <li><a href="?k=*&program_language=ENGLISH&province_code=MB">Manitoba (615)</a> <li><a href="?k=*&program_language=ENGLISH&province_code=NB">New Brunswick (347)</a> <li><a href="?k=*&program_language=ENGLISH&province_code=NL">Newfoundland & Labrador (305)</a> <li><a href="?k=*&program_language=ENGLISH&province_code=PE">Prince Edward Island (120)</a> </ul> 我的Python代码如下： url=r'https://universitystudy.ca/search-programs/?k=&program_level_merged=&program_language=ENGLISH' resq=req.get(url) content=html.fromstring(resq.content) category==content.xpath('//h3[text()="Area of Study"]/following-sibling::ul/li/a/text()') 虽然我希望获得如下所示的程序名称列表，但我的代码返回一个空列表，无法弄清楚代码出了什么问题。 Business administration and management, general (520) Computer science (289) Mathematics, general (279) Psychology, general (277) Economics, general (250) Biology/biological sciences, general (249) Geography (241) English language and literature, general (240) Chemistry, general (220) Political science and government, general (211) History, general (200) 我发现问题是由于以下原因造成的 resq=req.get(url) 实际上，服务器拒绝了 req.get 请求并且对 resq 不返回任何内容 HTTP 403 Forbidden 客户端错误响应状态码表示服务器理解请求但拒绝处理它。

python xpath lxml

回答 1 投票 0

如何查看 lxml 元素的文本表示形式？

如果我使用 lxml 解析 XML 文档，是否可以查看元素的文本表示形式？我尝试这样做：打印repr（节点）但这输出什么可以...

python xml lxml

回答 2 投票 0

lxml 如何在使用 openpyxl 时加快保存大型 excel 文件的速度？

我在使用 openpyxl 时保存大型 Excel 文件时遇到一些问题。 Openpyxl 文档说当您想要转储大量数据时，请确保安装了 lxml。但没有...

python lxml openpyxl

回答 1 投票 0

使用 lxml.html 抓取嵌入元素，或者如何欺骗网站认为您已安装 Flash

我正在尝试抓取一个网站，并且需要获取嵌入元素，但由于我使用的是 Python 和 lxml.html，该网站准确地得出我没有安装 Flash 的结论，而不是