lxml 相关问题

lxml是一个功能齐全的高性能Python库，用于处理XML和HTML。

您好，我正在尝试使用 types-lxml 库输入提示 lxml 返回类型。 def parse_xml(path: str) -> etree._ElementTree: 返回 etree.parse(路径) def 组件（路径：str）-> 列表...

python lxml mypy

回答 1 投票 0

如何告诉lxml.etree.tostring(element)不要在python中写命名空间？

我有一个巨大的 xml 文件（1 Gig）。我想将一些元素（条目）移动到具有相同标题和规范的另一个文件。假设原始文件包含带有标签的条目我有一个巨大的 xml 文件（1 Gig）。我想将一些元素（条目）移动到具有相同标题和规范的另一个文件。假设原始文件包含带有标签 <to_move>: 的条目 <?xml version="1.0" encoding="ISO-8859-1"?> <!DOCTYPE some SYSTEM "some.dtd"> <some> ... <to_move date="somedate"> <child>some text</child> ... ... </to_move> ... </some> 我使用 lxml.etree.iterparse 来迭代该文件。工作正常。当我找到带有标签 <to_move> 的元素时，我们假设它存储在变量 element 中，我这样做 new_file.write(etree.tostring(element)) 但这会导致 <?xml version="1.0" encoding="ISO-8859-1"?> <!DOCTYPE some SYSTEM "some.dtd"> <some> ... <to_move xmlns:="some" date="somedate"> # <---- Here is the problem. I don't want the namespace. <child>some text</child> ... ... </to_move> ... </some> 所以问题是：如何告诉 etree.tostring() 不要写 xmlns:="some"。这可能吗？我在 lxml.etree 的 api 文档中苦苦挣扎，但找不到满意的答案。这是我找到的etree.trostring： tostring(element_or_tree, encoding=None, method="xml", xml_declaration=None, pretty_print=False, with_tail=True, standalone=None, doctype=None, exclusive=False, with_comments=True) 将元素序列化为其 XML 的编码字符串表示形式树。对我来说tostring()的每一个参数似乎都没有帮助。有什么建议或者更正吗？我经常抓住一个命名空间来为它创建一个别名，如下所示： someXML = lxml.etree.XML(someString) if ns is None: ns = {"m": someXML.tag.split("}")[0][1:]} someid = someXML.xpath('.//m:ImportantThing//m:ID', namespaces=ns) 您可以执行类似的操作来获取名称空间，以便创建一个正则表达式，该正则表达式将在使用 tostring 后清理它。或者您可以清理输入字符串。找到第一个空格，检查其后面是否有xmlns，如果有，则删除整个xmlns位直到下一个空格，如果没有则删除该空格。重复此操作，直到不再有空格或 xmlns 声明。但不要超过第一个>。这更多是对“unutbu”答案的评论，其中需要清理命名空间的建议，但没有给出示例。这可能就是您正在寻找的... from lxml import objectify objectify.deannotate(root, cleanup_namespaces=True) 有一种方法可以使用 XSLT 删除名称空间： import io import lxml.etree as ET def remove_namespaces(doc): # http://wiki.tei-c.org/index.php/Remove-Namespaces.xsl xslt='''<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:output method="xml" indent="no"/> <xsl:template match="/|comment()|processing-instruction()"> <xsl:copy> <xsl:apply-templates/> </xsl:copy> </xsl:template> <xsl:template match="*"> <xsl:element name="{local-name()}"> <xsl:apply-templates select="@*|node()"/> </xsl:element> </xsl:template> <xsl:template match="@*"> <xsl:attribute name="{local-name()}"> <xsl:value-of select="."/> </xsl:attribute> </xsl:template> </xsl:stylesheet> ''' xslt_doc = ET.parse(io.BytesIO(xslt)) transform = ET.XSLT(xslt_doc) doc = transform(doc) return doc doc = ET.parse('data.xml') doc = remove_namespaces(doc) print(ET.tostring(doc)) 产量 <some> <to_move date="somedate"> <child>some text</child> </to_move> </some> 这是一个古老的问题，但由于 13 年后 lxml 仍然没有内置这个明显的函数，处理它的最简单方法是使用正则表达式： def get_text(element: etree.Element) -> str: s = etree.tostring(element).decode() if m := re.match(r'^<(\w*)[^>]*>((.|\n)+)<\/\1>', s): return m.group(2).strip() return s 这会剥离整个包含元素 <description blah blah blah><div>What we want</div><p>more stuff</p></description> 并仅返回 <description> 内的标记。为了安全起见，它会保存开始元素标记以在末尾进行匹配（使用 \1 反向引用），但寻找结束 <\ 效果很好，因为贪婪匹配会跳过内容中嵌入的所有其他元素。如果匹配失败，引发 ValueError 可能会更好，但这只会返回原始的丑陋字符串、命名空间和所有内容。

python namespaces lxml tostring elementtree

回答 4 投票 0

如何只打印etree中某个元素的开始标签？

给定 etree 中的元素，我想仅打印开始标签。这对于调试非常有用。例如： >>> 从 lxml 导入 etree >>> elem = etree。

python lxml elementtree

回答 1 投票 0

使用带有请求和lxml的xpath进行抓取，但遇到问题

当我使用 xpath 使用 lxml 抓取数据时，我不断遇到问题。我想抓取道琼斯指数价格，但是当我用 python 打印出来时，它显示元素跨度为 0x448d6c0。我知道那一定是一个

python web-scraping python-requests lxml

回答 2 投票 0

lxml.etree 元素在副本上删除命名空间

我正在使用 lxml.etree 库将 XML 文件拼接在一起，并且命名空间在写入时被删除。输入.xml ...

python xml lxml elementtree

回答 1 投票 0

Python/Xpath - 如何抓取 href 字段

举个例子，我想从下面的页面中提取团队名称 http://www.scoresandodds.com/grid_20150409.html 我试过：从 lxml 导入 html 导入请求 pageNBA = requests.get('

python web-scraping lxml

回答 1 投票 0

带有请求和lxml的Python Scrape网站..[重复]

以此为起点.. http://docs.python-guide.org/en/latest/scenarios/scrape/ 从 lxml 导入 html 导入请求页面 = requests.get('http://econpy.pythonanywhere.com/ex/001.html')...

python web-scraping python-requests lxml pyquery

回答 1 投票 0

将从 url 获取的 lxml 解析为 json

我想获取披头士乐队所有歌曲的表格并将其解析为 JSON 格式，并按麦卡特尼和列侬创作的歌曲进行分类... 当我运行以下命令时得到的数据...

python json parsing url lxml

回答 2 投票 0

Python 包 lxml 无法在没有互联网的 Windows 上安装

我目前面临的问题是我想在Windows计算机上离线安装“lxml”库。通过互联网连接，可以使用以下命令完成： py -m pip 我...

python windows lxml offline

回答 0 投票 0

在Python中使用XPath计算节点的最有效方法

在Python中，如何使用XPath计算节点数？例如，使用此网页和此代码：从 lxml 导入 html、etree 导入请求 url =“http://intelligencesquaredus.org/debates/past-

python web-scraping xpath python-requests lxml

回答 1 投票 0

使用lxml解析html文档时出现编码问题

我正在尝试从某些网页中获取干净的文本。我读了很多教程，最后得到了 python lxml + beautifulsoup + requests 模块。使用 lxml 进行这样的任务的原因...

python html web-scraping unicode lxml

回答 1 投票 0

从网页抓取表格

我正在尝试从此网页提取 CSU 员工工资数据（http://www.sacbee.com/statepay/#req=employee%2Fsearch%2Fname%3D%2Fyear%3D2013%2Fdepartment%3DCSU%20Sacramento）。我试过用你的...

python html web-scraping web-crawler lxml

回答 2 投票 0

在Python中获取两个标签之间的数据

基于粒度计算数据采矿在ro看来... <h3> <a href="article.jsp?tp=&arnumber=16"> Granular computing based <span class="snippet">data</span> <span class="snippet">mining</span> in the views of rough set and fuzzy set </a> </h3> 使用Python我想从锚标签中获取值，这应该是基于粗糙集和模糊集视图中的粒度计算的数据挖掘我尝试使用 lxml parser = etree.HTMLParser() tree = etree.parse(StringIO.StringIO(html), parser) xpath1 = "//h3/a/child::text() | //h3/a/span/child::text()" rawResponse = tree.xpath(xpath1) print rawResponse 并得到以下输出 ['\r\n\t\t','\r\n\t\t\t\t\t\t\t\t\tgranular computing based','data','mining','in the view of roughset and fuzzyset\r\n\t\t\t\t\t\t\] 您可以使用text_content方法： import lxml.html as LH html = '''<h3> <a href="article.jsp?tp=&arnumber=16"> Granular computing based <span class="snippet">data</span> <span class="snippet">mining</span> in the views of rough set and fuzzy set </a> </h3>''' root = LH.fromstring(html) for elt in root.xpath('//a'): print(elt.text_content()) 产量 Granular computing based data mining in the views of rough set and fuzzy set 或者，要删除空格，您可以使用 print(' '.join(elt.text_content().split())) 获得 Granular computing based data mining in the views of rough set and fuzzy set 这是您可能会发现有用的另一个选项： print(' '.join([elt.strip() for elt in root.xpath('//a/descendant-or-self::text()')])) 产量 Granular computing based data mining in the views of rough set and fuzzy set （请注意，它在 data 和 mining 之间留下了额外的空格。） '//a/descendant-or-self::text()' 是更通用的版本 "//a/child::text() | //a/span/child::text()"。它将遍历所有子代和孙代等。与BeautifulSoup： >>> from bs4 import BeautifulSoup >>> html = (the html you posted above) >>> soup = BeautifulSoup(html) >>> print " ".join(soup.h3.text.split()) Granular computing based data mining in the views of rough set and fuzzy set 说明： BeautifulSoup 解析 HTML，使其易于访问。 soup.h3 访问 HTML 中的 h3 标签。 .text，简单来说，从 h3 标签获取所有内容，不包括所有其他标签，例如 span。我在这里使用 split() 来消除多余的空格和换行符，然后使用 " ".join() 作为 split 函数返回一个列表。

python web-scraping lxml

回答 2 投票 0

在 Python 中使用 etree.XPath 并使用联合运算符“|”时如何修复“XPath 语法错误：无效表达式”

我正在尝试在 Python 中使用 etree.XPath 编译 XPath 表达式，但遇到语法错误。这是代码片段： XPATH = '//桥域/(桥域组名称|桥域...

python xpath lxml

回答 1 投票 0

Ruby 中可用的网页抓取 gem/工具 [已关闭]

我正在尝试在我正在处理的 Ruby 脚本中抓取网页。该项目的目的是展示哪些 ETF 和股票共同基金最符合价值投资理念。

ruby web-scraping html-parsing lxml

回答 2 投票 0

在 Python 3 中使用开放任意标签解析 SGML

我正在尝试解析一个文件，例如： http://www.sec.gov/Archives/edgar/data/1409896/000118143112051484/0001181431-12-051484.hdr.sgml 我正在使用 Python 3，但无法找到解决方案