我开始在XPATH
从lxml
的Python3
开始,我无法得到正确的sintaxis来选择所有含有li
的ul
元素。我正在尝试这种结构:
<body>
<div> ..... </div>
<div> ..... </div>
<div id="div-A">
<div id="subdiv-1">
<form> ... </form>
<div> ..... </div>
<div> ..... </div>
<ul>
<li>
<div id="div-1">
<div> ..... </div>
<div> ..... </div>
<div id="subdiv-1">
<a class="name">
<span>
....text1....
</span>
</a>
</div>
<div id="subdiv-2">
<div class="class-1">
<div class="subClass-1">
<div> ....text2.... </div>
</div>
<span class="subClass-2">
....text3....
</span>
</div>
</div>
</div>
</li>
... x23...
</ul>
</div>
</div>
</body>
我的目标是能够获得text1,text2和text3。
首先,我尝试使用其内容获取所有li
元素:
content = html_response.content
fixed_content = fromstring(content) # parse the HTML and correct malformed HTML
items = fixed_content.xpath('//ul/li/*')
并将items
传递给具有for循环的函数,以迭代23个li
元素。现在我尝试获取文本,所以:
for item in items:
text1 = item.xpath('/div[@id="div-1"]/div[@id="subdiv-1"]/a[@class="name"]/span').text_content()
text2 = item.xpath('/div[@id="div-1"]/div[@id="subdiv-2"]/div[@class="class-1"]/div[@class="subClass-1"]/div').text_content()
text3 = item.xpath('/div[@id="div-1"]/div[@id="subdiv-2"]/div[@class="class-1"]/div[@class="subClass-2"]/span[@class="subClass-2"]').text_content()
但我在所有情况下都得到一个没有内容的空结果。我做错了什么?
问候。
尝试下面的代码来获得所需的输出:
items = fixed_content.xpath('//ul/li//span | //ul/li//div[@class="subClass-1"]')
for item in items:
item.text_content().strip()
输出是
'....text1....'
'....text2....'
'....text3....'
要么
items = fixed_content.xpath('//ul/li')
for item in items:
text1 = item.xpath('.//a[@class="name"]/span')[0].text_content().strip()
text2 = item.xpath('.//div[@class="subClass-1"]')[0].text_content().strip()
text3 = item.xpath('.//span[@class="subClass-2"]')[0].text_content().strip()
如果要将每个文本节点作为变量
您的xpath查询似乎为我提供了所需的输出。完全写出来时,text1,text2和text3会产生结果。使用string()方法,您可以选择找到的元素的内部文本值:
//ul/li/div[@id="div-1"]/div[@id="subdiv-1"]/a[@class="name"]/span/string(),
//ul/li/div[@id="div-1"]/div[@id="subdiv-2"]/div[@class="class-1"]/div[@class="subClass-1"]/div/string(),
//ul/li/div[@id="div-1"]/div[@id="subdiv-2"]/div[@class="class-1"]/span[@class="subClass-2"]/string()
写出来并使用string()方法不能为您提供预期的text1-3值吗?
[i.strip() for i in tree.xpath('//ul//div[@class="subClass-1"]//text()|//ul//span//text()') if i.strip()]