关键字/属性的美丽汤过滤（python）

Question

我想用Beautiful Soup和请求来搜索网站的数据，我几乎得到了我想要的东西，但我找不到一种方法来过滤最后的步骤：

这是我的代码：

variants = soup.find('div', class_='product-configure')
print(variants)

这打印出以下内容：

<div class="product-configure">
<select id="custom-variants">
<option disabled="disabled" selected="selected">Maak een keuze</option>
<option data-status="available" data-value="177379037">Size : EU 40.5 (US 7) 
</option>
<option data-status="available" data-value="177379043">Size : EU 41.5 (US 8) 
</option>
<option data-status="available" data-value="177379223">Size : EU 42.5 (US 9) 
</option>
</select>
</div>

如何过滤这个以便它只打印“数据值”中的所有数字？ （例如“177379037”作为第一行的输出）

这是HTML：

          <div class="gui-select">
                  <div class="product-configure">
                        <select id="custom-variants">
            <option selected="selected" disabled="disabled">Select an option</option>
                            <option data-value="177379037" data-status="available">Size : EU 40.5 (US 7)</option>
                            <option data-value="177379043" data-status="available">Size : EU 41.5 (US 8)</option>
                            <option data-value="177379223" data-status="available">Size : EU 42.5 (US 9)</option>


        </div>

Answer 1

您可以使用soup.find_all（）并使用带属性的dict

options = soup.find_all("option", {"data-value": True})

结果：

for o in options:
    print(o.attrs["data-value"])

---

177379037
177379043
177379223

Answer 2

您可以使用带有属性css选择器的类

items = [item['data-value'] for item in soup.select('.product-configure [data-value]')]

如果只考虑一个类，则可以使用id作为select

items = [item['data-value'] for item in soup.select('#custom-variants [data-value]')]

Answer 3

您使用find_all获取所有<option>标签，然后打印出data-value属性。请注意，并非所有option标签都具有该属性，所以如果没有找到try，我会在那里放一个data-value继续。

html = '''         <div class="gui-select">
                  <div class="product-configure">
                        <select id="custom-variants">
            <option selected="selected" disabled="disabled">Select an option</option>
                            <option data-value="177379037" data-status="available">Size : EU 40.5 (US 7)</option>
                            <option data-value="177379043" data-status="available">Size : EU 41.5 (US 8)</option>
                            <option data-value="177379223" data-status="available">Size : EU 42.5 (US 9)</option>


        </div>'''

import bs4

soup = bs4.BeautifulSoup(html, 'html.parser')

elem = soup.find_all('option')
for each in elem:
    try:
        print (each['data-value'])
    except:
        continue

输出：

177379037
177379043
177379223