如何解析div并将每个标记内容放在不同的行中？

Question

我正在尝试刮取一个食谱网站，其成分分为不同的类别，由HTML中的<strong>标记描述，如下所示：

<div class="opskriften">
<p class="h3">Ingrediensliste</p>
<p></p>
<p><strong>Påskeæg med nougat (6 stk)</strong><br>150 g. marcipan <br>ca. 40 g. nougat<br>150 g. mørk chokolade <br>50 g. lys chokolade &nbsp;</p>

我设法将成分分成不同的列，用于数量，单位和成分，但我发现在为<strong>标签内的内容创建另一列时遇到了麻烦。

这是我使用的代码。

ingredients = soup.find('div', class_='opskriften')      

#if len(ingredients.find_all('strong'))>0:
s = f"{ingredients}"
r = re.compile(r"(?P<amount>\d+)\s+(?P<unit>\w+.)\s+(?P<ingredient>.+?(?=<))")
df = pd.DataFrame([m.groupdict() for m in r.finditer(s)])

with open("somefile.csv", 'w') as fh:
    df.to_csv(fh)

我尝试使用RegEx，但找不到任何解决方案来使其工作。

image of what the website I am scraping off looks like

Answer 1

在这里，我有一些建议给你。由于语言的原因，解析可能会出现问题，这就是为什么br标签的开放被消除了

from  bs4 import BeautifulSoup
soup_chunk = '''<div class="opskriften">
<p class="h3">Ingrediensliste</p>
<p></p>
<p><strong>Påskeæg med nougat (6 stk)</strong><br>150 g. marcipan <br>ca. 40 g. nougat<br>150 g. mørk chokolade <br>50 g. lys chokolade &nbsp;</p>'''

soup = BeautifulSoup(soup_chunk,'lxml')
requiredData = []
for tags in soup.find_all('p'):
    if tags.select('br'):
        contents = {}
        contents['MainItem'] = tags.select('strong')[0].text
        [i.decompose() for i in tags.select('strong')]
        contents['SubItems'] = [i.strip().replace("</p>",'') for i in str(tags).split("<br/>") if "<p>" not in i]
        requiredData.append(contents)
print(requiredData)

我将输出放在dict列表中，因此它可以在任何地方使用。

[{'MainItem': 'Påskeæg med nougat (6 stk)', 'SubItems': ['150 g. marcipan', 'ca. 40 g. nougat', '150 g. mørk chokolade', '50 g. lys chokolade']}]

Answer 2

如果所有div看起来都一样，你可以用BeautifulSoup解析成分。这取决于<strong>标签是包含所有成分的<p>标签的孩子：

from bs4 import BeautifulSoup as BS

s = '''<div class="opskriften">
<p class="h3">Ingrediensliste</p>
<p></p>
<p><strong>Påskeæg med nougat (6 stk)</strong><br>150 g. marcipan <br>ca. 40 g. nougat<br>150 g. mørk chokolade <br>50 g. lys chokolade &nbsp;</p>
'''

soup = BS(s,'html.parser')
q = soup.find('div', class_='opskriften')
r = q.find('strong')
ingredients = r.parent


In [13]: for tag in ingredients.childGenerator():
    ...:     if tag.name == 'strong':
    ...:         print(tag.text)
    ...:     elif tag.name == 'br':
    ...:         continue
    ...:     else:
    ...:         print(tag)
    ...:         
Påskeæg med nougat (6 stk)
150 g. marcipan 
ca. 40 g. nougat
150 g. mørk chokolade 
50 g. lys chokolade  

如果包含所有成分的<p>标签始终是<p>中的最后一个div标签，那么您可以像这样找到它。

q = soup.find('div', class_='opskriften')
ingredients = q.find_all('p')[-1]