使用 Python 抓取检查元素数据

Question

我想从特定网页中抓取检查元素数据，并解析它以找到我需要的数据。

import requests
from bs4 import BeautifulSoup


url = 'https://www.somewebpage.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
print(soup.prettify())

这最终会打印所有格式化的内容而不是原始数据，我正在尝试访问原始数据，然后解析它以查找我正在查找的元素后面的内容。

Answer 1

请求查询可能没有得到完整的响应。通常，网站发送的数据较少，并且在用户浏览网站时缓慢地获取数据，以减少页面加载时间。您可以在网络浏览器中打开并首先加载整个页面。然后打开检查工具并从元素或源选项卡复制代码