如何从当前打开的 HTML 网站中的元素获取数据？

Question

我发现自己需要深入研究开放网站的 HTML 代码，并从

<div>

标签获取一些数据，特别是其中的

background-image

元素的值。该元素会根据页面上执行的操作而发生变化。现在我需要找出如何让我的代码从 Firefox 中打开的选项卡返回该特定元素的值。最简单的方法是什么？

我看了美丽汤，但我不知道还需要搭配什么。据我所知，它对于解析 HTML 数据很有用，但对于首先获取该数据却没有用。

Answer 1

您可以使用

requests

来获取页面的 HTML 内容，如下所示：

import requests
from bs4 import BeautifulSoup

def scrape_website(url):
    # Send an HTTP request to the URL
    response = requests.get(url)

    # Check if the request was successful (status code 200)
    if response.status_code == 200:
        # Parse the HTML content of the page
        soup = BeautifulSoup(response.content, 'html.parser')

        # Extract data based on HTML structure (replace with your own logic)        
        divs = soup.find_all('div')

        for div in divs:
            print(div.text)

    else:
        print(f"Failed to retrieve the page. Status code: {response.status_code}")

这里我们向站点发送一个 HTTP 请求，如果响应是

200

（等于 ok ），我们将响应中的 HTML 数据发送到变量并使用 Beatiful Soup 解析它。您需要将解析代码更改为最适合您的代码，但此时您可以询问 Chat-GPT。