如何用Python编写网络爬虫？ [已关闭]

Question

我需要用Python编写一个网络爬虫来搜索基本页面的内容，根据给定的规则找到特定的链接（例如链接应该以https而不是http开头）。我所说的页面不是用 JavaScript 渲染的，它们是简单的 HTML5 页面。

我尝试使用 BeautifulSoup 和 Requests 库，但未能成功。由于这个问题来自私人竞赛（几个月前完成），我无法分享我的代码。我的代码是查找页面中的所有链接，根据规则（如策略模式）进行过滤，然后将这些链接放入堆栈，拉出堆栈的头部，转到链接并将链接放入哈希集以防止继续访问不止一次。

Answer 1

使用 BeautifulSoup 和 Requests 在 Python 中创建网络爬虫，您的方向是正确的。以下是实现目标所需遵循的一些步骤的概述：

1. 导入所需的库： 确保您安装了 BeautifulSoup 和 Requests 库。如果您还没有安装它们，您可以使用 pip 安装它们：

   pip install beautifulsoup4 requests
   

2. 检索基本页面： 使用 Requests 库获取基本页面 HTML 的内容。您可以使用

   requests.get()

   方法来检索 HTML 内容。

3. 使用 BeautifulSoup 解析 HTML： 获得基本页面的 HTML 内容后，使用 BeautifulSoup 对其进行解析。这将允许您导航并从 HTML 中提取信息。

4. 查找特定链接： 使用 BeautifulSoup 的方法根据您的规则查找特定链接。例如，您可以使用带有过滤功能的

   find_all()

   方法来提取符合您条件的链接（例如，以“https”开头的链接）。

5. 过滤和处理链接： 提取链接后，您可以根据需要应用其他过滤规则。例如，您可以检查链接是否已被访问或者是否符合其他特定标准。

6. 爬取访问链接： 过滤完链接后，您就可以开始一一访问它们。您可以使用循环来迭代链接，并遵循获取内容、解析内容和提取更多链接的相同过程。

7. 防止重复访问： 使用集合或哈希集等数据结构来跟踪访问过的链接。在访问链接之前，请检查它是否已在集合中。如果没有，请将其添加到集合中并继续访问链接。

8. 递归或堆栈： 使用堆栈来管理要访问的链接的方法是一个好主意。您可以使用循环来处理堆栈中的链接，直到堆栈为空为止。

请记住，实施的细节将取决于您的规则、HTML 结构以及其他特定于项目的注意事项。