Scrapy是一个用Python编写的快速开源高级屏幕抓取和Web爬行框架，用于抓取网站并从其页面中提取结构化数据。它可用于各种用途，从数据挖掘到监控和自动化测试。
scrapy - ResponseNeverReceived（'SSL例程'，''，'读取时出现意外的eof'）
我在使用 Scrapy 抓取网站时遇到问题。我正在向特定 API 端点发出 GET 请求，但请求失败并出现 SSL 错误。以下是请求的代码...
我用 scrapy 做一个剪贴画，我在 django 上的模型是： 创意类（模型.模型）： 名称 = models.CharField(max_length=200) 图片 = models.CharField(max_length=200, null = True) 班级
我目前正在使用Python库Scrapy，并且我继承自CrawlSpider，以便我可以覆盖/定义自定义规则。我已经定义了规则，应该阻止所有带有 auth/... 的 URL
感觉我发出的每个 scrapy.Request 在第一个请求之后都不存在，并且响应参数总是对第一个请求的响应，即使该方法被另一个调用
Python scrapy：获取网页中所有URL，不存在重复的URL
我想使用Python scrapy获取网页中的所有URL而不是重复的URL。我只想列出以 allowed_domains = en.wikipedia.org 开头的 URL。如果链接有外部链接，我...
使用python scrappy获取网页中所有URL，不存在重复的URL
我想使用 scrappy python 获取网页中的所有 URL，而不包含重复的 URL。我只想列出以 allowed_domains = en.wikipedia.org 开头的 URL。如果链接有外部链接，...
我想抓取如下所示的这些页面，但它需要身份验证。 尝试了下面的代码，但它说 0 页被抓取。 我不明白出了什么问题。 有人可以帮忙吗.. ...
TL；博士： load_env() 在本地加载环境变量，但在 scrapyd 中运行时不会加载 细节 我有一个scrapy项目需要读取一些环境变量。这些变量可以在 .en...
我最近开始尝试使用Scrapy学习网页抓取。最近我尝试通过 books.toscrape.com 进行 Scrapycrawl。根据终端显示，Scrapycrawl 调用工作正常，但事实并非如此
我试图从每个列表中提取公司名称和地址并将其导出到 -csv，但我在输出 csv 时遇到问题。 我认为 bizs = hxs.select("//div[@class='listing_conte...
我无法访问此网页中的任何内容，scrapy 每次都会产生空或 null
网页：https://opensupplyhub.org/facilities?facility_type=Final%20Product%20Assembly&sort_by=contributors_desc 我目前正在尝试 scrapy-playwright。我也尝试过使用硒，但没有...
def parse_pagelist（自我，响应）： 对于 pageinfo 中的页面： page_url=页面['url'] 产量响应.follow(page_url,self.parse_page) next_page=response.xpath('//ol[...
为什么Scrapy只从<thead>中取出<table>（忽略<tbody>）？
我正在使用 Scrapy 解析网站并希望从表中获取数据。我用 Scrapy Shell 中的 response.css("table").getall() ，但我只能从中获取数据，但我需要来自...的 .HTML 代码中的数据
最近开始使用 scrapy 库。我正在尝试从一个网站上抓取数据，该网站对于他们销售的每种产品的表格略有不同。最终，我会用数据来弹出...
我想更好地监控 scrapy 蜘蛛运行时的内存使用情况（上下文：我在 Heroku 上运行它，看看如何重组抓取以保持更多的范围内......
为什么scrapy-redis要重新爬取已经爬取过的url？
我用scrapy-redis写了一个分布式蜘蛛。 起初，一切似乎都很好。 分布式工作人员文件： # 分布式workers.py 导入scrapy 从 scrapy_redis.spiders 导入 Redis...
我编写了一个 Scrapy 蜘蛛，并在其中使用 Selenium 来废弃“devgrossonline.com”中的产品。 它不适用于多个类别 url，但当我只提供一个 url 时它可以工作。任何帮助都是
Scrapy + Playwright：从异步解析函数调用同步 parse_single 函数
我正在与 scrapy + Playwright 合作。 我目前拥有的蜘蛛的简化版本： 类 MySpider(CodeSpider): def start_requests(自身): url = 'https://www.google.com/search?q=p...
Scrapy SgmlLinkExtractor 添加任意 URL
如何向 SgmlLinkExtractor 添加 url？ 也就是说，如何添加任意 url 来运行回调？ 详细说明，以 dirbot 为例：https://github.com/scrapy/dirbot/blob/master/dirbot/
我正在尝试用scrapy抓取这个网页，我可以获得除了距离之外我需要的所有数据。链接 https://www.thedogs.com.au/racing/albion-park/2024-05-30/10/tab-flying-amy-cla...