scrapy-playwright 相关问题


空提取结果 - Scrapy

我正在尝试使用 Scrapy 抓取数据,但我的 json/csv 是空的。这不是我的第一个爬虫,我真的不明白为什么这不起作用。 这是我的刮刀。 导入scrapy 导入迭代工具 来...


Playwright + Django:如何等待事件

在我的测试中,我必须等待事件触发才能继续测试断言,但我不知道如何让 Playwright 等待该事件。看来剧作家看不到...


在 python 或其他方式中获取 Scrapy 的最新 chrome 用户代理

最近我开始定期使用 Scrapy 来分析需要最新浏览器(用户代理)才能显示其内容的网站。 现在,这似乎是一个老问题了,但是......


如何使用 Playwright 在异步函数内创建循环?

所以我想用 Playwright 做一些非常简单的事情,我只需要从我用 csv 制作的数组访问网站 var csvsync = require('csvsync'); var fs = require('fs'); var csv = fs。


Playwright 在本地工作,但部署到 Google Run 后会失败

我在本地开发并成功测试了一个使用 Playwright 进行网页抓取的 python 脚本。 TLDR:Python 脚本登录到网站,转到不同的页面,单击几个链接,然后


使用playwright codegen时可以记录所有网络流量吗?

使用playwright codegen时是否可以记录所有网络流量? 在代码生成期间记录页面上的所有网络请求和响应。 并使用记录的网络流量重放测试用例...


如何获取选择选项并将它们放入数组中?, playwright + JavaScript

我正在尝试使用 Playwright 从第三个选择 HTML 元素中定位并提取所有选项/文本并将其推送到数组中?我尝试了不同的替代方案,page.locate()、page.$$eval() 和...


Scrapy 条件 HTML 值

下面的代码找到了我正在寻找的大部分元素。然而,温度和风速的标签会根据天气严重程度而变化。如何让下面的代码一致得到...


Scrapy蜘蛛错误处理(scrapy.core.scraper)

阅读了几个小时的解决方案后,我仍然找不到问题的答案。 我正在尝试抓取超市网页,我认为错误出在解析函数中。请如果有人...


Cucumber with playwright 无法识别 ES2022 模块配置中的 .TS 文件

我正在尝试以这种方式通过剧作家测试来实现黄瓜: 有一个 cucumber.cjs 文件,它将成为我的跑步者 有测试 > 验收 > 功能 > {这里是所有 .features 文件} 有...


© www.soinside.com 2019 - 2024. All rights reserved.