screen-scraping 相关问题

屏幕抓取(也称为网络抓取或数据抓取)是一种用于从用户界面收集和解析信息的软件技术。如果您的问题是关于从网站或Web-API进行抓取,请使用[web-scraping]标记。

使用 SellerMagnet Scraping API Json 错误查找亚马逊产品销售数据

我是编码新手,我从我的第一个项目开始,我试图编写一个能够抓取 asin 的亚马逊脚本。我正在使用 sellermagnet 提供的抓取 api...

回答 1 投票 0

使用带有输入参数的 httparty 的简单 ruby 请求

我正在学习 ruby 并尝试在命令行上执行简单的 ruby 请求来抓取网站。有 2 个输入元素,其 ids =“tb_radius_miles”和“locationSearchTextBox”...

回答 1 投票 0

网站多个层面的网页抓取

我有一个关于网站多层网络抓取的问题。例如,我有一个关于美国选举的网站,有两层。 第一层:状态信息:包括50个状态。 一旦我...

回答 1 投票 0

网站多层的网页抓取

我有一个关于网站多层网络抓取的问题。例如,我有一个关于美国选举的网站,有两层。 第一层:状态信息:包括50个状态。 一旦我...

回答 1 投票 0

如何更改 scrapy-playwright 中的 context_count

我想知道如何更改 scrapy-playwright 中的 context_count 。 我认为我们还需要更改 max_concurrent 。它是否正确? '剧作家/context_count':1, '剧作家/context_count/

回答 1 投票 0

发送表单数据到aspx页面

有需要在网站上搜索一下 url = r'http://www.cpso.on.ca/docsearch/' 这是一个 aspx 页面(我从昨天开始这个长途跋涉,抱歉新手问题) 使用美丽...

回答 1 投票 0

我可以通过编程方式登录网站而不以明文形式存储密码吗?

我做了许多涉及自动提交表单和/或从网站检索数据的项目。其中一些网站需要用户名/密码身份验证。 (这些网站没有AP...

回答 6 投票 0

从 LinkedIn URL 抓取网页轻松应用按钮

我正在寻找一个工具或脚本,可以抓取 D 列中的 Linkedin URL 职位发布,并返回 E 列中的 Easy Apply 或 Apply 的结果。我有一个包含 1,000 多个链接的列表,我想知道。 ..

回答 1 投票 0

无法使用curl模拟此浏览器请求

我正在尝试从网站上抓取产品(例如https://www.violetgrey.com/en-us/shopping/the-rich-cream-18105401)。虽然在浏览器上它可以正常加载,但当我复制初始的curl请求时......

回答 2 投票 0

为什么浏览器中的网页关闭得这么快?

抱歉我的英语不好 当我尝试使用 Pool 打开多个窗口浏览器时 - 它立即关闭。 我想这已经发生了,当然我收到了这个错误(我最近开始收到这个错误,当...

回答 1 投票 0

iPhone 和服务器之间的安全通信?

我正在开发一个连接到基于 XML 的 API 的应用程序。我可以控制服务器和应用程序 - 有什么方法可以确保只有我的应用程序可以访问 API? 没有用户

回答 5 投票 0

如何在 Windows 上拦截 Toast 通知,从中复制文本,然后将其粘贴到所需位置?

我希望你一切都好。 我正在尝试创建一个程序(自动化过程)来登录某个网站,这会提示 Duo Push(身份验证方法)将短信发送到我的...

回答 1 投票 0

在 R 中抓取会创建 18 个小标题

我正在尝试学习如何在 R 中抓取数据。使用其他资源和聊天 gpt 的一些帮助,我有代码可以抓取 NAIA 棒球统计数据表,但它会创建 18 个小标题。它确实抓住了...

回答 1 投票 0

linkedIn 选择器频繁更改

我一直在使用 Puppeteer 来抓取 LinkedIn 个人资料,但我一直面临着 LinkedIn 选择器定期更改的问题。变得有点累了。有没有人有

回答 1 投票 0

多个选择器上的 Puppeteer waitForSelector

我有 Puppeteer 通过查找表单控制网站,该表单可以返回结果或“未找到记录”消息。我怎么知道哪个被退回了? waitForSelector 似乎只等待...

回答 11 投票 0

尝试制作一个抓取工具来从网站下载文件

我一直在尝试为 Chrome 构建一个插件,它将下载页面上的所有文件到一个与桌面上的文件命名相同的文件夹中。目前,什么也没有发生。 我有这些文件...

回答 0 投票 0

读取固定宽度文件时出现问题

我正在尝试运行这个简单的脚本: 从 ibgeparser.microdados 导入 Microdados 从 ibgeparser.enums 导入 Anos、Estados、Modalidades 如果 __name__ == "__main__": ano = Anos.DEZ

回答 1 投票 0

为什么这个简单的脚本不起作用?

我正在尝试将固定宽度文件转换为 csv。事实上,我发现有一个 github 存储库可以完成这项工作。所以我尝试这样使用它: 从 ibgeparser.microdados 导入 Microdados 来自

回答 1 投票 0

更改语言 requests_html python

我有一个网站试图使用 requests_html 来绕过它 但它只需要阿拉伯语我需要标题的英文文本等等.. 进口熊猫 从 requests_html 导入 HTMLSession 导入时间 我...

回答 1 投票 0

如何使用 selenium 查找 svg 元素并检索已发布的 Facebook 帖子中的日期/时间值?

如您所知,最近 Facebook 正在使用 svg 标签来加载发布帖子的数据和时间。 我想检索某些特定帖子的价值。挑战是首先悬停并等待

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.