rvest 相关问题

在 R 中结合 JSON 和 Regex

我正在学习如何使用 Reddit API - 我正在尝试学习如何从特定帖子中提取所有评论。 例如 - 考虑这篇文章：https://www.reddit.com/r/Homebrewing/comments/11dd5r3/

使用R从动态网页收集数据

我正在尝试使用 R 从奥地利就业数据网站自动提取数据： https://www.dnet.at/amis/Datanbank/DB_Be.aspx 例如，我想指定 在左侧选择...

在 R 中使用 rvest 抓取的西里尔文文本的编码问题

我正在尝试使用 R 中的 rvest 包抓取包含西里尔文字的俄罗斯媒体网页。 但是，对于某些页面（并非全部由于某种原因）我遇到了编码问题......

为什么对 CSS 选择器使用第一个/最后一个顺序会在 rvest 中返回错误？

我正在尝试抓取一个有几个按钮的页面。 我想选择/单击最后一个按钮。使用 Chrome 的选择器小工具扩展，我可以通过添加 :last at ...

使用 rvest 从网页中提取表格

我正在尝试提取在此页面底部找到的表格。 我已经加载了 rvest 库并尝试了几个函数来尝试获取该表。即使用我

谷歌学者网络抓取的迭代

我正在寻求使用 R 来抓取谷歌学者的网页，例如某人没有公开个人资料的情况。 一项挑战是一次只能显示 10 个结果 - 所以，对于某些人来说...

rvest 网络抓取返回空 xml_nodeset

我正在尝试使用 rvest 抓取数据，但已经有一段时间了，我无法完成看似简单的任务。我尝试过各种 html 和 css 元素来提取数据，但仍然得到

如何使用 read_html_live() 浏览 javascript 寻呼机？

我想抓取使用 JavaScript 寻呼机的网站 https://www.supralift.com/uk/itemsearch/results 上的广告链接。我的目的是收集页面上的链接，然后点击“Next&q...

使用隐藏的 API 通过 JavaScript 分页器抓取网站

网站 https://www.supralift.com/uk/itemsearch/results 使用基于 JavaScript 的分页器，该分页器不会在 url 中公开任何参数，我可以更改这些参数并以这种方式浏览网站。 寻找

通过 JavaScript 寻呼机导航

网站 https://www.supralift.com/uk/itemsearch/results 使用纯基于 JavaScript 的分页器，它不会公开 url 中的任何参数，我可以更改这些参数并以这种方式浏览网站。 ...

通过 Java 脚本寻呼机导航

网站 https://www.supralift.com/uk/itemsearch/results 使用基于纯 java 脚本的寻呼机，它不会公开 url 中的任何参数，我可以更改这些参数并通过网站这种方式导航......

如何使用 rvest 抓取 NBA 统计页面

我感兴趣的抓取页面在这里：https://www.nba.com/stats/teams/opponent-shots-general?GeneralRange=Pullups&SeasonType=Regular+Season 我已经尝试过以下代码

R / Python 中的网页抓取

我需要从 https://eservices.dha.gov.ae/DHASearch/UIPages/ProfessionalSearch.aspx?PageLang=En 提取数据。我需要 4 列 -“姓名”、“性别”、“职称”、“医院名称”、“联系方式”。 ”

如何使用 rvest 将分层 Web 数据抓取为表格格式？

我对rvest大体上很熟悉。我知道 html_elements() 和 html_element() 之间的区别。但我无法解决这个问题： 假设我们有像...

如何从 SerpApi 自动生成的 html 文件中提取所有“查询”值

如何从此链接提取所有“查询”数据（咖啡的关键字）：https://serpapi.com/search.html?engine=google_trends&q=coffee&data_type=RELATED_QUERIES&cat=0&date=now...

使用 rvest 抓取部分受登录保护的网站

我想从网页中删除一些数据，但该页面部分受用户名/密码保护。 我想废弃仅在登录后可用的数据。我找到了如何导航...

使用 rvest 和 tidyverse 的数据抓取问题

我是数据抓取的新手，我正在尝试从网页中抓取表格（https://vos.oph.fi/cgi-bin/tiedot2.cgi?saaja=1361;tnimi=kust/v08/k05k7s .lis）。 我目前正在使用 tidyverse 来完成此操作

目的是抓取图像

我已经为此工作了几周但没有成功。我的长期目标是从以下网站上抓取每张图像（链接：https://bioguide.congress.gov/search）。首先，我正在尝试...

通过多层嵌套创建从抓取数据派生的对象

这是我之前问的问题（如何从 rvest 抓取的网站创建数据框架，保留数据的嵌套结构）和 @stefan 的答案的后续问题。这个答案非常有效...

如何从 rvest 抓取的网站创建数据框架，保留数据的嵌套结构

假设我使用 rvest 包中的 read_html_live() 来提取一些看起来像这样的代码（我很抱歉我无法让minimal_html代码工作，但我希望我能理解这个想法）：.. .