web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

即使一个失败,确保循环继续进行API调用

如果我在python中的while / for循环中使用覆盆子pi请求来自API的数据并将数据附加到csv并且由于有故障的wifi连接之类的东西而导致一次迭代失败,那么......

回答 2 投票 0

在excel vba中进行Web Scraping,无论如何要加快进程?

我正在使用VBA excel中的web-scraper。由于我正在抓取的网站的机制,我必须通过excel进行,因为该网站是一个政府平台,通过文件验证...

回答 1 投票 0

如何使用Puppeteer刮取reddit页面?

我正在努力学习使用Puppeteer来刮取reddit页面。新的reddit动态添加了内容和无限滚动。我从代码中得到了非常不一致的结果并且很难...

回答 1 投票 2

使用excel VBA不会刮取跨度id值

虽然现在的页面结构没有变化,但我有Excel代码从nowgoal.com中删除匹配结果,最近停止了工作.Cell AF2包含“1”什么控制哪些行数据...

回答 1 投票 0

使用vba在网页文本框中添加值

我想在网页文本框中添加值,但会出现对象错误。我不能提供网址,因为它不会在办公室外工作。下面的html代码:文本框:

回答 2 投票 -2

R - 使用rvest来刮取谷歌+评论

作为一个项目的一部分,我正试图从Google +中删除完整的评论(在以前的其他网站上的尝试中,我的评论被更多的内容截断,除非你点击,否则会隐藏完整评论...

回答 1 投票 1

如何连接两个单独的字符串

我需要加入两个字符串。第一个字符串=日期:(MegaMillions2019 =(date.strftime(“%m%d%Y”)))第二个字符串=结果:(results ='\ n'.join([','。join(已解析[ i])我在范围内(len(...

回答 4 投票 3

Php curl请求返回'405 Not Allowed',还有其他的抓取方法吗?

我正在使用php curl,我的代码正在为其他网站工作,但当我请求此网址https://i.local.ch/#q?q=manager&origin=&rid=ac8EV&sort=relevance时它返回:405 Not Allowed .. 。

回答 1 投票 0

为什么我不能通过 BeautifulSoup 抓取亚马逊? [关闭]

这是我的python代码: 导入 urllib2 从 bs4 导入 BeautifulSoup page = urllib2.urlopen("http://www.amazon.com/") 汤 = BeautifulSoup(页面) 打印汤 它适用于 google.com 和 m...

回答 4 投票 0

如何从任何网址页面获取数据来抓取评论

假设您有一个游戏商店评论页面,其中有数百人定期评论。我的想法是不仅在同一页面上从Play商店评论页面获取数据,而且当你...

回答 1 投票 -4

网络抓取在学校的项目

我正在尝试使用Selenium从页面中抓取数据。我上周做了,但本周发生了一些变化,现在它不再起作用了。问题是“显示更多”按钮,或“Prikažibloj”,因为你......

回答 2 投票 1

检测何时加载网页而不使用睡眠

我在Windows上创建一个VB脚本,在IE中打开一个站点。我想要的:检测网页何时加载并显示消息。我通过使用sleep(WScript.Sleep)来实现这一目标。秒......

回答 2 投票 5

使用Excel VBA单击网站中的复选框

有一个网站有一些我想要的工作数据。我登录检查一些复选框并提交,然后该网站将向我发送一封包含我的数据的电子邮件。但收到我的...需要太长时间

回答 1 投票 1

使用cheerio刮痧数据

我正在尝试从聊天中删除数据,但我不知道如何在NodeJ中使用Cheerio我需要获取消息列表的所有昵称(msg-nickname):到目前为止我有:server.js var ...

回答 1 投票 2

Instagram刮痧:如何点击并按住某个元素,然后使用另一个给定的函数释放?

如何单击并按住元素然后运行一些代码,然后在代码运行完毕后,执行鼠标操作并取消选中?我正在为Instagram故事刮刮项目这样做我一直在努力......

回答 1 投票 0

如何在网页抓取时搜索特定的unicode字符串?

我最近对Python上的Web抓取感兴趣,并在一些简单的例子上做了,但我不知道如何处理不遵循ASCII代码的其他语言。例如,搜索...

回答 1 投票 2

从网页上的不同链接获取信息,并使用pandas将其写入.xls文件,在Python中使用bs4

我是Python编程的初学者。我在python中使用bs4模块练习网页抓取。我从网页中提取了一些字段,但它只提取了13个项目,而网页...

回答 2 投票 0

使用jq获取值,然后使用该值作为键来获取另一个值

我有几百个分类ID,我使用curl和jq从http://taxonomy.jgi-psf.org/tax/accession中提取相关值。有没有办法管jq自己,所以我可以使用值...

回答 2 投票 1

从锚点中提取href属性url

我无法从页面中提取锚点的href属性..我尝试使用re库:用于在soup.findAll中链接('a',attrs = {'href':re.compile(“^ http://”) }):links.append(link.get('href'))但是......

回答 3 投票 0

Metacritic的Web Scraper:评论[关闭]

¿我为Metacritic开发了一个网络剪贴簿,我得到了评论,但现在我必须改变我的方式,我必须在一个地方有好评(8-10),中立评论(5-8)和坏...

回答 1 投票 -1

© www.soinside.com 2019 - 2024. All rights reserved.