web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

使用PhantomJS和node.js保存并呈现网页

我正在寻找一个请求网页,等待JavaScript呈现(JavaScript修改DOM),然后抓取页面的HTML的示例。这应该是一个简单的例子...

回答 6 投票 59

网页搜集显着名称

我正试图从这里列出的每个网站获得性别竞赛或种族性倾向职业国籍:https://www.nndb.com/lists/494/000063305/这是一个单独的网站,所以......

回答 1 投票 0

不能使用bs4在div中收集href

我是一个新手试图使用bs4废弃这个网站,从指定的div收集href,然后通过hrefs导航产品页面并收集数据,但我一直在收集...

回答 3 投票 1

单击多个页面上的按钮后如何刮取数字?

以前我问过如何点击页面上的按钮。它第一次工作,但我意识到,有时它有时它不起作用。问题是我有多个页面,有时我会得到数字......

回答 4 投票 0

如何使用vba excel单击按钮

我无法点击“获取详细信息”按钮。下面提到HTML标签获取详细信息代码:Sub chromAuto()Dim obj As New ...

回答 2 投票 -3

如何通过填充一些输入文本来抓取网站并单击 .NET Core C# 中的提交按钮

我正在抓取一个在经典 asp.net 中完成的网站。它有 2 个带 ID 的字段。一个是输入文本,另一个是按钮。我需要填写输入框并单击按钮。并且还得到...

回答 4 投票 0

网络刮痧在线交互式地图的基础数据

我正在尝试从此网站上的交互式地图获取基础数据:https://www.sabrahealth.com/properties我尝试使用Google Chrome上的Inspect功能查找XHR文件...

回答 1 投票 0

如何在亚马逊上获取PageRank的Xpath?

当我在亚马逊上搜索某些内容时(在此示例中为“牛仔裤”),我会对产品进行概述。我想刮/获得产品等级的顺序。为了更清楚,我附上了一张照片。一世 ...

回答 1 投票 0

如何从一个链接生成解析的项目与来自同一项目列表中其他链接的其他解析项目

问题是我一直在从一个地方列表中进行迭代以刮取纬度经度和海拔。问题是,当我得到我所收回的东西时,我无法将其与我当前的df链接...

回答 2 投票 1

Beautifulsoup意粉代码,附加问题

我有一个代码,允许我拉一些新闻网站的链接。我只想拉出城市名称的链接 - 格但斯克。但是并不总是在URL中使用正确的拼写,所以我......

回答 1 投票 -2

试图抓到下一个网页

这是我到目前为止在范围(1,5)中的页面的代码:guitarPage = requests.get('https://www.guitarguitar.co.uk/guitars/electric/page-'.format(page) ).text soup = BeautifulSoup(...

回答 1 投票 0

如何从使用js填充的网站中抓取数据?

我试图从sharechat.com抓取发布数据(喜欢,分享,图像等),但问题是我找不到使用Selenium的帖子的图片网址,因为我怀疑它使用Javascript来填充它。一世 ...

回答 2 投票 0

在GSheets中使用ImportXML进行抓取时,“导入的内容为空。”错误

我需要将图像的源URL从目录的链接网页中删除到Google表格的列中。我认为使用IMPORTXML功能将是最简单的解决方案,但我得到了#N / A“导入...

回答 1 投票 0

如何用beautifulsoup刮一个隐藏的桌子

这是关于用beautifulsoup刮一个隐藏的桌子。正如您在本网站所看到的,有一个“choisissezvotreséance”按钮,当我们点击它时会显示一个表格。当我点击...

回答 1 投票 -1

VBA单击IE中的元素

我无法点击屏幕上的元素,它不是一个按钮,而是像一个按钮。我通过网络检查员成功找到了它(我想),但我无法弄清楚为什么不是......

回答 1 投票 2

如何使用python在scrapy上使用相同的域抓取2个网页?

嗨,大家好我在抓数据方面很新,我尝试过基本的。但我的问题是我有2个网页,我需要抓住我的逻辑相同的域名,第一页www.sample.com/view-all.html * ...

回答 1 投票 0

使用python在scrapy中无法使用多个类名检索数据

我需要从html获取数据但是response.css,response.xpath和组合不起作用,每当我试图获得“常规价格”数据时,它总是说“无”我需要得到...的值文本

回答 3 投票 0

如何以更合理的格式抓取网页?

我正试图通过本网站(https://www.backpacker.com/gear/editors-choice-2018)的每个项目的标题和描述来获取列出的齿轮奖。我已经能够抓取信息......

回答 2 投票 2

运行时错误'424':对象必需IE.Document.GetElementById

我正在尝试使用excel文件的值在网站上自动填写表单。 Sub CommandButton1_Click()Dim IE As Object Dim objElement As Object Dim objCollection As Object Set IE = CreateObject(“...

回答 2 投票 1

R中的Tabulizer包:如何在特定标题后刮取表格

如何从PDF中删除一些带有标题文本的表格?我正在尝试使用tabulizer包。这是从特定页面获取表格的示例(波兰语“公共卫生需求图”)......

回答 2 投票 4

© www.soinside.com 2019 - 2024. All rights reserved.