web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。


获取HTML表的一部分

我想从网站上获取表格的内容。这是网站的源代码:

回答 2 投票 0

WebBrowser导致程序内存不足错误

我有一个Windows桌面应用程序,用于使用WebBrowser在网站上进行WebScraping。我不得不使用WebBrowser,因为该网站实现了一些Javascript功能,所以这是唯一的......

回答 1 投票 1

使用Python从网站读取文本文件

您好我有问题我想从网上获取所有数据,但这太大了,无法将其保存到变量。我保存数据如下:r = urlopen(“http://download.cathdb.info/cath/releases/all -...

回答 1 投票 -1

从包含R的超链接的网页中提取多个表

这是我第一次尝试网络抓取。我试图从这个网页中提取一个表列表(列名:油和气表)。石油和天然气数据。为一个州提取数据很容易......

回答 2 投票 1

从使用Ajax请求的网站抓取数据

到目前为止,我已经制作了一个从网站上抓取数据的程序,我已经使用python和selenium以及beautifulsoup创建了一个程序,当它想要从这个网站的页面中抓取数据时......

回答 1 投票 0

以Java编程方式触发HTML按钮

我正在尝试用jsoup抓取一个HTML页面。但是,为了获取我需要的数据,我需要单击一个HTML按钮(不是)。有没有办法在Java / Kotlin中这样做?这里 ...

回答 1 投票 0

Selenium脚本返回null给元素

我正在运行这个脚本,在找到一个id之后获取一些内容,这将由AJAX调用填充,它应该转到第二个URL。转到第二个网址后,它找不到任何内容......

回答 1 投票 1

如何使用AngleSharp和LINQ从网站中提取数据?

我试图从下面提到的网站中提取价格。我正在使用AngleSharp进行提取。在网站上,价格如下(例如):...

回答 1 投票 3

无法使用scrapy刮取snapdeal数据

尝试刮掉snapdeal数据时的输出如下:scrapy shell“https://www.snapdeal.com”response.text u' \n Access Denied \n

回答 1 投票 -1

Selenium + PhantomJS打开的网页与常规浏览器不同

我最近开始在Python中编写Web抓取代码。我只使用请求和BeautifulSoup就能做很多事情。然后,当我尝试Staples网站时,我找不到...中显示的元素

回答 1 投票 0

无法相应地在excel文件中写入数据

我很高兴在python中使用xlsxwriter。我在python中创建了一个刮刀,它运行得很完美。但是,当我尝试使用xlsxwriter在excel文件中写入这些数据时,我会陷入困境。 ...

回答 2 投票 0

如何访问网页的特定元素以导入到Pandas中

我有这个代码在网站上搜索菜单信息。我有它工作,以便从本周菜单项获取文本:#Weekly早餐菜单从bs4导入请求...

回答 1 投票 1

我正在抓一个FAQ页面,我需要在FAQ页面找到哪个标签有答案

从bs4导入请求导入numpy作为np导入pandas作为pd import re req = requests.get('https://www.godrejproperties.com/nricorner/nri-faqs')汤= ...

回答 1 投票 0

Jsoup无法从网页上获取完整内容?

我正在尝试使用JSOUP从以下页面获取内容:http://www.peshawarairport.com.pk/Schedule.aspx?Type = Arrival但它不会获取整个页面内容并仅返回内容...

回答 1 投票 1

硒不工作Mac [重复]

我刚刚开始学习用硒进行网状刮擦。我不知道为什么我会收到以下错误。我已经分享了下面的图片。以下代码似乎不起作用。 chrome_path = r“\\ ...

回答 3 投票 -3

如何使用来自多个URL的Web抓取内容创建CSV文件?

我想从webscraped内容创建一个CSV文件。内容来自FinViz.com我想从20个不同的股票中抽取该网站20次,并将所有内容输入CSV ...

回答 1 投票 0

安装scrapy时出错?

我使用python 3.6,当我尝试在cmd上使用pip安装scrapy时输出如下所示:命令“”c:\ program files \ python36 \ python.exe“-u -c”import setuptools,...

回答 1 投票 0

剥离文本 and in the same

我正在使用Beautiful Soup来抓取一些数据而且我遇到了以下问题:对于tr.in soup.select(“tr [class ^ ='rg']”):row = [td.text.strip() for tr('td')[1:-1]中的td如果行:...

回答 1 投票 0

使用Node.js进行Web Scraping

我想知道是否有人可以给我一个如何用Node.js网页抓取多个页面的例子?我在网上找到例子,但我想抓一个搜索结果网页。那么如果有“下一个”......

回答 1 投票 -1

© www.soinside.com 2019 - 2024. All rights reserved.