web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

使用selenium单击下拉列表中的所有值

我正在废弃一个网站http://tabnet.saude.prefeitura.sp.gov.br/cgi/deftohtm3.exe?secretarias/saude/TABNET/AIHRD08/AIHRDNET08.def我需要选择PeríodosDisponíveis字段中的所有值。一世 ...

回答 1 投票 0

从网站获取数据 - 下载具有可调日期范围的链接

对于网页抓取来说真的很新,抱歉留下这样一个未解决的问题。在某种程度上,我想知道可行性和如何做到这一点。我只是真的使用python(这可能有点挫折...

回答 1 投票 0

WEB SCRAPING - 噩梦和请求

我正在使用NODEjs中的梦魇,cheerio和请求的组合,用于制作自定义网络抓取机器人...我使用梦魇js进行身份验证和过滤器设置,现在我需要调用函数...

回答 1 投票 0

在代理服务器后面运行selenium

我一直在使用selenium进行自动浏览器模拟和python中的web抓取,它对我来说效果很好。但是现在,我必须在代理服务器后面运行它。所以现在硒开了......

回答 4 投票 13

如何解析具有相同标签的数据?

我正在尝试解析数据以查找相同标签下的详细信息,但我无法执行此操作。我试过的脚本:导入重新导入pytz导入请求从flask导入导入日期时间...

回答 1 投票 -1

网页抓取多个级别的网站

我正在寻找一个网站。然后,对于每个已删除的项目,我想在子网页上抓取更多信息。作为一个例子,我将使用IMDB网站。我正在使用rvest包和选择器......

回答 1 投票 0

无法使用'OnKeyPress'属性输入值到输入框 - Selenium Python

我希望我的代码在下面的框中输入值并转到下一页。我在Python中使用selenium来做到这一点。这是元素的HTML。

回答 1 投票 0

在Infinite Scrolling表上使用= ImportHTML \ XML

我一直在使用Google表格来跟踪我的视频游戏集合一段时间了,而且当我从某个网站导入数据时,我已经开始打破它。我从2个网站链接,...

回答 1 投票 0

Selenium与纽约大都会歌剧院

首先,必须提前道歉 - 这里几乎是新手,这是我的第一个问题;请善待......我正在努力刮掉javascript生成的页面;特别是大都会的......

回答 1 投票 0

在点击网页中的某些链接时遇到问题

我在python中编写了一个脚本来点击网页中的某些类别。我可以设法点击前两个类别,但在启动最终点击时遇到困难。我给了一个链接......

回答 1 投票 2

如何使用Golang进行Web Scraping单击按钮[关闭]

我正在尝试使用Golang抓取一个网站,为了获得更多内容,我需要点击一个并等待几秒钟。 (注意:网站没有分页)我发现很酷......

回答 1 投票 -1

Scrapy InitSpider无法单击正确的登录按钮

我正在尝试使用Scrapy InitSpider登录Tor论坛但是我遇到了以下问题。下面是我处理登录的代码:def init_request(self):##这个函数是......

回答 1 投票 0

如何使用BeautifulSoup提取以下信息?

这是HTML源代码 Ownership: Private ...

回答 2 投票 0

R:rvest提取innerHTML

使用R中的rvest来抓取一个网页,我想从节点中提取相当于innerHTML的内容,特别是在应用html_text之前将换行符更改为换行符。期望的例子......

回答 1 投票 8

如何在python中缓存提取的数据

我编写了一个刮刀,它从几个页面中提取数据。现在我意识到它有时会中断(例如互联网削减)并且我丢失所有(已经)抓取的数据并且必须重新启动...

回答 1 投票 -2

如何使用Node.js测试文件

这是我第一次使用Node.js和Express。我会创建一个网络抓取。这是我的项目结构:WebScrape:| _ bin | _ node_modules | _ public | _ routes | _ view | _ app.js | _ ...

回答 1 投票 0

在Python中设计一个简单的Web scraper的问题

我已经按照在线教程进行了操作,并成功地创建了一个与逐步跟踪时相同的Web scraper。但是,当试图在我想要的网站上实现此代码时,空白...

回答 2 投票 0

Python的基本Web Scraping(Beautifulsoup和Requests)

所以我一直在使用Al Sweigart的在线Automate The Boring Stuff With Python教程,我刚刚进入了webscraping部分。这是我的代码,描述了该程序是什么...

回答 2 投票 0

使用Python在网址中没有表单登录网站

我正在尝试使用Python登录网站,但在我为urllib获取的html源代码中不包含登录表单,我已经通过chrome检查,它也显示相同的html代码。

回答 1 投票 -2

Web中的Web抓取html表格

我有一个网页:http://probabilityfootball.com/picks.html?1520027255&username = AVERAGES&weeknum = 21从这个网站的表格中我试图提取两个团队,获胜者,选择%和...

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.