mechanize 相关问题

最初为Perl开发的自动Web浏览库,现在还有Python和Ruby实现。

Web抓取Yelp,如何检索每个单独评分的值? [重复]

[从事网络抓取项目以建立我的知识(初学者)。这段代码很乱,但目前我可以打印每条评论的评分。如何从...

回答 1 投票 0

[使用Python与包含动态列表的网页进行交互

我正在尝试编写Python程序以自动向todoist添加任务。我目前正在尝试使用机械化,但不确定是否是我需要的,因为它已设置为与表单进行交互,并且...

回答 1 投票 0

Nokogiri / Mechanize xpath定位器在出现杂散开始标签时中断

我使用Mechanize加载了一个页面:url ='http://www.blah.com'agent = Mechanize.new page = agent.get(url),并尝试使用XPath选择器访问元素:found = page。 at('/ html / body / table')...

回答 3 投票 1

如何使用Nokogiri和Mechanize刮除标签

我正在尝试从“圣保罗使徒详细信息页面”中获取信息。我需要地址,电话号码和说明。所有这些信息都可以通过普通的HTML标签访问...

回答 2 投票 0

是否可以获取域的站点地图?

作为任务的一部分,我正在尝试获取网页上的所有链接和子域。例如,“ www.stanford.edu”返回哈希值“ www.stanford.edu/admissions”,“ www.stanford.edu / ...

回答 2 投票 0


如何使用Ruby和机械化方法解析格式错误的HTML

我对使用Mechanize甚至是Ruby还是相当陌生,我正在使用它们来导航HTML格式严重错误的网站。特别是,我有一个页面,该页面的表单之外有复选框...

回答 2 投票 3

用python编程打开页面

您可以从此网页提取VIN码吗?我尝试了urllib2.build_opener,请求并进行机械化。我也提供了用户代理,但是他们都看不到VIN。开瓶器= urllib2 ....

回答 3 投票 3

如何在Python请求模块中获取响应URL?

我打算使用Python请求模块登录到网站login.php。如果尝试成功,则页面将被重定向到index.php。否则,页面将保留在login.php中。我能够做到...

回答 1 投票 1

请求发布具有字典格式错误的数据

将要发送到服务器的formdata看起来像这样:我不知道将它正确地发布到服务器上。我已经这样尝试过:有效负载= {“ ad_id”:ad_id,“ ad_type”:“ 1”,“ ...

回答 2 投票 0

机械超时

我正在尝试构建一段代码,以使用Mechanize和Ruby搜索超时的页面。我的测试台包括一页专门写给超时的页面,以及三页功能... ...>

回答 1 投票 0

给定一个HTML字符串,寻找浮动<>

给出一个HTML字符串:myhtml =“

回答 1 投票 0

在ruby中打开填充表单页面

我正在使用mechanize来填写表单,但我想在提交之前在网页上查看它。目标是使用预填表单打开浏览器。要求'机械化'机械化=机械化......

回答 2 投票 0

使用pip安装软件包的问题

我一直在尝试安装Mechanize for Python 2.7,但我无法直接从网站安装它。然后我试着pip。我相信我已经有点因为“>>> import pip”不...

回答 1 投票 -2

嵌套的隐藏标签在python中进行抓取

首先,首先是python和web报废的新手。我有一个需要抓取的页面。我正在寻找很多来源,并且无法弄清楚嵌套隐藏标签的刮擦。 ...

回答 1 投票 0

在R中重新创建python机械化脚本

我想重新创建下面的python脚本,该脚本在R中使用mechanize和http.cookiejar。我认为使用rvest是直截了当但我无法这样做。有关哪些包的任何见解......

回答 1 投票 -1

通过python mechanize上传文件

我正在尝试使用mechanize将图像文件上传到浏览器中。虽然没有错误,但是当我在浏览器中手动检查时(上传提交/保存),上传的文件不会反映出来。我在用 ...

回答 1 投票 1

使用Basic Auth访问API时,获取Mechanize :: UnauthorizedError:401 => Net :: HTTPUnauthorized

我正在尝试使用Basic Auth访问API。它适用于HTTParty,但不适用于2.7.6 Mechanize。这就是我尝试的:agent = Mechanize.new agent.log = Logger.new(STDERR)agent.add_auth(“https:// ...

回答 1 投票 0

无法使用Mechanize识别正确的CSS选择器

我已经构建了一个web scraper,它正在成功地从我正在查看的网页中提取我需要的所有内容。目标是拉出与所有咖啡相关的特定图像的URL ...

回答 1 投票 0

机械师似乎忽略了代理?

我正在使用http代理和Mechanize模块。我初始化mechanize对象并像这样设置代理:self.br = mechanize.Browser()self.br.set_proxies({“http”:proxyAddress})#proxy ...

回答 2 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.