mechanize 相关问题

最初为Perl开发的自动Web浏览库，现在还有Python和Ruby实现。

我们使用 WWW::Mechanize 将 json 数据发送到我们的 api。我的代码如下。 #!/usr/local/bin/perl 使用 WWW::机械化；子 get_csrf_token { 我的 $sso = 转变；我的 $referer = 转变；我的@

json apache perl mechanize

回答 1 投票 0

屏幕抓取网页，使用 Mechanize 明智地显示数据页面

我正在尝试屏幕抓取一个网页（使用 Mechanize），该网页以网格页面方式显示记录。我能够读取第一页中显示的值，但现在需要导航到下一页

ruby web-scraping pagination mechanize

回答 4 投票 0

如何使用 python 和 mechanize 模拟 AJAX 调用（XHR）

我正在做一个自动做在线作业的项目。我可以登录、查找练习，甚至使用 mechanize 填写表格。我发现提交按钮会触发

python web-scraping xmlhttprequest mechanize

回答 2 投票 0

如何从 JavaScript“onclick window.open”事件中抓取 URL？

我正在尝试从使用 JavaScript 的页面中抓取 URL。他们没有在页面上设置链接，而是为许多表行创建了 onClick 事件，因此，当您单击该行时，需要...

javascript ruby web-scraping mechanize

回答 1 投票 0

BeautifulSoup：在html中查找特定URL并打印

好的，所以我有这个 html 页面（充满不同的 url），我想在其中获取单个 url 并打印它。网页为：https://bdkv2.borger.dk/foa/Sider/default.aspx?fk=22&foaid=11523251 我是...

python web-scraping beautifulsoup mechanize

回答 2 投票 0

Python Mechanize.Browser.Open(url) 状态代码

我最近从 perl 迁移到 python，并正在更新一些使用 perls WWW::Mechanize 的脚本以使用 python mechanize 模块。到目前为止一切都很好，但我找不到任何 HTTP 状态代码...

python web-scraping mechanize mechanize-python

回答 1 投票 0

Python 和机械化：如何连续浏览页面？

我的问题如下：我正在尝试编写一个贯穿航空公司售票网站订购流程的爬虫。所以我想根据......的结果来抓取几页内容

python web-scraping mechanize mechanize-python

回答 1 投票 0

解析混淆的 JavaScript 并与之交互

我正在尝试与 HTML 4.0 网站进行交互，该网站使用严重混淆的 JavaScript 来隐藏常规 HTML 元素。我想做的是填写一个表格并读取返回的结果，然后...

python web-scraping mechanize deobfuscation

回答 1 投票 0

Ruby Mechanize Gem 查找没有名称的字段

我正在尝试使用 mechanize gem 来抓取登录后的页面。然而，对于我正在使用的网站，他们没有在 html 中命名他们的用户名或密码字段。我已经搜索过机械...

ruby-on-rails web-scraping mechanize

回答 2 投票 0

使用 Ruby Mechanize 抓取所有连续页面

我正在寻求有关循环浏览网站上连续页面的最佳方法的帮助，同时从每个页面上删除相关数据。例如，我想去一个特定的网站（craigslist in ...

ruby web-scraping mechanize

回答 1 投票 0

POST URL 编码与通过 Python 请求的基于行的文本数据

我正在尝试从网站上抓取一些数据，但无法让 POST 工作，它的表现就好像我没有给它输入数据（“appnote”）。当我检查 POST 数据时，它看起来相对......

python web-scraping wget mechanize

回答 1 投票 0

使用 Ruby 抓取通过 Javascript 加载的数据的 URL

我正在尝试使用 Ruby 脚本抓取此页面的租赁列表。我尝试过的一些不成功的方法是使用 Nokogiri 和 Mechanize，但是浏览器只加载 14 lis...

ruby web-scraping nokogiri mechanize

回答 2 投票 0

机械化返回robot.txt，尽管被设置为忽略

我遇到过一些网站，当我尝试提取代码时会返回 ROBOTS 元标记，并且即使在尝试使用 Mechanize 时也会继续这样做。举个例子：进口机械化 br =

python web-scraping mechanize

回答 1 投票 0

Mechanize 提交结果页面不正确

我试图抓取 booking.com 作为学习 Mechanize 的练习，但我无法解决一个问题。我正在尝试使用以下代码通过 Mechanize 获取酒店的价格： hotel_name =“嗨...

ruby web-scraping mechanize

回答 2 投票 0

Python 机械化说现有控件不存在

我正在尝试用Python抓取一个受密码保护的网站。我的代码如下：进口机械化导入cookielib 从 BeautifulSoup 导入 BeautifulSoup br = mechanize.Browser() cj = 煮饭...

python web-scraping mechanize

回答 1 投票 0

表格未通过 Mechanize 提交

URL = 'http://public.dep.state.ma.us/SearchableSites2/Search_UST.aspx' 代理 = Mechanize.new() 代理.get(URL) form = agent.page.form_with(:action=>/Search_UST.aspx/) 表单.提交(表单.button_with(:

ruby-on-rails ruby web-scraping mechanize

回答 1 投票 0

如何使用Python填写JavaScript表单？

我想用Python来填写这个表格。我尝试使用 Mechanize，但这是一个 Microsoft 表单，它使用 JavaScript，没有表单标签，也没有 GET/POST URL。也许 BeautifulSoup/Selenium 可以做到这一点，...

selenium web-scraping beautifulsoup scrapy mechanize

回答 1 投票 0

尝试使用 python 和 mechanize 解析 dropbox 事件页面时出现 403 错误

我使用此脚本来获取某个目录的所有文件更新的列表。然后，我解析该列表以获取我在该目录中处于活动状态的时间段列表。这样我就可以很快看到我是如何...

python web-scraping dropbox mechanize http-status-code-403

回答 1 投票 0

使用 Ruby Mechanize 提交“aspnetForm”未按预期工作

我正在使用 ruby mechanize gem 来自动提交表单并抓取结果。我有以下代码：要求“机械化” 需要“记录器” url =“http://www.cebupacificair.com/Pages/defaul...

ruby web-scraping webforms mechanize

回答 1 投票 0

使用 WWW::Mechanize 在 Perl 中进行站点抓取

我在 Perl 中使用 WWW::Mechanize 进行网站抓取应用程序。当我要通过 WWW::Mechanize 登录特定站点时，我遇到了一些困难。我已经看过一些例子......

authentication perl web-scraping mechanize

回答 1 投票 0

mechanize 相关问题

最新问题