Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。
multipart-form-data,POST方法,页面中有多个表单
问题我正在尝试使用request的python lib在页面中进行抓取,但是我遇到了错误(例如Bad request或Method不允许)。该页面有两种形式:一种是get,另一种是......
我去http://twitter.com/apps/new创建一个应用程序并获取这些凭据的值 - CONSUMER_KEY,CONSUMER_SECRET,OAUTH_TOKEN和OAUTH_TOKEN_SECRET。一切都很好。但是,当......
如何使用Mandrill在Scrapy Spidermon中发送电子邮件报告
目前,Scrapy Spidermon扩展仅显示使用Amazon Simple Email Service发送电子邮件的示例。是否可以使用Mandrill?如何?
我正在使用一个网络爬虫,它将使用请求和bs4仅抓取内部链接。我有一个粗略的工作版本,但我不知道如何正确处理检查链接是否已被抓取...
我想访问带有日期的跨度但是当我写article.h3.span时,它给出了第一个跨度(/)。如何使用日期访问跨度?
问题描述:我的同事在一个月前创建了一个基于Excel的应用程序,在他的笔记本上运行正常。奇怪的是,同一个工作簿不适用于任何其他人的PC。在里面跑...
我想使用python从展览网站上提取参展商的电子邮件。该页面包含参展商的超文本。点击参展商名称后,您将找到参展商......
Vba宏在家用计算机上运行并在工作计算机上获得错误2147417848
在论坛的帮助下,我创建了一个连接到我的银行网站的宏,填写用户名和密码并输入我的帐户。宏复制帐户余额并将其粘贴到Excel ....
我是编程的新手,我需要帮助。试着在golang上编写gitlab scraper。当我试图在多线程模式下获取有关项目的信息时,出了点问题。这是代码:...
我正在尝试从这个网站中提取某些文本字段,但是从角度来看是新的。我正在使用selenium来构建这个web scrapper。我注意到确切的文本值没有存储在html代码中。能够 ...
无法单击基于JavaScript的链接,该链接也是通过VBA使用Web元素在网页上的表格的一部分
我试图通过点击网页上的某些链接,将业务数据输入搜索框并将其与现有数据进行比较,尝试为我的业务自动化某个流程。但是,我......
我正在尝试从cherio.js解析的html文档中删除它。有可能吗? ..
在Python / Firefox无头抓取脚本中“无法解读来自木偶的响应”消息
美好的一天,我已经在这里和谷歌进行了一些搜索,但还没有找到解决这个问题的解决方案。场景是:我有一个Python脚本(2.7)循环遍历许多URL(...
首先,我想为我的代码看起来缺乏可用的示例而道歉。不幸的是,它包含访问已提供的数据库的个人信息......
我有一个网页,这是一个:southafricatoday在这个页面中,标签之间有空标签,如 。我注意到的是,bs4错过了阅读页面的其余部分(...
我想在一个线程中的for循环中运行一个代码,因为它几乎会对不同的页面执行相同的操作(使用selenium webdriver)。我的问题是,我的计数器变量不能增加,因为......
我正在尝试根据卖家名称收集亚马逊上的前两页产品名称。当我请求页面时,它具有我需要的所有元素,但是,当我使用BeautifulSoup时 - 它们不是......
我正在尝试将变量传递给Puppeteer中的page.evaluate()函数,但是当我使用以下非常简化的示例时,变量evalVar是未定义的。我是Puppeteer的新手,不能......
麻烦从csv文件输入数据,遍历代码,从finviz.com抓取数据,并导出到csv文件以进行更多分析
我把所有东西放在一起很麻烦。我想(1)从csv文件中提取股票行情列表。 (2)将所有股票代码循环到finviz.com以用于提取某些关键数据...