web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

multipart-form-data,POST方法,页面中有多个表单

问题我正在尝试使用request的python lib在页面中进行抓取,但是我遇到了错误(例如Bad request或Method不允许)。该页面有两种形式:一种是get,另一种是......

回答 2 投票 0

Twitter API - 如何获得OAUTH_FILE?

我去http://twitter.com/apps/new创建一个应用程序并获取这些凭据的值 - CONSUMER_KEY,CONSUMER_SECRET,OAUTH_TOKEN和OAUTH_TOKEN_SECRET。一切都很好。但是,当......

回答 1 投票 1

如何使用Mandrill在Scrapy Spidermon中发送电子邮件报告

目前,Scrapy Spidermon扩展仅显示使用Amazon Simple Email Service发送电子邮件的示例。是否可以使用Mandrill?如何?

回答 1 投票 1

如何改进这个Web爬虫逻辑?

我正在使用一个网络爬虫,它将使用请求和bs4仅抓取内部链接。我有一个粗略的工作版本,但我不知道如何正确处理检查链接是否已被抓取...

回答 1 投票 0

如何访问以下代码中的第二个跨度?

我想访问带有日期的跨度但是当我写article.h3.span时,它给出了第一个跨度(/)。如何使用日期访问跨度?

回答 3 投票 -1

由于代理设置不正确,Excel宏无法正常工作

问题描述:我的同事在一个月前创建了一个基于Excel的应用程序,在他的笔记本上运行正常。奇怪的是,同一个工作簿不适用于任何其他人的PC。在里面跑...

回答 1 投票 1

从网站中的多个页面中提取电子邮件并列出

我想使用python从展览网站上提取参展商的电子邮件。该页面包含参展商的超文本。点击参展商名称后,您将找到参展商......

回答 1 投票 -3

Vba宏在家用计算机上运行并在工作计算机上获得错误2147417848

在论坛的帮助下,我创建了一个连接到我的银行网站的宏,填写用户名和密码并输入我的帐户。宏复制帐户余额并将其粘贴到Excel ....

回答 1 投票 2

与gitlab通过golang刮故障

我是编程的新手,我需要帮助。试着在golang上编写gitlab scraper。当我试图在多线程模式下获取有关项目的信息时,出了点问题。这是代码:...

回答 1 投票 1

如何从有角度的网站中提取文本信息?

我正在尝试从这个网站中提取某些文本字段,但是从角度来看是新的。我正在使用selenium来构建这个web scrapper。我注意到确切的文本值没有存储在html代码中。能够 ...

回答 1 投票 -2

无法单击基于JavaScript的链接,该链接也是通过VBA使用Web元素在网页上的表格的一部分

我试图通过点击网页上的某些链接,将业务数据输入搜索框并将其与现有数据进行比较,尝试为我的业务自动化某个流程。但是,我......

回答 1 投票 0

如何使用cheerio.js从文档中删除

我正在尝试从cherio.js解析的html文档中删除它。有可能吗? ..

回答 1 投票 0

在Python / Firefox无头抓取脚本中“无法解读来自木偶的响应”消息

美好的一天,我已经在这里和谷歌进行了一些搜索,但还没有找到解决这个问题的解决方案。场景是:我有一个Python脚本(2.7)循环遍历许多URL(...

回答 4 投票 10

关闭具有动态ID的广告

首先,我想为我的代码看起来缺乏可用的示例而道歉。不幸的是,它包含访问已提供的数据库的个人信息......

回答 1 投票 0

beautifulsoup错过了网页的其余部分

我有一个网页,这是一个:southafricatoday在这个页面中,标签之间有空标签,如 。我注意到的是,bs4错过了阅读页面的其余部分(...

回答 2 投票 0

在for循环中运行

我想在一个线程中的for循环中运行一个代码,因为它几乎会对不同的页面执行相同的操作(使用selenium webdriver)。我的问题是,我的计数器变量不能增加,因为......

回答 1 投票 0

刮刮亚马逊产品名称

我正在尝试根据卖家名称收集亚马逊上的前两页产品名称。当我请求页面时,它具有我需要的所有元素,但是,当我使用BeautifulSoup时 - 它们不是......

回答 1 投票 1

Puppeteer:在.evaluate()中传递变量

我正在尝试将变量传递给Puppeteer中的page.evaluate()函数,但是当我使用以下非常简化的示例时,变量evalVar是未定义的。我是Puppeteer的新手,不能......

回答 5 投票 59

麻烦从csv文件输入数据,遍历代码,从finviz.com抓取数据,并导出到csv文件以进行更多分析

我把所有东西放在一起很麻烦。我想(1)从csv文件中提取股票行情列表。 (2)将所有股票代码循环到finviz.com以用于提取某些关键数据...

回答 1 投票 0

正则表达式 - 在第n个'\ n'之后匹配文本

我有一个这样的示例文本:“\ n 2019年4月15日\ n ...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.