web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

如何从tr,td和span的表中提取所有文本?

在python3中,我想从网站中提取表格的所有文本内容。但是信息的组织方式不是传统的表,而是tr,td和span信息是......

回答 1 投票 0

python请求post返回纯文本

就像在标题中所说的那样,我正试图抓住一个需要使用除了获取之外的网站。下面是代码,任何帮助将深深感谢headers = {'Accept-Encoding':'gzip,deflate'...

回答 2 投票 1

如何从网址的下拉菜单中选择价值?

我正在尝试从Web URL的下拉列表中选择数据,我的所有代码都正常工作,但我无法从下拉列表中选择值。 Sub pulldata2()Dim tod As String,UnderLay As ...

回答 1 投票 1

我想单击VBA中的按钮

我是一个初学者和非技术人员,我完全被困在这里我想用VBA单击New Project按钮这里是新项目的inspect元素按钮

回答 1 投票 1

Scrapy:如何在没有“\ n”的情况下获取所有内容HTML

嗨,我有一个问题,没有“\ n”获取HTML代码我尝试了规范化空间函数,但它似乎只是得到第一段(不是整个消息)这是我正在使用的代码...

回答 1 投票 0

Python -Google搜索 - 如何设置灵活的结果选择

我试图通过Google搜索抓取一些访问它们的页面,我需要添加一些受限制的单词列表。可以说,谷歌搜索中Python的4个最佳结果是:欢迎使用Python.org ...

回答 2 投票 2

我如何摆脱TypeError

我正在尝试建立一个网络刮板,奇怪的是,有时代码工作,有时它没有,没有改变任何东西,它可能是网站问题,但我怎么能修复它所以...

回答 2 投票 -1

Scrapy:如何在if语句中获取过去24小时内发布的项目?

嗨我想使用if语句过滤我的项目,我只需要获取过去24小时内发布的项目这里是我的代码#date项目发布的时间datime = response.css(“a ....

回答 1 投票 0

即使有301状态,如何获取响应文本?

我在scrapy中编写了一个脚本来从网页中获取响应文本。问题是我的脚本总是打印None,因为有301状态。有什么方法可以控制那个......

回答 1 投票 1

使用beautifulsoup从类中提取文本

errorInvalid format string (1) All of the items of interests are with ...

回答 1 投票 -1

在访问VBA中使用MSXML2.XMLHTTP不提取所有页面数据

目前,我们使用下面提到的代码进行数据提取,但是代码没有从网页中提取完整的数据,代码忽略了当我启用java脚本和DOM存储时可见的数据...

回答 1 投票 0

Web Scraping Elements按类和标签名称

我正在尝试从下面提到的网站复制数据,我需要各种尺寸,价格,设施,特价,储备。我在代码下面框架,但我能够正确复制元素。第一件事只有三个......

回答 3 投票 4

使用Selenium在text和innerHTML之间的区别

使用selenium时获取text和innerHTML之间的区别是什么。即使我们在特定元素下有文本,当我们执行.text时,我们得到空值。但是做.get_attribute(“......

回答 5 投票 3

刮除问答工作正常,除非一个帖子有多页答案

下面的代码用他们的作者和日期来搜索所有问题和答案,但我无法弄清楚如何编写多个页面的答案,例如对于第二个问题......

回答 1 投票 0

构建URL克服ajax

我试图在iframe中提取一些表,所以我从中获取了src URL以直接获取URL。使用chrome检查,我找到了查询字符串规则来构造目标表的URL。但......

回答 1 投票 0

无法找到位于目标元素之外的一些文本

我在scrapy中编写了一个脚本,用于从网页中获取不同问题的答案。问题是答案超出了我目前所针对的要素。我知道我可以用它来抓住它们....

回答 3 投票 1

如何抓取嵌入式推文? [R]

我试图在网站上抓一个嵌入式推文。我相信这条推文是通过JSON加载的。理想情况下,我可以简单地抓取嵌入的推文的ID。据我所知,这个数据......

回答 1 投票 0

如何使用python请求正确形成对此网站的POST请求

我想发送邮件请求的网址是http://www.hkexnews.hk/sdw/sea rch/searchsdw.aspx我想做的搜索(手动)只是在“股票代码”中输入“1” “然后点击”搜索“我试过......

回答 2 投票 1

如何搜索按日期和视图排序的YouTube视频?

我正在创建一个网页报废应用,可以抓取视频数量最多且同时最近上传的YouTube视频。或者简而言之,它将搜索趋势/病毒视频。我试过这个......

回答 1 投票 0

如何将列表导出到csv文件的不同列?

我试图找出如何将以下列表导出到.csv文件,匹配某些列。 [{'amount':'100','unit':'g。','ingredient':'mælkechokolade'},{'amount':'20','unit':'g。'...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.