web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

如何在android studio中检查来自第三方APK的http请求

我已经下载了第三方apk,我试图拦截并查看来自此应用程序的API调用。当使用fiddler和其他网络分析器时,android并没有让我使用代理背后的应用程序。 ...

回答 1 投票 0

使用BeautifulSoup的多页网页刮痧表

我正在尝试使用BeautifulSoup刮取此网页https://www.whoscored.com/Statistics,以获取播放器统计信息表的所有信息。我有很多困难,是......

回答 1 投票 1

HtmlUnit WebClient超时

在我之前关于HtmlUnit的问题中跳过HTML单元中的特定Javascript执行和使用HtmlUnit获取页面源:URL卡住我提到URL被卡住了。我也 ...

回答 1 投票 3

Python Selenium从HTML Code的相同部分获取两个元素

嗨,我试图找到这些行保存数字30.1和-10.5并点击Tony Marco。我正在试图VaR = driver.get_element_by_xpath(“// id [contains(@class,'PointsTabL PointsSel')] // * [包含(@ ...

回答 1 投票 1

无法使我的脚本停止打印错误的结果

我在vba中创建了一个脚本,使用IE填充网页中的一些输入,以便根据在输入框中输入一些值来到达新页面以检查某些项目的可用性。走你...

回答 1 投票 1

asyncio / aiohttp没有返回响应

我试图通过使用asyncio / aiohttp并行化Web请求来从https://www.officialcharts.com/获取一些数据。我在这里实现了链接中给出的代码。我跟着两个不同......

回答 1 投票 0

使用Python从URL下载HTML页面

我没有在网上找到任何方式。是否可以使用BeautifulSoup或类似内容从URL地址下载完整的HTML页面文件?谢谢你的帮助。

回答 1 投票 1

如何使用python从多个ul标签中获取id列表?

在这里,我想在给定的图片中使用python在列表中的红色框中标记所有ID。这个ID也是随机的,动态的!

回答 2 投票 0

使用BeautifulSoup进行Python Web Scraping。问题'tuple'对象没有属性'h1'和'p'

在这里输入图像描述你好我有一个网站报废这个URL的问题我一直在我的代码编辑器中编写它,但也在cmd中这样做,因为我一起去确保我得到它...

回答 1 投票 -5

选择Google搜索中的第一个链接

当我检查网站(谷歌搜索)时,我可以通过查找器搜索此// div [@ class =“r”] / a / @ href来选择我想要的href。但是当使用scrapy并通过response.xpath访问时('...

回答 2 投票 0

如何使用Python在多个网页或网址中查找特定单词并对其进行计数

以下是我的代码。请检查并纠正我。来自bs4 import的导入请求BeautifulSoup url = [“https://www.tensorflow.org/","https://www.tomordonez.com/”] the_word = input()r = requests ....

回答 2 投票 0

使用Python的href链接递归下载XML页面[关闭]

我有一个带有href链接的XML页面,它引导我进入下一页,最后一个XML页面没有href元素。我需要递归下载所有XML并搜索相关的Python代码......

回答 1 投票 0

使用BeautifulSoup进行HTML Scraping

我想在以下网站上进行抓取,这是一个案例库:https://engagements.ceres.org/?_ga = 2.157917299.852607976.1552678391-697747477.1552678391这些功能打算...

回答 1 投票 -4

从html web scrape中提取字符串

我正在寻找关于我正在努力的网络抓取脚本的一些指导。一切进展顺利,但我坚持剥离图像文件数据。我正在做一个WebRequest,通过...获取元素

回答 2 投票 2

选择器爬行没有结果

我尝试抓取电影网站。没有错误,但没有结果没有iframe。我通过chrome选择选择位置> F12>复制>复制选择器网站链接是CGV电影元素我选择导入...

回答 1 投票 0

无法在两个子节点之间重用相同的驱动程序

我使用selenium创建了一个宏来获取网站上不同帖子的链接,并在导航到目标页面后解析每个帖子的标题。我的第一个例子就是......

回答 1 投票 1

如何在python中处理html表单?

我有一个html页面来解析和形成它看起来像这样: 5 ...

回答 1 投票 0

Scrapy列表选择器

我试图在scrapy中迭代一个列表,这是html示例: Example website ...

回答 1 投票 0

WPF无法从URL检索WebP图像?

我无法从网址中检索图像。以前我在设置HttpClient标头之前根本无法连接到该网站。我能够从其他来源检索图像,但不是这个...

回答 1 投票 0

要刮的网站有不同的类名

我试图刮掉产品的标题和价格。我遇到的问题是网站的课程有所不同。这是一个例子,

回答 3 投票 3

© www.soinside.com 2019 - 2024. All rights reserved.