web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

python web抓取代码不会打开链接

这是“用python自动化无聊的东西”一书。起初我创建了一个.bat文件并使用cmd中的参数运行它,没有打开chrome中的任何页面,在这里查找,更改了代码,...

回答 2 投票 1

如何从字符串中过滤掉特定字符串

Python初学者在这里。对于我正在写的机器人,我对这部分代码感到难过。我正在使用Praw制作一个reddit机器人来梳理帖子并删除一组特定的字符(蒸汽CD密钥)。一世 ...

回答 2 投票 0

并发期货网络抓取

谁在读他的!感谢您抽出宝贵时间来看看这个。我目前正在尝试开发一个快速的webscraping函数,所以我可以刮掉一大堆文件。这是我的代码......

回答 1 投票 0

如何在Python中使用Selenium为亚马逊搜索页面找到正确的“布局”?

我正在使用Python 3.5从amazon.com上删除一些产品信息。在自动执行“search-grabinfo”过程的过程中,我发现它在页面布局时会中断...

回答 1 投票 0

Python请求 - 无法获得POST表单响应(仅返回表单)

我正在尝试使用Python的Requests模块填写POST表单,然后获取输出。许多网站似乎都使用此代码作为示例。但是,它只保留返回表单。我创造了......

回答 1 投票 1

Google Places API:是否有年度限制请求?

我创建了一个Python抓取工具,以便废弃Google Places API,我将其称为Fantail,并且因为2周后不再有效:它总是返回OVER_QUERY_LIMIT。一开始我教过那里......

回答 1 投票 -1

网页刮刮Python BeautifulSoup

我只是Python的初学者。我试图从网站上抓取数据并设法编写下面的代码。但是,我不知道如何继续前进,因为我无法获得href标签...

回答 3 投票 1

无法使用selenium单击div按钮

我想点击一个实际上是div标签的按钮。我无法点击它。来自selenium import webdriver url =“https://www.qoo10.sg/item/LAPTOP-SCREEN-PROTECTOR-SCREEN-GUARD-FOR-13-14-15 -...

回答 2 投票 1

VBA IE Automation WebSite登录按钮无法正常工作

正在填充用户名,但该按钮仅在我用鼠标实际点击用户名字段后才能工作.... HTMLDoc.getElementById(“loginForm-email”)。重点HTMLDoc ....

回答 1 投票 1

Rvest,循环浏览页面上的元素以跟踪每个元素的链接?

所以我试图从一个包含我学校俱乐部俱乐部数据的网站上搜索数据。我有一个好的脚本去抓取来自网站的表面级数据,但是我可以通过...获得更多数据

回答 2 投票 0

我美丽的汤刮刀没有按预期工作

我试图从以下网页中提取成分列表:https://skinsalvationsf.com/2012/08/updated-comedogenic-ingredients-list/所以我要拉的第一个成分是......

回答 2 投票 1

使用python(自定义网址)下载bing图像搜索结果

我想使用python代码下载bing搜索图像。示例网址:https://www.bing.com/images/search?q = sketch%2520using%20iphone%2520students我的python代码生成一个bing搜索网址为...

回答 1 投票 -1

如何在具有不同内容的网站中废弃容器?

我想废弃这个网站。 https://www.dhgate.com/wholesale/electronics-robots/c103032.html我已经构建了一个scrapy代码:从urllib.parse导入scrapy导入urljoin类DhgateSpider(scrapy ....

回答 1 投票 0

php - 获取没有类或标签的文本html dom解析器

我已经陷入了一个典型的案例..我需要一些表中没有类或任何标签的文本..这只是一个纯文本..我只想得到这个文本。我需要抓我想要这篇文章。怎么样 ...

回答 1 投票 0

用python进行网络抓取。无法访问td元素

我正在尝试通过这个地址进行网络搜索:https://www.pro-football-reference.com/boxscores/这是美式足球的游戏分数页面。我想得到每个人的约会,胜利者和失败者......

回答 4 投票 1

解析BeautifulSoup,错误消息TypeError:强制转换为Unicode:需要字符串或缓冲区,找到NoneType

所以我正试图抓取一个亚马逊页面的数据,当我试图解析卖家所在的位置时,我收到了一个错误。这是我的代码:#getting the html request = urllib2.Request('http:// www ....

回答 1 投票 3

在Python上使用Selenium返回空'src'属性

我是一名新手程序员,我正在教自己一些网页编写。我正在尝试制作一个Python程序,通过使用...抓取网页从嵌入式播放器返回直接视频下载URL

回答 1 投票 0

用Selenium刮不同的表

目前我正在尝试从以下网站上删除所有价目表:http://aeroportos.weebly.com/fuel-prices.html#.W7SatGj7Sbj但是,我在试图找到...时面临一些问题。 。

回答 1 投票 0

刮取网址的CSV列表并将结果输出到不同的CSV

我试图从'YP_LA_Remodel_urls.csv文件中提取网址(我在下面包含了几个),抓取它们,然后将结果导出到Yp_LA_Remodel_Info.csv。如果我拿一个网址(不是来自csv)和......

回答 1 投票 0

Chrome Webdriver无法完成产品结帐自动化

我正在尝试自动检查此网站上的产品。但是,在最后一步,当一个按钮被点击提交付款时,按钮只是加载和...

回答 2 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.