web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

如何在OperaDriver中启用内置VPN?

Opera浏览器具有内置VPN,允许您在浏览时隐藏IP。我的问题是,在Python中使用OperaDriver和selenium时可以打开VPN吗? ...的尝试和问题

回答 2 投票 4

得到第一个网页的网址[网络抓python]

我有一堆谷歌查询,我想获得第一次点击的网址。我的一段代码:import requests query ='hello world'url ='http://google.com/search?q ='+ query ...

回答 3 投票 0

使用Python进行Web抓取以使用BeautifulSoup收集有关属性的信息

这是我第一次做网络抓取。我想做的是实现有关属性的所有可能信息(位置,价格等)。所以我现在拥有的,我设法收集了一些......

回答 1 投票 0

无法使用Python获取span文本

我有一个提供登录网页的供应商,我试图获得价格和可用性。在VBA中,选择器在Python中工作我得到无。这是我得到价格的HTML部分:...

回答 2 投票 -1

使用BeautifulSoup获取一个标签内的所有文本?

在以下情况下获取d2和d3文本的方法是什么:import bs4 htmldoc =''' abc def1 ...

回答 2 投票 0

网络抓取 - 处理非致命错误

使用web scraper(bs4,selenium)并想知道是否有更好的方法来处理非致命异常(即异常后继续运行)。在我的代码中有很多尝试例外...

回答 1 投票 1

简单的HTML DOM获取属性 tag

我试图获得'tel'属性,但无法得到它。

回答 1 投票 0

如何在WebBrowser控件和CookieAwareWebClient之间共享cookie?

在工作中,我们登录到提供商的网站,该网站充当文件存储库。出现文件列表。每个文件名都是一个链接。单击该链接,然后下载该文件。它非常轻巧......

回答 1 投票 0

获取链接,同时在R中进行网络抓取

我正在尝试获取谷歌的链接,同时做一个搜索,即所有这些链接:我做过这种刮,但在这种情况下,我不明白为什么它不起作用,所以我运行以下...

回答 1 投票 1

AttributeError:'NoneType'对象没有属性'get_text'python 3x

我一直在使用这段代码:def MainPageSpider(max_pages):page = 1而page <= max_pages:url ='url'+ str(page)source_code = requests.get(url)...

回答 3 投票 -3

嗨,任何人都可以帮我解决如何在文件中追加数据,无法创建文件但没有任何内容被附加,可能是获取错误

从bs4导入请求导入来自datetime import datetime的BeautifulSoup import csv r = requests.get('http://www.amazon.in/s/ref=nb_sb_noss_2?url=search-alias%3Daps&field-keywords=hp+laptops') ...

回答 1 投票 -1

Python selenium scraper在windows上完美运行,但在raspian raspbian上则不然

此脚本的目的是从我的工作计划中删除信息。当我在我的Windows笔记本电脑上运行它时,完整的脚本工作正常,但当我尝试在raspian上运行时,它会出现点击。()

回答 2 投票 0

Python使用请求自动登录

我在使用Python请求自动化以下站点的登录过程时遇到了一些麻烦:https://www.smartmetertexas.com/CAS/public目的是在填写并提交表单数据之前......

回答 1 投票 0

使用Python中的链接刮擦手机型号

我想从这个网站上删除手机型号列表https://www.m1.com.sg/personal/mobile/phones/filters/all-plans/all/all/0/1500/0/0/没有人会列出模型和价格。一世 ...

回答 3 投票 0

如何从本网站的下拉菜单中选择选项

我在vba工作并尝试填写此网站中的表单并获取输出链接此处当我尝试从机场填写输入框时出现问题。这就是我尝试过的:这......

回答 1 投票 1

如何使用Selenium(Python)选择下拉菜单选项值

我需要从下拉菜单中选择一个元素。例如,打开这个: 选择你的水果: ...

回答 9 投票 115

我如何在python中抓取web特殊单词

我想要一个网页废弃特殊单词,我想如果'org'是'England'给我id ='name'和'England'我的代码是:来自bs4 import BeautifulSoup导入请求r = requests.get('https: //然而....

回答 1 投票 -1

无法使用Scrapy修改中间件中的请求

我正在为一个项目(数据科学)搜索关于元理论的公共数据,为了有效地做到这一点,我需要在事件中更改我的scrapy请求中使用的代理...

回答 2 投票 0

Cloudflare Scrapy

我正在尝试使用Scrapy with Cloudflare刮取URL,但我无法获得任何结果:2018-07-09 22:14:00 [scrapy.core.engine]信息:蜘蛛打开2018-07-09 22:14 :00 [scrapy.extensions.logstats] ...

回答 1 投票 1

Web Scraping Python:没有从网页的下拉菜单中获取所需数据

我试图从网页获取数据。这是一个链接https://www.cardekho.com/compare-cars。从这个页面,我们需要一次刮取汽车数据表及其规格的比较......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.