Web爬虫（也称为Web爬虫）是一种以有条不紊，自动化或有序方式浏览万维网的计算机程序。 Web爬虫的其他术语是蚂蚁，自动索引器，僵尸程序，Web蜘蛛，Web机器人，或者 - 尤其是在FOAF社区中 - Web scutters。
如何循环使用div并仅使用BeautifulSoup和python获取段落标记中的文本？
我正在使用beautifulsoup和python来爬行网页，并仅从网站的段落标记中提取文本。这是我要检索的页面，我希望所有段落中的所有文本...
我想从具有JavaServer Pages和登录保护的网站上抓取一些数据。问题是登录页面是动态创建的。起初，我发现无法登录，因为无法加载...
如果我提供该程序的firefox配置文件的路径，它将打开多个窗口，但如果没有，它将打开多个选项卡。我需要它来打开多个标签。有任何想法吗？ ＃driver = webdriver ....
如果我提供该程序的firefox配置文件的路径，它将打开多个窗口，但如果没有，它将打开多个选项卡。我需要它来打开多个标签。有任何想法吗？ driver = webdriver ....
Scrapy无法到达起始网址：调试：已抓取（200），并且出现错误
我正尝试从Scrapy网站的运动鞋网站上抓取信息，以进行大学项目。这个想法是告诉Scrapy跟踪每个鞋子的每个链接，并刮取四个信息点（名称，...
Webcrawler：在Mac上使用Python3从数组中提取字符串
我在编写网络爬虫以提取货币汇率时遇到问题：来自bs4的导入请求从urllib.parse导入BeautifulSoup导入urljoin导入re url =“ https://wechselkurse-euro.de/” ...
我想问一下是否有适当的方法来检索（不本地保存/下载）正确显示给定HTML页面及其信息（页面大小等）所需的所有文件...
我正在尝试从Nutch 1.16爬网将某些数据索引到Solr，但是某些字段要么具有冗余数据（即“ metatag.author”：[“ someone”，“ someone”]“），要么它们只是将每个元数据混搭...
尝试按照教程构建网络爬虫，并不断获取findall的属性错误
从urllib.request从bs4作为uReq从urlopen导入，作为汤从import BeautifulSoup导入re my_url ='https://www.newegg.ca/p/pl?d=graphics+cards&N=100007708&name=Desktop%20Graphics%20Cards'。 ..
我正在使用Selenium和Webdriver进行抓取项目。由于该数据我需要在大的同时进行爬网，因此我想将其拆分为2个线程并同时运行。但是，当我在...
即使在为Python 3.7安装了请求模块之后，我仍然无法运行我的代码来从网站获取数据。错误代码如下：追溯（最近一次通话最近）：文件“ D：/ Crawler / ...
我使用getElementsByClass获取元素，并且注意到span标签的用法异常。该文本实际上不是在标记文本内，而是在标签特征（标题）内。这是我得到的：
尽管字段被标记为索引= true，Solr仍无法搜索原始的爬网条目
我同时运行Nutch 1.16搜寻器实例和Solr版本8.3.0。我已经能够搜寻本地目录中的文件，并编辑nutch-site.xml，从中提取一些元数据（尽管...
我目前正在从网站上获取价格，大多数产品具有最高和最低价格，但并非所有产品都具有最低价格。那些没有最小值的人会抛出我一直没有用的值...
我有一个爬网的python脚本挂在URL上：pulsepoint.com/sellers.json该机器人使用标准请求来获取内容，但返回错误404。在浏览器中它可以正常工作（存在301 .. 。
我有一个爬网的python脚本挂在URL上：pulsepoint.com/sellers.json该机器人使用标准请求来获取内容，但返回错误404。在浏览器中它可以正常工作（存在301 .. 。
我有一个要使用BeautifulSoup4提取的链接。使用Chrome开发人员工具，我可以识别要搜索的内容，但是bs4只是为find_all返回一个空列表。
如何使用selenium和python循环div并在子元素中获取文本？
我正在使用selenium和python来爬行网页并从网站中提取文本。这是我要检索的页面，我想要div中的所有文本。在此先感谢
如何在Webscrapping期间摆脱ConnectionError？
我正在尝试从此链接的搜索结果中抓取数据。我要报废约2099件商品。但是当我运行我的脚本时，我得到了ConnectionError，但是我只能得到大约...