Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”（例如使用Excel VBA）的问题应该*进行彻底的研究*，因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序，定制软件的开发，甚至是标准化方式的手动数据收集。
我需要你的帮助来从HTTP响应中收到的表单中获取元素值。场景：例如，在购买股票时，您点击特定股票的“买入”按钮。同一时间......
Mechanize Rails - Web Scraping - 服务器使用JSON进行响应 - 如何将URL解析为下载CSV
我是Mechanize的新手并试图克服这个非常明显的答案。我将一个简短的脚本放在外部站点上进行身份验证，然后单击一个动态生成CSV文件的链接。一世 ...
我想忽略 which is inside element and only get the text of the . 144.000 TL 的内容
我是node / puppeteer的新手我遇到问题点击下一个按钮将密码添加到Google登录表单中。我可以添加电子邮件，然后单击电子邮件的下一个按钮。我还可以加入......
如何在通用函数中的html_nodes中包装css和xpath参数
我想创建一个能够读取CSS和XPATH参数的html_node包装器。我想创建一个可以提供给html_node的引用表达式，并在现场进行评估。一世 ...
我已经在节点中使用request和cheerio创建了一个脚本来从它的登陆页面获取不同帖子的不同标题和链接，然后将这些标题和链接传递给另一个函数，这样我...
有了美丽的汤，我需要检测一个表达的含义。根据许多定义，只需要一个。在美丽的汤中，内容如下：occhio della testa
使用xpath和LXML或selenium从HTML表中搜索数据
我需要从这个网站从HTML表中提取数据：https：//1x2.lucksport.com/result_en.shtml？dt = 2019-04-12＆cid = 156我使用Python，selenium和lxml与xpath我想提取每个匹配...
我试图在电子商务网站上获得所有产品，它使用无限滚动来加载产品，我找到了一个滚动到页面底部的解决方案，但是，它似乎没有......
我过去2年一直在使用scrapy。现在有一些问题，我无法找出这是什么问题。我正在爬行大约80个站点。所有这些都被抓取，但大约有6个网站没有被抓取。我在用 ...
在滚动到底部之后我试图将所有链接提取到页面末尾，但是在运行我的代码之后，我只获得了一些链接。我尝试使用BeautifulSoup下面的代码来刮掉所有...
我从一个页面提取数据，然后从此页面迭代URL并从另一个页面获取另一个信息。但输出不正确 - 请参见截图。来自第二个'def'的物品落入......
我想从这个页面抓住股票代码。这是我的代码：从selenium import webdriver import pandas as pd url ='https://stock360.hkej.com/StockScreener/profession/tab/profile'...
如何使用Scrapy获取stat（item_scraped_count）？
我想获取已删除项目的总计数，但我总是从scrapy.stats导入stats类错误MySpider（Spider）：name =“myspider”start_urls = [“http://example.com”] ...
我编写了以下代码来读取网页内容：string url =“https://hackerone.com/directory?asset_type=URL&order_direction=DESC&order_field=started_accepting_at”; HttpClient ......
我试图找到并打印包含我感兴趣的月份的所有h3标签。为此，我试图制作一个我的bs4对象（头部）的for循环，并在其中的if语句指定打印...
我正在尝试刮取finance.yahoo.com并下载数据文件。具体来说，这个网址：https：//finance.yahoo.com/quote/AAPL/history？p = AAPL我想在这里完成两个目标：1）我......
我正试图从网站下载一些图像（比如前10个）。问题是我不知道html是如何工作的。到目前为止我做了什么：来自selenium import webdriver import time driver = ...
我想提取下面链接中表中列出的所有函数：python函数列表我已经尝试使用chrome开发人员控制台来获取要在文件中使用的确切xpath ...