web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

使用beautifulsoup Python获取div中的第一个链接

我正在尝试使用此HTML中的beautifulsoup获取此链接: Download as Excel tables:

回答 2 投票 2

刮难桌

我一直试图从这里刮一张桌子很长一段时间,但都没有成功。我试图抓的桌子名为“Team Per Game Stats”。我有信心,一旦我能够......

回答 2 投票 2

'BeautifulType'对象在Beautiful Soup 4中无法调用

我是python的新手,并开始尝试使用Beautiful Soup 4.我尝试编写可以在一个页面上获取所有链接的代码然后使用这些链接重复这些优点,直到我有一个完整的...

回答 2 投票 0

VBA使用CreateObject(“msxml2.xmlhttp”) - 从具有不规则结构的表中获取数据

我已经花了5个小时试图解决这个问题,花了几个小时试图理解它,所以这里是:)我试图从Market Screener上的这个公司页面中提取一些表...

回答 2 投票 1

Python和BeautifulSoup 4 - 循环返回重复的结果

我正试图从6pm.com刮掉而且我遇到了一个问题 - 我的循环似乎正在返回重复的结果,例如当不同的产品时,它会多次重复使用同一产品......

回答 2 投票 0

如何使用scrapy解析xml

如何使用scrapy刮取XML。我的XML看起来像这样: NFE / 5.0

回答 1 投票 1

网页刮痧excel VBA

我正试图从网上刮一张桌子,但由于某种原因,我没有得到整张桌子。它只获取1列而不是全部列。任何帮助将不胜感激!谢谢!这是......

回答 2 投票 1

Web Scrape基于Javascript的表

我正试图抓取表格的内容,包括电话号码,但无法提取所有数据。这是我的代码:从bs4 import BeautifulSoup import os导入urllib import urllib.request ...

回答 1 投票 0

无法让我的脚本继续点击使用IE加载更多按钮

我已经使用IE在vba中创建了一个脚本,以便继续点击位于网页底部的“加载更多点击”按钮,直到没有剩下这样的按钮为止。这是我的脚本如何填充...

回答 2 投票 5

无法在由函数填充的子过程中打印所有结果

我在vba中编写了一个脚本来打印由getPOST()函数填充的子过程PrintResult()中的所有结果。我当前的尝试是仅打印已解析内容的最后结果。 ...

回答 1 投票 1

使用beautifulsoup在Python中进行足球网络刮痧[关闭]

问题我已经设法从“goal.com”中删除了俱乐部的名称,但现在我需要利用这些数据。我不知道如何从这些数据中选择一个特定的俱乐部并使用它,所以我可以......

回答 2 投票 -1

美丽的汤 - 错误拉动每个循环页面上没有的网站链接

我正在进行我的第一次网络搜索,并且由于stackoverflow的帮助,我设法将以下代码放在一起。此代码适用于点击每个页面,然后进入...

回答 1 投票 -2

在某些循环结束之前,无法使我的脚本处理错误

我已经在vba中编写了一个脚本来刮取在发出代理请求时填充的ip地址。我在我的vba脚本中使用了代理(代理列表)进行测试(可能没有一个正在工作......

回答 2 投票 1

在Web scraper脚本中仅反转for循环中没有数字的字符串

这是我遇到问题的代码:来自bs4 import BeautifulSoup导入请求url = requests.get('https://www.whatever.com/')soup = BeautifulSoup(url.text,'lxml')scraper =汤....

回答 2 投票 0

从脚本中提取 - 美丽的汤

如何从此页面的源中提取“tier1Category”的值? https://www.walgreens.com/store/c/walgreens-wal-zyr-24-hour-allergy-tablets/ID=prod6205762-product soup.find('...

回答 4 投票 1

如何通过Selenium和Xpath定位元素

所以我试图从网站上删除一些信息,当我尝试通过xpath获取元素时,当我提供的路径直接从...复制时,我收到错误“无法找到元素”

回答 4 投票 0

从网站上的产品目录中搜集价格数据[关闭]

我熟悉urllib,因为我在课堂上使用它来解析来自Google货币转换器的数据,但现在我想创建一个网络刮板,从这个网站nextworth.com获取价格。尽你所能 ...

回答 2 投票 -4

在抓取之前等待页面加载

我试图浏览足球网站的多个页面。所有链接都在teamLinks列表中。其中一个链接的示例是:'http://www.premierleague.com//clubs/1/Arsenal/squad?se=79'。一世 ...

回答 2 投票 1

将IE的第二个选项卡分配给对象变量

完整目的:以编程方式从DoD网站下载XLS文件,而无需信任该证书。详细信息:我希望通过我的代码与第二个选项卡进行交互。 ...

回答 1 投票 1

GET请求数据不会更新

我正在尝试从API检索数据,但即使我在GET请求之前将其设置为空,我的变量也不会更新。仅当我关闭Excel并重新打开它时,变量的数据才会更新。是......

回答 2 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.