web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

来自xpath的'text()'返回错误,无效的参数

使用contains('text','some text')有效,但我想检查它是否只包含我正在插入的内容..我发现包含(text()=“some text”),但它返回为无效争论..你能告诉我......

回答 1 投票 0

VBA:从HTMLTable中抓取确切的元素

请问您能帮我理解如何在表中找到带有类名bptable的标签吗?我收到Object不支持这种方法,我不知道如何解决这个问题。子...

回答 2 投票 1

如何使用python中的beautifulsoup从“span”标签中使用“data-reactid”进行网络抓取?

我试图从雅虎财经中提取股票的实时价格数据。此信息包含在“span”标记中,其中包含“class”和“data-reactid”。我无法从中提取信息......

回答 4 投票 3

在特定div的span类中获取文本

我正在抓住T-Mobile网站上的三星Galaxy S9评论。我能够为HTML代码创建一个Beautiful Soup对象,但我无法获取内部存在的评论文本...

回答 3 投票 -1

如何在手风琴Python中抓取隐藏文本

我写了一个简单的脚本,返回澳大利亚赌博网站的具体信息。它运作良好,但是我在打开每个手风琴掉落时自动化很麻烦......

回答 1 投票 2

使用requests_html进行抓取时如何获取最后一个元素

我尝试用requests_html废弃一些东西。有几个div标签包含我想要废弃的类名。我知道你可以选择first = True的第一个元素,因为它是:...

回答 1 投票 0

R在具有非动态URL的多级网站上进行网页抓取

如果我没有找到关于此问题的上一个主题,我会道歉。我想抓这个网站http://www.fao.org/countryprofiles/en/特别是,这个页面包含很多国家的链接......

回答 1 投票 0

从亚马逊的搜索页面抓取ASIN

我试图在亚马逊上刮掉ASIN号码。请注意,这与产品详细信息无关(例如:https://www.youtube.com/watch?v = qRVRIh3GZgI),但这是在您搜索关键字时(...

回答 1 投票 5

避免关闭浏览器

我使用Selenium.ChromeDriver在VBA上编写了一个宏,它打开了网站并为其提供了各种操作。但问题是,如果宏中出现错误,我在调试模式下单击“停止”,...

回答 1 投票 0

尝试将URL Json导入Excel时出错

我正在尝试通过WinHttpRequest从以下Url导入JSON格式的信息:https://bet.hkjc.com/football/getJSON.aspx?jsontype = odds_allodds.aspx&matchid = default子测试()昏暗...

回答 1 投票 0

我想获取个人的详细信息[关闭]

我没有在这里得到地址。它给了我每个人的地址'我'。我想为每个人取地址。此代码提供除bs4导入地址以外的所有其他详细信息...

回答 2 投票 -3

如何拆分已删除的数据并将其保存在具有完整链接和描述的csv的单独列中?

我正在使用Web Scraper,如果它与关键字列表匹配,则返回作业发布的链接和描述。我遇到的问题是导出的csv只有一个...

回答 3 投票 0

在firebase云功能中运行puppeteer代码

我正在开发一个个人项目,这是一个应用程序,用户可以输入他们的地址和信用卡信息,然后单击按钮为我经常访问的大学之一购买停车许可证。 ...

回答 3 投票 1

用R抓取webx页面的aspx网页

我正试图在R中搜索“http://www.phl.org/Pages/Flight-Information.aspx#/Arrivals”网页,以获取费城航班的到达时间表(然后最终离开)。 。

回答 1 投票 1

如何使用scrapy刮擦两个不同的域?

嗨我想在我的脚本中刮掉2个不同的域我已经尝试了我的if语句,但我似乎它不起作用,请问有什么想法吗?这是我的代码类SalesitemSpiderSpider(scrapy ....

回答 1 投票 0

如何按标签,标签名称获取元素,然后单击标签位置(不工作)//镜像iMacros程序(工作)

目标:自动运行Web报表,保存到文件,上传到FTP问题:无法单击VBA中的元素,但我知道我需要采取的路由,因为宏成功地在...

回答 2 投票 1

我怎样才能获得姓名和联系电话?

我正试图从div获取姓名和联系电话。 div有时有一个跨度,有时是两个,有时是三个。我的期望是:我只需要姓名和联系电话号码。

回答 2 投票 0

从网站表中提取标签名称为“table”的数据,而不是其他内容

要导入的数据位于具有标记名称“table”的表中,而不是其他任何内容。当我在页面中分配所有表格时,我认为它不算作表格。 Sub PullData()Dim IE As New SHDocVw ....

回答 1 投票 -1

来自Kitco Inc.的Web数据提取/刮擦数据仅限文本市场页面

我希望从http://www.kitco.com/texten/texten.html获取数据: Text Only Market Page

回答 1 投票 0

刮掉AMP版本的网页是否更容易?

我正在研究一个聚合报纸文章的网络刮板。我知道AMP协议要求一个精简的Javascript版本,我也知道Javascript(部分)启用网站...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.