web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”（例如使用Excel VBA）的问题应该*进行彻底的研究*，因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序，定制软件的开发，甚至是标准化方式的手动数据收集。

R中的Tabulizer包：如何在特定标题后刮取表格

如何从PDF中删除一些带有标题文本的表格？我正在尝试使用tabulizer包。这是从特定页面获取表格的示例（波兰语“公共卫生需求图”）......

r web-scraping tidyverse pdf-scraping

回答 2 投票 4

即使在使用webdriverwait并切换到选项后也无法找到Element

我有一个我需要抓的网站。我无法使用selenium的find_element选项来填写搜索词。我尝试过使用webdriverwait和iframe的解决方案...

python selenium web-scraping

回答 2 投票 0

Scrapy跟踪来自HTML的链接数据链接（不是href）

我有以下HTML：Next如果我运行我的蜘蛛，它似乎不使用此链接（只有一个href）。无论如何，Scrapy可能......

python html web-scraping scrapy

回答 1 投票 0

Scrapy Spider完成后如何触发Mongodb导入？

我正在使用Scrapy（Python库）来抓取网站并定期生成json输出文件。为了提高效率，我希望每次将这些json文件批量转发到Mongodb中...

python mongodb web-scraping scrapy upsert

回答 3 投票 0

soup.find_all（'div'，{“class”：“top_first_part clearfix”}）当网页中有匹配时返回空列表

请找到下面的代码，从bs4 import中抛出错误BeautifulSoup import urllib url =“https://www.goibibo.com/flights/air-MAA-SIN-20190403--1-0-0-EI/”page = urllib .request.urlopen（URL = ...

python web-scraping beautifulsoup

回答 2 投票 1

如何拆分字符串以获取联系号码？

我正在尝试从字符串中获取联系号码但是失败了。我的代码：url =“https://www.zillow.com/homes/for_sale/2121711837_zpid/47.285925,-122.4099 25,47.224756，-122.549143_rect / 12_zm / 1_fr //”......

python web-scraping

回答 4 投票 -1

如何在任何Web浏览器中运行Puppeteer代码？

我正在尝试使用Puppeteer进行网络抓取，我需要将值检索到我正在构建的网站中。我试图在html文件中加载Puppeteer文件，就像它是一个JavaScript文件一样......

javascript node.js web-scraping puppeteer

回答 1 投票 0

我能够抓取两个reddit页面，直到某一点，然后我收到一个错误，我不明白为什么

我试图在subreddit页面上进行一些NLP。我有一大堆代码可以收集大量数据两个网页。它会刮擦数据，直到达到范围（40）。这很好，除了我知道......

python web-scraping nlp

回答 1 投票 0

如果在Scrapy中使用Javascript，如何做下一页

我有爬行下一个按钮的问题我尝试了基本的一个，但在检查HTML代码后，它使用javascript我尝试了不同的规则，但没有任何作品在这里的链接为...