网络抓取 Indeed/linkedIn Jobs/Google/Google 地图

问题描述 投票:0回答:2

我正在寻找如何抓取以下网站的最佳和最有效的解决方案:

  • 确实.com
  • 领英职位
  • 谷歌地图
  • 谷歌搜索

我目前正在使用 Scrapingtool Octoparse,但我对该工具不是很满意。他们提供的云抓取经常失败,所以我总是必须在本地抓取,这不是很有效。我需要一个工具/程序/服务,可以大规模地基于云抓取这些网站。

有什么工具可以推荐吗?我听说过很多有关 scrapy、beautiful soup 和其他需要 Python 知识的工具。我会花时间学习这些工具,但我不太确定什么是最有效的方法。

如果有人能给我一些建议,我很高兴:)

PS:我是招聘人员,需要我的候选人的数据。我想尽可能多地抓取工作列表平台,以收集所有正在招聘的公司。

web-scraping beautifulsoup scrapy web-crawler
2个回答
0
投票

你需要收获的数据并非来自linkedin。您需要收集的数据来自您的候选人。您需要将它们放在它们所属的地方,而不是您可以最快拿到它们的地方。


0
投票

您正在使用许多网络抓取解决方案,例如 Octoparse。

我在 SerpApi 工作,虽然我们尚未提供 Indeed 和 LinkedIn API,但我们有用于抓取 Google 搜索Google 地图Google 职位的 API,您可能会发现它们很有用。

我们提供了一些无代码选项,您可以使用它们来代替 Python 或任何其他编程语言。

第一个是我们的 Google Sheets 扩展。您可以在这里找到更多详细信息。

第二个选项是基于网络的应用程序,您可以在 UI 中指定参数,然后将结果导出到电子表格中。

© www.soinside.com 2019 - 2024. All rights reserved.