我正在寻找如何抓取以下网站的最佳和最有效的解决方案:
我目前正在使用 Scrapingtool Octoparse,但我对该工具不是很满意。他们提供的云抓取经常失败,所以我总是必须在本地抓取,这不是很有效。我需要一个工具/程序/服务,可以大规模地基于云抓取这些网站。
有什么工具可以推荐吗?我听说过很多有关 scrapy、beautiful soup 和其他需要 Python 知识的工具。我会花时间学习这些工具,但我不太确定什么是最有效的方法。
如果有人能给我一些建议,我很高兴:)
PS:我是招聘人员,需要我的候选人的数据。我想尽可能多地抓取工作列表平台,以收集所有正在招聘的公司。
你需要收获的数据并非来自linkedin。您需要收集的数据来自您的候选人。您需要将它们放在它们所属的地方,而不是您可以最快拿到它们的地方。