如何在Linux服务器上进行Web抓取

Question

我想在linux服务器上进行网络报废。但是Linux服务器没有GUI和浏览器。他们只有黑屏，即终端。最近我使用python和chromedriver在windows上准备了一个selenium脚本，它在whatsapp上给你的朋友发消息。我想在linux服务器上部署它。它不会在那里运行，对吗？那么，它是如何完成的？

Answer 1

您可以使用选项--headlessand运行Chrome / Firefox，它将在不显示窗口的情况下运行，因此不需要XWindow（GUI）。它被称为headless网络浏览器。 （没有监视器的服务器称为headless服务器）

Selenium可以使用不显示窗口的webdriver PhantomJS（而不是Chrome / Firefox）（可能它使用WebKit / Qt）。但是这个驱动程序不再开发了。

Linux也可以使用Xfbv创建虚假/虚拟监视器并运行需要XWindow的程序。