Selenium jSoup从Javascript网页获取数据

Question

最近有人问了几个问题，但还没找到我想要的东西。

我想把所有来自http://www.futbol24.com/Live/?__igp=1&LiveDate=20141106的比赛打印出来，与时间，主队和客场球队打成一片。我理解页面后加载的内容。

我被告知使用Selenium然后在结果上使用jSoup来获取我想要的数据。有没有人有他们可以给我看的教程或一些示例代码，如何在上面的网站上做？

任何例子都将非常感谢，谢谢

Answer 1

如果您要对某人的网站进行搜索/数据删除，请注意以下事项：

1. 获得该网站所有者的许可！如果你不这样做，你会惹恼所有者并在最好的情况下被列入黑名单，或者在最坏的情况下被提起诉讼。
2. 找出该网站是否暴露了api。这始终是抓取网站的更好方法。
3. 更适合此任务的研究工具/库。其中一些包括curl，wget，httpbuilder，.....根据您的舒适/知识水平，您可能需要研究基础技术：http，rest，.....
4. selenium是一个用于浏览器应用程序的功能测试库，这使得它成为这项任务的不良选择。

PS：我完全期待这个被关闭/关闭，因为讨论/意见是off-topic for SO。

Answer 2

这对我有用：

System.setProperty("webdriver.chrome.driver","C:\\tools\\chromedriver_win32\\chromedriver.exe");
WebDriver driver = new ChromeDriver();
driver.get(url);
Document doc = Jsoup.parse(driver.getPageSource());
// Jsoup code here to parse/scrape data
driver.close();
driver.quit();