如何使用 Ruby 抓取由 Javascript 函数生成的数据？

Question

我正在尝试从 this 页面中抓取最新日期（即表格的第一行）的数据 URL 链接。看起来表格的内容是由 JavaScript 函数生成的。

我尝试使用 Nokogiri 来获取它，但 Nokogiri 无法抓取 JavaScript。然后，我尝试仅使用 Nokogiri 来获取脚本部分：

url = "http://www.sgx.com/wps/portal/sgxweb/home/marketinfo/historical_data/derivatives/daily_data"
doc = Nokogiri::HTML(open(url))
js = doc.css("script").text
puts js

在输出中，我找到了我想要的带有类名

sgxTableGrid

的表。但是，问题是 JavaScript 函数中没有关于数据 URL 链接的任何线索，并且所有内容都是动态生成的。

有人知道解决这个问题的更好方法吗？

Answer 1

查看该页面的 HTML，该表是由作为 JavaScript 请求结果接收到的 JSON 生成的。

您可以通过向后追溯页面的源代码来弄清楚发生了什么。如果您想在 JavaScript 之外检索 JSON，则需要以下一些内容，但是仍然需要做一些工作来实际使用它：

1. 从这段代码开始：

   require 'open-uri'
   require 'nokogiri'
   
   doc = Nokogiri::HTML(open('http://www.sgx.com/wps/portal/sgxweb/home/marketinfo/historical_data/derivatives/daily_data'))
   scripts = doc.css('script').map(&:text)
   
   puts scripts.select{ |s| s['sgxTableGrid'] }
   

   查看编辑器中的文本输出。搜索

   sgxTableGrid

   。你会看到这样一行：

   var tableHeader =  "<table width='100%' class='sgxTableGrid'>"
   

   再往下看一点，你会看到：

   var totalRows = data.items.length - 1;
   

   data

   来自被调用函数的参数，所以这就是我们开始的地方。

2. 获取包含函数名称的唯一部分

   loadGridns_

   并搜索它。每次找到它时，查找参数

   data

   ，然后查看

   data

   的定义位置。如果它被传递到该方法中，则搜索以查看调用它的内容。重复这个过程，直到您发现变量没有传递到函数中，此时您就会知道您正在使用创建它的方法。

3. 我发现自己处于一个以

   loadGridDatans

   开头的函数中，它是执行

   xhrPost

   调用以检索 URL 的块的一部分。该 URL 就是您要查找的目标，因此请获取包含函数的名称，然后循环遍历传入 URL 的调用，就像您在上面的步骤中所做的那样。

4. 搜索结果如下所示：

   var url = viewByDailyns_7_2AA4H0C090FIE0I1OH2JFH20K1_...
   

5. 此时您可以开始重建您需要的 URL。打开 JavaScript 调试器（例如 Firebug），并在该行上放置一个断点。重新加载页面，JavaScript 应在该行停止执行。单步执行或设置断点，然后观察

   url

   变量的创建，直到其达到最终形式。此时，您可以在

   OpenURI

   中使用一些东西，它 应该 检索您想要的 JSON。

注意，它们的函数名称可能是动态生成的；我没有检查，所以尝试使用函数的全名可能会失败。

他们还可能序列化日期时间戳或使用序列化的会话密钥以使函数名称唯一/更不透明，这样做的原因有很多。

尽管拆开这些东西很痛苦，但这也是动态页面如何工作的一个很好的教训。