在网页上进行某些选择时如何找到正确的URL？

Question

我是新手，了解网络抓取。通过使用xpath选择器，我试图获取该网页上的知识：https://seffaflik.epias.com.tr/transparency/uretim/planlama/kgup.xhtml

但是关键是，每当您更改日期或动力装置名称时，URL都不会更改，因此，当您获取响应时，您将始终得到相同且错误的答案。有没有找到正确的URL或与HTML标记等有关的其他方法？

Answer 1

对于这样的抓取操作，您不仅需要加载文档然后抓取内容，还需要做更多的事情。在用户定义了一组特定的参数并更新了表单后，文档中的疑问依赖于JavaScript从其他资源中加载新信息。

加载文档后，您需要定义搜索参数。您可以通过JavaScript注入或通过浏览器的控制台执行此操作。例如，如果您尝试定义第一个日期字段的值，则可以使用

document.querySelectorAll('#j_idt199 input')[1].value = "Some/New/Date";

对您希望在搜索中定义的其他字段重复此过程，然后运行以下代码以编程方式执行搜索：
document.querySelector('#j_idt199 button').click();

[之后，您可以使用普通的JS查询选择器获取所需的信息，也可以实现像artoo.js这样的抓取库来帮助您解释数据并导出。