AngleSharp - 如何浏览其链接触发表单提交的网站

问题描述 投票:0回答:1

我试图从本网站的多个搜索结果页面中删除“阅读更多”链接:https://www.cgg.com/en/31

搜索结果的任何特定页面都没有规范链接。导航到第2页时,URL仍为https://www.cgg.com/en/31

检查基础HTML和JavaScript后,我看到分页链接在单击时会触发JavaScript函数。

<a href="javascript:__doPostBack('ctl00$ContentPlaceHolder1$ctl00$Layout-7-main-partial2$TmsPager1$ctl02$ctl00','')">NEXT</a>

这是被调用的函数:

<script type="text/javascript">
//<![CDATA[
var theForm = document.forms['form1'];
if (!theForm) {
    theForm = document.form1;
}
function __doPostBack(eventTarget, eventArgument) {
    if (!theForm.onsubmit || (theForm.onsubmit() != false)) {
        theForm.__EVENTTARGET.value = eventTarget;
        theForm.__EVENTARGUMENT.value = eventArgument;
        theForm.submit();
    }
}
//]]>
</script>

因此,通过单击“下一步”,浏览器将重定向到相同的URL但具有不同的内容。

点击“下一步”按钮后,我想从下一页抓取“阅读更多”链接。我如何使用AngleSharp执行此操作,因为单击“下一步”按钮实际上提交表单并重新加载页面?

这是我到目前为止:https://dotnetfiddle.net/3f6XZC

asp.net web-scraping anglesharp
1个回答
1
投票

这里有两个可能的答案:

  1. 您需要JavaScript(例如,AngleSharp.JavaScript,这是最新版本的AngleSharp尚不可用),并且需要通过“单击”触发JavaScript的链接来触发表单提交。

(这个不起作用 - 至少还没有 - 如上所述)

  1. (我想这就是你要追求的那个 - 从问题的部分来判断)你需要在C#中实现那个特定的JS。由于AngleSharp为您提供动态DOM,您可以这样做。

C#中的特定代码如下所示(假设您还调用了document实例document):

Task SubmitForm(IDocument document, string eventTarget, string eventArgument)
{
    var theForm = document.Forms["form1"];

    if (!theForm) {
        throw new InvalidOperationException("The form cannot be found!");
    }

    void SetElement(string name, string value)
    {
        var element = theForm.Elements[name] as IHtmlInputElement;

        if (element != null)
        {
            element.value = value;
        }
    }

    SetValue("__EVENTTARGET", eventTarget);
    SetValue("__EVENTARGUMENT", eventArgument);
    return theForm.SubmitAsync();
}

希望有所帮助!

© www.soinside.com 2019 - 2024. All rights reserved.