为什么我在使用 HtmlAgilityPack 抓取时收到“启用 javascript 和 cookies 以继续”消息？

Question

我想从网络上抓取数据，我正在使用 HtmlAgilityPack (c#) 中的 HtmlWeb、HtmlDocument 但我只从我加载的数据中收到一条“启用 javascript 和 cookies 以继续”的消息。

HtmlWeb web = new HtmlWeb();
//HtmlDocument doc = web.Load("https://www.kqxs.vn/mien-nam");
HtmlDocument doc = web.Load("https://xosodaiphat.com/xsmn-thu-7.html");

Thread.Sleep(500);
doc.OptionFixNestedTags = true;
var elements = doc.DocumentNode.SelectNodes($"//span")?.ToArray();
int line = 0;
for (int i = 0; i < (18 * max); i++)
{
   var content = elements[i].InnerText.Replace(" ", string.Empty).Replace(".", string.Empty);
}

Answer 1

请使用selenium来渲染网络爬虫