我想从网络上抓取数据,我正在使用 HtmlAgilityPack (c#) 中的 HtmlWeb、HtmlDocument 但我只从我加载的数据中收到“启用 javascript 和 cookies 以继续” 任何人都可以帮助我,非常感谢。
HtmlWeb web = new HtmlWeb();
//HtmlDocument doc = web.Load("https://www.kqxs.vn/mien-nam");
HtmlDocument doc = web.Load("https://xosodaiphat.com/xsmn-thu-7.html");
Thread.Sleep(500);
doc.OptionFixNestedTags = true;
var elements = doc.DocumentNode.SelectNodes($"//span")?.ToArray();
int line = 0;
for (int i = 0; i < (18 * max); i++)
{ var content = elements[i].InnerText.Replace(" ", string.Empty).Replace(".", string.Empty); }
请使用selenium来渲染网络爬虫