C＃使用HtmlAgilityPack在GeckoFX中发生大量内存泄漏

Question

我正在编写一个程序来抓取大量公司网站（最多100,000个）以获取最新的联系信息以及有关其在C＃中的操作领域的一些信息。因为大多数网站都不能在常规.NET webbrowser中显示，所以我使用geckofx导航到这些网站并找到与我相关的内容，我选择了带有HtmlAgilityPack的节点。

这个过程总是一样的：如果我有一个公司的URL我立即访问该网站，否则我使用bing来寻找一个网址（谷歌似乎不喜欢自动使用）。在网站上，我寻找一个指向印记的链接和指向可能指示某些活动区域的页面的链接，我导航到这些链接并查找我事先指定的标语。一切都在同步运行，我等待浏览器每次都触发它的DocumentCompleted事件。

一个例子：

//I navigate to bing looking for my company's name and postal code
Variables.browser.Navigate("https://www.bing.com/search?q=" + c.Name.Replace(" ", "+") + "+" + c.Zip.Replace(" ", "+"));

//I wait for the browser to finish loading. The Navigating event sets BrowserIsReady to false and the DocumentCompleted event sets it to true
do
{
    f.Application.DoEvents();
} while (!Variables.BrowserIsReady);

HtmlDocument browserDoc = new HtmlDocument();
browserDoc.LoadHtml(Variables.browser.Document.Body.OuterHtml);

//I select the relevant node in the document
HtmlNode sidebarNode = browserDoc.DocumentNode.SelectSingleNode("//div[contains(concat(\" \", normalize-space(@class), \" \"), \" b_entityTP \")]");

if (sidebarNode != null)
{
    Variables.logger.Log("Found readable sidebar. Loading data...");
    string lookedUpName, lookedUpStreet, lookedUpCity, lookedUpZip, lookedUpPhone, lookedUpWebsite;

    HtmlNode infoNode = sidebarNode.SelectSingleNode("//div[contains(concat(\" \", normalize-space(@class), \" \"), \" b_subModule \")]");

    HtmlNode nameNode = infoNode.SelectSingleNode("//div[contains(concat(\" \", normalize-space(@class), \" \"), \" b_feedbackComponent \")]");
    if (nameNode != null)
    {
        string[] dataFacts = nameNode.GetAttributeValue("data-facts", "").Replace("{\"", "").Replace("\"}", "").Split(new string[] { "\",\"" }, StringSplitOptions.None);
        foreach (string dataFact in dataFacts)
        {
            //... abbreviated
        }
    }
    //And at the end of every call to a node object I set it back to null
    nameNode = null;
}

我的geckofx不允许将缓存写入内存或从网站加载图像，我使用它设置

GeckoPreferences.Default["browser.cache.memory.enabled"] = false;
GeckoPreferences.Default["permissions.default.image"] = 2;

在创建我的GeckoWebBrowser实例之前。

我打电话给每个被抓的网站

//CookieMan is used as a global variable so I don't have to recreate it every time.
private static nsICookieManager CookieMan;
//...
CookieMan = Xpcom.GetService<nsICookieManager>("@mozilla.org/cookiemanager;1");
CookieMan = Xpcom.QueryInterface<nsICookieManager>(CookieMan);
CookieMan.RemoveAll();
Gecko.Cache.ImageCache.ClearCache(true);
Gecko.Cache.ImageCache.ClearCache(false);
Xpcom.GetService<nsIMemory>("@mozilla.org/xpcom/memory-service;1").HeapMinimize(true);

删除cookie，图像缓存（我甚至不确定是否已创建）以及最小化Xulrunners内存使用情况。

尽管如此，在每个记录的运行时间大约为2-3秒且内存使用率达到200-300mb时，相当不错，在1小时后，每个记录快速爆炸16-17秒，单独使用内存超过2gb。

我尝试使用GC.Collect();（我知道，你不应该这样做）强制垃圾收集，甚至通过停止，处理和重新创建它来回收整个浏览器对象，试图摆脱内存中未使用的垃圾，但无济于事。我也试图关闭Xulrunner并再次启动它，但Xpcom.Shutdown()似乎停止了整个应用程序，所以我无法做到这一点。

在这一点上，我几乎没有想法，并且非常欣赏我尚未采用的方法的新提示。

Answer 1

您是否尝试过使用回收的AppDomains？

AppDomain workerAppDomain = AppDomain.CreateDomain("WorkerAppDomain");
workerAppDomain.SetData("URL", "https://stackoverflow.com");
workerAppDomain.DoCallBack(() =>
{
    var url = (string)AppDomain.CurrentDomain.GetData("URL");
    Console.WriteLine($"Scraping {url}");
    var webClient = new WebClient();
    var content = webClient.DownloadString(url);
    AppDomain.CurrentDomain.SetData("OUTPUT", content.Length);
});
int contentLength = (int)workerAppDomain.GetData("OUTPUT");
AppDomain.Unload(workerAppDomain);
Console.WriteLine($"ContentLength: {contentLength:#,0}");

输出：

刮https://stackoverflow.com ContentLength：262.013

您在主AppDomain和worker AppDomain之间传递的数据必须是可序列化的。

---

更新：最干净的解决方案应该是使用单独的流程。这样可以保证可以可靠地清除泄漏。