我有一本非常大的字典,里面的内容看起来像 (词典中未包含的标题):
(code) (names)
------------------------------
910235487 Diabetes, tumors, sugar sick, .....
我的字典里有超过 15 万行这种配对。
用户输入的是关键词(诊断名称),无法通过按键查字典。
这是代码:
var relevantIDs = this.dic.Where(ele => ele.Value.Contains(keyword))
.Select(n => Convert.ToUInt64(n.Key));
字典是
Dictionary<string, string>
,我必须使用字符串作为键的数据类型,因为代码有时可以包含字符。名称列包含相关诊断名称的列表。所以我也无法更改此数据类型。
我认为问题出在一对的每个值上,我执行了
Contains
操作,这会减慢 who 进程,但我找不到其他方法来做到这一点...
这就是我为了找到匹配的代码所做的。
但是这段代码的性能很糟糕(完成这一行代码大约需要 5 分钟)。
有人可以帮忙吗?
更新和最简单的解决方案
我终于找到了搜索速度这么慢的季节,并通过这样做解决了:
var relevantStringIDs = this.dic.Where(ele => ele.Value.Contains(keyword)).Tolist();
var relevantUlongIDs = relevantStringIDs.Select(n => Convert.ToUInt64(n.Key)).Tolist();
之所以这么慢是因为
this.dic.Where(ele => ele.Value.Contains(keyword))
,每次执行查询的第二部分都会执行(这是IEnumerable<T>
的特点,我忘记了它的术语(可能是延迟执行)) 。所以我使用 ToList()
将延迟查询转换为内存中的具体列表,以便在将字符串转换为 ulongs
时可以重用结果,而不是每次转换都再次执行查询。顺便说一句,虽然这可能不是最好的解决方案,但更改后的代码的性能非常令人满意。代码的第一条语句仅花费 169 毫秒,这对我来说已经足够快了。
你的做法是错误的。当您知道 key 而不是值时,字典可以实现高效查找。
修复性能的一个简单方法是构建一个反向字典,模仿内容的全文索引:
var dic = new Dictionary<string, string>();
dic.Add("910235487", "Diabetes, tumors, sugar sick");
dic.Add("120391052", "Fever, diabetes");
char[] delimiters = new char[] { ' ', ',' };
var wordCodes =
from kvp in dic
from word in kvp.Value.Split(delimiters, StringSplitOptions.RemoveEmptyEntries)
let code = long.Parse(kvp.Key)
select new { Word = word, Code = code };
var fullTextIndex =
wordCodes.ToLookup(wc => wc.Word, wc => wc.Code, StringComparer.OrdinalIgnoreCase);
long[] test1 = fullTextIndex["sugar"].ToArray(); // Gives 910235487
long[] test2 = fullTextIndex["diabetes"].ToArray(); // Gives 910235487, 120391052
全文索引的构建需要较长的时间;然而,这是一次性成本,将通过后续查找节省的时间来摊销。
您的问题是,通过迭代字典的值,您会失去字典的所有速度优势。 字典针对关键查找进行了优化。
我会使用不同的数据类型来解决这个问题,并针对关键字查找进行优化。
这是一个使用 LINQ 从与您的数据类似的数据创建 Lookup 的示例。 在本例中,我直接从字符串数据构建它,这完全避免了字典。
这种类型的查找应该表现得更好。
string [] lines = {
"123 A, B, C, D",
"456 E, F, G",
"321 A, E, H, I",
"654 B, G",
"789 A, J, K, L",
"987 A, M, L, E"
};
var lookup = lines.SelectMany (
l => (l.Split(new char[]{' '},2)[1]).Split(',').Select (v => v.Trim().ToLower()).ToArray(),
(l,o) => new{
keyword = o,
code = Convert.ToInt64(l.Split(' ')[0])
}).ToLookup(k => k.keyword, v => v.code).Dump();
Console.WriteLine(String.Join(",",lookup["a"]));
Console.WriteLine(String.Join(",",lookup["l"]));
Console.WriteLine(String.Join(",",lookup["b"]));
请注意,这假设您正在查找整个关键字(您的初始示例可以查找部分关键字)