从 IQueryable 生成缓存键以缓存 EF Code First 查询的结果

问题描述 投票:0回答:4

我正在尝试为我的 EF 存储库实现一种缓存方案,类似于此处博客中的方案。 正如作者和评论者所报告的,限制是密钥生成方法无法生成随给定查询参数而变化的缓存密钥。这是缓存密钥生成方法:

private static string GetKey<T>(IQueryable<T> query)
{
    string key = string.Concat(query.ToString(), "\n\r",
        typeof(T).AssemblyQualifiedName);
    return key;
}

因此以下查询将产生相同的缓存键:

var isActive = true;
var query = context.Products
.OrderBy(one => one.ProductNumber)
.Where(one => one.IsActive == isActive).AsCacheable();

var isActive = false;
var query = context.Products
.OrderBy(one => one.ProductNumber)
.Where(one => one.IsActive == isActive).AsCacheable();

请注意,唯一的区别是第一个查询中的

isActive = true
和第二个查询中的
isActive = false

任何有关有效生成因

IQueryable
参数而异的缓存键的建议/见解将不胜感激。

感谢 Sergey Barskiy 分享 EF CodeFirst 缓存方案。

更新

我自己采用了遍历 IQueryable 表达式树的方法,目的是解析查询中使用的参数值。 根据 maxlego's 的建议,我扩展了 System.Linq.Expressions.ExpressionVisitor 类来访问我们感兴趣的表达式节点 - 在本例中为 MemberExpression。 更新后的

GetKey
方法看起来像这样:

public static string GetKey<T>(IQueryable<T> query)
{
    var keyBuilder = new StringBuilder(query.ToString());
    var queryParamVisitor = new QueryParameterVisitor(keyBuilder);
    queryParamVisitor.GetQueryParameters(query.Expression);
    keyBuilder.Append("\n\r");
    keyBuilder.Append(typeof (T).AssemblyQualifiedName);

    return keyBuilder.ToString();
}

QueryParameterVisitor
课程的灵感来自于Bryan WattsMarc Gravell对这个问题的回答,看起来像这样:

/// <summary>
/// <see cref="ExpressionVisitor"/> subclass which encapsulates logic to 
/// traverse an expression tree and resolve all the query parameter values
/// </summary>
internal class QueryParameterVisitor : ExpressionVisitor
{
    public QueryParameterVisitor(StringBuilder sb)
    {
        QueryParamBuilder = sb;
        Visited = new Dictionary<int, bool>();
    }

    protected StringBuilder QueryParamBuilder { get; set; }
    protected Dictionary<int, bool> Visited { get; set; }

    public StringBuilder GetQueryParameters(Expression expression)
    {
        Visit(expression);
        return QueryParamBuilder;
    }

    private static object GetMemberValue(MemberExpression memberExpression, Dictionary<int, bool> visited)
    {
        object value;
        if (!TryGetMemberValue(memberExpression, out value, visited))
        {
            UnaryExpression objectMember = Expression.Convert(memberExpression, typeof (object));
            Expression<Func<object>> getterLambda = Expression.Lambda<Func<object>>(objectMember);
            Func<object> getter = null;
            try
            {
                getter = getterLambda.Compile();
            }
            catch (InvalidOperationException)
            {
            }
            if (getter != null) value = getter();
        }
        return value;
    }

    private static bool TryGetMemberValue(Expression expression, out object value, Dictionary<int, bool> visited)
    {
        if (expression == null)
        {
            // used for static fields, etc
            value = null;
            return true;
        }
        // Mark this node as visited (processed)
        int expressionHash = expression.GetHashCode();
        if (!visited.ContainsKey(expressionHash))
        {
            visited.Add(expressionHash, true);
        }
        // Get Member Value, recurse if necessary
        switch (expression.NodeType)
        {
            case ExpressionType.Constant:
                value = ((ConstantExpression) expression).Value;
                return true;
            case ExpressionType.MemberAccess:
                var me = (MemberExpression) expression;
                object target;
                if (TryGetMemberValue(me.Expression, out target, visited))
                {
                    // instance target
                    switch (me.Member.MemberType)
                    {
                        case MemberTypes.Field:
                            value = ((FieldInfo) me.Member).GetValue(target);
                            return true;
                        case MemberTypes.Property:
                            value = ((PropertyInfo) me.Member).GetValue(target, null);
                            return true;
                    }
                }
                break;
        }
        // Could not retrieve value
        value = null;
        return false;
    }

    protected override Expression VisitMember(MemberExpression node)
    {
        // Only process nodes that haven't been processed before, this could happen because our traversal
        // is depth-first and will "visit" the nodes in the subtree before this method (VisitMember) does
        if (!Visited.ContainsKey(node.GetHashCode()))
        {
            object value = GetMemberValue(node, Visited);
            if (value != null)
            {
                QueryParamBuilder.Append("\n\r");
                QueryParamBuilder.Append(value.ToString());
            }
        }

        return base.VisitMember(node);
    }
}

我仍在对缓存密钥生成进行一些性能分析,并希望它不会太昂贵(一旦获得结果,我将用结果更新问题)。我将保留这个问题,以防有人对如何优化此过程有建议,或者建议更有效的方法来生成随查询参数变化的缓存键。 尽管此方法产生了所需的输出,但它绝不是最佳的。

entity-framework caching repository ef-code-first iqueryable
4个回答
1
投票

1
投票

仅供记录,“缓存 LINQ 查询的结果”与 EF 配合良好,并且能够正确使用参数,因此可以将其视为 EF 的良好二级缓存实现。


1
投票

虽然OP的解决方案运行得很好,但我发现该解决方案的性能有点差。

对于我的查询,密钥生成的持续时间在

300ms

1200ms
 之间变化。 

但是,我找到了另一种具有更好性能的解决方案(

<10ms

)。

public static string ToTraceString<T>(DbQuery<T> query) { var internalQueryField = query.GetType().GetFields(BindingFlags.NonPublic | BindingFlags.Instance).Where(f => f.Name.Equals("_internalQuery")).FirstOrDefault(); var internalQuery = internalQueryField.GetValue(query); var objectQueryField = internalQuery.GetType().GetFields(BindingFlags.NonPublic | BindingFlags.Instance).Where(f => f.Name.Equals("_objectQuery")).FirstOrDefault(); var objectQuery = objectQueryField.GetValue(internalQuery) as ObjectQuery<T>; return ToTraceStringWithParameters(objectQuery); } private static string ToTraceStringWithParameters<T>(ObjectQuery<T> query) { string traceString = query.ToTraceString() + "\n"; foreach (var parameter in query.Parameters) { traceString += parameter.Name + " [" + parameter.ParameterType.FullName + "] = " + parameter.Value + "\n"; } return traceString; }
    

0
投票
我使用这个库序列化了 IQueryable,它看起来使用访问者模式来具体化 IQueryable。

https://github.com/esskar/Serialize.Linq/

© www.soinside.com 2019 - 2024. All rights reserved.