Java中的按键阻塞Map

Question

我正在处理一些第三方库代码，涉及创建昂贵的对象并在Map中缓存它们。现有的实现类似于

lock.lock()
try {
    Foo result = cache.get(key);
    if (result == null) {
        result = createFooExpensively(key);
        cache.put(key, result);
    }
    return result;
} finally {
    lock.unlock();
}

显然，当不同的Foos的keys可以独立创建时，这不是最好的设计。

我目前的黑客是使用Map的Futures：

lock.lock();
Future<Foo> future;
try {
    future = allFutures.get(key);
    if (future == null) {
        future = executorService.submit(new Callable<Foo>() {
            public Foo call() {
                return createFooExpensively(key);
            }
        });
        allFutures.put(key, future);
    }
} finally {
    lock.unlock();
}

try {
    return future.get();
} catch (InterruptedException e) {
    throw new MyRuntimeException(e);
} catch (ExecutionException e) {
    throw new MyRuntimeException(e);
}

但这似乎......有点hacky，原因有两个：

1. 这项工作是在一个任意的汇集线程上完成的。我很乐意在尝试获取特定密钥的第一个线程上完成工作，特别是因为它无论如何都会被阻塞。
2. 即使Map完全填充，我们仍然通过Future.get()得到结果。我希望这很便宜，但它很难看。

我想要的是将cache替换为Map，它将阻止获取给定键，直到该键具有值，但同时允许其他获取。有这样的事情吗？或者有人有一个更清洁的替代Map Futures？

Answer 1

为每个键创建锁定听起来很诱人，但它可能不是您想要的，特别是当键的数量很大时。

由于您可能需要为每个密钥创建一个专用（读写）锁，它会影响您的内存使用量。此外，如果并发性真的很高，那么精细粒度可能会在给定有限数量的核心的情况下达到收益递减点。

在这种情况下，ConcurrentHashMap通常是一个很好的解决方案。它通常提供完整的读者并发（通常读者不会阻塞），并且更新可以并发达到所需的并发级别。这为您提供了非常好的可扩展性。上面的代码可以用ConcurrentHashMap表示，如下所示：

ConcurrentMap<Key,Foo> cache = new ConcurrentHashMap<>();
...
Foo result = cache.get(key);
if (result == null) {
  result = createFooExpensively(key);
  Foo old = cache.putIfAbsent(key, result);
  if (old != null) {
    result = old;
  }
}

直接使用ConcurrentHashMap确实有一个缺点，即多个线程可能会发现密钥没有被缓存，并且每个线程都可以调用createFooExpensively（）。结果，一些线程可能会丢弃工作。为避免这种情况，您可能希望使用“Java Concurrency in Practice”中提到的memoizer模式。

但话说回来，Google的优秀人员已经以CacheBuilder的形式为您解决了这些问题：

LoadingCache<Key,Foo> cache = CacheBuilder.newBuilder().
  concurrencyLevel(32).
  build(new CacheLoader<Key,Foo>() {
    public Foo load(Key key) {
      return createFooExpensively(key);
    }
  });

...
Foo result = cache.get(key);

Answer 2

你可以使用funtom-java-utils - PerKeySynchronizedExecutor。

它将为每个键创建一个锁，但会在它未使用时立即为您清除。

它还将使用相同的密钥控制调用之间的内存可见性，并且设计得非常快，并最小化不同密钥的调用之间的争用。

在你的班级中声明：

final PerKeySynchronizedExecutor<KEY_CLASS> executor = new PerKeySynchronizedExecutor<>();

用它：

Foo foo = executor.execute(key, () -> createFooExpensively());

Answer 3

public class Cache {

    private static final Set<String> lockedKeys = new HashSet<>();

    private void lock(String key) {
        synchronized (lockedKeys) {
            while (!lockedKeys.add(key)) {
                try {
                    lockedKeys.wait();
                } catch (InterruptedException e) {
                    log.error("...");
                    throw new RuntimeException(e);
                }
            }
        }
    }

    private void unlock(String key) {
        synchronized (lockedKeys) {
            lockedKeys.remove(key);
            lockedKeys.notifyAll();
        }
    }

    public Foo getFromCache(String key) {
        try {
            lock(key);

            Foo result = cache.get(key);
            if (result == null) {
                result = createFooExpensively(key);
                cache.put(key, result);
            }
            return result;
            //For different keys it is executed in parallel.
            //For the same key it is executed synchronously.

        } finally {
            unlock(key);
        }
    }

}

• key不仅可以是'String'，还可以是任何具有正确覆盖'equals'和'hashCode'方法的类。
• try-finally - 非常重要 - 即使您的操作引发异常，您也必须保证在操作后解锁等待的线程。
• 如果您的后端分布在多个服务器/ JVM上，它将无法工作。