KV Stores 中的密钥是如何锁定的？

Question

我正在构建一个分布式 KV 存储，只是为了更多地了解分布式系统和并发性。我正在构建的 KV 存储的实现是完全事务性的，具有内存中事务日志。为了简单起见，存储也完全位于内存中。 API 公开

GET

、

INSERT

、

UPDATE

、

REMOVE

。请注意，所有端点都在单个键上运行，而不是在一系列键上运行。

我通过锁管理并发。但是，我有一个全局锁来锁定整个数据存储。这听起来效率非常低，因为如果我想在更新

K1

时读取

K2

的值，我必须等待 k2 完成更新，尽管不相关。

我知道有些数据库使用更细粒度的锁定。例如，在 MySQL 服务器中存在行级锁。密钥级锁如何实现？

我有

type Storage struct {
  store map[string]int32
}

我应该添加这样的东西吗？:

type Storage struct {
  store map[string]int32
  locks map[string]mutex.Lock
}

如果我这样做，问题是

locks

必须与

store

保持同步。另一种选择是合并两个映射，但即便如此，如果 REMOVE 请求在

GET

之前出现，我也会遇到删除映射中的条目

 在锁定期间 

的问题。

Answer 1

概念部分

交易

首先，强一致性不需要事务日志。事务日志对于维护 ACID 属性非常有用。

事务也不是数据库中强一致性的严格要求，但它们可以成为在许多情况下确保一致性的有用工具。

强一致性是指确保数据库的所有读取都将返回最近的写入，无论读取操作在何处执行。换句话说，强一致性保证所有客户端都会看到相同的数据，并且数据在整个系统中都是最新的和一致的。

可以使用Paxos或Raft等共识算法来保证强一致性。存储数据时，可以将数据存储一个版本，并将其作为Paxos中的ID。

锁定KV商店

在键值（KV）存储中，键通常使用某种锁定机制来锁定，例如互斥锁或读写器锁（如@paulsm4所建议）。这允许多个线程或进程同时访问和修改 KV 存储中的数据，同时仍然确保数据保持一致和正确。

例如，当线程或进程想要读取或修改 KV 存储中的特定键时，它可以获取该键的锁。这可以防止其他线程或进程同时修改同一键，从而导致竞争条件和其他问题。一旦线程或进程完成读取或修改密钥，就可以释放锁，允许其他线程或进程访问该密钥。

如何在 KV 存储中锁定密钥的具体细节可能会有所不同，具体取决于 KV 存储的实现。一些 KV 存储可能会使用全局锁（正如您已经在做的那样，这有时效率很低）来锁定整个数据存储，而其他 KV 存储可能会使用更细粒度的锁定机制，例如行级锁或键级锁，以允许更多的操作。并发访问数据。

所以tldr；从概念上讲，你是对的。问题在于锁定实现的细节。

编码

要严格回答有关锁定的问题，可以考虑@paulsm4建议的

读写器锁。在golang中，类似的锁是RWMutex

。它用于sync.Map。

这是一个简短的例子：

type Storage struct {
  store sync.Map // a concurrent map
}

// GET retrieves the value for the given key.
func (s *Storage) GET(key string) (int32, error) {
  // Acquire a read lock for the key.
  v, ok := s.store.Load(key)
  if !ok {
    return 0, fmt.Errorf("key not found: %s", key)
  }

  // Return the value.
  return v.(int32), nil
}

// INSERT inserts the given key-value pair into the data store.
func (s *Storage) INSERT(key string, value int32) error {
  // Acquire a write lock for the key.
  s.store.Store(key, value)
  return nil
}

// UPDATE updates the value for the given key.
func (s *Storage) UPDATE(key string, value int32) error {
  // Acquire a write lock for the key.
  s.store.Store(key, value)
  return nil
}

// REMOVE removes the key-value pair for the given key from the data store.
func (s *Storage) REMOVE(key string) error {
  // Acquire a write lock for the key.
  s.store.Delete(key)
  return nil
}

在此之上您需要 Paxos 以确保副本之间的一致性。