使用lua在redis列表上的数字函数

Question

我是lua和redis的新手。我正在考虑使用redis来支持一些实时查询。作为概念验证和性能健全测试，我将值汇总在一个列表中。

泊坞窗，compose.yml

version: '3.1'

services:
  redis:
    image: redis:4.0.13-alpine
    ports:
      - "6379:6379"

python脚本

import redis
import numpy as np


n = 1000000

redis_host = "localhost"
redis_port = 6379
redis_password = ""

arr = np.random.rand(n)

r = redis.StrictRedis(host=redis_host, port=redis_port, password=redis_password, decode_responses=True)
r.delete('mylist')
r.lpush('mylist', *arr.tolist())
print(np.sum(arr))

lua_sum = """
local result = redis.call('lrange', KEYS[1], 0, -1)
local sum = 0
for i=1, #result, 1 do
    sum = sum + result[i]
end
return tostring(sum)
"""

f = r.register_script(lua_sum)
print(f(keys=['mylist']))

使用ipython timeit，redis版本需要一点多秒。我（天真地）期待至少一个数量级的延迟。脚本中有什么极其低效的东西吗？注意我意识到这个特定的用例可以通过预处理来处理，但它只是一个简单的开始。

编辑timeit命令具体是：

In [2]: %timeit f(keys=['mylist'])
1 loop, best of 3: 1.31 s per loop

In [3]: %timeit np.sum(arr)
1000 loops, best of 3: 1.04 ms per loop

Answer 1

你的Lua脚本调用LRANGE从Redis获得100万个数字，即LRANGE key, 0, -1，这是非常低效的。 Redis需要从列表中读取100万个数字，并将这些数据传递给Lua。这将需要很长时间。

此外，你试图在一次通话中向Redis发送LPUSH 100万个号码，这也是一个非常糟糕的主意，因为它可能会长时间阻止Redis。

Answer 2

我认为你真正想要的是像redis-benchmark。它包含在redis的发行版中。

从命令行redis-cli，我用一个像你的列表填充了一个空的redis实例：

127.0.0.1:6379>eval "local result = redis.call('lrange', 'mylist', 0, -1); local sum = 0; for i=1, #result, 1 do sum = sum + result[i]; end; return tostring(sum);" 0

然后，我跑了redis-benchmark：

$ redis-benchmark -n 100000 script load "local result = redis.call('lrange', 'mylist', 0, -1); local sum = 0; for i=1, #result, 1 do sum = sum + result[i]; end; return tostring(sum);"
script load local result = redis.call('lrange', 'mylist', 0, -1); local sum = 0; for i=1, #result, script load local result = redis.call('lrange', 'mylist', 0, -1); local sum = 0; for i=1, #result, script load local result = redis.call('lrange', 'mylist', 0, -1); local sum = 0; for i=1, #result, script load local result = redis.call('lrange', 'mylist', 0, -1); local sum = 0; for i=1, #result, script load local result = redis.call('lrange', 'mylist', 0, -1); local sum = 0; for i=1, #result, ====== script load local result = redis.call('lrange', 'mylist', 0, -1); local sum = 0; for i=1, #result, 1 do sum = sum + result[i]; end; return tostring(sum); ======
  100000 requests completed in 1.20 seconds
  50 parallel clients
  3 bytes payload
  keep alive: 1

99.99% <= 1 milliseconds
100.00% <= 1 milliseconds
83263.95 requests per second

如您所见，结果与您显示的结果完全不同。脚本的100,000次调用在1.2秒内完成。

我不知道为什么你的测试表现出明显更差的表现，但我可以想到几种可能性：

1. Docker镜像中的内存/处理器限制
2. 网络延迟
3. 来自您正在使用的python-redis库的开销

但是，从根本上说，您不应该将redis用于处理绑定脚本。由于redis是单线程的，因此lua脚本将阻止所有其他脚本的执行，直到它完成。

我建议你玩redis-benchmark以更好地了解redis的表现。