Consistent String#hash仅基于字符串的内容

问题描述 投票:25回答:4

目标:将服务器处理的每个URL映射到0,1,2或3,尽可能均匀地分布。

虽然针对ruby的String#hash方法的documentation表示它将“根据字符串的长度和内容返回一个哈希值”,但这显然不是全部。给定字符串的散列在解释器的调用之间不一致:

$ irb
ruby-1.9.2-p180 :001 > "foo".hash
 => 360517580588231756 
ruby-1.9.2-p180 :002 > ^D

$ irb
ruby-1.9.2-p180 :001 > "foo".hash
 => -2716152678666510148 

这意味着特定字符串的哈希值可能在服务器之间不同。 Rails在内部使用String#hash将URL路径映射到四个资产主机之一(如果应用程序的asset_host是so configured),但由于跨机器的不一致性,此功能的效率要低得多;不同的服务器可能会将相同的URL映射到不同的资产主机,从而降低了缓存的效率,使天空变得模糊,过早地冷却了茶杯,从而破坏了其他优秀程序员的声誉。

你能否建议一个备用哈希函数,它可以有效,快速地在典型应用程序的URL空间中分配哈希值,最好是生成Fixnum的哈希函数,最后,我想将它映射到四个资产主机之一?

ruby ruby-on-rails-3 hash
4个回答
30
投票

在ruby的摘要模块中有很多这样的功能:http://ruby-doc.org/stdlib/libdoc/digest/rdoc/index.html

简单的例子:

require 'digest/sha1'
Digest::SHA1.hexdigest("some string")

2
投票

有一个小图书馆xxHash

XXhash.xxh32('qwe') #=> 2396643526
XXhash.xxh64('qwe') #=> 9343136760830690622

也许它会有更多的碰撞,但它比SHA1快10倍:

Benchmark.bm do |x|
  n = 100_000
  str = 'qweqweqwe'
  x.report('xxhash32') { n.times { XXhash.xxh32(str) } }
  x.report('xxhash64') { n.times { XXhash.xxh64(str) } }
  x.report('hexadigest') { n.times { Digest::SHA1.hexdigest(str) } }
end;1

#       user     system      total        real
# xxhash32  0.020000   0.000000   0.020000 (  0.021948)
# xxhash64  0.040000   0.000000   0.040000 (  0.036340)
# hexadigest  0.240000   0.030000   0.270000 (  0.276443)

1
投票

你可以尝试to_i(36)

"Hash me please :(".to_i(36)
=> 807137

1
投票

最简单(和一致)的方式可能就是这个(而且速度很快):

"https://www.example.com/abc/def/123?hij=345".sum % 4

这将始终产生一个0-3的整数,非常快,并且应该相当好地分布(虽然我实际上没有在分布上运行测试)。

© www.soinside.com 2019 - 2024. All rights reserved.